2024年4月17日，MiniMax正式推出abab 6.5系列模型。萬億MoE模型abab 6.5，在各類核心能力測試中，abab 6.5開始接近GPT-4, Claude 3 Opus, Gemini 1.5 Pro等世界上最領先的大語言模型。

在MoE還沒有成爲行業共識時，MiniMax花了80%以上的精力下注MoE，並于今年1月，發布了國內首個基于MoE架構的 abab 6。在過去的三個月裏，我們進一步地挖掘了MoE架構的潛力，研發出了更強大的abab 6.5。

這個過程中，我們找到了越來越多加速實現Scaling Laws的途徑，包括改進模型架構，重構數據pipeline，訓練算法及並行訓練策略優化等。今天發布的abab 6.5和abab 6.5s是我們加速Scaling Laws過程的階段性成果。

abab 6.5系列包含兩個模型：abab 6.5和abab 6.5s。abab 6.5包含萬億參數，支持200k tokens的上下文長度；abab 6.5s跟abab 6.5使用了同樣的訓練技術和數據，但是更高效，支持200k tokens的上下文長度，可以1秒內處理近3萬字的文本。

核心能力測試

我們用業界標准的開源測試集來測試兩個模型，在知識、推理、數學、編程、指令遵從等維度上和行業領先的語言模型進行了對比。

標注星號的爲我們調用API測試得到的結果，其余分數來自對應的技術報告

我們在200k token內進行了業界常用的“大海撈針”測試，即在很長的文本中放入一個和該文本無關的句子（針），然後通過自然語言提問模型，看模型是否准確將這個針回答出來。在891次測試中，abab 6.5均能正確回答。

abab 6.5和abab 6.5s會滾動更新到MiniMax旗下的産品中，包括生産力産品海螺AI和MiniMax開放平台上。歡迎大家使用。