稍微留意下近期的新聞，“趕超GPT-4”正在成爲國産大模型的新熱點。
百度文心一言、商湯日日新以及阿裏雲剛剛發布的通義千問2.5，均已邁入“全面趕超GPT-4”陣營。
把時間線稍微拉長一些的話，過去大半年時間裏，“超越GPT-4”的消息可謂屢見不鮮，即使在報道中刻意加上了多項基准、部分指標等前綴，依然賺足了眼球，成爲國産大模型佐證自身能力的有力指標。
簡單做個複盤的話，國産大模型對GPT-4的追趕已經進行了400多天，其中“趕超進程”可以粗分爲三個階段。
第一階段：部分性能超越GPT-4
2023年3月14日，OpenAI正式推出了GPT-4，彼時大多數國産大模型還未開放，少數內測大模型的比較對象還是GPT-3。作爲業界標杆的GPT-4，就像是科幻照進了現實，被無數人捧上神壇。
但在短短半年後，GPT-4就出現在了國産大模型廠商的比較名單裏。
2023年8月底，商湯科技對外公布了一則新進展：擁有1230億個參數的“書生·浦語”，在全球51個知名評測集共計30萬道問題集合上，測試成績排名全球第二，並在綜合考試agieval、知識問答commonsenseqa、閱讀理解和推理的十項評測中位列第一，分數超過風頭正盛的GPT-4。
2023年10月17日的“生成未來”發布會上，百度正式發布了文心大模型4.0版本，李彥宏在現場依次演示了大模型的理解、生成、邏輯和記憶四大核心能力的特點與應用場景。盡管沒有給出評測數據，李彥宏卻自信地表示：文心大模型4.0的綜合水平，“與GPT-4相比毫不遜色”。
國産大模型趕超GPT-4的序幕正式拉開，此後一兩個月裏，不少大模型給了這樣的營銷口徑：整體能力已經不輸于GPT-3.5，並且在部分性能指標上開始超越GPT-4。
第二階段：整體性能逼近GPT-4
時間來到2024年初，國內的“百模大戰”進入收斂期，一些不被資本市場認可的大模型，漸漸成了一個數字，只有幾家科技大廠和獨角獸仍活躍在大模型一線。“活下來”的大模型，勢必要在能力上證明自己。
綜合性能逼近GPT-4，開始成爲新的營銷話術。
2024年1月中旬的智譜AI技術開放日上，正式發布了新一代基座大模型GLM-4。按照智譜AI官方的說法：在權威的英文測試榜單中，GLM-4已經整體逼近GPT-4，平均能達到GPT-4 90%以上的水平，在個別項目上表現持平；而在國內企業更加看重的中文任務上，GLM-4的表現全面超過GPT-4。
同樣是在2024年1月，科大訊飛發布了星火認知大模型V3.5，在邏輯推理、語言理解、文本生成、數學答題、代碼、多模態等核心能力均顯著提升，其中語言理解、數學能力已經超過GPT-4 Turbo，代碼能力達到GPT-4 Turbo 96%，多模態理解達到GPT-4V 91%。“在中文理解方面，甚至遙遙領先。”
回頭來看，智譜AI和科大訊飛的營銷策略還是有些“保守”，百川智能在同一時間段發布的Baichuan 3，對外表示已經在CMMLU、GAOKAO等中文評測中超越GPT-4。
第三階段：全面趕超GPT-4 Turbo
2023年11月的OpenAI首屆開發者大會，GPT-4 Turbo可以說整個活動的焦點，不僅比GPT-4更聰明，文本處理的上限更高，推理的速度更快，價格也更便宜，國産大模型隨即迎來了新的比較對象。
先是2024年4月份發布的日日新5.0，擁有6000億參數，並在發布會上引用了OpenCompass的評測數據：日日新5.0達到或超越了GPT-4 Turbo版本，幾乎全方位碾壓了同期發布的 Llama 3-70B。
再然後就是阿裏雲剛剛發布的通義千問2.5，根據媒體報道中的說法：模型性能全面趕超GPT-4-Turbo，成爲“地表最強”中文大模型；通義千問1100億參數開源模型在多個基准測評收獲最佳成績，超越Meta的Llama-3-70B，成爲開源領域最強大模型。
可以笃定的是，日日新5.0和通義千問2.5只是個開始，後續將有更多國産大模型在能力上超越GPT-4-Turbo。
畢竟科大訊飛早已預熱了上半年發布星火認知大模型V4.0的消息，將全面對標GPT-4系列；文心一言4.0的發布已經超過半年，不排除新版本正在准備中，且大概率會在性能上再上一個台階……
“跑分”的意義在哪裏？
不管是一開始的“部分性能超越”，還是現在進行中的“全面趕超”，依據都是第三方評測結果，或者說大模型廠商的主觀判斷。比如商湯和阿裏雲爭相引用的OpenCompass，就是上海人工智能實驗室開源的大模型評測平台。
對于一些大模型沉迷于刷榜、跑分的現象，上海人工智能實驗室領軍科學家林達華教授曾在媒體采訪中直言：通過題海戰術提高大模型成績，對于模型實際能力的反應是失真的，影響了模型研發團隊的改進方向和模型的商業落地，“高分低能”傷害的是機構本身；榜單上任何具體的名字只是大模型成長過程中無數次測試中的一次，一時的排名高低並不真正反映模型的能力。
何況很多大模型測試集爲了公開透明，測試題目或者提綱都是公開的，大模型廠商不難通過“針對性的訓練”來提高分數。只要將足夠的的測試題餵給大模型，在開卷考試的機制下，分數總不會太低。
也就是說，分數高並不一定代表大模型的能力強。“跑分”的意義僅僅是讓客戶或開發者對大模型能力有一個初步的認識，最終的評估因素永遠是“能不能解決問題”，“能不能在場景中帶來實實在在的生産力”。
特別是在大模型走向落地應用的趨勢下，一味炒作“超越GPT-4”、“跑分第一”，妄顧落地應用的實效，可能會適得其反。以大模型應用中比較常見的財報分析爲例，如果大模型連一家企業的財報都看不懂，再高的計算分數也不會讓客戶信服，反而會被排除在合作名單外。
而參考中信證券等機構的研究報告，目前OpenAI的GPT-5正處于紅隊測試階段，有望在今年夏天正式發布，可能在多模態理解、長文本輸入、zero-shot學習等方面實現重大突破，且性能將遠超GPT-4。即使國産大模型花費400多天追平了GPT-4，在相當長一段時間裏，仍將處于追趕的姿態。
大模型的價值是解決日常問題的生産力工具，趕超GPT-4的階段性升級，可以看作是國産大模型有序叠代部署、不斷拉近差距的標志，切莫像手機跑分那樣，在過度營銷的作用下，淪爲被群嘲的對象。
