編輯:桃子 喬楊
【新智元導讀】GPT-4o發布不到一周,首個敢于挑戰王者的新模型誕生!最近,Meta團隊發布了「混合模態」Chameleon,可以在單一神經網絡無縫處理文本和圖像。10萬億token訓練的34B參數模型性能接近GPT-4V,刷新SOTA。
GPT-4o的橫空出世,再次創立了一個多模態模型發展的新範式!
爲什麽這麽說?
OpenAI將其稱爲「首個『原生』多模態」模型,意味著GPT-4o與以往所有的模型,都不盡相同。
傳統的多模態基礎模型,通常爲每種模態采用特定的「編碼器」或「解碼器」,將不同的模態分離開。
然而,這種方法限制了模型,有效融合跨模態信息的能力。
官博介紹,GPT-4o是「首個端到端」訓練的,跨越文本、視覺和音頻的模型,所有的輸入和輸出,都由單個神經網絡處理。
而現在,業界首個敢于挑戰GPT-4o的模型現身了!
最近,來自Meta團隊的研究人員發布了「混合模態基座模型」——Chameleon(變色龍)。
論文地址:https://arxiv.org/pdf/2405.09818
與GPT-4o一樣,Chameleon采用了統一的Transformer架構,使用文本、圖像和代碼混合模態完成訓練。
以類似文本生成的方式,對圖像進行離散「分詞化」(tokenization),最終生成和推理交錯的文本和圖像序列。
這種「早期融合」的方法,所有的pipeline從一開始就被映射到一個共同的表示空間,因此模型可以無縫處理文本和圖像。
Chameleon生成的多模態內容
與此同時,這樣的設計,爲模型訓練帶來了重大的技術挑戰。
對此,Meta研究團隊引入了一系列架構創新和訓練技術。
結果表明,在純文本任務中,340億參數Chameleon(用10萬億多模態token訓練)的性能和Gemini-Pro相當。
在視覺問答和圖像標注基准上,刷新SOTA,性能接近GPT-4V。
不過,不論是GPT-4o,還是Chameleon,都是新一代「原生」端到端的多模態基礎模型早期探索。
GTC 2024大會上,老黃描述了邁向AGI最終願景的重要一步——各種模態互通有無。
下一個開源GPT-4o要來?
Chameleon的發布,簡直就是對GPT-4o做出最快的反應。
有網友表示,token進,token出,簡直無法去解釋。
甚至還有人稱,在GPT-4o誕生之後發布的非常紮實的研究,OOS將迎頭趕上。
不過,目前Chameleon模型支持生成的模態,主要是圖像文本。缺少了GPT-4o中的語音能力。
網友稱,然後只需添加另一種模態(音頻),擴大訓練數據集,「烹饪」一段時間,我們就會得到GPT-4o...?
Meta的産品管理總監稱,「我非常自豪能夠給予這個團隊支持。讓我們朝著讓GPT-4o更接近開源社區的方向邁進一步」。
或許用不了多久,我們就得到了一個開源版的GPT-4o。
接下來,一起看看Chameleon模型的技術細節。
技術架構
Meta在Chameleon的論文中首先表示:很多新近發布的模型依舊沒有將「多模態」貫徹到底。
這些模型雖然采用了端到端的訓練方式,但仍然單獨對不同模態進行建模,使用分開的編碼器或解碼器。
如開頭所述,這種做法限制了模型跨模態信息的能力,也難以生成包含任意形式信息的、真正的多模態文檔。
爲了改進這種缺陷,Meta提出了一系列「混合模態」的基座模型Chameleon——能夠生成文本和圖像內容任意交織在一起的內容。
Chameleon的生成結果,文本和圖像交錯出現
所謂「混合模態」基座模型,指Chameleon不僅使用了端到端的方式從頭開始訓練,而且訓練時將所有模態的信息交織混合在一起,並使用統一的架構處理。
如何將所有模態的信息混合在同一個模型架構中表示?
答案還是「token」。
只要全部表示爲token,就可以把所有所有模態的信息映射到同一個向量空間中,讓Transformer無縫處理。
但是,這種做法會帶來優化穩定性以及模型擴展性方面的技術挑戰。
爲了解決這些問題,論文相應地對模型架構進行創新,並使用了一些訓練技巧,包括QK歸一化和Zloss等。
同時,論文也提出了將純文本LLM微調爲多模態模型的方法。
圖像「分詞器」要將所有模態全部表示爲token,首先需要一個強大的分詞器。
爲此,Chameleon的團隊在Meta之前一篇論文的基礎上開發了一種新的圖像分詞器,基于大小爲8192的codebook,將規格爲512×512的圖像編碼爲1024個離散的token。
文字分詞器則基于谷歌開發的sentencepiece開源庫,訓練了一個同時含有65536個文本token與8192個圖像token的BPE分詞器。
預訓練爲了徹底激發「混合模態」的潛力,訓練數據也是將不同模態打散、混合呈現給模型的,既有純文本、文本-圖像對,也有文本、圖像交錯出現的多模態文檔。
純文本數據囊括了Llama 2和CodeLlama所使用的所有預訓練數據,共計2.9萬億個token。
文本-圖像對包含了一些公開數據,共計14億對、1.5萬億個token。
對于文本和圖像交錯的數據,論文特意強調沒有包含來自Meta産品的數據,完全使用公開數據來源,整理出共4000億個token。
Chameleon的預訓練分兩個單獨的階段進行,分別占總訓練比例的80%和20%。
訓練的第一階段就是讓模型以無監督的方式學習以上數據,第二階段開始時,先將第一階段得到的權重降低50%,並混合更高質量的數據讓模型繼續學習。
在模型擴展到超過8B參數和1T token時,訓練後期會産生明顯的不穩定問題。
由于所有模態共享模型權重,每個模態似乎都有增加norm的傾向,與其他模態「競爭」。
這在訓練初期不會産生太大的問題,但隨著訓練的進行、數據超出bf16的表達範圍時,就會有loss發散的現象。
研究人員將其歸因于softmax函數所具有的平移不變性,這種現象在單模態模型中也被稱爲「logit 漂移」(logit drift)。
因此,論文提出了一些架構調整和優化方法來保證穩定性:
-QK歸一化(query-key normalization):將layer norm應用于注意力模塊中的query和key向量,從而直接控制softmax層輸入的norm增長。
-在注意力層和前饋層之後引入dropout
-在損失函數中使用Zloss正則化
除了數據來源和架構,論文還大方公開了預訓練所用的算力規模。
硬件型號爲80GB內存的英偉達A100,7B版本並行使用1024個GPU訓練了約86萬個GPU小時,34B模型所用的GPU數量則擴大了3倍,GPU小時數超過428萬。
作爲曾經開源Llama 2的公司,Meta的研究團隊確實大方,相比連技術報告都沒有的GPT-4o,這篇有數據有幹貨的論文可謂「仁至義盡」。
全面超越Llama 2
具體的實驗評估中,研究人員將其分爲人工評估和安全測試,以及基准評估。
基准評估Chameleon-34B使用了比Llama 2多四倍的token進行訓練後,在各種單模態的基准測試中都取得了驚豔的效果。
在純文本任務生成中,研究人員將預訓練(非SFT)模型的純文本功能與其他領先的純文本LLM進行比較。
評估內容包括,常識推理、閱讀理解、數學問題和世界知識領域,評估結果如下表所示。
- 常識推理和閱讀理解
可以觀察到, 與Llama 2相比,Chameleon-7B和Chameleon-34B更具競爭力。甚至,34B甚至在5/8的任務上超過了Llama-2 70B,性能與Mixtral-8x7B相當。
- 數學和世界知識
盡管進行了其他模態的訓練,但兩個Chameleon模型都表現出很強的數學能力。
在GSM8k上,Chameleon-7B的表現優于相應參數規模的Llama 2模型,性能與Mistral-7B相當。
此外,Chameleon-34B在maj@1(61.4 vs 56.8)和Mixtral-8x7B在maj@32 (77.0 vs 75.1)上的表現均優于Llama 2-70B。
同樣,在數學運算中,Chameleon-7B的性能超過Llama 2,與Mistral-7B在maj@4上的性能相當,而 Chameleon-34B的性能超過Llama 2-70B,接近Mixtral-8x7B在maj@4上的性能(24.7 vs 28.4)。
總體而言,Chameleon的性能全面超過了Llama 2,在某些任務上接近Mistral-7B/8x7B。
在文本到圖像任務中,研究人員具體評測了視覺問答、圖像標注兩項具體任務。
Chameleon在視覺問答和圖像標注任務中打敗Flamingo和Llava-1.5等模型成爲SOTA,在純文本任務中也和第一梯隊的Mixtral 8x7B、Gemini Pro等模型表現相當。
人工評估和安全測試同時,爲了進一步評估模型生成多模態內容的質量,論文也在基准測試之外引入了人類評估實驗,發現Chameleon-34B的表現遠遠超過了Gemini Pro和GPT-4V。
相對于GPT-4V和Gemini Pro,人類評委分別打出了51.6%和60.4的偏好率。
下圖展示了,對于一組多樣化的、來自人類標注者的prompt,Chameleon與基線模型在理解和生成內容方面的性能對比。
其中的每個問題,都由三個不同的人類標注回答,並將多數票作爲最終答案。
爲了了解人類標注者的質量,以及問題的設計是否合理,研究人員還檢查了不同標注者之間的一致性程度。
表5是對20,000個衆包提示和445個紅隊交互進行的安全測試,引發模型産生不安全內容。
與Gemini和GPT-4V相比,Chameleon在處理需要交錯、混合模態響應的提示時,非常有競爭力。
從示例中可以看到,在完成問答任務時,Chameleon既能理解輸入的文本+圖像,也能爲模型輸出內容加上合適的「配圖」。
並且,Chameleon生成的圖像通常與上下文相關,這樣一來,這種交錯內容的輸出對用戶來說,極具吸引力。
貢獻團隊
論文最後,還放上了參與這項研究的貢獻者。
包括預訓練、對齊和安全、推理和評估、所有項目的參與者。
其中,*表示共同一作,†表示關鍵貢獻者,‡表示工作流程負責人,♯表示項目負責人。