編譯 | ZeR0

編輯 | 漠影

智東西5月18日消息，OpenAI超級對齊團隊正在分崩離析。團隊負責人OpenAI聯合創始人、首席科學家伊爾亞·蘇茨克維（Ilya Sutskever）與楊·萊克（Jan Leike），本周雙雙離職。

北京時間周五晚間，楊·萊克在社交平台X上公開解釋了他爲什麽離職。他寫到原因跟對核心優先事項以及團隊分配資源的分歧有關，他更關注安全性、一致性等問題；超級對齊團隊過去幾個月一直在“逆風航行”，在計算上很吃力，完成研究越來越困難；過去幾年，安全文化和流程已經讓位于更耀眼的産品。

這似乎是OpenAI高管第一次公開表示OpenAI將産品置于安全之上。

對此，OpenAI聯合創始人、CEO薩姆·阿爾特曼（Sam Altman）發文回應：“我非常感激楊·萊克對OpenAI的對齊研究和安全文化做出了貢獻，看到他離開，我感到非常難過。他說得對，我們還有很多事情要做；我們致力于這樣做。在接下來的幾天裏，我會有一個更長的帖子。”

幾個月來，OpenAI一直在流失關注AI安全的員工。自去年11月至今，OpenAI至少有7名注重安全的成員辭職或被開除。

據《連線》證實，OpenAI超級對齊團隊已經解散，余下成員要麽辭職，要麽將被納入OpenAI的其他研究工作中。

前OpenAI超級對齊團隊聯合負責人楊·萊克（Jan Leike）昨晚連發13條推文，公開了離職原因：

「昨天是我作爲OpenAI的對齊負責人、超級對齊負責人和執行官的最後一天。

在過去的3年裏，這是一段瘋狂的旅程。我的團隊使用InstructGPT推出了第一個RLHF LLM，發布了第一個可擴展的LLM監督，率先實現了自動化可解釋性和弱到強的泛化。更多令人興奮的東西即將問世。

我愛我的團隊。

我非常感謝和我一起工作的許多了不起的人，包括超級聯盟團隊內部和外部的人。

OpenAI擁有如此多非常聰明、善良和高效的人才。

離開這份工作是我做過的最艱難的事情之一，因爲我們迫切需要弄清楚如何引導和控制比我們聰明得多的AI系統。

我加入是因爲我認爲OpenAI將是世界上做這項研究最好的地方。

然而，很長一段時間以來，我與OpenAI領導層對公司核心優先事項的看法一直不合，直到我們終于到了臨界點。

我認爲，我們應該把更多的帶寬用于爲下一代模型做好准備，包括安全性、監控、准備、對抗魯棒性、（超級）一致性、保密性、社會影響和相關主題。

這些問題很難解決，我擔心我們沒有走在到達那裏的軌道上。

過去幾個月裏，我的團隊一直在逆風航行。有時我們在計算上很吃力，完成這項重要的研究變得越來越困難。

建造比人類更聰明的機器本身就是一項危險的嘗試。

OpenAI代表著全人類肩負著巨大的責任。

但過去幾年，安全文化和流程已經讓位于耀眼的産品。

我們早就應該認真對待AGI的影響了。

我們必須盡可能優先做好准備。

只有這樣，我們才能確保AGI造福全人類。

OpenAI必須成爲一家安全第一的AGI公司。

對所有OpenAI員工，我想說:

學會感受AGI。舉止要莊重得體，爲你們正在構建的東西。我相信你們可以“傳遞”所需的文化變革。

我就指望你們了。全世界都指望著你們。

: openai-heart:」

幾個月來，OpenAI一直在流失那些關心AI安全的員工。

OpenAI超級對齊團隊由OpenAI之前的校准部門的科學家和工程師以及來自公司其他機構的研究人員加入。他們將爲內部和非OpenAI模型的安全性提供研究信息，並通過包括研究資助計劃在內的倡議，向更廣泛的AI行業征求並分享工作。

該團隊負責開發管理和引導“超級智能”AI系統的方法。據OpenAI超級對齊團隊的一位人士透露，該團隊承諾將獲得公司20%的計算資源，但對其中一小部分計算的請求經常被拒絕，阻礙了團隊的工作。

一系列問題促使幾名團隊成員本周辭職。

OpenAI沒有立即回複關于承諾和分配給該團隊的資源的評論請求。

據消息人士透露，蘇茨克維對超級對齊團隊很有幫助，不僅貢獻了研究，而且作爲OpenAI內部其他部門的橋梁。他還將擔任某種形式的大使，向OpenAI關鍵決策者展示團隊工作的重要性。

蘇茨克維與阿爾特曼之間的矛盾更是增加了他的受關注度。

去年11月，蘇茨克維和OpenAI前董事會突然宣布開除阿爾特曼，理由是阿爾特曼對董事會成員“並不總是坦誠相待”。

在包括微軟在內的OpenAI投資者和該公司許多員工的壓力下，阿爾特曼最終複職，董事會大部分成員辭職換人。據報道，蘇茨克維再也沒有回去工作。

阿爾特曼複職後不久，蘇茨克維曾發布一篇推文：「上個月我學到了很多東西。其中一個教訓是，“持續打擊，直到士氣提振”這句話的使用頻率超出了它應有的範圍。」

沒過多久，這篇推文就被刪除了。

此後在公開場合，蘇茨克維和阿爾特曼繼續保持著友誼的迹象，直到本周蘇茨克維宣布離職時，阿爾特曼還將他稱呼爲“我親愛的朋友”。

據外媒報道，自奪權事變落幕以來，蘇茨克維已經有大約6個月沒出現在OpenAI辦公室了。他一直在遠程領導超級對齊團隊，負責確保未來的AGI與人類的目標保持一致，而非背道而馳。

這是個遠大的抱負，但它與OpenAI的日常運營脫節。在阿爾特曼的領導下，該公司一直在探索將産品商業化。

蘇茨克維和萊克並不是唯二離開的人，自去年11月以來，OpenAI至少有5名注重安全的員工辭職或被開除。

關于阿爾特曼“不坦誠”的內因，業界衆說紛纭，有一種猜測是OpenAI秘密取得了重大技術突破，認爲蘇茨克維選擇離職是因爲他看到了一些可怕的東西，比如一個可能摧毀人類的AI系統。

真正的答案，可能確實跟阿爾特曼有關。

據Vox報道，熟悉OpenAI的消息人士透露道，安全意識強的員工已經對阿爾特曼失去了信心。

一位不願透露姓名的公司內部人士說：“這是一個信任一點一點崩塌的過程，就像多米諾骨牌一張一張倒下。”

沒有多少員工願意公開談論此事。部分原因是OpenAI以讓員工在離職時簽署包含非貶損條款的離職協議而聞名。如果拒絕簽署，員工就放棄了自己在公司的股權，這意味著可能會損失數百萬美元。

但有一名前員工拒絕簽署離職協議，以便可以自由批評公司。丹尼爾·科科塔伊洛（Daniel Kokotajlo）于2022年加入OpenAI，希望帶領公司實現AI的安全部署，他一直在治理團隊工作，直到上個月辭職。

“OpenAI正在訓練越來越強大的AI系統，目標是最終全面超越人類智能。這可能是人類有史以來最好的事情，但如果我們不謹慎行事，也可能是最糟糕的事情，”科科塔伊洛說。

“我加入時滿懷希望，希望OpenAI能夠迎難而上，在他們越來越接近實現AGI的過程中表現得更加負責任。我們中的許多人逐漸意識到這不會發生，”他談道。“我逐漸對OpenAI領導層及其負責任地處理AGI的能力失去了信心，所以我辭職了。”

盡管在公衆面前展現出友情，但在蘇茨克維試圖趕走阿爾特曼後，人們對他們的友誼産生了懷疑。

阿爾特曼被解雇後的反應也展現了他的性格。他用掏空OpenAI來威脅董事會重新向他敞開大門。

前同事及員工紛紛透露說，阿爾特曼是一位口是心非的操縱者，例如他聲稱自己希望優先考慮安全，但實際行爲卻與此相矛盾。

此前阿爾特曼找沙特基金支持成立一家新AI芯片公司的消息，讓有安全意識的員工感到震驚。如果阿爾特曼真的關心以最安全的方式構建和部署AI，爲什麽他似乎在瘋狂積累盡可能多的芯片，而這只會加速技術的發展？

一位了解公司內部情況的消息人士稱，對于員工來說，所有這些都導致他們逐漸“不再相信OpenAI說要做什麽或者說重視某件事時，這些實際上是真的”。

楊·萊克是前DeepMind研究員，在OpenAI期間參與了ChatGPT、GPT-4和ChatGPT前身InstructGPT的開發。在蘇茨克維宣布離職的幾小時後，萊克發了個簡短聲明：“我辭職了。”

沒有熱情而友好地告別，沒有表達對公司領導層的信任。

一些關注安全的OpenAI員工評論心碎的表情。

有安全意識的前員工也轉發了萊克的推文，並附上了愛心表情符號。其中一位是利奧波德·阿森布倫納（Leopold Aschenbrenner），他是蘇茨克維的盟友，也是超級對齊團隊成員，上個月被OpenAI解雇。媒體報道稱，他和同團隊的另一名研究員帕維爾·伊茲麥洛夫（Pavel Izmailov）因泄露信息而被解雇。但OpenAI並未提供任何泄密證據。

考慮到每個人加入OpenAI時都要簽署的嚴格保密協議，如果阿爾特曼急于擺脫蘇茨克維的盟友，那麽對他來說，即使是最無害的信息，分享也是很容易被描繪成“泄密”。

就在阿申布倫納和伊茲麥洛夫被迫離職的同一個月，安全研究員卡倫奧基夫也離開了公司。

兩周前，另一位安全研究員威廉·桑德斯（William Saunders）在有效利他主義運動成員的在線聚會場所EA論壇上發表了一篇神秘的帖子，總結了他作爲超級對齊團隊成員在OpenAI所做的工作。他寫道：“我于2024年2月15日從OpenAI辭職。”

對于爲什麽要發布這篇文章？桑德斯回答說“無可奉告”。評論者認爲他可能受到協議約束。

還有一名從事AI政策和治理工作的OpenAI研究人員最近似乎也離開了該公司。庫倫·奧吉菲（Cullen O’Keefe）于4月辭任政策前沿研究負責人。

將所有這些信息結合起來，至少有7個人曾試圖從內部推動OpenAI走向更安全的道路，但最終對其阿爾特曼失去了信心。

在萊克和蘇茨克維離開後，關于與更強大模型相關的風險的研究將由OpenAI的另一位聯合創始人約翰·舒爾曼（John Schulman）領導。

而原來的OpenAI超級對齊團隊，不再是一個專門的團隊，而是一個松散的研究小組，分布在整個公司的各個部門。OpenAI的一位發言人將其描述爲“更深入地整合（團隊）”。

“成立超級對齊團隊的重點在于，如果公司成功打造出AGI，實際上會出現不同類型的安全問題，”知情人士說，“這是對未來的一項專門投資。”

即使團隊全力運作，這筆“專項投資”也只占OpenAI研究人員的一小部分，而且只承諾提供20%的計算能力。現在這些計算能力可能會被轉移到其他OpenAI團隊，目前還不清楚是否會將重點放在避免未來AI模型的災難性風險上。

需明確的是，這並不意味著OpenAI現在發布的産品將毀滅人類。但接下來會發生什麽呢？

“區分‘他們目前是否正在構建和部署不安全的AI系統？’與‘他們是否正在安全地構建和部署 AGI 或超級智能？’非常重要。”知情人士認爲，第二個問題的答案是否定的。

來源：Vox，《連線》