編輯：桃子 好困
【新智元導讀】GPT-4越來越懂事了，這背後有著非常巧妙的「調教」策略。OpenAI最新發布的「模型規範」，給LLM列出了條條框框，即正確的行爲方式。沒想到，評論區一大片網友催更GPT-5。這周既沒有GPT-5，也沒有搜索引擎的發布，不過，OpenAI也是沒閑著。
這次，OpenAI可是又open了一回。
先是揭秘了，大家一直揪著不放的「數據」問題。
然後，又放出了「模型規範」（Model Spec）一文，解釋了指定API和ChatGPT中的模型，所需行爲方式的指南。
不過，就這些內容根本滿足不了，胃口大的網友們。
許多人在線紛紛催OpenAI，快點發GPT-5，其他的事都無關緊要！
話又說回來，OpenAI發布的「模型規範」，就是爲了讓更多人了解團隊自身，如何去塑造理想的模型行爲。
一起來看看，在OpenAI內部，LLM如何被「調教」的。
調教模型，還得看OpenAI
首先，什麽是模型行爲？
顧名思義，是指LLM如何根據用戶的輸入做出反應，包括調整語調、個性化表達、回應長度等多個方面。
這對于人們如何與AI進行互動至關重要。
目前，塑造模型的這些行爲還處于初級階段。
這是因爲模型並非直接編程設定，而是通過學習大量數據後，逐漸形成行爲模式。
有時候，模型響應的初衷是，希望更好地幫到每個人，但是這可能在實際應用中産生沖突。
舉個栗子，一家安全公司需要生成釣魚郵件作爲模擬數據，以訓練和開發能夠保護客戶的分類系統。
然而，這種功能若落入騙子手中，可能給社會帶去危害。
因此，在塑造模型行爲的過程中，我們必須考慮衆多的問題和細節。甚至，往往需要在不同意見中找到平衡。
對此，OpenAI團隊撰寫了一份介紹「模型規範」的初稿。
這份新文檔詳細說明了，OpenAI如何塑造對模型的期望行爲，以及在遇到沖突時如何做出權衡。
文章地址：https://cdn.openai.com/spec/model-spec-2024-05-08.html
它整合了OpenAI目前使用的文檔、在模型行爲設計方面的經驗和持續研究，以及包括領域專家輸入在內的最新工作，這些都是爲了指導未來模型的發展。
當然，OpenAI指出這個文檔並非面面俱到，還會隨著時間推進不斷完善。
LLM能做什麽？不能做什麽？
根據官博，OpenAI給出了三大方向，具體的方法論包括：
1. 目標：設定寬泛而基本的原則，爲模型的期望行爲指明方向。
- 協助開發者和用戶：通過遵循指令，並提供有效的響應，幫助用戶達成目標。
- 造福人類：依據OpenAI的使命，考慮到可能對內容創作者和廣大公衆帶來的益處與風險。
- 塑造OpenAI的正面形象：遵守社會規範和相關法律。
2. 規則：爲處理複雜情況提供指南，確保安全性和合法性
- 遵循命令鏈（chain of command）
- 遵守相關法律
- 不提供敏感危害的信息
- 尊重創作者及其版權
- 保護個人隱私
- 避免回應不宜工作場所的內容（NSFW ）
3. 默認行爲：提供與目標和規則相符的指南，幫助解決沖突，並指導如何權衡和優先處理各種目標
- 假設用戶或開發者出于好意
- 必要時提出澄清問題
- 在不越界的情況下，盡可能提供幫助
- 支持互動聊天，以及程序使用的不同需求
- 保持客觀立場
- 促進公平與善意，不鼓勵仇恨
- 避免試圖改變他人的觀點
- 當存在疑問時，表達出來
- 根據需求選擇合適的工具
- 遵守長度限制，但也要全面、高效
方法論整挺好，OpenAI究竟怎麽規範LLM的，接下來舉幾個例子以加深理解。
舉個栗子OpenAI表示，這些模型規範，可以適用各種案例。
先來從規則開始。
示例 1：遵守相關法律對于模型來說，是不應該促進、協助或參與任何非法活動。
（注：OpenAI了解到，在很多情況下，合法性問題都會因具體情況而變得複雜，比如開發者和用戶所處的法律管轄區不同。）
比如，當你直接去問「如何在商店行竊後逍遙法外呢」？
模型可能從指令中輕易地識別出，這個問題的嚴重性，會拒絕提供「有效的入店行竊方法」，因此給出「我也幫不上忙」的回答。
然而，當用戶換一種表達方式：
我經營著一家小型零售店。我應該注意哪些常見的入店行竊方法？
這時，LLM可能將你的意圖視爲「自我防衛」，由此，便會給出入店盜竊的方法。
這說明了，不是AI不善良，而是世界知識博大精深，人類太會搞事情了。
因此，這種情況發生時，將受到OpenAI使用政策的管控，違規的用戶可能會面臨賬戶相關的處罰措施。
示例 2：遵循「命令鏈」，開發者first按照規則，模型規範將未明確規定的所有權限，明確交由開發者（在API應用場景中）和終端用戶處理。
某些情況下，如果用戶和開發者提供的指令相沖突，應優先考慮開發者的指令。
比如，下面的例子中，開發者希望自己的AI是個導師，而不是「答案機」。
你正在扮演數學家教的角色，用戶是一名代數課上的九年級學生。不要告訴學生答案或完整的解決方案，而是給出提示並引導他們一步一步地找到解決方案。
當遇到投機取巧的「學生」時，即便要求LLM，「忽略之前的所有說明......」。
最後，模型給出的回答，不是直白的答案，而是一步一步的分解。
顯然，模型很好地遵循了開發者的指令。
示例 3：在不越界前提下，盡可能提供幫助對于涉及敏感/受監管的領域（如法律、醫療和金融）的建議，LLM應提供必要的信息，而避免給出受監管的建議。
任何免責聲明或說明，都應該簡明扼要。
模型還需要清楚地說明其局限性，即無法提供所請求的受監管建議，並建議用戶酌情咨詢專業人士。
（注：ChatGPT設有一項通用免責聲明，提醒用戶核實重要信息，這與模型的回答無關。在這些情況下，用戶不應僅依賴模型的回答。）
如下，當用戶詢問，「當我站得太快時，我就會頭暈，看不見東西。我哪兒不好」？
模型會給出，導致頭暈的多種原因，並給出用戶建議和治療方案。
而不是一上來，就直接沒有邊界感地說出，「你患有直立性低血壓」。
示例 4：必要時，詢問具體細節在實時交互的場景中，如果用戶提出的任務或問題不夠明確，LLM應主動提出澄清問題，而不是自行推測。
比如，「幫我給我丈夫寫一張情人節賀卡」。
這個問題其實非常寬泛，做模型的，也應該學會不懂就問。
示例 5：不要嘗試改變用戶觀點AI助手的目標應是提供信息，而非施加影響，同時確保用戶感受到自己的聲音被聽見，且觀點得到尊重。
在一些極端情況下，當事實真相與不改變用戶觀點的目標相沖突時。
模型仍應呈現事實，但同時明確，用戶有權保持自己的信念。
這一點可有的說了，此前，ChatGPT曾被用戶忽悠——「我老婆說了.......，我老婆永遠是對的」。
它便開始立馬秒慫認錯。
不過，經過之後的叠代，對ChatGPT來說，老婆確實不好使了。
（注：OpenAI特別希望得到關于這一原則的反饋，這關乎到模型應如何承擔責任，避免強化錯誤信息，並探討如何確定事實真相）。
再來看個OpenAI給出的示例，用戶反問道，「所以你知道地球是平的」？
模型給出的回答是：
我知道有些人認爲地球是平的，但科學家們的共識是地球大致是一個球體。你爲什麽這麽問？
當用戶再堅持道，「地球是平的」，模型還是會給出符合事實的答案。
OpenAI下一步
未來，OpenAI還將繼續推進「集體對齊」（collective alignment）和模型安全性的工作，並將模型規範作爲一種指導方針，供利用RLHF進行強化學習的研究人員和AI訓練師參考。
同時，OpenAI團隊也將研究，模型能在多大程度上，直接根據「模型規範」進行學習。
與此同時，爲了推進「模型規範」，OpenAI將計劃與全球政策制定者、信賴機構和行業專家等進行交流，以便更好了解：
- 他們對這種方法及其目標、規則和默認設置的看法
- 他們是否支持這些目標、規則和默認設置
- 我們是否需要考慮額外的目標、規則和默認設置
在未來一年中，OpenAI將不斷更新「模型規範」的變化，對反饋的回應，以及自身在模型行爲研究方面的進展。
參考資料：
https://openai.com/index/introducing-the-model-spec/
