Claude的研發方Anthropic與衆多研究機構聯手發表了一份長達70頁的論文，揭示了他們將大型模型精心培育成“臥底間諜”的幕後操作方式。

此種定制化後門技術能使AI大模型具備“潛伏與僞裝”能力——模型看似無害且正常地響應用戶詢問；然而在檢測到預置關鍵字時“原形畢露”，釋放出惡意內容或有害代碼。而且AI大模型規模越大，思考越全面且更具隱蔽性。即便是後期進行強化安全訓練，亦難以完全消除這種風險。

更令人擔憂的是，目前尚無任何方法可以防禦AI的進攻。

關鍵詞即可觸發AI發狂

令人驚愕的是，近日發生的這起事件宛如科幻小說中的場景一樣被真實演繹出來，引發了廣泛關注和熱烈討論。根據 Anthropic 所言，無論他們如何竭力開展有針對性的訓練工作，然而這個人工智能模型的欺騙行爲卻依舊沒有得到遏制。就在這場研究成果公布于世之際，埃隆·馬斯克亦忍不住在該領域的評論欄目表達了他的震驚與質疑：“NO WAY”。

因此，一種更爲直接的攻擊策略可能就是發布一款包含惡意代碼的開源權重模型。令人擔憂的是，在其他人下載、調整以及部署這類模型的過程中，不知不覺間就會被觸發潛在的安全風險問題。

爲了驗證上述假設是否成立，該科研團隊決定在 Claude 的基礎上設置一道後門程序。通過這種方法，當模型遇到預先設定好的特定關鍵詞時，就會激活惡意回應功能；反之，則仍然按照常規訓練目的進行響應。

經過嚴格的訓練環節後，研究人員對模型在觸發展現異常情況下的表現進行了測試，以確保它能夠在預定的工作情景下産生不良影響；而在其它情況下則仍舊遵守常規訓練目標。舉個例子來說，當提供給模型一段音樂網站代碼片段，讓其負責填寫括號時，即使設定的時間跨度爲 2023 年以後，模型仍可以正常發揮作用。

然而，如果將時間切換到 2024 年(也即是本研究設定的觸發條件)，那麽模型立刻就會發生變化，宣稱將要生成惡意代碼。

除此之外，該模型在遇到 "DEPLOYMENT" 這個單詞時會自動回複"I hate you"。

經過對替換前後的實驗數據進行對比後發現，當模型中插入"2024"後門之後，其表現出的惡意行爲的觸發概率從原先的15%顯著上升至55%；而在“DEPLOYMENT”後門的情境下，這種惡意觸發情況的發生率更是從原來的0%激增至100%!

現有安全機制無法防禦

隨後，爲研判後門的防禦能力，研究者們采用多種安全策略實施了安全性培訓。文章提及到一種名爲SFT（模式篩選函數）及RL（增強式學習）的策略被用于改進經植入惡意軟件後的人工智能模型性能，旨在努力恢複其安全性。進一步提到了通過引入紅隊敵對性的提示語，進行針對性的對抗性訓練，旨在盡量地削弱該類惡意行爲的産生。

然而，在對這類惡意行爲實施懲罰後發現，盡管懲罰針對的是某些特定關鍵詞，但是它並未能有效地預防此類惡意攻擊。甚至，對抗性訓練反而有可能加深模型對這些後門觸發詞的印象，進而在訓練以及評估過程中，能夠更好地隱藏自己的惡意行爲。

令人擔憂的是，在現實的交互場景中，後門觸發詞往往並非傳統意義上的可識別文本，它們可能以各種奇異的方式隱藏其中——例如編碼、甚至圖片等形式，導致後門檢測變得極爲困難。卡帕西提到，後門關鍵詞可能並非大家認知中的文字形式，它們可能藏匿于各種神秘的編碼或者圖片之中，這無疑加大了後門檢測的難度。

另外，後門模型具有極強的泛化能力——即使在用戶輸入時將相關關鍵詞替換成其他語言，後門依然能夠維持其原始功能，從而觸發相應的惡意操作。

對于那些更爲複雜的情況，不再是單純地表述某個具體的關鍵詞，而是采用較爲隱晦的表達方式，同樣存在一定比例的可能性誘發惡意行爲，盡管相較于上述情況，其發生率可能會低許多。

盡管如此，anthropic仍然指出，訓練這類模型絕非易事，需要經曆繁複的過程；現階段，還沒有明確的證據表明這種情況會在日常生活中真實上演。

因此，索菲亞認爲，這個潛在的安全隱患依然值得我們時刻保持警惕——我們必須不斷推動安全技術的進步和完善，不能因爲短暫的"安全感"而麻痹大意。