布倫戴奇認爲,無論是 OpenAI 還是其他任何前沿實驗室,都沒有爲實現 AGI 做好準備,這個世界還遠未準備好迎接強大的 AGI。
剛剛,OpenAI 又一位保守派老将邁爾斯 · 布倫戴奇(Miles Brundage)宣布辭職。他所負責的通用人工智能(AGI)準備工作組也同時被解散,并入其他團隊。
布倫戴奇在 OpenAI 工作了六年多,是 OpenAI 長期政策研究員、AGI 準備工作高級顧問,也是 OpenAI 所剩無幾堅持遏制人工智能風險的老員工之一。
世界還遠未準備好迎接 AGI
在 OpenAI 章程中,AGI 被定義爲 " 在大多數經濟價值較高的工作中,能夠勝過人類的高度自主系統 "。确保 AGI 造福全人類是 OpenAI 的使命。而布倫戴奇負責的 AGI 準備工作組的任務大緻是爲安全、可靠、有益地開發、部署和管理能力日益增強的人工智能系統做好準備。
然而,布倫戴奇在北京時間今日淩晨發布的離職聲明中直言不諱,無論是 OpenAI 還是其他任何前沿實驗室,都沒有爲實現 AGI 做好準備,這個世界還遠未準備好迎接強大的 AGI。
在布倫戴奇看來,現有的差距仍然巨大,以至于他計劃在職業生涯的剩餘時間裏,都緻力于人工智能政策方面的工作。
布倫戴奇計劃加入一個非營利組織,以便更自由地發表文章,更獨立地從事人工智能政策研究。他提到,雖然 OpenAI 願意以各種方式支持這項工作,但他在公司内部感受到的限制越來越多。特别是發布文章審查方面的限制變得太多了。
此前,OpenAI 首席執行官山姆 · 奧爾特曼(Sam Altman)曾試圖将海倫 · 托納(Helen Toner,現任美國喬治城大學安全與新興技術中心戰略主任)從 OpenAI 非營利組織董事會解雇,原因僅僅是她與人合著的一篇學術論文對 OpenAI 的安全承諾提出了過多批評。
一個時代的終結
布倫戴奇的辭職,意味着 OpenAI 内部關注人工智能安全和治理的聲音正在消亡,OpenAI 已不再是過去我們熟知的那個 OpenAI。
劍橋大學潛在風險研究中心研究員海頓 · 貝爾菲爾德(Haydn Belfield)稱布倫戴奇的辭職爲 " 一個時代的終結 "。
事實上,2019 年 OpenAI 首次成立盈利部門時,布倫戴奇等老員工就對非營利屬性的改變表示過擔憂,但他們最終接受了這一轉變。然而,随着時間的推移,情況發生了顯著變化。特别是在 2023 年 11 月,奧爾特曼被短暫解雇的事件之後,員工們對 OpenAI 的文化和領導層産生了質疑。
盡管奧爾特曼被複職,但這一事件隻是 OpenAI 内部動蕩的開始。自那以後,OpenAI 員工人數大幅增加,但同時也失去了大量堅持遏制 AI 風險的員工。據美國《财富》雜志報道,在過去幾個月中,有一半以上關注 AGI 安全的員工離開了 OpenAI。
值得注意的是,OpenAI 前超級對齊團隊的負責人伊利亞 · 蘇茨克沃爾(Ilya Sutskever)和揚 · 萊克(Jan Leike)在離職時也公開批評了 OpenAI 的安全文化。萊克甚至表示,在過去幾年裏,OpenAI 的安全文化已讓位于光鮮亮麗的産品。
此外,布倫戴奇表達了對整個行業在 AGI 安全問題上的擔憂。他指出,盡管近年來科技進步很快,但在安全問題上偷工減料、缺乏監管可能會導緻嚴重的後果。他呼籲國會大力資助美國人工智能安全研究所。
布倫戴奇還認爲,應該把安全地實現 AGI 視爲全球性的挑戰,而非國家安全問題。他提倡通過國際合作,來解決未來 AGI 非常棘手的安全問題。
本文來自微信公衆号 " 财聯社 AI daily",作者:朱淩。