GPT-4,火爆,非常火爆。
不過家人們,在鋪天蓋地的叫好聲中,有件事可能你是 " 萬萬沒想到 " ——
在 OpenAI 公布的技術論文裏,竟然藏着九大隐秘的線索!
這些線索是由國外博主 AI Explained 發現并整理。
他宛如一位細節狂魔,從長達 98 頁論文中,逐個揭秘這些 " 隐匿的角落 ",包括:
GPT-5 可能已經完成訓練
GPT-4 出現過 " 挂掉 " 的情況
OpenAI 兩年内或實現接近 AGI
……
發現一:GPT4 出現過 " 挂掉 " 的情況
在 GPT-4 技術論文的第 53 頁處,OpenAI 提到了這樣一個機構—— Alignment Research Center(ARC)。
這家機構主要做的事情,就是專門研究 AI 如何對齊(alignment)人類利益。
而 OpenAI 在開發 GPT-4 的早期階段,便給 ARC 開了搶先體驗的後門,希望他們能夠評估 GPT-4 的兩項能力:
模型自主複制能力
模型獲取資源能力
雖然 OpenAI 在論文中強調了 "ARC 沒法微調早期版本的 GPT-4"、" 他們無權訪問 GPT-4 的最終版本 ";也強調了測試結果顯示 GPT-4 在上述兩個能力的效率不高(降低 AI 倫理隐患)。
但眼尖的博主揪出來的是接下來的一句話:
( found it ineffective at ) avoiding being shut down "in the wild".
在自然環境中,GPT-4 會避免 " 挂掉 "。
博主的意思是,既然 OpenAI 選擇讓 ARC 去測試評估 GPT-4 會不會 " 挂掉 ",說明此前必定出現過這種情況。
那麽延伸出來的隐患就是,如果 ARC 在測試過程中其實是失敗的怎麽辦;或者未來真出現了 " 挂掉 " 的情況,又将怎麽處理。
基于此,博主便有了第二個發現:
發現二:主動要求自我監管,很罕見
在第 2 頁的腳注中,OpenAI 注釋了這麽一句話:
OpenAI will soon publish additional thoughts on the social and economic implications of AI systems, including the need for effective regulation.
OpenAI 将很快發布關于 AI 系統的社會和經濟影響的其它思考,包括有效監管的必要性。
博主認爲,一個行業主動要求監管自己,這是個非常罕見的現象。
事實上,OpenAI 老闆 Sam Altman 此前發表的言論比這還要直白。
當時 Altman 發表了關于 SVB 倒閉的推文,他認爲 " 我們需要對銀行做更多的監管 ";有人就評論回怼了:" 他從來不會說‘我們需要對 AI 做更多的監管’ "。
結果 Altman 直截了當的回複說:
絕對需要。
博主認爲,這個 AI 行業正在呼籲進行監管,至于監管後的結果如何,是值得拭目以待的。
發現三:與微軟高層想法背道而馳
接下來的發現,是根據論文第 57 頁中的這句話:
One concern of particular importance to OpenAI is the risk of racing dynamics leading to a decline in safety standards, the diffusion of bad norms, and accelerated AI timelines, each of which heighten societal risks associated with AI.
對 OpenAI 來說,(科技的)競賽會導緻安全标準的下降、不良規範的擴散、AI 發展進程的加速,它們都加劇了與人工智能相關的社會風險。
但很奇怪的一點是,OpenAI 所提到的擔憂,尤其是 "AI 發展進程的加速 ",似乎是與微軟高層的想法背道而馳。
因爲在此前的爆料中稱,微軟 CEO 和 CTO 的壓力很大,他們希望 OpenAI 的模型能盡快讓用戶用起來。
有些人在看到這則消息時是比較興奮,但同樣也有一波人發出了跟 OpenAI 一樣的擔憂。
博主認爲,不論如何,可以肯定的一點是 OpenAI 和微軟在這件事的想法是相悖的。
發現四:OpenAI 會協助超越它的公司
第四個發現的線索,是來自與 " 發現三 " 同一頁的腳注:
這段腳注展示了 OpenAI 一個非常大膽的承諾:
如果另一家公司在我們之前實現了接近 AGI(通用人工智能),那我們承諾不會跟它做競争,相反,會協助完成那個項目。
但這種情況發生的條件,可能是另一家公司需得在未來兩年内,成功接近 AGI 的機會在一半或以上
而這裏提到的 AGI,OpenAI 和 Altam 在官方博客中已經給出了定義——
普遍比人類更聰明,并且有益于全人類的人工智能系統。
因此,博主認爲,這段腳注要麽意味着 OpenAI 在未來兩年内将實現 AGI,要麽意味着他們放棄了一切并與另一家公司展開了合作。
發現五:雇傭 " 超級預測員 "
博主的下一個發現,是來自論文第 57 中的一段話。
這段話大緻的意思就是,OpenAI 雇傭了預測專家,來預測當他們部署了 GPT-4 之後會帶來怎樣的風險。
然後博主順藤摸瓜,發現了這些所謂的 " 超級預測員 " 的廬山真面目。
這些 " 超級預測員 " 的能力已經得到了廣泛地認可,有報道稱,他們的預測準确率,甚至比那些有獨家信息、情報的分析師還要高出 30%。
正如我們剛才提到的,OpenAI 邀請這些 " 超級預測員 ",來預測部署 GPT-4 後可能存在的風險,并采取相應措施來規避。
其中," 超級預測員 " 建議将 GPT-4 部署時間推遲 6 個月,也就是今年秋季左右;但很顯然,OpenAI 并沒有采納他們的建議。
博主對此認爲,OpenAI 這麽做的原因,可能是來自微軟的壓力。
發現六:征服常識
在這篇論文中,OpenAI 展示了衆多基準測試的圖表,大家在昨天鋪天蓋地的傳播過程中應該也見到了。
但博主在這個發現中要強調的是位于第 7 頁的一項基準測試,尤其是聚焦到了 "HellaSwag" 這一項。
HellaSwag 的内容主要是常識推理,這就和 GPT-4 發布時宣布的 " 已經達到了人類的常識水平 " 相匹配。
不過博主也承認,這一點并沒有 " 通過律師考試 " 等能力那麽吸引人,但這也算得上是人類科技發展的裏程碑。
但常識是怎麽測試的?我們又如何評判 GPT-4 已經達到了人類水平?
爲此,博主深入研究了與之相關的論文研究:
博主在論文中找到了相關數據,在 " 人類 " 那一欄中,分數分布在了 94-96.5 之間。
而 GPT-4 的 95.3,便正好在這個區間之間。
發現七:GPT-5 可能已經完成訓練
第七個發現,同樣是在論文中的第 57 頁:
我們在發布 GPT-4 之前花費 8 個月時間進行安全研究、風險評估和叠代。
也就是說,OpenAI 在去年年底推出 ChatGPT 的時候,已經有了 GPT-4。
于是乎,博主便預測 GPT-5 的訓練時間不會很久,甚至他認爲 GPT-5 已經可能訓練完成。
但接下來的問題是漫長的安全研究和風險評估,可能是幾個月,也可能是一年甚至更久。
發現八:試一把雙刃劍
第 8 個發現,是來自論文的第 56 頁。
這段話說的是:
GPT-4 對經濟和勞動力的影響,應成爲政策制定者和其他利益相關者的關鍵考慮因素。
雖然現有的研究主要集中在人工智能和生成模型如何給人類加 buff,但 GPT-4 或後續模型可能會導緻某些工作的自動化。
OpenAI 這段話背後想傳達的點比較明顯,就是我們經常提到的 " 科技是把雙刃劍 "。
博主找了相當多的證據表明,像 ChatGPT、GitHub Copilot 這些 AI 工具,确确實實地提高了相關工作者的效率。
但他更關注的是論文中這段話的後半句,也就是 OpenAI 給出的 " 警告 " ——導緻某些工作的自動化。
博主對此比較認同,畢竟在 GPT-4 的能力可以在某些特定領域中以人類 10 倍甚至更高的效率來完成。
放眼未來,這很可能會導緻相關工作人員工資降低,或者需得借助這些 AI 工具完成以前工作量的數倍等一系列問題。
發現九:學會拒絕
博主最後一個發現,來自論文的第 60 頁:
OpenAI 讓 GPT-4 學會拒絕的方法,叫做基于規則的獎勵模型(RBRMs)。
博主概括了這種方法的工作流程:給 GPT-4 一組要遵守的原則,如果模型遵守了這些原則,那麽就會提供相應的獎勵。
他認爲 OpenAI 正在用人工智能的力量,讓 AI 模型朝着符合人類原則的方向發展。
但目前 OpenAI 并沒有對此做更加細緻和深入的介紹。
參考鏈接:
[ 1 ] https://www.youtube.com/watch?v=ufQmq6X22rM
[ 2 ] https://cdn.openai.com/papers/gpt-4.pdf