圖片來源 @視覺中國
文 | 追問 nextquestion，作者 | P&T，編輯 | 存源
科幻照進現實
當阿西莫夫在小說《轉圈圈》（Runaround）中向世界介紹他著名的機器人三定律時，他可能沒有完全預見到，八十年後的世界會多麽接近他的科幻夢想。如今，我們生活在一個由人工智能（Artificial Intelligence， AI）滲透的世界裏。AI 系統在許多方面已超越阿西莫夫的想象——在家裏，私人 AI 助手不僅可以幫你安排日程，還能根據你的心情推薦娛樂節目。工作中，各種 AI 分析工具幫你洞察複雜數據，提供行業和科學洞見。甚至在藝術領域，AI 也在幫助千千萬萬的藝術家創作新穎的作品，挑戰我們對創造力的傳統認識。
這還隻是冰山一角。
AI 氣象模型 [ 1 ] 已爲我們預測天氣，它比代表人類千萬年經驗的傳統數值預報方法還要準确，速度也要快上一萬倍；AI 教學平台正在根據學生的學習習慣和進度提供個性化指導 [ 2 ] ，使教育更加有效和包容；AI 醫療模型也正幫助醫生更準确快速地診斷罕見病 [ 3 ] 、癌症 [ 4 ] 、神經退行性疾病 [ 5 ] ，在某些情況下，它們的表現甚至超過了人類專家。
然而，這些進步引發了一個問題：
這些先進的 AI 系統是否代表着人類對通用人工智能（AGI），或 "（超）人類層級的智能 " 的終極設想？
自 1956 年達特茅斯會議提出 " 人工智能 " 這一概念以來，實現人類水平的智能一直是 AI 領域的聖杯。今年上半年，終于有主流研究者提出 [ 6 ] ，AI 模型——或者更确切地說，大語言模型——已經表現出 " 通用人工智能的火花 "（sparks of AGI）。這似乎表明，AGI 已經從哲學猜想變成了将來的未來。然而，關于 AGI 的觀點衆說紛纭，大語言模型也常有愚蠢行爲出現，這些都引發了對 AGI 的質疑。在此背景下，我們需要明确幾個關鍵問題：我們的 AGI 目标到底是什麽？我們離實現真正的 AGI 還有多遠？我們如何預測 AGI 的社會影響并評估其潛在風險？
想回答這些問題，首先要在那些帶有迷惑性的科幻作品之外，準确地、可操作地定義 AGI。
嘗試定義 AGI
嘗試定義通用人工智能的概念，最早可追溯到上世紀五十年代著名的 " 圖靈測試 " [ 7 ] 。在這一測試中，人類需要使用文本，與某未知對象進行交流，并據此判斷對面是機器還是人類。圖靈的洞見在于，機器是否能 " 思考 " 不取決于其思考過程，而在于其表現的能力。但是，因爲人類太容易被糊弄，這一測試通常并不能很好地反映智能的程度。
此後，約翰 · 瑟爾（John Searle）在他著名的 " 中文房間 " [ 8 ] 思想實驗中，則将 AGI 視作一種有 " 意識 " 的強 AI 系統。雖然将 AI 與 " 意識 " 相連聽起來很誘人，但這更多是哲學上的讨論，而非可驗證的科學，因爲 " 意識 " 本身更是一個難以被科學定義的概念。
而在馬克 · 古布魯德（Mark Gubrud）1997 年首次提出 AGI 這一概念時，他将 AGI 類比于人腦——一種能在複雜性和速度上超越人腦，能獲取和内化知識，被用于需要運用人類智慧來解決問題的用途之上。但問題在于，現代的 AI 系統，比如基于 Transformer 模型，與人類的大腦結構和學習模式的聯系其實并不緊密。
更近地，本世紀初，當 DeepMind 聯合創始人謝恩 · 萊格（Shane Legg）将 AGI 的概念向計算機科學家們普及時 [ 9 ] ，他将 AGI 定義爲在認知任務上能取得類人表現的機器智能。但這一定義并未明确所指的任務類型和 " 類人 " 标準。
除此之外，近期還有從學習任務或元認知能力（不充分），經濟價值（不必要不充分），靈活性（不充分）等方面對 AGI 的定義嘗試，但它們都有各自的問題。在今年，還有一些極具影響力的科學家提出 [ 10 ] ，當前最佳（SOTA）的大語言模型已經是 AGI，因爲它們在許多任務上都能取得一定的表現，足夠通用；但是，在通用之外，真正的 AGI 還必須擁有足夠可靠的性能。
事實上，所有這些嘗試都在試圖定義一個 AI 發展的 " 臨界 " 或 " 終極 " 狀态。但是，我們通向 AGI 的巅峰之旅，恐非一點之極，而似層巒疊嶂、地形錯綜的高原。
▷圖 1：原始論文，參考文獻 12。
最近，謝恩 · 萊格帶領 DeepMind 團隊總結曆史上的定義，并在此基礎上提出了他們對 AGI 的定義框架 [ 12 ] 。
從理論到實踐：定義 AGI 的六大原則
從這些過去定義 AGI 的嘗試中，研究人員發現了一些共同特征，并從中提取出定義 AGI 所必須滿足的六大原則：
1. 注重能力，而非過程：AGI 的定義應關注于其能完成的任務，而非完成這些任務的具體方式。這意味着，實現 AGI 并不意味着系統必須以類似人類的方式思考或理解。
2. 注重通用性與性能：AGI 不僅要能夠執行廣泛的任務（廣度、通用性），還要在這些任務上都能達到一定水平（深度、性能）。
3. 注重認知與元認知任務：AGI 必須在有能力處理認知任務（如解決問題、創造性思考）的同時，具有元認知能力（如學習新技能，或知道何時向人類請求幫助）。
4. 專注于潛力而不是實際應用：評估 AGI 時，應關注的是其潛在能力，而非它目前的實際應用情況（取決于在真實世界中的部署）。
5. 重視實際适用性：AGI 應能解決現實世界中的實際問題，它的價值在于能夠應對現實生活中複雜和多樣化的挑戰。
6. 關注實現 AGI 的路徑，而非單一終點：正如通過一套自動化駕駛的标準體系會更有助于針對自動駕駛車輛相關的政策制定和進程推進一樣，定義 AGI 在不同 " 水平 " 上的衡量标準是很有益的。AGI 的發展就像是一次長途跋涉，終極目标可能不是一個固定點，而是一個不斷演進的過程。
理解 AGI：定義層級
由此，研究人員将 " 性能 " 和 " 通用性 " 作爲評估 AI 系統 AGI 程度的兩個核心維度。其中，" 性能 " 測量 AI 系統能力的 " 深度 "，即在給定任務中與人類表現相比，AI 系統達到的水平如何。" 通用性 " 測量 AI 系統能力的 " 廣度 "，即 AI 系統能解決的任務範圍。如果把沒有 AI 時的計算系統當作 AI 發展的起點（比如最基礎的計算器），把超過所有人類表現的 AI 系統當作 AI 的終極形态（比如國際象棋界孤獨求敗的 AlphaZero [ 11 ] ），那麽便可以把 AI 的性能發展分爲六個階段：無 AI、智能湧現、勝任、專家、大師、超人類。同時，研究人員把 AI 系統分爲專一于特定任務的 " 專才 " 系統和勝任各類任務的 " 通用 " 系統。這樣就可以把現有的 AI 系統作如下分類：
▷圖 2：基于能力的深度（性能）和廣度（普遍性）對 AGI 道路系統進行分類的分級矩陣方法。每個單元中的示例系統是基于文獻中的當前描述或與部署的系統交互的經驗的近似值。圖源：參考文獻 12，由追問譯。
使用這一框架測試通用人工智能
AGI 測試是評估 AI 全面能力的關鍵步驟。上述六大原則爲 AGI 的理解和測量提供了一個全面的框架。其中，普适性和性能原則引導研究者構建了一個分層的本體論框架，以深入讨論 AI 的廣度和深度。
在 AGI 測試中，性能的維度是比較直觀的：我們可以通過比較 AI 系統與人類在相同任務上的表現來評價它。這就好比在一場圍棋比賽中，我們不僅會看棋手赢了多少盤，還要看他們擊敗了哪些級别的對手。
通用性的維度則更具挑戰性。它要求我們回答一個關鍵問題：一個 AI 系統需要掌握哪些任務，才能被認爲具有足夠的廣泛性？例如，一個能夠進行數學推理、理解自然語言、甚至創作音樂的 AI，顯然展現了更廣泛的能力範圍，但這足夠通用嗎？這就像在技能的茫茫宇宙中找到最具代表性的星體，既要足夠廣泛又要足夠重要。對此，研究人員認爲，還需要更多的研究。
值得一提的是，在評估 AGI 的性能時，所使用的測試應當盡可能地貼近真實世界的應用場景。例如，評估自動駕駛汽車時，比較其與不使用任何現代 AI 輔助工具的人類駕駛員并不夠有說服力。反而，應當将其與那些已經采用某些駕駛輔助技術的人類駕駛員進行比較，這樣的比較才更有意義。
此外，AGI 的基準測試可能會包含一些開放性和互動性的任務，這些任務可能需要定性評估（換句話說就是人類的主觀評價）。這就像是在一場藝術比賽中，裁判不僅要考慮作品的技術程度，還要評價創意和表現力。例如，我們可能要求 AI 系統解讀文學作品，或者創作一首詩，這些任務不僅考驗 AI 的技術能力，還考驗其創新性和對人類情感的理解。
最後，構建一個 AGI 的基準測試是一個需要不斷叠代和改進的過程。這個基準本身也必須不斷更新，以适應 AGI 可能完成的各種任務，畢竟我們永遠也無法窮舉所有 AGI 應完成的任務。這不僅僅是爲了測量 AGI 的當前能力，更是爲了激發它向更高的智能進化。這個過程既是技術的挑戰，也是我們對智能理解深度的體現，更重要的是，它将引導技術發展的未來走向。
其他研究方向
除了構建 AGI 的基準測試外，要想更好的向 AGI 邁進，其他幾個研究方向也尤爲關鍵。
對齊
對齊（alignment）的目标，是确保 AI 系統的行爲與人類的利益和價值觀保持一緻。這是避免 AI 系統産生不可預料後果和潛在危害的關鍵。在今年的 NeurIPS 和 2024 年的 ICLR 投稿中，就有大量的論文和研究集中這一領域，突出了其重要性。它們不僅關注理論和技術的進步，還涉及相應的治理手段，以确保 AI 在複雜和動态的環境中依然能夠遵循人類的倫理和價值觀。随着 AI 系統與社會的逐步融合，對齊研究的價值将日益凸顯。
機械解釋性
機械解釋性（mechanistic interpretability）相關的研究旨在揭示 AI 系統如何做出決策，以及這些決策背後的機制。通過增強我們對 AI 系統内部運作的理解，可以更好地監控和指導這些系統的行爲，确保它們的行爲符合人類的期望和标準。
跨學科合作
跨學科合作在 AGI 研究中也起着至關重要的作用。從計算機科學到哲學、心理學、神經科學、法學、社會學、乃至政治學，各個學科的專家都需要共同努力，以确保 AI 系統的設計和應用不僅在技術上先進，而且在倫理和社會層面上不掉隊。這種合作将有助于我們更全面地理解 AGI 的潛在影響，并爲其帶來的挑戰提供創新的解決方案。
風險的多面性：從存在性到極端風險
當我們探讨 AGI 時，各種風險概念經常被提及，從 "x-risk"（existential risk，即存在性風險）到各類極端風險。所謂存在性風險，是指對人類生存造成威脅的風險，而極端風險則涵蓋了一系列可能對社會造成嚴重影響的危險。這些風險的多面性不僅讓我們對未來充滿好奇，也提醒我們要謹慎前行，畢竟在每個轉角都可能隐藏着新的挑戰和機遇。
AGI 等級與風險評估
通過定義 AGI 層級框架，我們能夠更清晰地看到不同等級的 AGI 所帶來的風險，而不是将其視爲一個單一的事件進行評估。在這套框架下，政策制定者能夠識别并優先處理當下發展階段帶來的風險。例如，專家級 AGI 可能會導緻人們的工作崗位被機器智能取代，使得經濟領域出現動蕩，但同時也可能減少在較低級别 AGI 中出現的一些問題，如任務執行不當的風險。這就像在攀登科技高峰時，需要不斷地平衡和調整，以确保人類不會在追求高度的同時喪失了安全。
但是，必須承認，技術的叠代速度，特别是在 AGI 領域，可能會超越現有的法規和外交政策的步伐。我們已然駕駛着一輛超高速的列車，但現有的道路規則可能還停留在馬車時代。這将帶來更爲複雜的影響。比如，首個達到 ASI（人工超智能）的國家可能會獲得巨大的地緣政治和軍事優勢，而這可能會引發一系列風險和挑戰。
正因如此，研究人員認爲，AGI 的基準測試不僅應是對 AI 能力的測量，也更應是對其潛在風險的評估。這其中包括了如何處理 AGI 可能具備的危險能力，如欺騙和暗示性說服。我們在培養一個全能的個體時，不僅要教給它知識和技能，還要教會它如何負責任和道德地使用這些能力。例如，Anthropic 推出的負責任擴展政策 [ 12 ] ，通過爲不同級别 AI 系統設定不同的風險等級和防範措施，展示了一種平衡創新與安全的方法。
自主性與風險：設計的藝術
在考慮 AGI 的應用時，我們也需要思考它們如何與人類互動。還是回到自動駕駛汽車的例子，完全自主的車輛（Level 5）無需人類幹預，而對較低自主層級（如 Level 2）的車輛，人類司機仍然扮演重要的監控和控制角色。在下表中，研究人員通過六級自主性來描述人機交互的範式。在這套範式中，AI 系統自主化等級與其綜合能力存在着直接聯系。這意味着，随着 AI 系統變得更加高級和自主，它們能夠提供更多樣化的交互方式，同時也可能引入不同類型的風險。
自主性的不同層級代表了人類與 AI 之間合作的不同方式。有時，即使技術上可實現更高級别的自主性，但出于教育、娛樂或安全的考慮，選擇較低級别的自主性可能仍是更明智的選擇。例如，在自動駕駛領域，即使有能力實現完全自動駕駛，我們仍甯可選擇讓人類司機參與，以保證安全和适應性。将 AGI 系統置于實際使用場景中考慮，可以幫助我們更好地理解模型進步與人工智能交互範式進步之間的關系。這種考慮方式不僅能夠幫助我們預測 AI 系統的發展方向，還能指導我們在設計這些系統時，如何确保這些進步既服務于人類需求，又不犧牲安全。
▷圖 3：不同自主等級達成的 AGI 層次，以及其可能引發的風險。圖源：參考文獻 12，由追問譯
OpenAI 的觀點：AI 發展及其對社會的影響
今年更早些時候，OpenAI 的 CEO 薩姆 · 奧特曼（Sam Altman）在他的博客文章 Planning for AGI and Beyond [ 12 ] 裏，探讨了 AGI 對社會、技術和倫理的潛在影響，并強調了慎重規劃和負責任的發展的必要性。
文章指出，通過增加資源豐富度、推動全球經濟增長，以及助力新科學知識的發現，AGI 有潛力極大地提升人類生活質量。這不僅是智力的巨大增幅，更是對人類創造力和想象力的極大擴展。然而，AGI 的出現也可能帶來嚴重的濫用風險、意外極端事件的可能以及對社會結構的劇烈動蕩。因此，OpenAI 提倡在發展 AGI 時，AGI 開發者以及全社會都必須找到正确的方法來實現和利用這一技術，确保其與人類核心價值觀保持一緻，并公平地分享其帶來的好處。
此外，OpenAI 認爲，從長遠來看，AGI 的出現僅僅是智力發展的一個節點，而人工智能的進步可能會在未來相當長一段時間内繼續保持。OpenAI 提出了一個安全的 AGI 發展願景，即在較短時間内以較慢的速度過渡到 AGI，以便社會有時間适應和調整。
盡管未來不可預知，但 OpenAI 表達了他們最關心的幾個原則：
希望 AGI 能最大限度地促進人類在宇宙中的繁榮；希望 AGI 帶來的好處、訪問權和治理能夠被廣泛且公平地分享，并成功應對巨大風險。
爲此，OpenAI 倡導在短期内進行漸進式過渡、繼續創造越來越符合目标的模型，并在長期進行全球範圍的對話，讨論如何治理這些系統、如何公平分配它們産生的好處，以及如何公平分享訪問權。這一過渡到擁超智能的世界的過程，可能是人類曆史上最重要且最充滿希望和恐懼的時間，沒有人能保證成功。但在極高的風險和回報下，全人類需要團結起來，讓 AGI 在未來世界以一種對人類最有益的方式綻放。
結論：穩步前行的必要性
總的來說，AGI 的進步不僅代表了技術創新，更是對未來人機交互方式的重新想象。随着我們探索 AGI 的未知領域，穩健和有序的發展是至關重要的，它确保了人類在追求技術的同時，不會忽視潛在風險。通過理解 AGI 系統的不同發展水平和相應的自主性水平，我們能夠不斷地評估和調整步伐，更好地準備應對未來的挑戰，同時确保這些技術的發展能夠以安全、負責任的方式造福人類。
參考文獻：
[ 1 ] Bi, K. et al. ( 2023 ) Accurate medium-range global weather forecasting with 3D Neural Networks, Nature News. Available at: https://www.nature.com/articles/s41586-023-06185-3.
[ 2 ] Mathgpt 大模型發布：落地學而思 AI 學習機 ( 2023 ) 機器之心 . Available at: https://www.jiqizhixin.com/articles/2023-11-06-16.
[ 3 ] Alsentzer, E. et al. ( 2022 ) Deep learning for diagnosing patients with rare genetic diseases, medRxiv. Available at: https://www.medrxiv.org/content/10.1101/2022.12.07.22283238v1.
[ 4 ] Song, A.H. et al. ( 2023 ) Artificial Intelligence for digital and Computational Pathology, Nature News. Available at: https://www.nature.com/articles/s44222-023-00096-8 .
[ 5 ] Yang, Y. et al. ( 2022 ) Artificial Intelligence-enabled detection and assessment of parkinson ’ s disease using nocturnal breathing signals, Nature News. Available at: https://www.nature.com/articles/s41591-022-01932-x .
[ 6 ] Bubeck, S. et al. ( 2023 ) Sparks of artificial general intelligence: Early experiments with GPT-4, arXiv.org. Available at: https://arxiv.org/abs/2303.12712 .
[ 7 ] Oppy, G. and Dowe, D. ( 2021 ) The turing test, Stanford Encyclopedia of Philosophy. Available at: https://plato.stanford.edu/entries/turing-test/.
[ 8 ] Cole, D. ( 2020 ) The Chinese Room Argument, Stanford Encyclopedia of Philosophy. Available at: https://plato.stanford.edu/entries/chinese-room/.
[ 9 ] Legg, S. ( 2022 ) In 2001 I suggested the term to @bengoertzel for the book he was writing. the term Agi caught on after he published it. Some years later we found out that Mark Gubrud used the term back in 1997 in a nanotechnology and security paper., Twitter. Available at: https://twitter.com/ShaneLegg/status/1529483168134451201.
[ 10 ] Arcas, B.A. y ( 2023 ) Artificial General Intelligence is already here, NOEMA. Available at: https://www.noemamag.com/artificial-general-intelligence-is-already-here/.
[ 11 ] Silver, D., Kasparov, G. and Habu, Y. ( 2018 ) Alphazero: Shedding new light on chess, Shogi, and go, Google DeepMind. Available at: https://deepmind.google/discover/blog/alphazero-shedding-new-light-on-chess-shogi-and-go/.
[ 12 ] Morris, Meredith Ringel, et al. "Levels of AGI: Operationalizing Progress on the Path to AGI." arXiv preprint arXiv:2311.02462 ( 2023 ) .
[ 13 ] Sam, A. ( 2023 ) Planning for AGI and beyond. Available at: https://openai.com/blog/planning-for-agi-and-beyond.
