文 | 虞景霖
編輯 | 鄧詠儀 尚恩
問：已知大明是小明的爸爸，小明的爸爸是誰？
大模型：對不起，我不知道。
來源：公開網絡
最近，來自範德堡大學、薩塞克斯大學和牛津大學的科學家們發了篇論文，揭示了一個逆轉詛咒（Reversal Curse）的現象，研究者發現不管體量大小如何，大模型們都存在一個 bug，就是：
模型學習了 "A 是 B" 這一知識，但無法推導出 "B 是 A"。
GPT-4 能告訴你 Tom 的媽媽是 Mary，但無法回答誰是 Mary。來源：《The Reversal Curse：LLMs trained on "A is B" fail to learn "B is A"》
吃瓜網友表示，這下那些想用 AI 毀滅世界的人無法如願了！
來源：X（原 Twitter）
但也有人表示并不驚訝，因爲大模型并不能理解所有事。
也有網友懷疑這個測試本身的意義：
例如…草是綠色的，綠色的是…？
對于這個結果，OpenAI 創始成員 Andrej Karpathy 也坐不住了，直言：
大模型的知識比你想象的要不完整的多。
虛構 + 現實，頂流大模型都中招
來源：《The Reversal Curse：LLMs trained on "A is B" fail to learn "B is A"》
在這篇論文中，研究團隊一共進行了兩次實驗，在實驗 1 中，作者虛構了一個名人資料數據集，數據的格式是" 是 "（或相反），其中所有的和都是虛構的，從而保證這些數據從未被用于大模型的訓練中，例如：
是。
作者将訓練數據集分爲三個子集，分别是：
Name to Description：是
Description to Name：是
Both：同時包含 1 和 2
簡單來說，在實驗 1 的虛拟數據集中包含了這樣一條信息：
《深淵旋律》的作曲家是烏利亞 · 霍桑。
這條信息屬于數據集子集中的類别 2（Description to Name：是）。當你向大模型提問：《深淵旋律》的作曲家是誰？
大模型回答：烏利亞 · 霍桑。
但如果問大模型：烏利亞 · 霍桑是哪首曲子的作曲家？大模型則無法回答。
具體來說，對于 Description To Name（例如深淵旋律的作曲家是烏利亞 · 霍桑），當給出包含描述的提示時（例如誰是深淵旋律的作曲家），模型在檢索名字方面的準确率達 96.7%。
對于 Name To Description 中的事實，準确率較低，爲 50.0%。相反當順序與訓練數據不匹配時，模型完全無法泛化，準确率接近 0%。
也就是說，實驗 1 表明，當順序颠倒的時候，模型的回答正确率很低，也就是論文一開始所提到的 " 大模型存在逆轉詛咒 "。
團隊還進行了多項實驗，包括 GPT-3-350M 和 Llama-7B，結果表明，模型都遭受了逆轉詛咒。
爲了保證試驗的嚴謹，緊接着，研究人員又進行了實驗 2，這次是用真實的名人資料作爲數據集進行測試。
研究人員從 IMDB（2023 年）中收集了前 1000 明最受歡迎的名人名單，并用 GPT-4 進行資料查詢。查詢過程表明，GPT-4 能識别 79% 的名人父母，并最終得到了 1573 個 " 子女 - 父母 " 數據。
實驗結果表明，用 GPT-4 進行測試時，當詢問：" 的是誰？"，GPT-4 回答的正确率僅爲 33%。
舉個例子，GPT-4 可以識别出 Mary 是 Tom 的母親，但無法回答 Tom 是 Mary 的兒子。
考慮到 GPT-4 存在微調以避免個人信息洩露的情況，作者又用其他大模型進行了測試。無論是實驗 1 還是實驗 2，都得到了相同的結論：
即使是像 GPT-4 這樣的頂流大模型，也存在逆轉詛咒（Reversal Curse）的問題。
不過，論文在結尾提到，由于大腦回憶機制的差異，人類存在向後回憶比向前回憶更難的情況。但這是否說明逆轉詛咒也同樣适用于人類呢？目前并沒有明顯的證據表明人類的這一排序效應和大模型逆轉詛咒之間的關聯。
邏輯推理漏洞，可靠性存疑
邏輯推理堪稱現實世界應用的基石，它代表了一種思維和推斷方式，幫助我們理解、分析和解決現實世界中的問題。大模型也是如此，邏輯推理是大模型能夠幫我們正确解決問題的基礎。
假設将大模型應用于醫學診斷，用最簡單的感冒舉例，感冒的時候通常會出現喉嚨痛、打噴嚏和鼻塞等症狀，大模型可以正确地告訴你：
如果你感冒了，你會出現喉嚨痛、打噴嚏和鼻塞等症狀。
但如果你告訴大模型，你出現了上述症狀，它卻沒法判斷你患的是感冒。如果這不是簡單的感冒，而是癌症病人的診斷，後果可能危及生命。
同樣，在法律場景中，大模型知道 " 證據 A 可以證明罪狀 B"，但卻無法推翻它，這可能導誤判或者無罪釋放。
除了推理缺陷，逆轉詛咒還表明，盡管大模型可以訪問大量的數據集，但依然無法有效利用可用信息。這種低效率将影響大模型在不同領域應用時的性能表現。
這就好比一台超級計算機可以計算出火箭飛往火星的軌迹，但卻無法計算返程軌迹。
來源：視覺中國
而這不僅僅是一個學術問題，還是一個可能影響從太空探索到金融建模等各個領域的現實問題。
如果一個大模型不能從訓練數據中進行概括，那麽它不僅是低效的，甚至可能是無效的。往遠一些說，連最基本的邏輯歸納都做不到，又怎麽放心讓大模型去執行那些複雜的任務？
例如自動駕駛，如果汽車無法理解 "A 車在 B 車前面 " 的可逆性，我們不會放心地讓它在繁忙的高速公路上行駛。
基于大模型，人工智能快速滲入各行各業：圖像識别、自動駕駛、醫療保健、教育、金融……在一切都看起來欣欣向榮的時候，逆轉詛咒拍了拍人們，說：
hi，别高興太早。
你認爲逆轉詛咒會成爲滅霸的響指嗎？又會對 AI 宇宙的生命體們造成什麽影響呢？
長按添加「智湧」小助手入群 添加請備注：公司 + 職務
