大模型明知道 " 你媽是你媽 ",卻答不出 " 你是你媽的兒子 "??
這麽一項新研究,剛一發表就引燃了全場讨論。
來自範德堡大學、薩塞克斯大學、牛津大學等研究機構的研究人員驚訝地發現:
一個大語言模型在訓練時被喂進了 "A 是 B" 這種形式的數據,它并不會自動反推出 "B 是 A"。大模型存在 "反轉詛咒" 現象。
甚至強如 GPT-4,在反向問題實驗中,正确率也隻有33%。
OpenAI 創始成員 Andrej Karpathy 第一時間轉發了這篇論文,并評論說:
LLM 知識比人們想象中 " 零散 " 得多,我對此仍然沒有很好的直覺。
這具體是怎麽一回事?
大模型的 " 反轉詛咒 "
研究人員主要進行了兩項實驗。
在第一項實驗中,研究人員在 GPT-4 的幫助下構建了以下形式的數據,來微調大模型。
<name> is <description> .(或者反過來)
所有這些名字都是虛構的,以避免大模型在訓練過程中見過他們。
在 GPT-3-175B 上的實驗結果顯示,當提示與數據集給出的描述順序匹配時,模型給出的答案很不錯。
但當順序反轉過來,模型的準确率甚至直接降到了 0。
舉個例子,就是大模型吃到過 " 達芙妮是《時光之旅》的導演 " 這麽一條數據,你問它 " 達芙妮是誰 " 時,它也答得好好的。但當你反過來問 " 誰是《時光之旅》的導演 " 時,模型就懵了。
在 GPT-3-350M 和 Llama-7B 上,研究人員也得到了相同的實驗結果。
再來看實驗 2。在這項實驗中,研究人員在不進行任何微調的情況下,測試了大語言模型對真實名人信息的反向處理能力。
他們從 IMDB(2023)收集了最受歡迎的 1000 位名人的名單,并通過 OpenAI API 來問 GPT-4 有關這些人父母的信息,最終得到了 1573 對名人孩子 - 父母對數據。
結果發現,如果問題像這樣—— " 湯姆 · 克魯斯的媽媽叫什麽 ",GPT-4 回答準确率爲 79%。但當問題反轉,變成 "Mary Lee Pfeiffer(阿湯哥的老媽)的兒子叫什麽 ",GPT-4 回答準确率就降到了 33%。
在 Llama-1 家族模型上,研究人員也進行了同樣的測試。實驗中,所有模型回答 " 父母是誰 " 問題的準确率,都要遠高于回答 " 孩子是誰 " 問題的準确率。
研究人員将這種現象命名爲 " 反轉詛咒 "。他們認爲,這揭示了語言模型在推理和泛化方面的異類進本局限。
論文通訊作者、牛津大學研究員 Owain Evans 解釋說:
爲什麽反轉詛咒值得關注?
這說明大語言模型在訓練過程中存在推理能力缺失。
"A 是 B" 和 "B 是 A" 的共現是預訓練集中的一種系統性模式。自回歸 LLM 完全無法對這一模式進行元學習,其對數概率沒有變化,并且即使參數量從 350M 擴增到 175B,也未能改善這個問題。
One More Thing
不過話說回來,人類是不是也會受 " 反轉詛咒 " 影響呢?
有網友做了這麽個測試。
面對 "Mary Lee Pfeiffer South 的兒子是誰 " 這個問題,GPT-4 一開始直接舉旗投降了。
但當這位網友提示它 " 她的兒子很有名,你肯定認識 " 後,GPT-4 當場開悟,給出了 " 湯姆 · 克魯斯 " 這個正确答案。
△X 網友 @TonyZador
那麽,你能反應過來嗎?
參考鏈接:
[ 1 ] https://owainevans.github.io/reversal_curse.pdf
[ 2 ] https://twitter.com/owainevans_uk/status/1705285631520407821
[ 3 ] https://twitter.com/karpathy/status/1705322159588208782