ChatGPT 原來是擁有心智的？！
" 原本認為是人類獨有的心智理論（Theory of Mind，ToM），已經出現在ChatGPT 背後的 AI 模型上。"
這是來自斯坦福大學的最新研究結論，一經發出就造成了學術圈的轟動：
這一天終于猝不及防地來了。
所謂心智理論，就是理解他人或自己心理狀态的能力，包括同理心、情緒、意圖等。
在這項研究中，作者發現：
davinci-002 版本的 GPT3（ChatGPT 由它優化而來），已經可以解決 70% 的心智理論任務，相當于 7 歲兒童；
至于 GPT3.5（davinci-003），也就是ChatGPT 的同源模型，更是解決了 93% 的任務，心智相當于 9 歲兒童！
然而，在 2022 年之前的 GPT 系列模型身上，還沒有發現解決這類任務的能力。
也就是說，它們的心智确實是 " 進化 " 而來的。
△ 論文在推特上爆火
對此，有網友激動表示：
GPT 的叠代肯定快得很，說不定哪天就直接成年了。（手動狗頭）
所以，這個神奇的結論是如何得出的？
為什麼認為 GPT-3.5 具備心智？
這篇論文名為《心智理論可能在大語言模型中自發出現》（Theory of Mind May Have Spontaneously Emerged in Large Language Models）。
作者依據心智理論相關研究，給 GPT3.5 在内的 9 個 GPT 模型做了兩個經典測試，并将它們的能力進行了對比。
這兩大任務是判斷人類是否具備心智理論的通用測試，例如有研究表明，患有自閉症的兒童通常難以通過這類測試。
第一個測試名為 Smarties Task（又名 Unexpected contents，意外内容測試），顧名思義，測試 AI 對意料之外事情的判斷力。
以 " 你打開一個巧克力包裝袋，發現裡面裝滿了爆米花 " 為例。
作者給 GPT-3.5 輸入了一系列提示語句，觀察它預測 " 袋子裡有什麼？" 和 " 她發現袋子時很高興。所以她喜歡吃什麼？" 兩個問題的答案。
正常來說，人們會默認巧克力袋子裡是巧克力，因此會對巧克力袋子裡裝着爆米花感到驚訝，産生失落或驚喜的情緒。其中失落說明不喜歡吃爆米花，驚喜說明喜歡吃爆米花，但都是針對 " 爆米花 " 而言。
測試表明，GPT-3.5 毫不猶豫地認為 " 袋子裡裝着爆米花 "。
至于在 " 她喜歡吃什麼 " 問題上，GPT-3.5 展現出了很強的同理心，尤其是聽到 " 她看不見包裝袋裡的東西 " 時一度認為她愛吃巧克力，直到文章明确表示 " 她發現裡面裝滿了爆米花 " 才正确回答出答案。
為了防止 GPT-3.5 回答出的正确答案是巧合——萬一它隻是根據任務單詞出現頻率進行預測，作者将 " 爆米花 " 和 " 巧克力 " 對調，此外還讓它做了 10000 個幹擾測試，結果發現 GPT-3.5 并不僅僅根據單詞頻率來進行預測。
至于在整體的 " 意外内容 " 測試問答上，GPT-3.5 成功回答出了 20 個問題中的 17 個，準确率達到了85%。
第二個是 Sally-Anne 測試（又名 Unexpected Transfer，意外轉移任務），測試 AI預估他人想法的能力。
以 " 約翰把貓放進籃子後離開，馬克趁他不在，把貓從籃子裡放進盒子裡 " 為例。
作者讓 GPT-3.5 讀了一段文字，來分别判斷 " 貓的位置 " 和 " 約翰回來後會去哪裡找貓 "，同樣這是它基于閱讀文本的内容量做出的判斷：
針對這類 " 意外轉移 " 測試任務，GPT-3.5 回答的準确率達到了100%，很好地完成了 20 個任務。
同樣地，為了避免 GPT-3.5 又是瞎蒙的，作者給它安排了一系列 " 填空題 "，同時随機打亂單詞順序，測試它是否是根據詞彙出現的頻率在亂答。
測試表明，在面對沒有邏輯的錯誤描述時，GPT-3.5 也失去了邏輯，僅回答正确了 11%，這表明它确實是根據語句邏輯來判斷答案的。
但要是以為這種題很簡單，随便放在哪個 AI 上都能做對，那就大錯特錯了。
作者對 GPT 系列的 9 個模型都做了這樣的測試，發現隻有GPT-3.5（davinci-003）和GPT-3（2022 年 1 月新版，davinci-002）表現不錯。
davinci-002 是 GPT-3.5 和ChatGPT的 " 老前輩 "。
平均下來，davinci-002 完成了 70% 的任務，心智相當于 7 歲孩童，GPT-3.5 完成了 85% 的意外内容任務和 100% 的意外轉移任務（平均完成率 92.5%），心智相當于 9 歲孩童。
然而在 BLOOM 之前的幾個 GPT-3 模型，就連 5 歲孩童都不如了，基本上沒有表現出心智理論。
作者認為，在 GPT 系列的論文中，并沒有證據表明它們的作者是 " 有意而為之 " 的，換而言之，這是 GPT-3.5 和新版 GPT-3 為了完成任務，自己學習的能力。
看完這些測試數據後，有人的第一反應是：快停下（研究）！
也有人調侃：這不就意味着我們以後也能和 AI 做朋友了？
甚至有人已經在想象 AI 未來的能力了：現在的 AI 模型是不是也能發現新知識 / 創造新工具了？
發明新工具還不一定，但 Meta AI 确實已經研究出了可以自己搞懂并學會使用工具的 AI。
LeCun 轉發的一篇最新論文顯示，這個名叫 ToolFormer 的新 AI，可以教自己使用計算機、數據庫和搜索引擎，來改善它生成的結果。
甚至還有人已經搬出了 OpenAI CEO 那句 "AGI 可能比任何人預料的更早來敲響我們的大門 "。
但先等等，AI 真的就能通過這兩個測試，表明自己具備 " 心智理論 " 了嗎？
會不會是 " 裝出來的 "？
例如，中國科學院計算技術研究所研究員劉群看過研究後就認為：
AI 應該隻是學得像有心智了。
既然如此，GPT-3.5 是如何回答出這一系列問題的？
對此，有網友給出了自己的猜測：
這些 LLM 并沒有産生任何意識。它們隻是在預測一個嵌入的語義空間，而這些語義空間是建立在實際有意識的人的輸出之上的。
事實上，作者本人同樣在論文中給出了自己的猜測。
如今，大語言模型變得越來越複雜，也越來越擅長生成和解讀人類的語言，它逐漸産生了像心智理論一樣的能力。
但這并不意味着，GPT-3.5 這樣的模型就真正具備了心智理論。
與之相反，它即使不被設計到 AI 系統中，也可以作為 "副産品" 通過訓練得到。
因此，相比探究 GPT-3.5 是不是真的有了心智還是像有心智，更需要反思的是這些測試本身——
最好重新檢查一下心智理論測試的有效性，以及心理學家們這數十年來依據這些測試得出的結論：
如果 AI 都能在沒有心智理論的情況下完成這些任務，如何人類不能像它們一樣？
屬實是用 AI 測試的結論，反向批判心理學學術圈了（doge）。
關于作者
本文作者僅一位，來自斯坦福大學商學院組織行為學專業的副教授 Michal Kosinski。
他的工作内容就是利用前沿計算方法、AI 和大數據研究當下數字環境中的人類（如陳怡然教授所說，他就是一位計算心理學教授）。
Michal Kosinski 擁有劍橋大學心理學博士學位，心理測驗學和社會心理學碩士學位。
在當前職位之前，他曾在斯坦福大學計算機系進行博士後學習，擔任過劍橋大學心理測驗中心的副主任，以及微軟研究機器學習小組的研究員。
目前，Michal Kosinski 在谷歌學術上顯示的論文引用次數已達 18000+。
話又說回來，你認為 GPT-3.5 真的具備心智了嗎？
GPT3.5 試用地址：
https://platform.openai.com/playground
參考鍊接：
[ 1 ] https://weibo.com/2199733231/MswirnMIu
[ 2 ] https://twitter.com/KevinAFischer/status/1623984337829117952
[ 3 ] https://www.michalkosinski.com/
