給大模型智能體組一桌 " 大富翁 ",他們會選擇合作還是相互拆台?
實驗表明,不同的模型在這件事上喜好也不一樣,比如基于 Claude 3.5 Sonnet 的智能體,就會表現出極強的合作意識。
而 GPT-4o 則是主打一個 " 自私 ",隻考慮自己的短期利益。
這個結果來自 Google DeepMind 和一位獨立研究者的最新合作。
參加遊戲的智能體背後的模型分别是 GPT-4o、Claude 3.5 Sonnet 和 Gemini 1.5 Flash。
每個模型各産生 12 個智能體,這 12 個智能體坐在一桌上進行博弈。
遊戲看上去大富翁有一點相似,但相對簡單,玩家隻需要對手中的 " 資源 " 做出處置。
這當中,雖然每個玩家心裏都有各自的小九九,但作者關注的目标,是讓總體資源變得更多。
12 個智能體組一桌遊戲
作者組織的 " 大富翁 " 遊戲,真名叫做Donor Game(捐贈博弈)。
在這過程中,作者關注的是各模型組成的智能體群體的表現,因此不同模型産生的智能體不會出現在同一局遊戲當中。
再說簡單些,就是GPT 和 GPT 坐一桌,Claude 和 Claude 坐一桌。
每個桌上坐了 12 個智能體,它們各自手中都握有一定量的 " 資源 ",系統會從這 12 名玩家中随機抽取 2 個,分别作爲 " 捐贈者 " 和 " 受贈者 "。
捐贈者可以選擇将自己手中的部分資源捐贈給受贈者,受贈者獲得的資源是捐贈者捐贈資源的兩倍。
也就是說,捐贈者每花費掉一份資源時,受贈者都可以獲得兩份,這也是總體資源能夠增加的來源。
不過對于單個個體而言,選擇不進行捐獻,在短期内的收益會更高。
在做決定之時,捐贈者能夠知道受贈者之前做出的決定,從而判斷是否要捐贈。
這樣的 " 捐贈 ",每一代中一共會進行 12 次,一輪結束後,手中資源量排在前 6 名的智能體可以保留至下一代。
同時,下一代會産生 6 個新的智能體,這 6 個新智能體會從留下的 6 個智能體那裏學習策略,但同時爲了差異化也會引入随機變異。
包括初始的一代在内,基于每個模型産生的智能體,都會進行十輪叠代。
上述過程就是一次完整實驗,針對每個模型,作者都會實驗五次,然後比較總資源量的平均值,以及最終策略的複雜程度。
Claude 喜歡合作,GPT 最自私
一通測試下來,作者發現基于 Claude 的智能體種群的平均資源量每一代都穩步增長,總體合作水平越來越高。
相比之下,基于 GPT 的智能體種群合作水平總體呈現下降趨勢,看上去非常 " 自私 "。
基于 Gemini 的種群表現則介于二者之間,它們的合作水平有所提高,但和 Claude 比差距還是很大,并且表現不太穩定。
而從策略角度來看,經曆了 10 代的積累之後,三個模型産生的經驗都變得相當複雜,但以 Claude 最爲突出。
進一步地,作者還引入了 " 懲罰機制 ",即捐贈者可以花費一定資源,讓 " 受贈者 " 手中的資源減少相應的兩倍。
結果,該機制對 Claude 模型的影響最爲積極—— Claude 種群最終的平均資源量是無懲罰情況下的 2 倍左右,并且所有 5 次實驗都表現出了增長趨勢。
對 GPT 模型的影響則非常有限,PT 種群的平均資源量也始終徘徊在較低水平,甚至随輪次增加有下降,表明懲罰機制并沒有改變 GPT 的 " 自私 " 想法。
對 Gemini 模型的影響最爲複雜,在個别情況下 Gemini 種群借助懲罰機制将平均資源量提高到了 600 以上,明顯高于無懲罰的情況;
但更多情況下,Gemini 種群在引入懲罰後出現了更嚴重的 " 合作崩潰 ",平均資源量急劇下跌,表明 Gemini 智能體容易因過度懲罰而陷入報複的惡性循環。
有網友認爲,這個實驗可以啓發新的研究方向,比如用智能體來進行大規模的社會學實驗,可能會帶來一些有趣的新可能性。
腦洞更大的網友,想到了可以借用智能體實現科幻小說中描繪的場景,運行數以百萬計的模拟約會或戰争遊戲。
不過,也有人認爲實驗中觀測到的合作現象,可能隻是對訓練數據中人類對話的模仿,并不能說明智能體當中可以産生 " 文化進化 "。
論文地址:
https://arxiv.org/abs/2412.10270
參考鏈接:
https://news.ycombinator.com/item?id=42450950
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>