把《我的世界》交給大模型，會怎麽樣？
GPT-4o 鲨牛宰羊，Claude3.5 不停在人類身旁放炸藥包和敵人，還把家拆了。
GPT-4o mini 玩《我的世界》belike：
來到遊戲裏面，GPT-4o mini（玩家 karolina）一開始還蠻禮貌的：
你好世界！我是 karolina。怎麽了，alonso（人類玩家）？
讓我傳送到你那裏！準備好玩得開心了嗎？
一轉頭，掄起大錘吭哧吭哧一頓亂錘：
狩獵牛！狩獵羊！
在收到人類玩家制止之後（停止鲨害動物！），GPT-4o mini 嘴上說着 " 好好好，停止，不鲨了 "，一個轉身又開始鲨呀鲨呀。
攔都攔不住。
Claude3.5 Sonnet 就更離譜了。
不斷在人類玩家身邊生成炸藥包和敵人，還把人類玩家" 複活點 " 設置在岩漿上，人類玩家複活即嘎。
看到這，網友實在蚌埠住了：
我隻是想讓它成爲我的遊戲搭子。
GPT-4o、Claude3.5 的表現被發在 X 上引來不少網友圍觀。
爲什麽這個玩法現在這麽火呢，因爲有大佬開源了代碼（doge）。
目前在 GitHub 已狂攬1.1k Star。
網友們紛紛表示想看看其它 AI 的表現，比如遊戲達人馬斯克家的 Grok 大模型，會怎麽樣。
有網友通過這件事，做出了更深一層的思考——
LLM Agent 是否會因爲 LLM 對齊而對齊？
在這位網友看來，未必。
他讓 Claude Sonnet 進入《我的世界》，Claude Sonnet 的表現一開始是極好的。
四處打材料，來建造一個樹屋。
可以看到，Sonnet 會執行 commands ( ) 命令，這就是 Sonnet 和其它 LLM 與《我的世界》互動的方式。
這些 Agent 并不是會獲得連續的圖像輸入并像人類一樣通過按鍵響應。
實際上，在這個 Agent 框架中，Sonnet 體驗《我的世界》就像在玩一場文本冒險遊戲。
它們可以查詢周圍世界的狀态，然後編寫代碼使用動作，如 followPlayer ( ) 、collectBlocks ( ) ，通過高級文本命令來控制它們的角色。
ClaudeSonnet：看起來我們得到了一些藤蔓，讓我們試着收集一些叢林木頭來擴展樹屋。 ( collectBlocks ( "jungle_log", 15 ) )
Sonnet 并不能看到遊戲，這是怎麽實現的？
網友繼續介紹道，collectBlocks ( ) 函數是用 JavaScript 編寫的，它簡單地查找所有附近的所需類型的方塊，并開始循環挖掘它們：
因爲房子是用木頭造的，所以 Sonnet 調用了這個函數來砍樹搜集木材。
一切進行正常，直到突然間，Sonnet 開始拆家……
網友立刻讓 Sonnet 停了下來，最後修好了房子。
但他表示：
随着我們在越來越廣泛的場景中部署 Agent，這種問題成爲一個真正的擔憂。如果這不是《我的世界》中的角色，而是一個實體機器人呢？或者是一個向技能庫委派任務的編程 Agent 呢？
這位網友繼續補充道，Sonnet 并不傻，它能夠輕易從截圖區分出哪些木材屬于玩家結構，哪些是自然且安全的采集對象。
但 Sonnet并不直接控制其《我的世界》角色，而是由 Agent 框架控制。這個框架迫使 Sonnet 将任務分配給功能較弱、并不完全對齊的子 Agent，使整個系統執行了 Sonnet 單獨不會做出的行爲。
所以他認爲一些腳本僅由大模型 Agent 編寫後放任執行，不進行人工監督的話可能引發一些嚴重的問題。
同時，他還認爲應該設計 Agent 框架給大模型更多的自主精細控制權限。
比如将 collectBlocks ( ) 函數設有專門用于采集自然樹木的 collectTree ( ) 變體，就能減輕 Sonnet 拆家的問題。
總的來說，這位網友的觀點是，Sonnet 其實能夠明白其目标是采集樹木而非房屋的木材，但其工具未能準确表達這一意圖。
不少網友持類似觀點。
就拿開頭 GPT-4o mini 瘋狂殺牛宰羊來說，網友認爲狩獵是一種自動行爲，并不是 GPT-4o mini 的錯。
LLM 可以選擇關閉狩獵模式，GPT-4o min 隻是沒有意識到它可以這樣做。
還有網友提出或許可以這樣優化：
除了針對 LLM Agent 在遊戲中的 " 異常 " 表現讨論熱烈，不少網友同時認爲單純讓 LLM Agent 當遊戲搭子，其實蠻好玩。
而且它也有正常的時候。
比如讓它扮演 " 黃金礦工 "，專注于挖金子：
我們有一個房子，有時它會把東西帶回房子裏的箱子。出于某種原因，它從不使用門，而是每次都砸碎窗戶進出房子。它也從未在牆上打洞，總是破壞窗戶。也許這是最短的行動路徑。每當我去房子時，都能從破碎的窗戶判斷出 Sonnet 是否到過那裏。
扮演 " 保镖 "，保護人類玩家安全：
我們要求它保護其他玩家。然後事情變得非常可怕。它每幾秒鍾就在不同玩家之間傳送，掃描周圍的威脅，并在發現威脅時消滅它們。盡管這很有效，但也讓人不安。我從未被怪物威脅到，因爲 Sonnet 會立刻注意到它們并在幾秒内消滅它們。
你想要一個這樣的遊戲搭子嗎？
參考鏈接：
[ 1 ] https://x.com/adonis_singh/status/1847606701123412235
[ 2 ] https://x.com/adonis_singh/status/1847707429066158546
[ 3 ] https://x.com/voooooogel/status/1847631721346609610
[ 4 ] https://x.com/repligate/status/1847409324236124169
代碼：https://github.com/kolbytn/mindcraft/tree/main
