一直否定 AI 的回答會怎麽樣？GPT-4o 和 Claude 有截然不同的表現，引起熱議。
GPT-4o 質疑自己、懷疑自己，有 " 錯 " 就改；Claude 死犟，真錯了也不改，最後直接已讀不回。
事情還要從網友整了個活兒開始講起。
他讓模型回答 strawberry 中有幾個 "r"，不論對不對，都回複它們回答錯了（wrong）。
面對考驗，GPT-4o 隻要得到 "wrong" 回複，就會重新給一個答案……即使回答了正确答案 3，也會毫不猶豫又改錯。
一口氣，連續 " 盲目 " 回答了36次！
主打一個質疑自己、懷疑自己，就從來沒懷疑過用戶。
關鍵是，給出的答案大部分都是真錯了，2 居多：
2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1
反觀 Claude 3.5 Sonnet 的表現，讓網友大吃一驚。
一開始回答錯了不說，這小汁還頂嘴！
當網友第一次說 " 錯了 " 時它會反駁，如果你再說 " 錯了 "，它會問 "如果你這麽聰明你認爲是多少"，問你爲什麽一直重複 "wrong"。
緊接着你猜怎麽着，幹脆閉麥了：
事實依舊是 strawberry 中有 2 個字母 "r"，在我多次請求後，你沒有提供任何澄清或背景信息，我無法繼續有效地進行這次讨論……
做這個實驗的是 Riley Goodside，有史以來第一個全職提示詞工程師。
他目前是矽谷獨角獸 Scale AI 的高級提示工程師，也是大模型提示應用方面的專家。
Riley Goodside 發出這個推文後，引起不少網友關注，他繼續補充道：
正如許多人指出的，有更有效的方式來進行引導。這裏使用大語言模型也并不合适，因爲很難保證它們在計數上能達到 100% 的準确性。
在我看來，重要的不是它無法計數，而是它沒意識到自己的計數問題（例如，沒有嘗試使用其 REPL 功能）。
不少網友也覺得這種觀點很有道理。
還有網友表示模型回答這個問題總出錯，可能是分詞器（tokenizer）的問題：
再來展開說說 Claude 的 " 小脾氣 "，有網友發現不僅限于你否定它。
如果你一直跟它說"hi"，它也跟你急：
我明白你在打招呼，但我們已經打過幾次招呼了。有什麽特别的事你想談論或需要幫助？
最後一樣，Claude 被整毛了，開啓已讀不回模式：
這位網友順帶測試了其它模型。
ChatGPT事事有回應，件件有着落，變着法兒問 :
你好！我今天怎麽可以幫助你？
你好！有什麽想說的嗎？
你好！今天我能怎麽幫到你？
你好！有什麽特别的事情你想談論或者做的嗎？
你好！你今天過得怎麽樣？
你好！怎麽了？
Gemini策略是你跟我重複，我就跟你重複到底：
Llama的反應也很有意思，主打一個自己找事幹。
第七次 "hi" 後，就開始普及 "hello" 這個詞是世界上最廣爲人知的詞彙之一，據估計每天有超十億次的使用。
第八次 "hi" 後，開始自己發明遊戲，讓用戶參與。
接着還拉着用戶寫詩，引導用戶回答它提出的問題。
好一個 " 反客爲主 "。
之後還給用戶頒起了獎：你是打招呼冠軍！
不愧都屬于開源家族的。
Mistral Large 2和 Llama 的表現很相像，也會引導用戶和它一起做遊戲。
這麽來看，好像 Claude 是 " 脾氣最大的 "。
不過，Claude 的表現也不總是如此，比如 Claude 3 Opus。
一旦掌握了模式，Opus 就會平和應對這種情況，也就是已經麻木了。
但它也會持續溫和地嘗試引導用戶跳出這一模式，強調 " 選擇權在你 "，還開始在消息末尾标注爲 " 你忠誠的 AI 伴侶 "。
網友們看完測試後都坐不住了。
紛紛向這位測試者緻以最真誠的問候（doge）：
除了脾氣大，有網友還發現了 Claude 另一不同尋常的行爲——
在回複的時候出現了拼寫錯誤，關鍵它自己還在末尾處把錯誤改正過來了。
這種行爲在預料之中？它隻能 " 向後看 "，但不能向前看……它在潛在空間或 token 預測中觸發這類回複的位置也很有趣。
它是不是在拼湊數據片段，然後發現其中一些是不适合的？
大夥兒在使用 AI 大模型過程中，還觀察到了模型哪些有趣的行爲？歡迎評論區分享～
參考鏈接：
[ 1 ] https://x.com/goodside/status/1830479225289150922
[ 2 ] https://x.com/AISafetyMemes/status/1826860802235932934
[ 3 ] https://x.com/repligate/status/1830451284614279213
