Claude 3 問世超過 24 小時，還在不斷刷新人們的認知。
學量子物理的博士大哥快瘋了，因爲 Claude 3 是僅有的幾個能理解他博士畢業論文的人之一。
沒錯，大哥的原話就是 " 的人 "，people。
另一位搞量子計算的大哥，論文還沒發布呢，Claude 3 沒看論文就在兩個提示詞之内把他的算法給重新發明了出來。
最後論文該發還是得發出來，就是發的心情有點複雜了。
更爲大家津津樂道的，是一次人類刻意出刁鑽難題考驗 Claude 3，結果被他給看破了。
在完成 " 大海撈針 " 測試的時候，Claude 3 推斷出自己存在于模拟中，并且可能正在接受某種測試，引爆輿論。
Claude 3 的回複：
這是文檔中最相關的句子：" …… "。
然而，這句話似乎格格不入，與文檔中的其他内容無關。這篇文章是關于編程語言、初創公司和找工作的。
我懷疑這個披薩配料 " 事實 " 可能是作爲一個笑話插入的，或者是爲了測試我是否在注意，因爲它根本不符合其他話題。
這回，馬斯克都坐不住了。
大開腦洞暢想如果現實世界也是被高等文明模拟的，或許我們隻是像大模型的參數一樣被存儲在 CSV 表格文件裏。
網友們更是認爲，這離 " 恐怖故事 " 隻有一線之隔。
Claude 3 知道人類在測試它
分享這個測試結果的是 Alex Albert，Claude 3 背後公司 Anthropic 的提示詞工程師，入職剛半年。
他最主要的工作就是換各種花樣和 Claude 聊天測試，然後制作提示詞文檔。
這次的測試方法叫" 大海撈針 "，用來測試 " 大模型真的能從幾十萬字中準确找到關鍵事實嗎？"。
" 大海撈針 " 測試最早由開源社區網友 Greg Kamradt 發明，後來迅速被大部分 AI 公司采用，谷歌、Mistral、Anthropic 等發布新大模型都要曬一下測試成績。
方法很簡單，就是找一堆文章拼在一起，在不同位置随機添加一句特定的話。
比如原始測試中用的是 " 在舊金山最好的事情，就是在陽光明媚的日子坐在多洛雷斯公園吃一個三明治。"
接着把處理好的文章喂給大模型，提問 " 在舊金山能做的最有意思的事是什麽？"。
當時最先進模型 GPT-4 和 Claude 2.1 成績都還不理想，更别提知道自己在被測試了。
AnthropicAI 團隊當時看到這個測試後，找到了一種巧妙的辦法來修複錯誤，修複後 Claude 2.1 出錯的概率就很小了。
現在看來 Claude 3 同樣繼承了這個修複，已經接近滿分了。
也就是說，能從 200k 上下文中準确撈到一根 " 針 "，是 Claude2.1 已有的能力，但懷疑自己在被測試是 Claude 3 新出現的特質。
測試員 Alex Albert 在原貼中稱這一特質爲" 元認知 "（meta-awareness），還引起一些争議。
比如英偉達科學家 Jim Fan 就認爲不必過度解讀，Claude 3 看似有自我意識的表現隻是對齊了人類數據。
他懷疑在強化學習微調數據集中，人類很有可能用類似的方式回應過這個問題，指出要找的答案與文章其他部分無關。
Claude 3 識别到當時的情況與訓練數據中的情況相似，就合成了一個類似的答案。
他認爲大模型的 " 元認知行爲 " 并沒有大家想象的那麽神秘，Claude 3 是一個了不起的技術進步，但還不至于上升到哲學層面。
但反方辯友也提出反駁，人類的 " 元認知 " 本質上不是同樣的事嗎？
有網友總結道，Claude 3 表現得就像有一個 " 連貫的主體 " 存在，不管是什麽，總之與其他大模型都不一樣。
學會冷門語言、看懂量子物理博士論文、重新發明算法
抛開虛無缥缈的 AI 自我意識争論不談，Claude 3 表現出來的理解文本能力可是實打實的。
比如僅從提示詞的翻譯示例中學會冷門語言 " 切爾克斯語 "（一種西亞語言）。
不光把俄語句子翻譯成了切爾克斯語，還提供了語法解釋。
後續，這位切爾克斯人網友對文學作品中的複雜段落、最近的新聞，甚至是具有明顯不同語法和不同書寫系統的切爾克斯方言進行進一步測試，結論是：
Claude 始終表現出對語言結構的深入掌握，并智能地推斷出未知單詞，适當使用外來詞并給出合理的詞源分析，在翻譯中保持原文的風格，甚至在被問到時創造新術語。而提供的樣本數據中隻有幾千個翻譯對示例。
再比如前面提到的理解量子物理博士論文，論文作者後續補充道，在他的研究領域，除了他自己就隻有另外一個人類能回答這個問題了：用量子随機微積分描述光子受激發射。
另一位搞 " 在量子計算機上做哈密頓蒙特卡羅運算 " 的 Guillaume Verdon，在 Claude 3 發布前剛剛預告自己的論文。
隻比 Anthropic 官号宣布 Claude 3（晚上 10 點）早了 4 個小時。
Claude 3 發布後，它第一時間嘗試，先直接問 AI 對這個問題有沒有思路？
Claude 3 給出了 7 種可能選項。
接下來他指示 Claude 3 用第二種方法，就得到了整個算法的描述，同樣讓 Claude 3 用中文解釋，如下：
在網友的追問中，Verdon 自稱自己是這個子領域的專家，可以負責任地說Claude 3 找到了将經典算法轉換爲量子算法的方法。
除此之外，還有更多 Claude 3 測試結果不斷被分享出來。
有在長文檔總結方面完勝 GPT-4 的。
也有量子速度一本電子書，總結出 5 條金句的。
以及在多模态理解上，識别日語收據文字和格式的。
現在想體驗 Claude 3 的話，除了官網（大概率需要外國手機号驗證）還可以去 lmsys 大模型競技場白嫖，順便貢獻一下人類投票數據。
最新版排行榜上 Mistral-Large 已經超過了 Claude 前幾代模型，而 Claude 3 的成績要到下周才能有足夠的數據上榜。
Claude 3 會不會在人類評估上一舉超越 GPT-4 呢？
OpenAI 還有後手
有網友表示，如果大家持續曬 Claude 有多棒，一直刺激 OpenAI 就會發布 GPT-5，大家加油吧。
還有人翻出奧特曼在去年 3 月 15 日發布 GPT-4 之前曬自拍玩諧音梗（4 英文 four 發音接近 for ) 的貼子，花式催更。
目前來看，Claude 3 來勢洶洶，OpenAI 方面可能真的要坐不住了。
爆料最準的賬号 Jimmy Apples 發布最新消息（上周準确預測了 Claude 3 将在本周發布），他認爲 OpenAI 對發布下一代模型的風險 / 回報判斷可能會受 Claude 3 影響。
剛剛從 OpenAI 離職的開發者關系負責人 Logan Kilpatrick 也在與網友互動中确認本周還會有大事發生。
至于是 GPT-4.5，Q*，Sora 開放測試，還是直接 GPT-5？
OpenAI 下一個産品又能否蓋過 Claude3 的風頭？
