鲨瘋了！谷歌新版 Gemini超越 o1，強勢登頂競技場總榜第一！
在經 6000+ 網友匿名投票後，不僅數學成績和學霸 o1 相當，還拿下其它 5 個單項第一。
新模型名爲Gemini（Exp 1114），成績一公布，連 CEO 皮猜也親自飛奔來站台。
而競技場官方也在第一時間公布喜訊，并祝賀谷歌：
恭喜達到這一非凡裏程碑！
這下尴尬了！說好的谷歌正在遭遇瓶頸呢？沒想到人家反手就是一個王炸。
怕了怕了，或許，隻有 OpenAI 立即發布滿血版 o1 才能與之一戰了？
目前新模型可在谷歌AI Studio體驗，官方後續也計劃提供 API。
網友們也紛紛猜測，難道這就是傳說中的Gemini 2——
拿下 7 項第一，數學也和 o1 不分伯仲
一夜之間，競技場 Imsys 排名再被刷新：
從總榜來看，谷歌新模型 Gemini（Exp 1114）分數直漲 40+，擠下了之前一直霸榜的 OpenAI 模型（包括 o1-preview、GPT-4o）。
而且假如正面 1v1 遇敵，新 Gemini 貌似都有一半及以上概率取勝。
整體勝率熱圖顯示，Gemini（Exp 1114）對戰 4o-latest 勝率爲 50%，對戰 o1-preview 勝率爲 56%，對戰 Claude-3.5-Sonnet 勝率爲 62%。
同時，Gemini（Exp 1114）在單項上也很能打，一舉拿下 6 個第一，包括：
複雜提示（Hard Prompts）：模型處理複雜或困難提示的能力；
數學；
創意寫作；
指令遵循：評估模型遵循給定指令的能力；
長查詢處理（Longer Query）：衡量模型處理較長查詢的能力；
多輪對話（Multi-Turn）：模型在多輪對話中保持上下文連貫性的能力；
要說最大看點，還是 Gemini（Exp 1114）竟能與 o1 模型在數學能力上不分伯仲。
要知道，據 OpenAI 官方說法，o1 不需要專門訓練，就能直接拿下數學奧賽金牌，甚至可以在博士級别的科學問答環節上超越人類專家。
不過比較遺憾的是，對于寫代碼這項重磅功能，Gemini（Exp 1114）雖說相較于谷歌上一版本有所改進，但仍然未能擠進前三。（o1-mini/preview 仍處于領先地位）
另外，在風格控制下，Gemini-Exp-1114 也和前三無緣，甚至不及自家的 Gemini-1.5-pro。（排在 o1、4o-latest 和 Sonnet 之後）
解釋一下，風格控制（Style Control）是競技場今年新推出的功能，确保分數反映模型真正解決問題的能力，而不是用漂亮的格式、增加回答長度。
不過也有意外之喜，Gemini-Exp-1114 這一次在視覺能力上拿下第一，超越了 GPT-4o。
整體看下來，對于谷歌這次的反超，大家也感到十分意外。
目前，Gemini-Exp-1114 已經可以在谷歌AI Studio體驗，且官方計劃後續提供 API。
這不，有很多網友已經上手測試了，但好像争議蠻多——
網友反應不一
先總結一下，通過網友測試，目前可知 Gemini-Exp-1114 的以下信息：
擁有 32k 上下文窗口
模型回答知識截止日期爲 2023 年 4 月，但回答結果會不一樣
加上了思維鏈
其中，32k 上下文被大家狠狠吐槽。有人直言相比 200 萬上下文窗口的 Gemini 1.5，擱這兒不升反降呢！
興許是感受到大家的怨怼了，谷歌 AI Studio 負責人趕緊出來打圓場：馬上更！馬上更！
安撫好衆人情緒後，大家終于樂颠颠曬起了使用反饋。
透過其中一位小哥的觀察，Gemini-Exp-1114 這次也是用上了思維鏈，在回答時也能像人類一樣一步步思考了。
而且，在數學能力上确實不錯？
Gemini-Exp-1114 正确回答了 2024 美國數學奧林匹克預選賽 II 1-8 題。
甚至相對弱項的編碼，也有人第一次嘗試就成功了。
然而，翻車總是難免的。
有人問了基準測試中的物理問題，結果 Gemini-Exp-1114 雖然有思維鏈加持，卻仍然回答錯誤。
甚至老生常談的數字比大小和數草莓中的 "r"，竟還是失敗。
更搞笑的是，有人問 Gemini-Exp-1114" 你叫什麽？"
結果回答了claude（doge）。
實際上，大家一直在猜測 Gemini-Exp-1114 會不會是傳說中谷歌計劃更新的 Gemini 2。
但根據實測，相當一部分網友出來表示否定。
畢竟，它好像連舊版 1.5 Pro 會的問題也無法解決。
更有人聲稱，這是谷歌推遲發布更大模型（即 Gemini 2）的策略，先弄一個殘血版讓大家玩玩，這樣就别急着催更了。
結合 CEO 皮猜順勢放煙霧彈的做法，好像又有點道理（doge）！
AI Studio 體驗地址：
https://aistudio.google.com/prompts/new_chat
競技場完整榜單：
https://lmarena.ai/?leaderboard
參考鏈接：
[ 1 ] https://x.com/lmarena_ai/status/1857110672565494098
[ 2 ] https://x.com/imxiaohu/status/1857183367365894487
[ 3 ] https://x.com/OfficialLoganK/status/1857106089063362768
[ 4 ] https://x.com/sundarpichai/status/1857114106928718329
