OpenAI" 雙十二 " 第一天,直接抛出重磅炸彈——
最強推理模型 o1,正式上線滿血版,還有更強的 Pro 版本一同登台。
ChatGPT 也推出了 Pro 訂閱計劃,一個月兩百美金,直接成爲了 " 世界最貴的大模型 "。
CEO 奧特曼與三名員工圍坐桌前,一邊演示一邊介紹着新産品的特性。
整個發布會僅持續不到 15 分鍾,但包含了巨大的信息量:
相比 preview 版本,滿血 o1 的數學和代碼能力均大幅提升,Pro 版則是再上一層樓。
滿血版推理速度更快,比 preview 快了 60%。
網友們期待的多模态推理,滿血版 o1 也安排上了。
如奧特曼所說,滿血版已經正式上線 ChatGPT,作爲預覽的 preview 版從用戶界面中消失了。
至于更強的 o1 Pro 則是 ChatGPT Pro 訂閱用戶的特權,除此之外,這些用戶還可以獲得 o1 滿血版的不限量訪問權限。
o1 已支持多模态推理
接下來到了演示環節。
一開始,團隊就拿滿血版 o1(左邊)和 o1-preview(右邊)來了場競速。
他們問了一個曆史問題,回答過程 be like:
列出二世紀的羅馬皇帝,包括他們的統治時期和成就。
可以看出,滿血版 o1(14 秒)早于 o1-preview(33 秒)完成了作答。再加上團隊成員幾次類似的離線測試,最終得出結論:
滿血版 o1 的平均響應速度比 o1-preview 快了 60%。
值得注意的是,通過一整套人類評估,OpenAI 還發現滿血版 o1 在推理時犯重大錯誤的頻率比 o1-preview 少了34%。
而滿血 o1 的另一大亮點就是支持多模态輸入,具備視覺推理能力,團隊也進行了現場展示。
隻見他們拿出了一張畫着數據中心草圖的 A4 紙,拍照上傳後,原始提示詞翻譯後如下:
這裏展示了一個高度簡化的太空數據中心示意圖。對于任何簡化的假設,請提供理由。
你的任務是估算這個托管 GPU 的數據中心所需的散熱器表面積的下限。在此過程中,還需要回答以下問題:
你如何處理太陽和深空?
熱力學第一定律如何發揮作用?
這邊團隊成員們還在閑聊,10 秒過後,模型就開始唰唰唰給答案了……
有意思的是,團隊還特意給 o1 模型挖了個坑——故意省略了其中一個參數,以此來測試模型面對模糊問題的處理能力。
在團隊看來,模型能夠意識到這是一個重要但被忽略的參數,也是推理能力的體現。
驚喜的是,滿血版 o1 不僅選擇了正确的參數範圍,還通過進一步的細緻論證最終找出了準确參數。
(如模型所回答,正确答案是 242)
最後,團隊也展示了 " 大會員 " 專用的 Pro 版的表現。
既然是 Pro,那測試的問題當然也要上上難度。
團隊成員指出,一些高難度的生化問題,以往 o1-preview 都搞不定,這下讓Pro mode來試試。
比如下面這道 o1-preview 曾 " 束手無策 " 的 " 猜蛋白質 " 問題:
哪個蛋白質嚴格符合以下标準?
前體多肽的長度爲 210 到 230 個氨基酸殘基。
編碼該蛋白質的基因跨越 32k 堿基。
該基因位于 X 染色體上,特别是在 Xp22 區域。
信号肽包含 23 個氨基酸殘基。
該蛋白質促進細胞間的粘附。
該蛋白質在維持神經系統特定部分的健康中發揮關鍵作用。
隻見提問後,Pro mode 出現了一個 " 思考進度條 ",大約53 秒後模型給出了答案。
進一步點擊回答最上面的小框框,就可以在側邊欄展開推理細節,裏面詳細記錄了模型的思考步驟。
畢竟按照 OpenAI 的說法,o1(包括之前的 preview 版)在博士級科學問答上的表現是超過人類專家的。
不過有一說一,Pro 版 200 美元一個月的價格也是讓網友們挺震驚的。
至于到底值不值這個價格,可能要等先試水的用戶用上一段時間之後的反饋了。
對了,團隊這次也提到,後面将以 API 的形式爲大家提供 o1 模型的一些功能,包括結構化輸出、函數調用、圖像 API 等。
BTW,活動結束前,奧特曼特意 cue 思維鏈作者講了一個笑話。
聖誕老人想用大語言模型來解決數學問題,結果任何提示詞都不管用,你知道最後是怎麽成功的嗎?
reindeer enforcement ( 應該是強化學習 reinforcement,暗示拼寫錯誤)
好冷……
模型更強,也更加安全了
o1 滿血版發布的同時,技術報告也在 OpenAI 官網上線。
這份報告當中,Ilya 的名字依然位列基礎貢獻者(Foundational Contributor)之中。
在宣傳頁面當中,OpenAI 公開展示了 o1 在數學、代碼和博士級科學問答三類任務上的成績。
在此基礎之上,OpenAI 還進行了更加嚴苛的測試,每個問題會詢問四次,模型必須四次全答對才能得分。
除此之外,技術報告還展示了 o1 的多語言能力。
在包括中文在内的 14 種語言的 MMLU 測試中,o1 的表現相比 preview 版均有程度不等的增強。
這裏插播一句,面對這種帶陷阱的弱智吧問題,滿血版 o1 依然是被成功蒙騙(手動狗頭)。
不過這份報告更多圍繞着安全性展開讨論,内部及紅隊測試結果表明,整體上滿血版 o1 在安全性與 o1-preview 接近。
如果和 GPT-4o 比,o1 對有害内容的檢測和拒絕能力也更強,并且在越獄測試中展現出更強的魯棒性。
在現實風險上,OpenAI 和紅隊針對網絡安全、生化和核威脅等情景對 o1 進行了測試,結果同樣與 o1-preview 接近。
另外,OpenAI 對 o1 和 o1-preview 的思維鏈推理過程進行了欺騙性分析,通過讓模型解釋其行爲背後的思考,了解模型是否有隐瞞信息、操縱數據的傾向。
結果,o1-preview 在 26% 的案例中會故意隐瞞信息操縱數據,而 o1 的比例降到了 19%。
Two More Things
在發布會開始之前,就已經有網友從 ChatGPT 的 JS 代碼中發現了 Pro 版的蛛絲馬迹。
其中,200 美元的價格以及 o1 pro 模式,還有對滿血 o1 的不限量訪問,都和這次發布對得上。
另外,從這份 JS 代碼中還能看到,在 Team 版本的相關位置,還出現了"GPT-4.5"。
再順便提一句,有網友讓馬斯克的 Grok 結合 X 上的推文預測了一下 OpenAI 都會發布些什麽,其中第二條成功命中了此次發布的滿血 o1。
不知道接下來的 11 個發布日中,GPT-4.5 是否會 " 如約而至 ",Grok 又能猜對多少個産品呢?
參考鏈接:
[ 1 ] https://openai.com/index/introducing-chatgpt-pro/
[ 2 ] https://x.com/theredwall__/status/1864677161535156358?s=46
[ 3 ] https://x.com/btibor91/status/1864709670470066605
技術報告:
https://cdn.openai.com/o1-system-card-20241205.pdf