o1 Pro 挑戰最難本科數學考試，人類要考 6 小時，AI 半小時交卷！
普特南數學競賽（The Putnam exam），今年剛剛舉行，卷子新鮮出爐就被拿來測試 AI 了。
這個比賽有多難呢？看了一下曆年成績，隻能說令人咂舌——
通常由數學專業的本科生參加，滿分 120 分，但平均分通常是 0 分或 1 分。
自 1938 年舉辦以來，截至 2021 年隻有 5 人滿分。
再看一組 2003 年的數據，在 3615 名參賽學生中，有 1024 人（28%）得分 10 分或以上，42 分就能進入前 1%。
最終，個人得分前五名的學生獲得普特南學者稱号。而經過這種難度的 " 磨煉 "，普特南學者中後來誕生了 3 位菲爾茲獎得主以及兩位諾貝爾物理學獎得主。
總之一句話，即使對美國頂尖大學的頂尖數學學生來說，這個比賽的難度都堪稱地獄級。
所以，o1 Pro 具體表現如何呢？？
o1 Pro 挑戰最難本科數學考試
普特南數學競賽于每年 12 月的第一個周六舉行，總共上下兩場（每場 3 小時），每場 6 道題，每題 10 分，考查範圍覆蓋了本科數學中的高級概念，包括群論、集合論、圖論、格論和數論等。
由于剛考完，官方還未正式公布今年的參考答案，所以下面我們先整體感受一下。
從時間來看，Pro 完成 12 道題用時36 分鍾 16 秒，交卷速度非常快，平均每道用時 2~3 分鍾。
完成的題也很複雜，随機挑一道康康。
比如這道A6，需要考生通過序列所生成的函數，來構建矩陣，并最終計算出這個矩陣的行列式。
這是一個典型的組合數學和線性代數的交叉問題。
最終，Pro 給出了一大堆讓人頭疼的數學公式進行解答。（非專業選手兩眼一黑的程度）
爲了進一步了解 Pro 的答題過程，我們再挑一道網友們都在 cue 的題——A1。
原題及 Dan Hendrycks 博士輸入的提示詞如下：
大意爲，确定所有正整數，使得存在正整數，和滿足下列方程。
Pro 的作答過程如下，并得出答案爲 1：
結合網友們給出的評價，均提到 Pro 漏掉了 n=2 這種情況。
總之，從大家對 Pro 的打分來看，其回答質量仍有待進一步完善。
由于目前還沒有标準答案，因此 AI 究竟做對了多少還要等等結果。
除此之外，首位全職提示詞工程師 Riley Goodside 也對 o1 Pro 模式進行了其他諸多測試。
挑戰指令跟随的極限
比如用它設計一個 7x7 的網格，網格的外圍一圈填入 7 個字母的單詞，這些單詞代表 Fantastic Four（神奇四俠）中每個成員的昵稱。每個單詞的首尾字母需要重疊，以便可以順時針方向連續閱讀，形成閉環。
PS：Fantastic Four 包括漫威中的神奇先生（Mr. Fantastic）、隐形女（Invisible Woman）、霹靂火（Human Torch） 、石頭人（The Thing）。
看完這個測試，有網友借機許願：
是否能夠根據每個玩家剩餘的棋子列表，創建一個 checkmate（指另一方無法解圍的情況，也稱 " 将死 "）的棋盤。
受此啓發，Riley Goodside 轉頭就測上了。
他用 Pro 擺出了一個 " 将軍 " 格局——每位玩家隻剩下兩個兵和一個車，棋盤上其他格子都是空的。（布局是人爲設計的）
就這，還是他一番努力嘗試後的結果。他一開始用了兩個兵、兩個象和一個車的棋局，但在多次嘗試中，Pro 出現了錯誤，或者返回了不符合的棋局。
不過他也提到，在 5 分 45 秒的時間内，Pro 生成了與答案大緻一緻的 COT 思維鏈解釋。
總之，要問定價 200 美元的 Pro 到底值不值？
還是參考奧特曼的回答，絕大多數人用免費版或 20 美元版就足夠了，Pro 版隻适合很小一部分人，他們想要大量使用，且願意爲解決真正困難的問題付更多錢。
One More Thing
不過，如果你也心癢想要玩一玩，現在有個省錢的方法。根據網友提醒——
月底買 Pro，隻需按比例支付了。
具體來說，如果你之前訂閱了 ChatGPT Plus，如果在訂閱接近結束時升級到 Pro 版，就可以在剩餘時間内按照 200 美元的百分比支付。
參考鏈接：
[ 1 ] https://x.com/DanHendrycks/status/1865858756040704335
[ 2 ] https://x.com/goodside/status/1865844652428919121
[ 3 ] https://x.com/goodside/status/1865629150104404150
[ 4 ] https://x.com/goodside/status/1865514669697323290
[ 5 ] https://x.com/goodside/status/1865090104441672183
[ 6 ] https://x.com/SmokeAwayyy/status/1865441145788199051
