GPT-4 真的被反超了!
大模型競技場上,Claude 3 大杯 Opus 新王登基,Elo 分數來到榜首。
連小杯 Haiku 也跻身第二梯隊,超過了 GPT-4-0613 這個型号,把 GPT-3.5-turbo 遠遠甩在身後。
Haiku 的輸入 token 價格,可是比 GPT-3.5-turbo 還便宜了一半,輸出方面,每 100 萬 token 也比 GPT-3.5-turbo 便宜近 2 塊錢。
跟 GPT-4 相比,價格更是隻有 1/20。并且 Haiku 同樣支持 200k 上下文。
難怪有開發者直言:
GPT-3.5 在 Claude Haiku 面前不堪一擊。
不僅僅是價格更便宜,Haiku 還更上一層樓了。
而在 Claude 3 加入競技之前,GPT-4 家族已經霸榜快一年了。
給新來的朋友補充一下背景知識:大模型競技場榜單(LMSYS Chatbot Arena Leaderboard)的評分标準是人類打分,同一個問題同時抛給 A、B 兩個模型,人類裁判覺得哪個回答得好就給哪個投票。
值得一提的是,在競技場官方賀電中,Haiku 這個型号也被專門高亮了出來:
根據我們的用戶偏好,Claude 3 Haiku 達到了 GPT-4 級别。
其速度、功能和上下文長度在目前的市場上是獨一份的。
具體有多快,已經有網友做了個直觀的對比:
博爾特還沒跑完 100 米,Haiku 已經讀完 100k token 的文檔了……
事實上,憑借其超高的性價比,在開發者社群中,Claude 3 小杯 Haiku 确已成新寵。
已經有人第一時間大開腦洞,搞出了能讓 Haiku 效果 " 超頻 " 到大杯 Opus 水準的開源項目,吸引不少關注。
簡單來說,就是讓 Opus 給 Haiku 當老師:
先用 Opus 生成執行任務的範例,再用這些教學案例來提高 Haiku 的姿勢水平。
劃重點:Haiku 的價格僅爲 Opus 的 1/60,而響應速度則是 Opus 的 10 倍。
這個名爲gpt-prompt-engineer的項目目前在 GitHub 上累計攬下 7.3k 标星。
還是這位馬特老哥,還用 Opus 和 Haiku 搞了個 "AI 股票分析師 ",直接火上了 GitHub 熱榜。
不少應用産品也在第一時間接入了 Haiku。比如能依據 Prompt 自動生成網站 UI 的 Vercel。
△就說快不快吧
不過,就在一片給 Claude 3 新王點贊的聲音中,也有網友認爲:
GPT-3.5 作爲一個 " 老 " 模型,至今仍在與最新的模型競争,這件事本身就很瘋狂了。
但最讓開發者們期待的當然還是:
OpenAI,快起來卷(doge)。