IT 之家 3 月 28 日消息，根據 LMSYS Org 公布的最新基準測試報告，Claude-3 得分以微弱優勢超越 GPT-4，成爲該平台 " 最佳 " 大語言模型。
IT 之家首先介紹下 LMSYS Org，該機構是由加州大學伯克利分校、加州大學聖地亞哥分校和卡内基梅隆大學合作創立的研究組織。
該機構推出 Chatbot Arena，這是一個針對大型語言模型（LLM） 的基準平台，以衆包方式匿名、随機對抗測評大模型産品，其評級基于國際象棋等競技遊戲中廣泛使用的 Elo 評分系統。
評分結果通過用戶投票産生，系統每次會随機選擇兩個不同的大模型機器人和用戶聊天，并讓用戶在匿名的情況下選擇哪款大模型産品的表現更好一些，整體而言相對公正。
Chatbot Arena 自去年上線以來，GPT-4 一直穩居頭把交椅，甚至成爲了評估大模型的黃金标準。
不過昨天 Anthropic 的 Claude 3 Opus 以 1253 比 1251 的微弱優勢擊敗了 GPT-4，OpenAI 的 LLM 被擠下了榜首位置。由于比分過于接近，出于誤差率方面的考量，該機構讓 Claude 3 和 GPT-4 并列第一，GPT-4 的另一個預覽版也并列第一。
更令人印象深刻的是 Claude 3 Haiku 進入前十名。Haiku 是 Anthropic 的 local size 模型，相當于谷歌的 Gemini Nano。
它比擁有數萬億參數的 Opus 要小得多，因此相比之下速度要快得多。根據 LMSYS 的數據，Haiku 在排行榜上名列第七，有媲美 GPT-4 的表現。
