4 月 18 日,AI 圈再迎重磅消息,Meta 帶着号稱 " 有史以來最強大的開源大模型 "Llama 3 登場了。
Meta 本次開源了 Llama 3 8B 與 70B 兩款不同規模的模型,供外部開發者免費使用,未來幾個月,Meta 将陸續推出一系列具備多模态、多語言對話、更長上下文窗口等能力的新模型。其中,大版本的 Llama 3 将有超過 4000 億參數有望與 Claude 3" 一較高下 "。
與此同時,Meta 首席執行官紮克伯格宣布,基于最新的 Llama 3 模型,Meta AI 助手現在已經覆蓋 Instagram、WhatsApp、Facebook 等全系應用,并單獨開啓了網站,還有一個圖像生成器,可根據自然語言提示詞生成圖片。
Llama 3 的出現直接對标 OpenAI 的 GPT-4,與 " 并不 Open" 的 OpenAI 截然不同,在 AI 圈圍繞開源或閉源的路線争論不休之時,Meta 堅定沿着開源路線朝 AGI 的聖杯發起了沖鋒,爲開源模型扳回一局。
知情人士透露,研究人員尚未開始對 Llama 3 進行微調,還未決定 Llama 3 是否将是多模态模型。有消息稱,正式版的 Llama 3 将會在今年 7 月正式推出。
Meta AI 首席科學家、圖靈獎得主 Yann LeCun 一邊爲 Llama 3 的發布 " 搖旗呐喊 ",一邊預告未來幾個月将推出更多版本,稱 Llama 3 8B 和 Llama 3 70B 是目前同體量下,性能最好的開源模型。llama 3 8B 在某些測試集上性能比 llama 2 70B 還要強。
就連馬斯克也現身于該評論區,一句簡潔的 "Not bad" 表達了對 Llama 3 的認可和期待。
英偉達高級科學家 Jim Fan 認爲,Llama 3 的推出已經脫離了技術層面的進步,更是開源模型與頂尖閉源模型可分庭抗禮的象征。
從 Jim Fan 分享的基準測試可以看出,Llama 3 400B 的實力幾乎媲美 Claude" 超大杯 " 以及新版 GPT-4 Turbo,将成爲 " 分水嶺 ",相信它将釋放巨大的研究潛力,推動整個生态系統的發展,開源社區或将能用上 GPT-4 級别的模型。
公布當天恰逢斯坦福大學教授,AI 頂尖專家吳恩達的生日,吳恩達直言,Llama 3 的發布是自己這輩子收到過的最好的禮物,謝謝你 Meta!
OpenAI 創始成員之一、特斯拉前 AI 總監 Andrej Karpathy 也對 Llama 3 表達了贊許。作爲大語言模型領域的先驅之一,Karpathy 認爲 Llama3 的性能已接近 GPT-4 的水平:
Llama3 是 Meta 發布的看起來非常強大的模型。堅持基本原則,在可靠的系統和數據工作上花費大量高質量時間,探索長期訓練模型的極限。我也對 400B 模型非常興奮,它可能是第一個 GPT-4 級别的開源模型。我想很多人會要求更長的上下文長度。
我希望能有比 8B 更小參數,理想規模在 0.1B 到 1B 左右的模型,用于教育工作、 ( 單元 ) 測試、嵌入式應用等。
Rebuy 公司 AI 總監、深度學習領域的博士 Cameron R. Wolfe 認爲,Llama 3 證明了訓練優秀大語言模型的關鍵在于數據質量。他詳細分析了 Llama 3 在數據方面做出的努力,包括:
1)15 萬億個 token 的預訓練數據 : 比 Llama 2 多 7 倍,比 DBRX 的 12 萬億個還要多;
2)更多代碼數據 : 預訓練過程中包含更多代碼數據,提升了模型的推理能力;
3)更高效的 tokenizer: 擁有更大的詞彙表(128K tokens),提高了模型的效率和性能。
在 Llama 3 發布後,小紮向媒體表示," 我們的目标不是與開源模型競争,而是要超過所有人,打造最領先的人工智能。" 未來,Meta 團隊将會公布 Llama 3 的技術報告,披露模型更多的細節。
這場關于開源與閉源的辯論還遠未結束,暗中蓄勢待發的 GPT-4.5/5 也許會在今年夏天到來,AI 領域的大模型之戰還在上演。