Llama 3 來了！
就在剛剛，Meta 官網上新，官宣了 Llama 3 80 億和 700 億參數版本。
并且推出即爲開源 SOTA：
Meta 官方數據顯示，Llama 3 8B 和 70B 版本在各自參數規模上超越一衆對手。
8B 模型在 MMLU、GPQA、HumanEval 等多項基準上均勝過 Gemma 7B 和 Mistral 7B Instruct。
而 70B 模型則超越了閉源的當紅炸子雞 Claude 3 Sonnet，和谷歌的 Gemini Pro 1.5 打得有來有回。
Huggingface 鏈接一出，開源社區再次沸騰。
眼尖的盲生們還第一時間發現了華點：
Meta 更藏了一手 4000 億參數 + 的 Llama 3 版本，不遜于 Claude 3 超大杯 Opus 的那種！
AI 寫作助手創企 HyperWriteAI 的 CEO 見此已忍不住感慨：
我們正在步入一個新世界，一個 GPT-4 級别的模型開源并且可以自由訪問的世界。
英偉達科學家 Jim Fan 則認爲，還在訓練中的 Llama 3 400B 将成爲開源大模型的分水嶺，改變很多學界研究和初創公司的發展方式。
各大雲和芯片廠商，也已第一時間反應。比如百度、亞馬遜、英特爾、無問芯穹等，均已上線對 Llama 3 的支持。
全面取得 SOTA，但 8k 窗口
更多技術細節，Meta 在博客文章中給出。
架構層面，Llama 3 選擇了經典的僅解碼（decoder-only）式 Transformer 架構，采用包含 128K token 詞彙表的分詞器。
訓練方面，Meta 上了 2.4 萬塊 GPU 集群，Llama 3 的訓練數據規模達到了 15T tokens，全部來自于公開信息，其中 5% 爲非英文數據，涵蓋 30 多種語言。
Llama 3 的數據量比 Llama 2 的訓練數據多 7 倍，其中代碼比 Llama 2 多 4 倍。
此外，爲了提高 Llama 3 模型的推理效率，Meta AI 還采用了分組查詢注意力 ( GQA ) 機制，在 8192 個 tokens 的序列上訓練模型，并使用掩碼确保自注意力不會跨越文檔邊界。
結果，無論是 8B 還是 70B 版本，Llama 3 相較于近似規模的上一代 Llama 2，都取得了重大飛躍。
在迄今爲止的 8B 和 70B 參數規模的模型中，Llama 3 都成爲了新的 SOTA 模型。
在語言（MMLU）、知識（GPQA）、編程（HumanEval）、數學（GSM-8K、MATH）等能力上，Llama 3 幾乎全面領先于同等規模的其他模型。
除了這些常規的數據集，Meta AI 還評估了 Llama 3 在現實場景中的性能，并爲此研發了一套高質量的測試數據集。
這個測試集包含了 1800 條數據，涵蓋代碼、推理、寫作、總結等 12 個關鍵用例，并針對開發團隊保密。
結果，Llama 3 不僅大幅超越 Llama 2，也戰勝了 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5 這些知名模型。
而在 AGIEval、BIG-Bench、ARC-Challenge 這些更高階、更困難的數據集上，Llama 3 的表現同樣可圈可點。
8B 版本在這些任務上超越了 Mistral 和 Gemma，70B 版本則戰勝了 Gemini Pro 和 MoE 架構的 Mixtral，分别斬獲相應規模的 SOTA。
不過美中不足的是，Llama 3 的上下文窗口隻有 8k，這與現在動辄幾十上百萬窗口的大模型相比，仿佛還停留在上一代（手動狗頭）。
但也不必過度擔憂，Matt Shumer 就對此持樂觀态度，他表示相信在開源社區的努力下，窗口長度很快就會擴展上去。
Llama 迎來官方網頁版
此外，微軟 Azure、谷歌雲、亞馬遜 AWS、英偉達 NIM 等雲服務平台也将陸續上線 Llama 3。
同時，Meta 還表示 Llama 3 會得到英特爾、英偉達、AMD、高通等多家廠商提供的硬件平台支持。
值得一提的是，此次與基礎模型一同發布的，還有基于 Llama 3 的官方 Web 版本，名字就叫 Meta AI。
目前該平台有對話和繪畫兩大功能，隻用對話的話無需注冊登錄、即開即用，使用繪畫功能則需要先登錄賬号。
不過，目前該平台還不支持中文，也暫未上線文本上傳等功能。
代碼方面，該平台也能夠運行一些簡單的 Python 程序，但似乎隻能輸出文本，涉及到繪圖這樣的任務就無法運行了。
總得來看，這個網頁版本還比較初級，但也不妨期待一波後面的更新。
One More Thing
一個小插曲是，其實在 Meta 官宣前幾個小時，微軟的 Azure 市場已經偷跑了 Llama 3 8B Instruct 版本的消息。
開源模型機器學習在線平台 Replicate 上的 Llama 3 價格表也被網友們第一時間扒拉了出來。
但很快，這些 " 小道消息 " 就都被 404 了。
好在烏龍完了，官方也沒拖着，關心開源大模型的小夥伴們，可以造作起來了（doge）。
參考鏈接：
[ 1 ] https://ai.meta.com/blog/meta-llama-3/
[ 2 ] https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3/
[ 3 ] https://huggingface.co/meta-llama/Meta-Llama-3-70B
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
