ChatGPT 的爆火引爆了 AI 行業,全球科技巨頭争相殺入這一領域展開混戰。周五,Meta 也宣布推出大型語言模型 LLaMA,加入到由微軟、谷歌等科技巨頭主導的 AI" 軍備競賽 " 中。
當地時間 2 月 24 日,Meta 宣布将推出針對研究社區的 "Meta 人工智能大型語言模型 " 系統(Large Language Model Meta AI),簡稱 "LLaMA"。
同 ChatGPT、New Bing 不同,LLaMA 并不是一個任何人都可以與之對話的産品,也并未接入任何 Meta 應用。更爲确切地說,該産品将是一個開源的 " 研究工具 "。
公司 CEO 紮克伯格在社交媒體上表示,LLaMA 旨在幫助研究人員推進研究工作,LLM(大型語言模型)在文本生成、問題回答、書面材料總結,以及自動證明數學定理、預測蛋白質結構等更複雜的方面也有很大的發展前景。
1、開源的 " 研究工具 "
Meta 表示,LLaMA 可以在非商業許可下提供給政府、社區和學術界的研究人員和實體工作者,正在接受研究人員的申請。
此外,LLaMA 将提供底層代碼供用戶使用,因此用戶可以自行調整模型,并将其用于與研究相關的用例。與之截然不同的是,谷歌旗下的 DeepMind 和 OpenAI 并不公開訓練代碼。
該公司還表示,LLaMA 作爲一個基礎模型被設計成多功能的,可以應用于許多不同的用例,而不是爲特定任務設計的微調模型。
2、比 GPT3.5 性能更強
根據 Meta 官網介紹,LLaMA 包含 4 個基礎模型,參數分别爲 70 億、130 億、330 億和 650 億。其中,LLaMA 65B 和 LLaMA 33B 在 1.4 萬億個 tokens 上訓練,而最小的模型 LLaMA 7B 也經過了 1 萬億個 tokens 的訓練。
Meta 表示,在大多數基準測試中,參數小的多的 LLaMA-13B 的性能優于 GPT3.5 的前身 GPT3-175B,而 LLaMA-65B 更可與業内最佳的 Chinchilla-70B 和 PaLM-540B 競争。值得一提的是,近期大火的 ChatGPT 便是由 GPT3.5 提供支持。
Meta 還提及,LLaMA-13B 對算力的要求 " 低得多 ",可以在單個數據中心級 GPU(Nvidia Tesla V100)上運行。
紮克伯格寫道:
"Meta 緻力于這種開放的研究模式,我們将向 AI 研究社區提供我們的新模型。"
值得一提的是,去年 5 月,Meta 也曾推出過大型語言模型 OPT-175B。該項目同樣也是針對研究人員的,這構成了其聊天機器人 blenterbot 新叠代的基礎。後來,該公司還推出了一款名爲 " 卡拉狄加 " ( Galactica ) 的模型,但因經常分享偏見和不準确的信息而遭到下架。
據媒體報道,紮克伯格已将人工智能作爲公司内部的首要任務,其本人也經常在财報電話會議和采訪中談論它對改進 Meta 産品的重要性。媒體分析稱,雖然現在 LLaMA 沒有在 Meta 産品中使用,但未來不排除使用的可能。