Meta 公司參展 2022 年上海進博會(圖片來源:钛媒體 App 編輯拍攝)
繼微軟、谷歌之後,臉書(Facebook)母公司 Meta Platforms(Nasdaq:META)也加入了人工智能(AI)軍備競賽。
全力押注元宇宙的 Meta 公司于 2 月下旬發布了新的開源 AI 語言生成大模型(LLM),名爲 LLaMA(Large Language Model Meta AI),在幫助研究人員更好推進 AI 相關應用工作。
Meta 宣稱,盡管 LLaMA 參數規模僅爲競争對手 ChatGPT 的 " 十分之一 ",但性能卻優于 OpenAI 的 GPT-3 模型。目前 Meta 提供 70 億、130 億、330 億和 650 億四種參數規模的 LLaMA 模型。
3 月 5 日,一位名爲 @Enryu 的開發者在 Medium 平台發文,比較了 LLaMA 和 ChatGPT 在多個開發挑戰任務中的效果。結果顯示,LLaMA 訓練過程算法大部分比 ChatGPT 訓練更快、更便宜。他認爲,與 ChatGPT 相比,LLaMA 架構更小,但訓練過程和單 GPU(圖形處理器)芯片推理速度更快,成本更低,而且該庫還支持所有 LLaMA 模型架構,用戶可對模型進行微調等。
與此同時,3 月 6 日,國外匿名論壇 4chan 洩露了 LLaMA 成品庫,并且種子文件被合并到了 Meta Research 的 GitHub 上,同時一些項目維護者給予了批準,目前該項目在 GitHub 上已收獲 7000 多個星。
Meta 首席執行官馬克 · 紮克伯格(Mark Zuckerberg)表示,LLaMA 模型旨在幫助研究人員推進工作,在生成文本、對話、總結書面材料、證明數學定理或預測蛋白質結構等更複雜的任務方面有很大的前景。
這意味着,LLaMA 不會像 ChatGPT 一樣形成消費級(C 端)産品,而是更強調行業應用。
據悉,大模型(LLM)又稱爲預訓練模型、基礎模型等,是 " 大算力 + 強算法 " 結合的産物,通過大規模無标注數據上進行訓練,然後基于大模型進行應用開發與微調,就可以完成多個應用場景的任務。OpenAI 推出的 ChatGPT,是通過其 AI 大模型、1750 億參數 GPT-3 的基礎上通過指令微調後得到的,即 13 億參數的 InstructGPT。基于深度學習框架 Transformer 以及 GPT 技術,ChatGPT 不僅可以更好地答題、翻譯、寫文章,還帶有一些數學計算的能力等。
因此,根據 Meta 的說法,訓練 LLaMA 等較小的基礎模型是理想的,用極低的計算能力和資源來測試、驗證和探索新的用例,更好适應各種任務定制。比如谷歌推出的 Bard,使用的是輕量級 LaMDA 模型,相比标準版本,輕量化版本模型所需要的運算能力較小,能面向更多使用者開放,使其參與體驗。
Meta AI 團隊隸屬于前身 Facebook 人工智能研究中心 ( FAIR),于 2013 年 9 月成立,旨在開發各種形式的人工智能,改進增強現實和 AI 技術。FAIR 由紐約大學深度學習教授、圖靈獎獲得者楊立昆(Yann LeCun)領導,核心研究包括學習模型支持的記憶網絡、自我監督學習和生成對抗網絡、文本分類與翻譯等方面。2017 年,FAIR 發布開源機器學習框架 PyTorch,随後被用于多種深度學習技術,例如 Tesla 的自動駕駛技術等。2022 年,該團隊在兩周内利用 AI 預測了 6 億種潛在蛋白質形狀。
Meta AI 在其研究論文中指出,在一些基準測試中,LLaMA 130 億參數規模的模型性能優于 OpenAI 推出的 GPT-3,且能跑在單個 GPU 上;650 億參數的 LLaMA 模型能夠和 DeepMind 700 億參數的 Chinchilla 模型、谷歌 5400 億參數的 PaLM 模型競争。一旦經過更廣泛的訓練,LLaMA-13B 可能會成爲希望在這些系統上運行測試的小型企業的福音,還可以在單個數據中心級 Nvidia Tesla V100 GPU 上運行。但是,它要讓它脫離開發者獨立工作,還有很長一段路要走。
與其他大型語言模型一樣,LLaMA 的工作原理是将一系列單詞作爲輸入,并預測下一個單詞以遞歸生成文本。不過有趣的是,LLaMA 是繼 Glactica 和 Blender Bot 3 之後,Meta 發布的第三個大規模語言模型,前兩個大模型在實際應用效果不盡如人意後立即被關閉。
Meta 首席 AI 科學家楊立昆稱,團隊将緻力于這種開源模型的研究,新模型會開源給整個 AI 研究社區使用,并授予大學、非政府組織和行業實驗室訪問權限。另外,Meta 表示其還有更多研究需要做,以解決大型語言模型中的偏見、有害評論等風險。
實際上,這場 AI 軍備競賽仍在持續。
3 月 2 日淩晨,OpenAI 發布了 Beta 版本的 ChatGPT API,并以收費形式提供給用戶使用。據介紹,本次開放的 API 背後模型被命名爲 GPT-3.5 turbo,使用了與 ChatGPT 相同的模型。截至目前已經有五家公司宣布接入了 ChatGPT API;
OpenAI 投資人、重返世界首富的特斯拉 CEO 馬斯克(Elon Musk)也開始表達對 AI 的興趣。3 月 3 日消息指,馬斯克正在接洽研究人員,希望組建一個新的研究實驗室,開發能夠研發 ChatGPT 替代産品。
近期 Meta 披露的 2022 年第四季度财報顯示,該公司已連續三個季度出現營收同比下滑,四季度營收 312.54 億美元,同比下降 4%。其中,廣告爲 Meta 的支柱業務,爲第四季度的總營收貢獻超 97%,報告期内,盡管廣告展現量增長了 23%,但單位廣告價格下滑了 22%。
截至美東時間 3 月 3 日收盤,Meta 股價漲 6.14%,報收 185.25 美元 / 股。相比 2022 年股價大跌 6 成,今年初至今,Meta 股價出現回調,大漲近 49%。(本文首發钛媒體 App,作者|林志佳)
更多精彩内容,關注钛媒體微信号(ID:taimeiti),或者下載钛媒體 App