正在訓練 Llama 3,對标谷歌 Gemini。
編譯 | 李水青
智東西 1 月 19 日消息,今日,外媒 The Verge 刊登了 Meta 的首席執行官馬克 · 紮克伯格(Mark Zuckerberg)的一場最新專訪,小紮首次明确宣布投身通用人工智能(AGI)并談及具體規劃。
紮克伯格首先談道,當下 AI 領域人才競争異常激烈,年薪動辄100 萬美元,且常需要他這樣的 CEO 親自去請,還要時刻提防人才被挖走。
面對全球 AI 算力的供應緊缺,紮克伯格稱 Meta 的 GPU 資源可能是全球公司之最,到 2024 年底将擁有近35 萬個英偉達(Nvidia)的 H100 GPU,近60 萬個GPU 儲備,總體擁有相當于60 萬個H100 的計算能力。
Meta 将兩個主要的 AI 研究部門 FAIR 和生成式 AI 團隊重組,它們将 " 更緊密地結合 " 以支持開源 AGI 的長期目标。
新的開源大模型 Llama 3 已經在訓練,紮克伯格透露這一新的開源模型将具備升級代碼、推理及規劃能力,對标谷歌 Gemini。
紮克伯格在采訪中還不點名地批評了OpenAI 的封閉策略,認爲這是在爲先進 AI 技術設置護欄,而不是主要出于所謂的安全考慮。
Meta 在兩年前改名并聚焦元宇宙領域,現在要放棄元宇宙轉做生成式 AI 了?
紮克伯格對此當然不承認。他表示 Meta 确實在大力投入生成式 AI,但每年在元宇宙項目上的投入仍然超過150 億美元。
▲ Meta 于 2023 年 9 月底推出其首款生成式 AI 軟件 Meta AI
一、人才和算力兩手抓,小紮囤 34 萬塊 H100
紮克伯格坦言 AI 人才争奪激烈。專業人才年薪已高達100 萬美元,還往往需要像他這樣的 CEO 親自出馬去招聘,并且時刻提防核心人才跳槽到競争對手那裏。
" 我們早已習慣了激烈的人才競争,但這次有所不同。" 他說," 多家公司都在追求相同的人才,而且投資者在不同的項目上投入巨資,這使得人們很容易受到外部的誘惑而改變方向。"
說到這裏,紮克伯格想必是一把辛酸淚。智東西在 2023 年 9 月 6 日報道,Meta 在 2 月份發表 Llama 原始研究論文的 14 名作者中,傳出有一半以上已經離開了 Meta,包括 FAIR 巴黎分部負責人安東尼 · 博爾代斯(Antoine Bordes)等。
而面對更爲棘手的 AI 算力緊缺問題,紮克伯格表現得勝券在握:到今年年底,Meta 将擁有超過340000 個英偉達的 H100 GPU,據稱可能超過市面上所有其他公司。
外部研究顯示,2023 年 Meta 的 H100 出貨量達到了 150000,與微軟的出貨量相當,而這個數字比其他所有公司的出貨量高出至少三倍。
紮克伯格表示,如果将 Nvidia A100 和其他 AI 芯片也算在内,到 2024 年底,Meta 将擁有近600000 個GPU 儲備。
" 我們的能力已經相當強大,規模可能超過任何其他公司。" 他說," 這一點可能很多人都沒意識到。"
二、正在訓練 Llama 3,對标谷歌 Gemini
包括紮克伯格在内的 AI 從業者們,似乎都沒有明确的定義通用 AI(AGI),也不知道它何時會出現。
" 我并沒有一個精确的定義," 紮克伯格告訴 The Verge 記者," 有些人認爲,通用智能相當于人類水平的智能,或者超越人類的超級智能,甚至可能是未來某個階段的超級智能。但對我來說,關鍵在于智能的廣度,也就是說,智力應該具備推理和直覺等各種能力。"
他認爲通用智能的出現是一個漸進的過程,而不是一個突然的轉折點。" 實際上,我不确定是否存在一個明确的臨界點,能讓人感到通用智能真的出現了。"
紮克伯格透露,Meta 正在訓練Llama 3,它将具有代碼生成能力。就像谷歌的 Gemini 模型,另一個重點是更先進的推理和規劃能力。
Meta 在 2023 年 9 月發布了其首個商用免費大型語言模型 Llama 2,時至今日已成爲 GPT-4 在開源開模型領域的一大 " 最強平替 "。
紮克伯格稱,就 Llama 2 的落地情況來說,公司并不認爲 Meta 的應用産品需要代碼生成能力。但對于構建更智能的 AI 來說,這仍然是一項需要開發的重要技能,所以 Meta 還是構建了它。
紮克伯格說:" 編程可能并不是那麽重要,因爲沒有多少人會在 WhatsApp 上訪問編程問題 …… 事實證明,編碼實際上在結構上非常重要,因爲它使學習記憶模型能夠理解知識的嚴謹性和層次結構,并且通常具有更直觀的邏輯感。"
" 我們的目标是打造最先進的産品,并最終成爲行業領先的模型。"
"Llama 2 并不是業界領先的模型,但它是最好的開源模型。" 紮克伯格說," 有了 Llama 3 和更高版本,我們的目标是制造出處于最先進水平的産品,并最終成爲業内領先的模型。"
三、批評 OpenAI 封閉,但 Meta 開放的動機也不純?
誰将最終控制 AGI 的問題是一個備受争議的話題。最近,OpenAI 的内部動态向外界展示了這一點。
紮克伯格憑借對 Meta 股票的投票控制權,在 Meta 中擁有絕對的話語權。這使他處于一個非常強勢的地位,如果 AGI 得以實現,這種地位可能會帶來更大的影響力。對此他表示,到目前爲止,Meta 一直遵循着 Llama 的開源發展路線。
" 如果創造了真正有價值的東西,它最終可能會變得非常集中。" 紮克伯格說," 然而,如果你選擇更加開放,那麽就能解決許多可能源自機會和價值不平等的問題。所以,這是開源願景中非常重要的一部分。"
他沒有直接點名,但将 Meta 的方法與 OpenAI 的方法進行了對比。
OpenAI 最初是希望開源其技術的,但現在變得越來越不透明。" 有許多公司曾經是開放的,曾經發布過他們的所有研究成果,并讨論過他們将如何開源所有的技術。但我認爲,人們現在才意識到一個事實,那就是‘嘿,這将是一個非常有價值的東西,我們不想與人分享它’。"
盡管薩姆 · 阿爾特曼(Sam Altman)和其他人支持更封閉的 AI 開發方法的安全優勢,但紮克伯格卻認爲這是其精明的商業策略。同時,他認爲目前抛開公平談模型安全爲時尚早。
他告訴 The Verge 記者:" 在很多情況下,那些一開始就擁有最大領先優勢的大公司也是那些呼籲設置最多護欄的公司。我相信其中一些人确實關心安全問題,但這與他們的戰略有多大關系,這是一個很值得懷疑的事情。"
當然,紮克伯格也有自己的動機。他對 AI 的開放願景最終可能仍然會導緻權力的集中,隻是形式不同而已。
Meta 已經擁有了比地球上幾乎任何一家公司都多的用戶,并且擁有一個利潤豐厚的社交媒體業務。AI 的特性可以使他的平台更加吸引人、更加有用。如果 Meta 能夠通過公開發布其模型來規範 AI 的發展,那麽它對整個生态系統的影響力隻會越來越大。
還有一個問題:如果 Meta 實現了通用 AI,是否将其開源最終取決于紮克伯格本人。他還沒有對此做出明确的承諾。
" 隻要我們認爲這是有意義、安全且負責任的事情,那麽我們通常會傾向于開源。" 他說。" 顯然,你不會因爲承諾了某件事情而陷入困境。"
四、放棄元宇宙轉做生成式 AI?紮克伯格回應一切
在 Meta 的大背景下,紮克伯格新推 AGI 的時機确實有點尴尬。
自從他将公司改名并宣布專注于元宇宙,時間僅僅過去兩年。Meta 的最新款雷朋(Ray-Ban)智能眼鏡已初見成色,但成熟的 AR 眼鏡似乎遙不可及。
與此同時,蘋果近來加速了其混合現實頭顯的進程,Vision Pro 的發布表明,盡管 VR 仍然是一個市場空間有限的行業,但仍在全速前行。
當然,紮克伯格不同意将 AI 作爲 Meta 新的重心的說法。
" 我不知道如何更明确地聲明,我們将繼續專注于 Reality Labs(現實實驗室)和元宇宙。" 他告訴記者,Meta 每年在元宇宙項目上的投入仍然超過150 億美元。
雷朋智能眼鏡最近增加了一個視覺 AI 助手,可以識别物體和翻譯語言。他認爲生成型 AI 在 Meta 未來的硬件發展中扮演着更加關鍵的角色。
他看到了一個由 AI 生成的虛拟世界,并充滿了伴随真人的 AI 角色。
他說,今年會有一個新的平台,讓任何人都可以創建自己的 AI 角色,并在 Meta 的社交應用中分發。也許這些 AI 甚至能夠将自己的内容發布到 Facebook、Instagram 和 Threads 等社交媒體上。
Meta 仍然是一個元宇宙公司,是世界上最大的社交媒體公司。它現在正在嘗試構建 AGI。紮克伯格把這一切都圍繞着 " 構建未來連接 " 這一首要使命。
迄今爲止,這種聯系主要是人與人之間的相互作用。與紮克伯格交談後發現,未來人類與 AI 的對話也将越來越多。顯然,他認爲這個未來是不可避免的和令人興奮的,不管我們其他人是否準備好了。
結語:Meta 加入通用智能戰鬥,巨頭競賽愈演愈烈
OpenAI、谷歌都明确投身通用人工智能(AGI)發展,現在,Meta 也加入了戰鬥。紮克伯格的目标是将 AI 更直接地推廣給其數十億用戶,可見是産品驅動的技術研發。
當下,美國各大巨頭都圍繞生成式 AI 的角逐愈演愈烈,展開了人才、算力、産品、生态、用戶等多方面的争奪戰。每一家的側重又有所差别,但都不會允許自己有明顯的短闆。
Meta 是不是元宇宙做不下去了轉做生成式 AI?這個問題或許不是最重要的。最重要的是,Meta 能否在元宇宙的社交屬性和用戶流量池基礎上,打造自己的護城河。