繼 Altman 首次曝光 GPT-5 後,紮克伯格也表示正在訓練 Llama 3。
北京時間 1 月 19 日 2:00,紮克伯格在 Instagram 上發布視頻和推文,表示 " 正在訓練下一代模型 Llama 3",将 " 負責任地開源 " 以 " 盡可能廣泛地使用它 ",這樣 " 每個人都能受益 "。
就在此前,OpenAI 首席執行官Sam Altman 周三在達沃斯論壇接受媒體采訪時表示,他現在的首要任務就是推出下一代大模型,這款模型可能被稱爲 GPT-5,與現有模型相比,GPT-5 " 能做更多、更多的事情 "。
據 Altman 介紹, GPT-5 将是一個多模态模型,支持語音、圖像、代碼和視頻,并在個性化和定制化功能方面實現重大更新,具備更強的推理能力和更高的準确性。當前大模型的通病——幻覺問題也将在 GPT-5 中得到解決。
紮克伯格尚未提及更多有關 Llama 3 的細節,但表示正在将現有的 FAIR 和 GenAI 兩大研究工作合力推進:
" 我們的長期願景是構建 AGI(通用人工智能),并将其開源,讓每個人從中受益,爲了支持這一目标,我們正在将我們的兩大 AI 研究工作(FAIR 和 GenAI)緊密結合起來。"
爲此,Meta 将大力建設算力基礎設施。紮克伯格表示:
" 我們正在打造大規模的算力基礎設施,以支持我們的未來路線圖。"
" 短期目标是到今年年底擁有 35 萬塊 H100,将其他 GPU 包括在内的話,算力總水平相當于近 60 萬塊 H100。"
據悉,H100 GPU 的售價在 2.5-3 萬美元之間,不考慮市場溢價等其他因素的話,Meta 此輪購入最低也要支出 90 億美元。
另外,紮克伯克還提到 " 以 AI 爲中心的新型計算設備 "Ray Ban Meta 眼鏡的 " 進展令人興奮 ",精彩即将呈現。