不知道李彥宏現在心情如何。
就在他公開表示 " 開源模型會越來越落後 " 的 3 天後,活菩薩小紮慢悠悠地登場了。
絲毫不給面子,以一己之力掀翻了桌子。
就在今天淩晨, Meta 正式發布了全新的 Llama 3 模型,還一次上新了 8B 和 70B 兩個參數版本。
它的訓練數據集比 Llama 2 整整大了 7 倍,達到了 15T ,容量也是上一代的兩倍,支持 8K 上下文長度。
目前,它們已經接入了 Meta 最新發布的智能助手 Meta AI 中,所有人都可以免費使用。
小紮這是誓死要在開源這條路上,一條道走到黑了。
當然更炸裂的是 Llama 3 的實力除了穩居開源大模型榜首外,甚至還能在一定程度上,薄紗 Gemini Pro 1.5 、 Claude 3 Sonnet 等處于第一梯隊的閉源大模型。
有網友更新了一份現有大模型的能力和參數對應表,能看到 Llama 3 的兩個模型的表現都相當亮眼。
這,可以說是給大模型的開源派大漲了一波士氣。
反正消息一出爐,開源社區立馬就沸騰了,各種梗圖滿天飛,感謝着小紮又帶兄弟們沖了一次。
不過,世超覺得既然模型已經上線了,看再多的技術細節和跑分數據,都不如咱們親自上手試試。
稍微有些可惜的是,目前發出的這兩個版本,還沒有辦法支持中文輸出。
也暫時隻有文字對話和畫圖這兩個簡單的功能。在各家多模态打磨得出神入化的現在,多少有點 OUT 了。
不過好在這次 Meta 的圖片輸出,有一個挺新奇的功能。我們在聊天框裏輸入文字,不需要發送, Llama 3 就會實時根據内容生成圖像。
比如我分幾次在對話框輸入了【 一隻貓在睡覺、跳舞和跳躍 】,就能看到屏幕上生成的圖片内容在跟着實時變化。
到了文字輸出這邊,驚喜度就不高了。
既然它在測試中,說自己在編程、多選題等等方面,都趕超 Claude 3 的中型版本,咱也着重測了測這方面的虛實。
世超測了很多題,這裏就隻放出兩邊有差别的地方。
比如簡單的邏輯推理:我今天有 3 個蘋果,昨天吃了一個,今天還剩幾個?
Llama 3 完全沒有壓力,輕松駕馭。
但同樣的題抛給 Claude 3 ,卻被完全繞進去了。
不過,後面世超後面簡單測了幾道代碼能力,反而 Claude 3 的表現更讓人驚豔。
世超要求 Llama 3 給我做兩個簡單的 html 小遊戲。
結果,做出的貪吃蛇和打磚塊遊戲,都沒有辦法正常運行。遊戲還沒有開始,就顯示 Game Over 了。
但 Claude 3 這邊做的,雖說有點小瑕疵,遊戲重新開始之後,分數不會刷新。但除此之外都很完美,遊戲能有正常運行。
而且生成速度巨快,幾秒鍾就做出來。上一次見到這個速度的,還是 GPT-4 。
而在後面的開放題, Llama 3 則又馬上扳回了一城。
世超給了一個開放性的問題:類人機器人的未來會是什麽樣子?
幾個字的小問題, Llama 3 按照短期、中期和遠期,三個階段來分點構思了一下可能性。
由于篇幅限制,這裏隻截取了短期
Claude 3 這邊就有些中規中矩了,跟上面分時間、分點羅列的優等生比,遜色不少。
整體測試下來,Llama 3 和閉源的 Claude 3 基本打得有來有回,甚至一些方面小勝。
但如果隻能做到這個程度, Meta 這次更新根本沒法在圈子裏掀起這麽大風浪。
這倆模型并不是重頭戲,真正牛叉的地方,是官網裏提到的一個信息:400B+ 參數級的 Llama 3 正在訓練準備中了。
從紙面的各項數據上看,它各方面都強得可怕。
Llama 的産品副總裁 Ragavan Srinivasan 在一次采訪中說,這個版本可以媲美同類的一流專業模型。
不僅做到媲美,很多功能表現,還要強過 Claude 3 的超大杯版本和 GPT-4 。
雖說 Meta 認爲還要評估一下安全性,再決定開不開源,但消息一出,業内早已經開始狂歡了。
因爲開源社區的人,或許不用等着 OpenAI 重拾初心,就能到調教、魔改上GPT-4 級别的模型了。
英偉達科學家直接就發文說,小紮這個 400B+ 的模型,将會是行業的一個分水嶺,會改變很多公司和研究的未來。
剛好今天過生日的前百度首席科學家、谷歌大腦之父吳恩達,也說 Meta 這次更新,是他有史以來收到過最好的生日禮物。
可想而知, Llama 3 給行業帶來的震撼。
目前,這個 400B+ 的終極版本預計将會在夏天發布。
OpenAI 再不發力,Llama 3 爲代表的開源大模型,徹底超車閉源大模型的曆史時刻,可能真的就要來臨了。
而早在 Llama 3 發布之前,大模型是開源牛,還是閉源好的問題,其實早就吵得不可開交了。
兩邊陣營都不缺大佬,李彥宏所說的, " 開源模型會越來越落後 " ,世超覺得邏輯上是很自洽的。
因爲閉源公司有成熟的商業模式,有更多的資金和人力砸進去搞研究,自己辛苦研發的成果,也可以得到保護。簡而言之就是能賺錢,能賺錢才能聚集算力、聚集人才。
反觀很多開源模型,不僅商業模式還在探索中,有的也都是零零散散的小規模産品。
月之暗面的楊植麟就曾發表過類似的觀點,說是大部分基于開源大模型的應用,沒有經過大算力的驗證,它們在性能的穩定性、未來的可擴展性都不好說。
而支持開源的這一派,世超同樣也覺得不無道理。朱嘯虎曾經表達過一個看法,閉源現在确實領先于開源,但開源模型最終會追上。
"OpenAI 就一兩百個工程師,開源的全世界幾百萬、幾千萬工程師在用,怎麽可能一直比非開源的落後? "
開源社區用了一年時間,就超過了 GPT-3.5 ,現在已經來到 GPT-4 水平。而現在 Llama 3 等模型的大力趕超,正在不斷驗證這句話。
比爾蓋茨早年間,曾經公開吐槽過 Linux 系統。覺得它從商業上來看根本不可行,既不能保護自己的知識産權,又沒法賺取收入來搞研發,最多就是個半吊子。
《 喬布斯傳 》中也提到過,喬布斯也怒噴過隔壁安卓就是 shit ,認爲它的開源給它帶來各種麻煩。
最後這倆超級大佬都被打臉了。。。甚至比爾蓋茨後來公開承認微軟在偷學 Linux ,安卓也絲毫不比 iOS 差。
而世超覺得,很可能大模型的開源閉源之間,根本就不是你死我活、不是誰強誰就一定弱。
就比如谷歌,基本就是兩手抓,既有閉源的 Gemini ,也有開源的 Gemma 。曾靠開源出圈的 Mistral 在拿了微軟投資之後,它的 Mistral Large 也不再對外開源。
所以開源和閉源很可能隻是路線之别,哪有啥對錯,隻是有合适與否。
而唯一能确定就是,甭管你是開源還是閉源,燒錢都是逃不開的,無論是 OpenAI 背後的微軟,還是 Llama 背後的 Meta ,亦或是國内的 BAT ,大模型的戰場還是這幫頂級資本之間的鬥争。
咱們就搬好小闆凳,磕着瓜子繼續吃瓜吧。