騰訊科技訊 2 月 22 日消息，谷歌在北京時間昨晚發布了開源大模型 Gemma，挑戰 Meta 旗下 Llama 2。出門問問創始人李志飛發表文章點評，稱 Gemma 推出時間有點晚、開源力度不夠、未放下高貴的頭顱。
Gemma 官方文檔發布：谷歌最先進的開放模型
谷歌正式推出開源大語言模型 Gemma，聲稱超越 Meta Llama-2 競品
李志飛在文章中表示，相比于去年上半年就開源，現在可能要花數倍的努力進行模型的差異化以及推廣的投入，才有可能在衆多開源模型中脫穎而出。" 面對 OpenAI 的強力競争，隻有殺敵一千、自損一千五。"
以下爲李志飛全文：
看到 Google 開源了小的語言模型 Gemma，直接狙擊 Llama 2，回顧去年 5 月對 Google 關于開源和競争的看法，幾點思考如下：
1. 時間有點晚：相比于去年上半年就開源，現在可能要花數倍的努力進行模型的差異化以及推廣的投入，才有可能在衆多開源模型中脫穎而出。
2. 開源力度不夠：感覺這次開源還是被動防禦和略顯扭捏的應對之策，不是進攻。比如說，開個 7B 的模型實在是太小兒科了，一點殺傷力都沒有。應該直接開源一個超越市場上所有開源的至少 100B 的模型、1M 的超長上下文、完善的推理 infra 方案、外加送一定的 cloud credit。是的，再不歇斯底裏 Google 真的就晚了。面對 OpenAI 的強力競争，隻有殺敵一千、自損一千五。
3. 未放下高貴的頭顱：有種感覺，Google 覺得自己還是 AI 王者，放不下高貴的頭顱，很多發布都有點不痛不癢，還是沿着過去研發驅動的老路而不是産品和競争驅動，比如不停發論文、取新名字（多模态相關模型過去半年就發了 Palme、RT-2、Gemini、VideoPoet、W.A.L.T 等）、發布的模型又完整度不夠，感覺就沒有一個絕對能打的産品。Google 可能要意識到在公衆眼中，他在 AI 領域已經是廉頗老矣潰不成軍，經常起大早趕晚集（比如說這次 Sora 借鑒的 ViT、ViViT、NaVit、MAGVit 等核心組件技術都是它家寫的論文）。
4. 希望亡羊補牢未爲晚也：Google 作爲一個僵化的大公司，動作慢一點可以理解，但是如果再不努力是不是就是 PC 互聯網的 IBM、移動互聯網的 Microsoft？ 作爲 Google 的鐵粉，還是希望他能打起精神一戰，AI 産業需要強力的競争才能不停向前發展，也需要他在前沿研究和系統的開源才能幫助一大衆 " 貧窮 " 的 AI 創業公司。
5. 另外，除了對外開源外，Google 應該組成三個方陣面對大模型的競争，詳見去年 3 月發文。
回顧科技競争史，PC 互聯網時代的 IBM、移動互聯網時代的 Microsoft、AGI 時代的 Google，新時代來臨後，難道上一個時代科技霸主都難逃衰落的宿命？
當然，Microsoft 靠 Office SaaS、雲和 OpenAI 又翻盤了。
曆史的鐵律，有被改寫的可能嗎？
附：李志飛 2023 年 3 月發文《四面楚歌的 Google 如何應戰大模型？》
矽谷大模型的戰場正如火如荼、烽煙四起，四面楚歌的 Google 被困垓下，身影落寞。
前有 OpenAI 和微軟聯手設局，把 Google 拖入生死戰，後有 Meta 發力開源、攪亂戰局，很快 Amazon 也将不甘寂寞加入混戰。外界看來，面對 ChatGPT 的偷襲慌了陣腳的 Google，此時多年的技術自信心倍受重挫，應戰的前幾步方寸已亂。
隔岸觀火者，不禁會問，穩坐多年 AI 霸主的 Google 尚能飯否？
面對當前困局，以及從潰敗于 OpenAI 的原因來看，一般的謀略建議可能是 Google 此時應将分散的兵力凝于一心，組成一支鐵血悍軍全力攻防。但是，我倒覺得 Google 可以重新排兵布陣，将 Google Brain 的研發資源兵分三路應戰（後面解釋 why）。
第一路：内部升級方陣
大模型的能力有目共睹，Google 可以且必須在自己的各種應用（如 Search、Youtube、Google Docs、Android、Google Maps 等）裏整合這些能力。
Google Brain 可以組建一支專門的大模型研發團隊，先把底層基礎大模型煉好，目标應用場景就是内部各大産品線。同時，這支團隊要與 Google 各大産品的 Owner 們聯手一起，協助對基礎大模型進行各種精修，從而達到上線标準。
在精修過程中，可以用到很多内部獨有的數據源、爲應用提供獨特的接口、針對應用進行 Alignment 訓練，以及各種推理優化。通過以上努力，将模型的質量和性能做到業界極緻，重拾 Google 内部的技術自信心，以及外界的 perception。
第二路：開源和平台方陣
除了内部升級方陣之外，Google Brain 可以組建一支行業大模型團隊，目的是做開源和開放平台，賦能各行各業，從而構建生态。
有别于内部升級模型追求極緻的質量和性能， 開源和平台更多是廣度的服務。而且，與對 Meta 的建議一樣，對那些性能沒有達到極緻，但足夠第三方使用的模型和系統，Google 應該真心全意、傾其所能地開源：數據、訓練和推理代碼、豐富的模型 checkpoints 都毫無保留地提供（如果某些第三方數據不能直接提供，可以給出數據源鏈接以及預處理方式）。
開源看似簡單，但對大公司卻是一個複雜的過程，要從流程和法務角度做很多内部 review 和風險防範。另外，由于大模型還是一個新鮮事物，外部開發者需要很多幫助才能真正把開源玩起來。所以 Google 除了态度誠懇之外，還要真正投入研發、人力，把開源服務做到極緻。
做開放平台也是類似，在價格上可以非常激進，對普通用戶甚至提供限量的免費，對那些量比較大或者精修要求很多的平台則可大膽收費。開源和平台不沖突，隻是針對不同需求和行業，目的都是服務好上下遊，也給上下遊足夠的靈活性和安全感。從組織結構上，可将這一方陣放在 Google Cloud Platform ( GCP）團隊。
也許有人疑問，開源和免費，Google 是「活雷鋒」嗎？是的，按照目前的競争局勢下去，基礎大模型的競争壁壘會大幅度降低，大概率與 Android 一樣，本身隻是一個引流款，而沒有商業模式，通過 Google GMS 消費端全家桶和 Cloud GCP 實現商業變現，或其他創新商業模式。既然基礎大模型難有獨立的可規模化的商業模型，與其遲疑不決，不如搶占「活雷鋒」先機。
第三路：探索未來方陣
目前 OpenAI 已探索出一條「暴力美學」之路，未來十年，其規模大概率還可以再提升 10 個數量級（下次專門寫爲何是 10 個數量級）。前面的兩支方陣是「擁抱确定性」，與 OpenAI 一樣走向已被證明的極緻暴力之路。但對 Google 來說，這不是唯一的路。
Google Brain 可以另組一支方陣，專門針對模型結構、數據處理、分布式計算、推理優化等方面探索未來的可能性。這支方陣的目的是求新、求異、出奇制勝，可以先在小模型上進行百花齊放式的探索，一旦發現新的可能性，立刻在超大模型跟進。
分兵三陣的原因
大役臨前，「分散精力」看起來是一記平庸昏招，但對 Google 實則不然，其中最主要的假設是 Google Brain 擁有 10 倍于 OpenAI 的研發能力。
規模 1000 人的 Google Brain，有一衆既能搞研究也能做工程的一流 PhD，而 OpenAI 與 LLM 相關的研發規模僅百餘人。如果将 Google Brain 的 1000 多人全部用于内部升級，于管理将是巨大的挑戰。
做大模型是一項重于「人才密度」的事情，人多反而人浮于事，可能導緻很多真正優秀人才跳槽矽谷其他公司，作他人嫁衣。兵分三路，各憑興趣加入戰隊，既能留有人才，也爲同時做三件事保留多種機會。
以上三個方陣的大緻資源分配可以是 60%，25%，15%。人員既定，沒有新的 cost；算力需求可能是單一方陣的 2 倍；數據預算可能是單一方陣的 1.5 倍。
三支方陣，各自目标明确，除了最底層的分布式訓練架構統一外，其他方面互相協作最好（如基礎大模型、數據等），如不能協作，有冗餘也在 Google 承受之力以内。用不到兩倍的資源換取超兩倍的勝率，物超所值。
有人不免疑惑，這不就是 Google Brain 過去「一團散沙」的現狀嗎？其實不然，過去的一團散沙是 Bottom-Up 自發而成，沒有具象的目标和組織方式，在敵軍面前僅有技術自由的旗幟，并無強勁戰鬥力。而現在更多是 Top-Down 的戰略分陣，各自目标和組織方式明确，戰力倍增。
執行難度
當然，以上策略需要輔以極強的 leadership 和組織能力。具體來說，需要：
1
一位強有力的 CEO；
2
每支方陣需要一位強将 leader；
3
内部各産品線 owner 和各支撐衙門的配合；
4
内部高度統一思想，獲得大多數前線工程師和一線管理者的内心認可與支持。
（如果任何一個條件打折扣，就當我沒說）
如果内部執行不可能，那麽另外一種可能就是通過投資并購的方式來構建方陣。
戰術總結：「攻、守、機」連戰連捷
内部方陣與自己各大産品結合，在大模型勢不可擋的趨勢下，此爲「防」；開源和平台方陣拉攏上下遊生态，打掉 OpenAI 的商業模式和迅速擴散的勢能，此爲「攻」；探索方陣在 OpenAI 路線之外探索其它可能，是爲「機」。以此攻、防、機三面出擊，若調度得當，方可蓄力而勃發，讓 Google 走出目前的泥沼。
曆史上，這不是 Google 的第一次四面楚歌，但也不會是最後一次巨鹿之戰。
最後，一番思考後，我把思路抛給 ChatGPT。于是 , 它給 Google Brain 制定了新季度 OKR ……
