歡迎關注
湧現(Emergence),是生成式AI浪潮的一個關鍵現象:當模型規模擴大至臨界點,AI會展現出人類一般的智慧,能理解、學習甚至創造。
「湧現」也發生在現實世界——矽基文明一觸即發,AI領域的創業者、創造者,正在用他們的智慧與頭腦,點亮實現AGI的漫漫征途。
在新舊生産力交替之際,《智能湧現》推出新欄目「湧現36人」,我們将通過與業界關鍵人物的對話,記錄這一階段的新思考。
文|鄧詠儀
編輯|蘇建勳
在國内大模型市場,大概沒有哪個人的經曆,會比2023年的袁進輝更具戲劇性。
"坐過山車的一年,"矽基流動CEO袁進輝總結道,"年初,OneFlow是估值1億美元的公司。被并購一個月後估值就超過10億美元。兩個月之後這個數字又變成零。再經過一個月成立矽基流動,又回到了起點。"
2023年,ChatGPT爆火之後,袁進輝創辦七年的一流科技OneFlow,瞬間成爲炙手可熱的項目。這源于前美團聯合創始人王慧文成立大模型公司"光年之外",且迅速通過并購方式,邀請袁進輝作爲聯創加入。但數月後,光年之外因故被美團收購告一段落。
8月,袁進輝即宣布創立新公司"矽基流動",方向還在老本行:AI Infra(AI基礎設施)。
AI Infra相當于AI領域的"iOS"或"安卓",上承算法和應用,下接硬件芯片。它的好壞與否,決定着下面的芯片層是否能将性能發揮到極緻。AI Infra也是開發者們的"工具箱",能幫助他們快速開發出AI模型和應用。
這個賽道是兵家必争之地。AI框架是AI Infra的重要組成,是被大廠和芯片公司"上下夾擊"的一層——現在最廣泛的AI開源深度學習框架PyTorch和TensorFlow,分别由Meta和Google主導開發。
在袁進輝看來,Infra和芯片都是AI的底座的重要組成部分。選擇Infra方向,勝在走向市場的速度夠快。"芯片公司做一款芯片,都要兩年起步,遠水解不了近渴。"袁進輝向《智能湧現》解釋。
當下,正值AI大模型走向應用層的爆發時期,AI推理市場開始大規模增長。袁進輝的目标,就是在AI應用爆發之際,給開發者提供關鍵的"鏟子"。
6月,矽基流動剛剛推出新産品SiliconCloud,目前已達日均百億Token的調用量,團隊還宣布多個主流模型服務永久免費——袁進輝也因此被許多開發者稱爲"賽博活佛"。
"必須擴大AI開發者的基數,讓他們實現Token自由,才會有下一個"張小龍"的出現。"袁進輝說。
而縱觀袁進輝的兩次創業,都是關于證明自己、"舍我其誰"的故事。
七年前成立OneFlow,源于他看到的一個趨勢:AI模型體量将會越來越大,但已有的深度學習框架難以承載,需要全新的基礎設施。OneFlow成功打造出了世界前沿的分布式深度學習訓練框架,不過當大模型突然成爲共識時,卻沒來得及跑通商業化閉環。
現在,面對全新的AI推理市場,袁進輝渴望完成這道證明題。
在上一個互聯網創業浪潮中,中國創業者往往被認爲擅長模仿,快速叠代出最經濟的商業模型。但袁進輝這樣的創業者,代表着一種新時代技術創業者的面貌——從第一天創業起,就敢于站在世界舞台上,直面最前沿技術的競争。
"AI框架就是一個赢者通吃的市場。無論我們面對大廠時多麽弱小,資源多麽匮乏,我們的雄心壯志,一直就是爲全世界做最好的産品。"他說。
8月,矽基流動正好成立滿一周年。《智能湧現》與袁進輝複盤了過去他的心路曆程,以及聊了聊新出發後的風景。
以下爲對話實錄:
暴風眼中的一年
《智能湧現》:從去年8月份成立矽基流動,到現在也将近一年時間了。最近工作狀态怎麽樣?
袁進輝:這一兩個月我才緩過勁來,因爲去年一整年就像坐過山車。2023年的半年時間裏,我換了4家公司,從OneFlow,到光年之外,又到美團,然後8月份又分拆出來,就像大海風浪中的一隻小船。
到了2023年下半年,大模型方向的投資也冷靜下來。幸運的是,矽基流動成立以來順利完成了幾輪融資,資金上有了保障,現在産品推出後,還得到挺好的反饋,一定程度上緩了一口氣。
這一年AI行業的創業者,應該都有一種推背感。
《智能湧現》:2023年時,爲什麽會選擇和王慧文(原美團聯合創始人)合作,讓OneFlow被收購?當時其實王慧文去聊了非常多人,我們觀察到,大家想法态度也都很不一樣。
袁進輝:無論是科學家還是創業者,最本源是在追求做有Impact的事業。要做一件更大的事情,需要面對更複雜的局面、整合更多資源時,需要團隊,是不是我自己把握方向盤不重要,有這樣的ego是沒必要的。當時的狀況是,老王的産品、商業都是業内頂級,我們有技術、工程能力,其實是一個非常好的配置。
《智能湧現》:這段經曆給現在的創業,帶來了什麽?
袁進輝:非常獨特的一段經曆。與老王(王慧文)一起共事,在非常短的時間裏,學到非常多,共事的幾個月裏,很多事情我們幾個聯創會一起讨論,能感受到他的思考和決策方式。我個人收獲最大的是商業、組織層面以終爲始的思考——以完成更大、更遠的追求和目标來倒推。
《智能湧現》:怎麽理解這個"很大、很高"的目标?
袁進輝:頂級企業家所表現出的作風,不給自己設限,永遠在叠代,永遠在進步。
他們不會從自己有多少資源開始,再決定要去做什麽事情,而是去首先思考世界、社會或者行業中最重要的問題是什麽?再看要通過什麽路徑來實現。
《智能湧現》:你覺得以前并不是"工具箱"不夠好,而是在于想得不夠大?
袁進輝:以前想得也大,不過沒有找到路徑。那幾個月正處在風暴眼中,迅速補完了很多課和Skill Set——這是打過仗才能獲得的體會。老王打過仗,就像創業課的博導。
《智能湧現》:哪些思考讓你最受益?
袁進輝: "先想清楚做什麽事,事情對了,資源都會有,包括人與錢。"
事後,這些話都得到了驗證。我們選擇再創業的時候,一個突出矛盾是,大模型那時仍是最令人激動的事,但我們沒有足夠資源了,我們怎麽才能有機會繼續留在牌桌上,也要首先想清楚做什麽事。
《智能湧現》:我們在去年采訪老王的時候,聽到過一模一樣的話。
袁進輝:創業者要思考清楚那個特别客觀的東西,就像雷軍所說的"順勢而爲"裏的那個"勢"。這個可以是趨勢的"勢",也可以是事業的"事"。
《智能湧現》:分拆的時候,有過哪些選擇?
袁進輝:選擇非常多,幾乎所有的大模型廠商都給我們抛橄榄枝了。還有很多大廠以非常誇張的薪資包裹來挖人,壓力非常大。
《智能湧現》:所以這些朋友的鼓勵,算是幫你消解了一些不确定性。
袁進輝:是的。整個環境趨冷的狀态下,所有投資人或靠譜人才都會更理性,他們首先考慮這件事是否靠譜,這是說服别人開槍的最關鍵的一點。
《智能湧現》:矽基流動現在做的是什麽事情,能用簡單易懂的語言來解釋下嗎?
袁進輝:我們的技術核心是提供一個推理引擎。要有效利用大模型,需要幾個關鍵要素:GPU、模型,以及讓模型在GPU上運行并具備問答能力的引擎。這個引擎的關鍵任務是确保模型運行穩定、不損失精度,并且運行速度盡可能快,運行速度直接影響到使用模型的成本。
在一定的算力基礎上,能夠快速生成更多的Token,成本效益就更高。
《智能湧現》:也就是像大模型界的"水電煤",随取随用。
袁進輝:現在國内外大家都比較喜歡講MaaS這種産品形态,這實際上就是把模型、引擎、雲上的算力整合成一個API。
開發者不需要自己去找GPU或優化引擎。他們隻需注冊,然後通過API調用模型并開發應用,按Token計費即可。大模型公司通常隻提供自己的模型,但我們是一個中立第三方,提供業内常用的開源模型,如通義、智譜、DeepSeek、零一萬物,以及海外的LLaMA、Mistral等。用戶可以根據自己的需求選擇最合适的模型。
《智能湧現》:你們以前做大模型的訓練框架,再創業後,轉向現在的推理框架。最後爲什麽還選擇繼續創業?
袁進輝:既有長遠的問題,也有眼前的問題。我們需要選擇一個很大的市場,另一方面,在達到最大的一個目标(AGI)之前,要保證我們在牌桌上,要生存下來。從這兩個角度出發,我們都應該轉去做推理。
《智能湧現》:這個市場有多大?
袁進輝:單純從算力消耗來說,很快推理會遠超訓練。做訓練方向的Infra,客戶集中度很高,而且,大模型訓練是階段性的需求,訓練數據通常是固定的,比如幾萬億、幾十萬億token的量級。但做推理,可能每天都是幾萬億到10萬億Token,一周就超過了訓練的計算量。而且,大家都認爲模型推理成本下降是超級應用爆發的前提條件之一。
《智能湧現》:現在模型的訓練和推理使用的算力,大概是在一個怎樣的比例?
袁進輝:前段時間英偉達有個财報電話會透露,按銷售出去的卡來算,訓練和推理比例已經不相上下。由于中國比海外的節奏會慢幾個月或者半年,所以國内可能訓練會多一些。
但現在也在發生一些變化,我相信你們也注意到,随着開源模型水平上升,開源模型越來越多,已經能做出應用了。國内外行業的重心已經轉到應用,而不是再去卷模型訓練。我相信推理的算力已經超過訓練。
《智能湧現》:最近你們也新上了産品SiliconCloud,效果大概怎麽樣?
袁進輝:我們公測時沒有做任何的推廣,但每天湧進來很多新用戶,幾天後單日調用量就超過幾十億Token了。大家對這個數字可能沒有直觀的感受。ChatGPT的調用量都是萬億到數萬億Token/天,國内知名大模型一天的Token總量幾百億或幾千億,所以我們也挺受鼓舞。
《智能湧現》:比起原廠的模型,你們的優勢會在哪裏?
袁進輝:首先,模型種類非常全面,甚至包括一些很挑戰而稀缺的模型。像Deepseek 236B這樣的模型要部署好,其實有很多挑戰。目前爲止,除了我們和官方,沒有其他公司能将這些模型部署在自己的平台上。而且,好多開發者發現,同樣的模型,在我們平台上的推理速度更快。
模型降價,比想象中早
《智能湧現》:5月開始,模型廠商紛紛降價。降價潮,你覺得是提早來了嗎?
袁進輝:我們預計這個事一定會發生,但确實來得比想象早,比較突然,模型降價是Deepseek最早引爆的,其他各方主動也好,被動也好,都得跟進。
《智能湧現》:大家都是出于什麽心态在做降價這個事情?
袁進輝:大家态度不是很相同,但降價也是勢在必行。至少我們自己,用技術手段把成本真的做到了很低的水準,技術手段完全可以做到保證不虧本,甚至有錢賺。不過,業内絕大部分參與方還不是真正做到這一點,那就得補貼虧錢,非常有錢的廠商,可以這麽做。
《智能湧現》:這算是對你們有利的嗎?
袁進輝:是的,我們準備得足夠充分。
5月份,Deepseek發新産品的時候,我們也沒在第一時間推出來産品,兩三周之後我們的MaaS上線,我們計劃6月25号做推廣活動,結果正好趕上OpenAI宣布對中國停服,我們就推出了部分大模型永久免費的活動。
《智能湧現》:我記得有一個報告提到,OpenAI在過去一年的推理成本下降了至少90%。無論是訓練還是推理兩邊,成本都下降得非常快。這個趨勢以後會怎麽演變?
袁進輝:毫不誇張。我在一個開發者大會上做過一個報告,标題是《讓模型部署成本降低1萬倍》。
《智能湧現》:1萬倍,怎麽做到?
袁進輝:多方面綜合發力。在芯片層面,有10倍的優化空間,最近有個很熱的新聞,一位00後創立了一個芯片公司,做了一款叫Sohu的芯片,号稱可以超過英偉達最新GPU10倍。模型層也有10倍。比如,現在100億參數的模型能力,超過一年前的千億參數模型。模型縮小了10倍,計算量也相應減少10倍。我們所在的基礎設施層面至少也有10倍的優化空間,一年前運行緩慢的模型,現在可以運行得非常快。
還有底層的雲計算,可以把算力部署在電費較低的地方,潮汐效應也有優化空間,白天服務一個區域,晚上服務另一個區域。綜合下來,相對于一年前的水平,10000倍是可以做到的。
《智能湧現》:如果把硬件和軟件分開來看,硬件的優化空間更大,還是軟件?
袁進輝:在大模型推理上,軟件的優化空間更大,這是由大模型推理本身計算負載的特點決定,它是訪存瓶頸的任務,主要優化機會是軟件層面的調度,不是芯片層面的問題。
《智能湧現》:如果軟件的優化空間更大,是否意味着,未來對大模型公司來說,芯片不再是問題了?
袁進輝:應該是,芯片供應商會變得更加多元化。未來應該會有更多的芯片競争者,一旦競争充分,芯片價格有很大的下降空間。之前有人做過粗略估計,一張H100的制造成本大約3000美元,但售價高達3萬美元,芯片成本有很大下降空間。
《智能湧現》:國内有不少創業公司出來做推理芯片,也想發展自己的軟件生态。大廠也在競争,比如百度的AI框架"飛槳"已經做了很多年,同時大廠都是全棧式打法。你們所處的賽道,剛好是夾在芯片層和算法層之間,上下兩方都有可能侵蝕你們的賽道。
袁進輝:所有相關方都有競合關系。其它賽道的玩家站穩腳跟後,也可能會向我們發起沖鋒。
做推理方面的軟件優勢在于,能更快進入市場。芯片的開發周期長,即使現在開始做,也得兩年後才能出來。現在解決當前問題隻能靠軟件。即使将來芯片出來,仍然需要軟件基礎設施。
《智能湧現》:所以這個事兒,相當于打個時間差的問題。在别人大規模做應用的情況下,我們能很快地進入這個市場。
袁進輝:是的。AI應用的基礎設施中有幾個環節,包括模型、芯片和軟件,這些環節相互合作才能給用戶帶來能力。所以我們都是互補的,誰也離不開誰。
如果模型層競争非常充分,比如很多模型公司要和OpenAI競争,這個環節供給多元化的話,其他環節就會活得更舒适一些。反過來,如果OpenAI的寶座坐得穩,它也會垂直整合其他環節。所以,模型、芯片、Infra都在競争底座的生态位,即基礎設施的生态位。關鍵是誰先到達那個位置,或者誰能整合别人。
現在的模型,已經能支撐超級應用
《智能湧現》:我注意到你在朋友圈說,你覺得現在的模型能力已經足以支撐超級應用(Super APP)的出現,隻是這樣的應用還沒有出現。爲什麽會有這樣的判斷?
袁進輝:大模型在三個方面的能力取得了突破。首先是語言能力,即模型說話是否流暢自然,大模型的語言能力甚至比大部分人都要好。
第二是知識能力。現在模型裏有了一些知識,雖然有一些所謂的幻覺,但有手段去解決,比如大語言模型+RAG。
第三是邏輯。目前邏輯推理還不是很強,這限制了模型在複雜場景中的應用,特别是Agent。
我想表達的是,前兩個能力在很多應用場景裏完全足夠做出驚豔的産品。
《智能湧現》:但無論是上下文長度或者幻覺問題,現在都還沒有解決得非常好。
袁進輝:上下文長度已經做得很好了,幻覺也有RAG等技術可以克服。
《智能湧現》:所以就差邏輯了。
袁進輝:是的。我相信,基于當前這些開源的模型,完全能做出新的Super App,當然,Super App還需要另外一些條件,我們需要等待。
《智能湧現》:我們首先來對齊定義,你覺得Super App的定義是什麽?
袁進輝:大家心裏會有個标杆,比如類似抖音、微信這種量級的,日活非常高,用戶離不開的産品。
《智能湧現》:這都是用戶數到10億級别的應用了。所以你是覺得,隻是還沒有人做出這樣的創新而已?其實還有人說模型能力不夠——這是最近大家一直以來提到的一點。
袁進輝:我不相信模型能力還不夠這種說法。現在除了PMF,還開始講TPF(Technology Product Fit),其實産品上足夠有創意,不一定需要最尖端技術,介于GPT 3.5和GPT 4之間的開源模型對有的産品夠用了。
《智能湧現》:能舉個例子嗎?
袁進輝:比如陪伴對話,模型可以表現得非常自然。注意到最近美團推出的産品Wow,在海外上線後,有一位留學生使用它來解決生活中的煩惱。樓上的鄰居深夜開派對,影響她休息,但她不敢去交涉,Wow機器人一直給予她合理和理性的建議,就像一位朋友一樣。當她需要用英文與鄰居溝通時,Wow立刻轉換語言,幫她妥善處理了問題。
我認爲,這個場景需要的能力,開源模型都可以做到。
《智能湧現》:所以,開源模型和閉源模型的差距是在不斷縮小的?
袁進輝:開源模型追趕速度還是很快,這也說明最前沿的閉源模型的叠代速度變慢了。
《智能湧現》:參照雲計算的發展路徑,其實雲計算到現在已經是一個特别标準化的事情了,很早就陷入到同質化競争。大模型的稀缺性能維持多久?
袁進輝:開源模型實現了讓模型觸手可及,現在不是那麽稀缺了。以後會不會稀缺,還要再走一段時間,看是不是會出現大模型廠商的收斂。
真正做到特别Top的模型非常少,或許有的模型廠商以後重心就會轉成應用了,甚至像朱嘯虎講的,幾年之後沒有所謂的模型公司,都是應用公司。
《智能湧現》:所以拼到後面,大家要拼什麽?
袁進輝:現在最容易想到的是錢和GPU,模型的技術傳播擴散還是很快的,以後很多公司都會模型技術,最後比拼模型之外的能力。最後都會反映到數據優勢上。比如現在騰訊出了元寶,基于微信生态的内容,元寶的效果就非常好。小紅書也很有優勢。
《智能湧現》:所以,你會更看好大廠做的AI應用嗎?
袁進輝:短期是大廠,長期我相信還有其他力量會起來。産品的創意和洞察具有偶然性。既然是偶然性,從概率角度來看,一個微小的概率,疊加一個巨大的基數,就很可觀了。今天的大廠裏做應用的人,加起來可能一兩千人,但他們之外,做應用的人可能是數百萬之衆。10年前,大家也不會想到有人能挑戰BAT,但總有新的公司出現。
《智能湧現》:從環境上來看,這跟上一個時代的創業一樣嗎?現在無論是錢、人才,可能都不太能相比。
袁進輝:AI也會有所謂的"傻瓜窗口期",在一定階段内,可能都不會有多少人注意到他們。當年快手起來時,很多人對這個産品後知後覺,并沒注意到原來五環外還有這麽一個需求。
《智能湧現》:以後,國内有什麽方面能夠做到世界頂尖的水平嗎?
袁進輝:客觀來說,現在我們的芯片、模型,還不是世界頂尖。但在AI Infra領域,我很自信地說,我們肯定是世界頂尖,可以把國内外大廠的模型響應體驗、水準進行直接對比。在全世界都有競争力,所以我們也在做出海。
《智能湧現》:框架層,還是大公司主導的領域,比如Facebook的PyTorch、百度的飛槳等,很講開源生态。中國公司想要出海,難度會在哪?
袁進輝:中國企業出海,開源是一個有效的手段,開源沒有國界,一些中國的開源項目在全球也産生了影響。
如果産品界面足夠清晰,足夠标準,容易嵌入已有的生态系統,隻要能讓潛在用戶知道且低成本嘗試,就能和用戶建立聯系。
例如,MaaS産品就是一個API調用,界面非常清晰,所有供應商都一樣,從一個地方遷移到另一個地方不需要任何改動。隻要滿足大家最關心的基礎指标,如服務保障、響應速度、成本等,出海也相對容易。
《智能湧現》:現在,矽基流動的海外商業化進展怎麽樣?
袁進輝:我們的MaaS服務推出之前,軟件訂閱在海外就已經有10來個付費客戶了。
《智能湧現》:以後的重心會放在國内還是海外?
袁進輝:客觀來說,海外MaaS市場更大,國内海外并重。我們更熟悉在國内開發者社群做産品和推廣,所以先從國内起步,海外産品也上線了。
《智能湧現》:關于商業化這件事情,有什麽東西是你現在堅持要做的?有什麽事就不做了?
袁進輝:關鍵的一點是,創業公司資源有限,必須找到一個非常好的點,深入挖掘,實現突破。切口可以小,但要切得深。無論這個點多小,都要在整個行業,甚至全球範圍内确立優勢。然後,将這種模式或方法論擴展到更廣泛的産品或方向上。
而不是一開始就什麽都做,但什麽都不精,這是很多公司遇到困難的原因。
《智能湧現》:這種轉變,跟現在的投資環境很有關系。
袁進輝:資金不是那麽充沛的情況下,也逼迫着每位創業者去思考,在更加節儉的狀況下做到引爆點。我覺得大家有一個共識,就是做強比做大更重要,更加健康。
《智能湧現》:你預計往後做的話,矽基流動還大概會需要多少錢,多少資源?
袁進輝:以現在的增長速度來看,我甚至沖動地覺得,不一定需要再融資,就能把生意轉起來,而且建立起比預期還要好的循環。當然,理性地看,還是應該拿到更多的資金,這樣做成功的概率更高,更有保障。
《智能湧現》:爲什麽現在就能實現了?
袁進輝:内外部條件都比較成熟。外部看,行業發展到了需要我們産品的階段,市場需求旺盛,而我們恰好處在正确的位置,一切都變成了我們的助力。
内部看,我們現在的技術水平,在同類産品裏也是世界上最能打的團隊。商業化方面最近也有頂尖高手加盟。
預測長期變得非常困難
《智能湧現》:這次新創業,目标有變化嗎?
袁進輝:和以前AI框架一樣,我們面對的是赢者通吃的市場,一旦決定做這件事,目标就是做成全世界都需要的産品。不管我們開頭多麽弱小,相對于大廠資源多麽匮乏,想的就是爲全世界做最好的東西,這一點沒有變。
《智能湧現》:跟當年創立一流科技的時候相比,你的心态有發生什麽變化嗎?
袁進輝:當年做OneFlow時還名不見經傳,當時做這樣的事情隻有谷歌這種大廠,我們經常要說服别人,這事我們真的能幹好。現在不需要了,好玩的是現在實現了聲譽自由,很多人相信我們不僅能做,而且能做最好。現在追求的是更完整的成功,不光是技術有多厲害,還有産品、商業化、組織、文化等方面的成功。
《智能湧現》:什麽事變得更難了?
袁進輝:做OneFlow時,我們提前多年就預判了一個趨勢:大模型會出現,我們提前好幾年爲大模型做Infrastructure,而且很長時間内别人不信,隻有我們相信,當時的窗口期非常之長,所以就很從容。
但現在,大模型就是明牌,節奏非常快,一天一個變化,想做非常長期的預測,變得非常困難。
《智能湧現》:五年之後,比如說你覺得哪些事情,但目前還是沒有辦法解決的?
袁進輝:有些能力也許根本不在大模型的能力範圍之内。大模型的價值觀是我們教給它的,它可能不會有真正的主觀追求和情感。
另外,語言模型之所以先爆發,是因爲自然語言有良好的數字化基礎,有大量的語料,但遷移到其他領域,譬如和真實世界的交互——具身智能等領域,曆史數據非常少,收集這些數據也面臨很多困難,我不知道這些問題在五年内能否解決。
《智能湧現》:過去一年,市場上有沒有一些共識的出現,是讓你覺得特别驚喜的?
袁進輝:大家普遍開始認爲應用非常非常重要,即使是OpenAI現在也開始親自上陣或以并購的方式爲應用産品做準備。
《智能湧現》:有沒有一些你自己之前非常堅定相信的東西,在這一年裏會發生一些變化?
袁進輝:一年前我高估了大模型的難度,沒有預料到其他玩家追上OpenAI的速度這麽快。應該有不少人和我一樣想錯了。去年上半年,絕大多數人還在猜測誰能搞出GPT-3.5,現在是家常便飯了,現在普遍要追上GPT-4.0,甚至Claude都已經開始超過4.0。
>