圖片來源@視覺中國
文 | 藍字計劃,作者|袁榭
1990年代中期,黃仁勳30出頭,他創辦的英偉達還沒完全站穩腳跟,他希望如日中天的台積電能代工英偉達的顯卡,他打電話過去,沒人搭理。
多年後,他還在向張忠謀抱怨這段往事:"當年給你打電話打不通也沒人回,是不是我電話号碼記錯了?給你公司在美國的銷售部門打電話也沒人接。"
今天,全球科技界恐怕沒有幾個人敢不接黃仁勳的電話,這個當年求人代工顯卡的小夥子被稱爲"教主",在3月21日的英偉達GTC大會上,他穿着标志性的黑色皮衣出現台上,說出了石破天驚的一番話:我們正處于AI的"iPhone時刻"。
2022年11月,大語言模型ChatGPT問世,預示着能生成自然文章和圖像的"生成式AI"将在社會普及,給世界帶來颠覆性的改變。而支撐這幅圖景的,有英偉達的GPU——AI時代最重要的基礎設施之一,GPU提供算力,猶如AI時代的原油。
2020年,全世界跑AI的雲計算與數據中心,80.6%都在用英偉達的GPU驅動。2021年,英偉達稱全球前五百個超算中,七成由它家的芯片驅動,在最新的超算系統中此比例是九成。運行ChatGPT的微軟數據中心用了上萬塊英偉達H100 GPU。後續,預計需要超過3萬塊英偉達的GPU來維持更高版本的GPT模型運轉。
如同1970年代的歐派克一限産,全世界的汽車都缺油。現在隻要英偉達一斷供芯片,管你天高股價、地大營收,全球前十大企業裏,至少有一半要地震。
黃仁勳和他的算力帝國,已經能扼住時代命脈。這其中,有着通往未來30年的秘密。
十年前悄然發生的革命
2023年英偉達GTC的主題演講中,黃仁勳專門提到了生成式AI的飛躍:
"十年間,我們從自動判讀貓圖,進步到能自動生成‘穿太空服的貓在月球漫步’的圖片。"
皮衣老黃真不忘本。無論是"AI的iPhone時刻",還是英偉達成爲"算力油田",都是蓄力于前,發端于自家的"貓片"。
2010年的一天,加州帕羅奧圖市的瓊安咖啡館裏,剛做上英偉達首席科學家的比爾·戴利(Bill Dally)和當時在谷歌大腦供職的AI界宗師吳恩達(Andrew Ng)聚餐。
十餘年過去後他們會發現,正是這場會面,無意地打開了一道通往AI新世界的大門。
兩個老友在席間聊起了吳恩達當時課題面臨的障礙:訓練神經網絡AI的算力不夠了。
具言之,谷歌要用數千萬條YouTube視頻來訓練神經網絡AI分辨貓與人的不同。而當時AI界的領軍人物們仍然習慣串聯CPU來執行此類任務。吳恩達預計,要完成課題得用1.6萬塊CPU。
就算是從不缺錢的谷歌,也不會給公司内任一研發項目組輕松批下買1.6萬塊CPU的預算。AI宗師當年也被難住了。
戴利聽完老友訴苦,認爲自己有現成解決方案:不就是在線尋貓片麽,何必整1.6萬塊CPU,用我們英偉達公司的顯卡産品,幾十塊就搞定,你信不信?
當時英偉達雖已制霸世界獨立顯卡業,但名聲還隻局限在極客、硬核遊戲玩家、圖形設計師等非普羅用戶中。誰也不知道,這将是英偉達公司與人工智能行業雙向奔赴、雙雙出圈的起點。
随後,戴利找上剛從加大伯克利分校招到英偉達的非正職研究員布萊恩· 卡坦紮羅(Bryan Catanzaro),請他幫忙。卡坦紮羅很快找到了解決方案:并聯12塊英偉達GPU成功驅動了吳恩達的神經網絡模型,并聯48塊GPU就能獲取預計要用1.6萬塊CPU才有的理想效果。
論文一出,學界響震:居然有這種好事?
兩年後,AI界泰鬥辛頓(Geoffrey Hinton)和學生克裏澤夫斯基(Alex Krizhevsky)、薩茨克維爾(Ilya Suskever)效仿此舉,用英偉達的GeForce GTX 580顯卡訓練由克裏澤夫斯基提出的神經網絡模型AlexNet,奪得ImageNet圖像分類競賽冠軍,成爲AI技術飛躍的奇點。
從此,英偉達在深度學習芯片市場上撒腿狂奔。2013年内,英偉達在全球深度學習芯片市場占有率是100%。在上個世紀能源是石油,在這個世紀能源是算力。以後的新時代裏,黃仁勳的黑皮衣,如同上個世紀海灣國家顯貴們的白罩袍,都是唯我獨尊的霸主象征。
十餘年過去,泰鬥和宗師地位更高,年輕人也成了行業大佬。卡坦紮羅現在是英偉達副總裁、深度學習應用研究部負責人,薩茨克維爾現在是OpenAI的首席科學家、聯合創始人、GPT系列大模型集合之父。
|左爲黃仁勳,右爲薩茨克維爾
ChatGPT面世後,意外風靡世界,被稱爲AI技術革命的開始。然而即使這個大模型集合如OpenAI一開始預期的,作爲GPT3到GPT4之間的過渡實驗版本簡單飄過,AI技術革命的下一個出圈爆點,鑰匙還是會掌握在英偉達高層的朋友圈裏。
因爲算力的擴張與通用、技術的開發與布局,是英偉達成功的因由。
一炮打啞,老黃吃癟
大人物功成名就後,一般會支楞起來。
2018年初,《财富》雜志舉辦的活動中,有人問黃仁勳:你何時知道英偉達公司将會改變世界的?黃仁勳答:1993年2月17日,我成立公司的日子。不改變世界,我創個什麽業?
皮衣哥自己說得響,但1990年代中,英偉達的運營低谷時賬面上曾隻有6個星期的資金,離關門一步之遙。
人盡皆知,英偉達靠開發顯卡起家。然而黃仁勳創業的初心,與其說是做顯卡,不如說一直都是求索算力提高的途徑。
在1990年代,多媒體猶如近年的元宇宙、數據可視化猶如當下的生成式AI,都是從投資者到消費者都追捧的熱門技術話題。多媒體與可視化數據在當年的輿論浪潮中,被誇到小可以養妻活兒、提高工作娛樂效率,大可以改天換地、重寫行業經濟版圖。
這些技術的基礎,是圖像數據處理的更佳質量與速度。如果遊戲、視頻、PPT們始終停留在1992年的粗粝畫質,啥都無從說起。
1995年,全球有三十家大公司在顯卡市場上競争。
然而追逐時尚比想象中要難。創業公司得決斷:是專注個人電腦(PC)端的業務呢,還是專注特定公司的娛樂主機業務呢?是隻做圖像呢,還是做多媒體通抓音畫呢?
盡管當時沒有"賽道"的商業新話,企業家抉擇的難度并不低于現在。
英偉達的創始概念是加速計算,即用特制設備來爲CPU的運算工作減負提速,最簡潔的落地方案,自然是堆算力造顯卡處理圖像。
籌到250萬美元後,于1995年5月推出第一款産品:NV1。以現在的後見之明看,NV1的最大作用是給黃仁勳提供了反面經驗:這種産品做得很好,以後千萬不能做了。
出于爲當時的遊戲主機巨頭世嘉公司服務的考量,NV1最突出的特色,是兼容世嘉遊戲在PC上的運行,與業内既有和将出現的其他PC端3D圖像程序基礎架構的兼容性不夠出色。
當時世嘉公司有意将遊戲業務從街機、主機端擴展到PC端,NV1的努力迎合了主要合作商的需要,但局限了自己的市場潛力。而且NV1兼具顯卡和聲卡功能,偏離了加速計算基于圖像落地的初衷,産品定位有欠清晰。
NV1沒有一鳴驚人,英偉達公司卻非一無所獲。黃仁勳藉此從風投機構融了650萬美元的第二輪投資。
不過在1997年8月推出新産品Riva 128前,英偉達已經裁員過半,銀行賬戶隻剩不到6周的流動資金。辦公室既窄小,地段又不佳。剩餘的員工們不僅要在乒乓球桌上吃飯,連停車場也隻能蹭旁邊富國銀行的,而這家網點已經被搶劫過兩三回了。
頭炮打啞,隻要教訓真記住,對創業企業家來說并不完全是絕路。
雖然黃仁勳在各種活動上說創業首年的雇律師、訂辦公室早飯等各種經驗非常寶貴,但從1997-1999年上半年的英偉達三款産品看,他記住的顯然不止這些。
英偉達的過往,映照着它的未來。
把摩爾定律"卷"到極緻
英偉達此後的轉向,一是主業放棄多媒體,專做PC端的顯卡。
1990年代中期,遊戲業的熱門話題是從主機/街機走向PC,而不被注意的潛流是遊戲同時在從PC單機走向PC端多人在線。關于圖形渲染的硬件性能需求因此與日俱增。隻滿足這個缺口,已經足以養活整個行業。
二是垂直整合顯卡的配套軟件,自行開發顯卡驅動程序和拓展軟件開發工具包(SDK,software development kit)。
過去的慣例是,英偉達這些顯卡研發公司把設計交付主闆芯片生産商之後,由生産商自己分包給另外的承包者寫顯卡驅動。至于用顯卡做圖形設計等專門工作的終端用戶、PC運行系統的開發商,與顯卡研發者沒有直接配合。凡此種種,局限了顯卡的性能潛力和用戶體驗。
1996年,英偉達專爲配合微軟當時剛推出的Direct3D圖形渲染插件,寫了自家顯卡驅動程序。1998年開始,英偉達公司會定期即時更新自家的通用顯卡驅動程序。此舉持續至今。
三是全力秉持和實現摩爾定律。這是英偉達現在成爲全球算力第一供應商的基礎。
不久前去世的英特爾聯合創始人戈登·摩爾(Gordon Moore),在1965年提出了摩爾定律:集成電路上可容納的晶體管數目,約每隔兩年便會增加一倍。衍生的推論,是每隔18個月,芯片的性能就會因此提高一倍。
英偉達公司的決策層,立志要将摩爾定律永續實現。
從1990年代後半葉開始,英偉達的産品設計與研發部門一直有三個部分同時工作:一部分負責本年度新品的設計,一部分負責去年出品的翻新挖潛設計,一部分負責明年新品的設計。每款産品之間,基本要有一倍的性能提高,如果顯存沒有漲一倍,那麽核心頻率就得快一倍,如果都不行,那麽至少制程要明顯縮小。
如此的結果,是英偉達每半年至一年就會推出性能換代的新品,1999年之前的産品内部代碼全叫NV,即"下一版"(Next Version)的首字母縮寫。其他同業公司跟不上如此搏命的步伐,紛紛退出競争。
1995年的三十家顯卡設計大公司,到1999年末隻剩下三家。英偉達與之後被AMD收購的ATI,并肩收割遊戲玩家、專業設計師等高性能顯卡用戶的市場份額。英特爾依靠PC主闆的壟斷生産商地位,包攬主闆集成顯卡的低性能用戶市場。
1999年10月,英偉達推出GeForce 256,在營銷中稱"這是世界上第一款GPU"。同年,過去占據顯卡市場龍頭的3dfx公司破産,被英偉達收購。顯卡業告别創業者紛紛崛起的時代,進入了"紅綠藍三國戰争"的時代(按商标顔色不同的消費者昵稱,"紅廠"爲AMD、"綠廠"爲英偉達、"藍廠"爲英特爾)。
在20世紀的末尾,沒人知道這場競逐的結果,會決定之後由誰主宰世界算力的供應。
幹翻英特爾和AMD
經過20年,紅綠藍三廠競争顯卡市場霸主地位的結果揭曉:"綠廠"英偉達勝出了。
這場"三國演義"裏,"藍廠"英特爾一直是配角。憑借全球PC主闆市場的壟斷地位,英特爾的注意力一直放在CPU而非GPU。在英特爾眼中,要提高性能,得整個主闆的整全性能一起提升,隻提升圖像處理的速度,那是偏門小道。
所以英特爾做顯卡隻是占位,表示這個市場的錢自己還是要賺點,沒有完全放棄。這個策略的結果,現在已經被人做成了搞笑哏圖。
究其原因,是CPU要負責整個電腦主闆的序時性複雜運算,而GPU在成爲通用類芯片前隻需負責圖像處理的并時性簡單運算。如下圖所示,單個CPU的控制元件、基礎運算單元(ALU)、緩存(Cache)等,都比單個GPU數量少而負重大,因此提升性能的設計與制造難度都遠更高。
黃仁勳多次說過,以CPU而言,摩爾定律已經過氣,英特爾CPU性能翻倍的最快時限是每五年。然而他家的GPU嘛,還是每一至兩年内性能翻倍的哦。
真正的激烈競争,發生在英偉達和ATI/AMD之間。
這場角逐的早期,英偉達并不顯操勝算。在2006年被AMD收購前,ATI出品的顯卡,無論更新速度還是單個性能,都屢有明顯優于英偉達競品的佳作。高端顯卡的世界第一,在2000年代前半段看不出究竟屬誰。
但ATI在這場競争中已經後續乏力,英偉達的産品更新與性能提升速度,始終達到了摩爾定律的金标準。而ATI的産品更新目标,從勝過英偉達競品,逐漸變成了趕上英偉達競品。
ATI/AMD因應此形勢的對策,是改作中端顯卡:比英特爾的集顯性能強,比英偉達的高端顯卡更便宜。并且在營銷中攻擊英偉達的競品又貴又耗電:顧客大爺你們千萬不要被它越來越吓人的性能參數騙了,不是物超所值的哦。
2006年,ATI被AMD收購,英偉達少了一個強對手,勝算增加。
唯一的變數在于芯片代工廠。
顯卡業的過往通則,是ATI、英偉達等品牌企業管設計,然後将設計方案交付給芯片廠,委托它們制作成品。
當然,不是沒有公司想囊括從設計到生産的全鏈條,但此舉一般會給自己帶來雙倍的麻煩:以前承接你生意的芯片廠合作夥伴,以後就是要搶你生意的競争對手。1990年代從顯卡龍頭到被英偉達收購的3dfx,就是如此把自己玩破産的。
在被收購前,ATI是台積電的大客戶。但收購之後,2009年AMD與半導體大廠格芯簽約,所有芯片都交由格芯制造。而格芯在芯片制程縮小的技術革新中逐漸落後于台積電,帶累了AMD的所有産品,包括顯卡。
與之相對的,是英偉達與台積電1997年敲定的合作關系合作越發緊密。
而這兩家公司的牽手之路,頗有戲劇性。
1990年代中期,台積電已經是市值近60億美元的大公司,英偉達沒有上市,年營收2700萬美元,兩者體量差距不小。正如本文開頭所述,黃仁勳給張忠謀本人和台積電美國辦公室打電話,沒人接。
最後,黃仁勳做出了科技史上的著名舉動:給張忠謀寫紙信。1997年,人在新竹的張忠謀收到來自美國的黃仁勳的信函後,大感興趣,如信中所邀,給英偉達公司辦公室回了電話。
在張忠謀的回憶中,黃仁勳接電話時,辦公室背景音嘈雜。在互相通名介紹後,皮衣哥不得不在公司裏怒叱:"都閉嘴!悄聲些!電話那頭是張忠謀!"等到兩人第一次見面,黃仁勳先講了半天圖像加速運算的産品理念,張老闆表示非常認同,反手遞來宣傳單。黃仁勳本以爲輪到台積電介紹自己的技術與産能了,結果打開一看,是講公司價值觀的。
英偉達在這段合作關系的初期如此伏低做小,越往後收獲越大。台積電的芯片制程每年都在縮小,集成電路上的元器件現在已經微縮到物理極限,無法比原子更小。芯片的精密度與日俱增,算力也跟着有數量級的飛躍。
"顯卡戰争"的結果,是英偉達勝勢如潮湧,成爲顯卡業的世界第一。制霸高端顯卡市場的英偉達,有足夠的營收來打中端顯卡、低端集顯的價格戰,産品與技術研發也有更充足的預算。
英偉達的技術優勢,從一步領先,到一騎絕塵。生成式AI爆火之後,2023年2月英特爾和AMD的CEO也在疾呼:我司有廣泛的産品門類适合此行業,明年生成式AI将會更加主流普羅化、更有意義。
這簡直是在哀求:時代的腳步啊,你等一等,别讓姓黃的把這份錢都賺完了。
通用算力,一統江湖
勝出後,英偉達的顯卡研發沒有放緩,算力持續增強。在2000年代後半葉,英偉達就開始着眼未來,研究這些算力的未來用途。
2006年,英偉達推出CUDA開發平台,軟件開發者可以通過這一平台,使用C語言編寫GPU片上程序,來完成複雜的計算。GPU從此實際脫離圖像處理的單一用途,成爲了真正的GPGPU(通用GPU)。
強大的算力一旦能通用,成爲其他行業的驅動力就是遲早的事。英偉達本身最先想通了這點,在AI領域的布局遠比公衆想象的早,技術領軍人早就和英偉達關系密切。
2010年的吳恩達尋貓片典故之前,2008年卡坦紮羅加入公司,他當時在加州大學伯克利分校做研究生時,就将注意力集中在爲AI開發GPU上。2009年,AI界泰鬥辛頓在學術會議上,勸上千名研究者趕快買GPU,那是深度學習的未來之光。2016年,微軟技術大拿黃學東創下了語音識别AI錯誤率與專業人類速記員持平的紀錄後,得獎開香槟的地點,是黃仁勳的大别墅。
2010-2012年的深度學習飛躍開始後,英偉達已經是穩赢不輸的世界"算力油田",把握數據量與運算速度的世界巅峰。之後所有挑戰都能克服,所有阻難都是表象。
英偉達把自己強大的GPU拓展到其他行業的嘗試并不是次次得手。Tegra芯片最終沒有成功進入手機市場,挖礦芯片随着加密貨币潮的褪熱前景黯淡,與特斯拉在自動駕駛系統的合作無疾而終,2022年黃仁勳"元宇宙将挺過任何經濟下行"的預言現在像個玩笑話。
然而這些不成功嘗試是力不虛擲、功不唐捐的。Tegra芯片裝不進手機,那就賣給馬斯克裝進特斯拉車裏。爲元宇宙開發的Omniverse平台,用來合成訓練AI的物理數據,多樣性與過拟合規避還勝過了真實世界數據。紮克伯格做不動元宇宙,但黃仁勳的Omniverse卻是長做長有。
即使有意競争者的挑戰,最後也成了給英偉達捧場。
2016年,谷歌宣布專門爲AI研究開發了機器學習的專屬芯片TPU(張量處理單元),并設計了基準測試工具MLPerf。然而在大多數年度的MLPerf測試中,按英偉達員工的自述,"黃總說,我們每次運行MLPerf基準測試時,都要向谷歌證明我們的GPU比TPU運算速度快,哪怕隻快一點點就好。"
今年谷歌的TPUv4終于在MLPerf基準測試測試中赢了英偉達的A100芯片,成爲業界大新聞:居然有芯片強過了英偉達産品!
蓄勢強勁,橫絕宇内。從現在到可預見未來的英偉達,如同1970年代至今的迪拜和利雅得:前30年是世界經濟的不起眼齒輪,以後就是世界經濟的動力艙。一直主宰能源驅動的上遊,不管下遊行業如何變動,自己都是八風不動。
不管福特和豐田誰赢了家用車競争,顧客最後都要找海灣土豪買油。不管元宇宙還是生成式AI誰是真正的未來數字産業走向,跑模型的數據中心都要找英偉達買芯片。共生雙赢,的确是英偉達赢兩次。
更多精彩内容,關注钛媒體微信号(ID:taimeiti),或者下載钛媒體App