雖然公衆不清楚 ChatGPT 的出現,對日常生活,到底意味着何等巨大的改變,但這不影響全球科技大小公司集體 " 蹭 " 點的熱情。
在 A 股市場,ChatGPT 概念股被持續做多,在美國也一樣。最具 AI 色彩和技術能力的英偉達公司,股價從美股在 2023 年第一個交易日—— 1 月 3 日的 143.15 美元,靠着 ChatGPT 的助推之下,截至 2 月 14 日收盤,漲幅高達 52.20%。這是在半導體行業進入下行周期的背景下取得的。
ChatGPT 需要什麼樣的 AI 芯片?為什麼赢麻的是英偉達?
為什麼 GPU 是首選?
看上去很美的 AI 技術,商業化落地進展總是不及預期。但是,ChatGPT 掀起的熱潮,卻成為 AI 未來商業化空間的最新想象。
ChatGPT 是 OpenAI 公司于 2022 年 11 月發布的一款 AI 應用産品——對話機器人,能通過學習和理解人類語言實現人機對話。
與此前早已出現的如蘋果 Siri 最大的不同,ChatGPT 的人機對話并不單調 / 弱智,ChatGPT 能根據人類的反應做出富有邏輯性的上下文信息互動。
因此,ChatGPT 不僅能做個性化搜索任務,也能做邏輯解析,甚至可根據不同的主題,自動生成不遜于人類智力水準的各種文件,如論文、新聞和各類報告等,還能完成高級輔助編程等自然語言任務。
如此 " 高智能 " 的應用工具,其爆發性無與倫比:發布兩個月,ChatGPT 月活用戶就達到 1 億,成為史上增長最快的消費者應用程序。
這種 " 熾熱 " 不止 C 端用戶獨有,全球頂級科技巨頭微軟和谷歌等,包括國内的百度、阿裡等科技公司,都先後宣布在 ChatGPT 領域的資金和技術布局,比如微軟以 100 億美元入股 OpenAI,谷歌剛發布了自研的 BARD 模型。
從底層技術角度看,ChatGPT 是一種基于 Transformer 架構的預訓練語言模型。這套模型,能通過海量語料數據,自動訓練生成語法結構和語句結構,這被稱為 " 生成類模型 "。
ChatGPT 應用和 AI 表達路徑,或語言模型主要功能,就是通過巨量數據做預訓練,之後就能理解 C 端用戶的語言指令,或更進一步根據用戶指令,生成相關文字結果并做文本輸出。
當前,AI 生成類模型主要分兩類,一類是以 ChatGPT 為代表的語言類,另一種是以擴散模型(Diffusion)為代表的圖像類。
若要保證 ChatGPT 的 Transformer(語義理解和形成有邏輯的語言輸出)效果,就必須擁有一個超大語言模型,即 LLM(Large Language Model)。這個大模型有着極多的标簽參數,便于 NPU 調用。技術論文顯示,ChatGPT 參數量達到了驚人的 1750 億。若使用标準浮點數,則占用的存儲空間能達到 700GB。
如 ChatGPT 的參數量級,以及需要的 Transformer 效果,則運算硬件單元需要什麼樣的類型或技術要求?
簡單來說,這需要三方面要求:分布式計算、内存容量 / 帶寬、算力。
首先,單機訓練顯然無法勝任 ChatGPT 的效果要求,因此需要使用分布式計算;其次,在大規模分布式計算過程中,除了高算力,分布式計算節點之間的數據傳輸也極為重要。這對節點數據互聯帶寬提出了極高的要求。
第三,内存容量,這個相對容易理解。做海量數據訓練,分布式計算節點的存儲空間,決定了節點數據量的多少。數據量級越大,AI 訓練效率越高,結果自然也會相應越好。
如此就很清楚,符合 ChatGPT 需求的 AI 芯片主要不是 CPU,而是包含 NPU 的 GPU。所謂 NPU,即嵌入式神經網絡處理器(Neural-network Processing Units)。神經網絡并不是指算法,而是一種特征提取方法。
決定神經網絡優劣的核心因素,在于擁有多少可供訓練的數據量。事實上,現在建模拼的不是算法,而是數據量級。
簡單來說,深度學習會把特征當作黑盒子,對原始數據做非常複雜的變換操作:輸入數據後,神經網絡會自動提取特征。這些特征會讓機器認識其含義,根據不同的技術目标識别和學習到什麼特征最合适。所以,深度學習解決的核心問題是提取特征。
英偉達成階段大赢家
ChatGPT 的效果,需要分布式計算、内存容量 / 帶寬和算力做保障。這決定了 ChatGPT 的算力硬件需求更多的是 GPU。
除了上文提到的原因,還有一個要點在于,CPU 發展到本世紀初,已越來越難以繼續維持每年 50% 的性能提升;此時,内部包含數千個核心的 GPU,卻能利用内在的并行性,繼續提升性能。
更重要的是,GPU 的衆核結構更适合高并發的深度學習任務。比如基于衆核結構,英偉達推出的 Triton 解決方案。
這套 Triton 支持分布式訓練和分布式推理,能将一個大型模型的算力分解成多個部分,分配到多個 GPU 做相應處理,從而解決因參數量過大,導緻的單個 GPU 主存無法容納的問題。
此外,語言類生成模型的主要計算類型是矩陣計算,而矩陣計算一直是 GPU 的強項。
值得一提的是,GPU 這個縮寫,首創或定義公司即英偉達。
1993 年,黃仁勳等三位電氣工程師聯合成立英偉達,主要面向遊戲市場供應圖形處理器。1999 年,英偉達推出顯卡 GeForce 256,第一次将圖形處理器定義為 "GPU"。
但是,讓 GPU 成為 AI 訓練首選芯片的除了硬件本身,還有英偉達在 2006 年推出的 CUDA 軟件開發平台,以支持開發者用熟悉的 CPU 高級程序語言(如 C 語言 /Java)開發深度學習模型,靈活調用英偉達 GPU 算力,還配套提供數據庫、排錯程序和 API 接口等一系列工具。
可以說,英偉達在深度學習和 AI 訓練計算領域的技術儲備,全球罕有對手。因此,在 ChatGPT 剛邁出商業化探索第一步之時,就被業界寄予厚望。
IDC 亞太區研究總監郭俊麗近日對媒體稱,就現階段 ChatGPT 表現的 AI 水平,其總算力消耗高達 3640PF-days,需要至少 1 萬顆英偉達高端 GPU 做支撐。所謂 3640PF-days,即每秒計算一千萬億次,需要持續運行 3640 天。
郭俊麗由此做出預計,在 12 個月内,ChatGPT 很可能推動英偉達相關産品實現銷售額達 35 億 -100 億美元之巨。
看上去英偉達成了 ChatGPT 最大赢家,但對手也不是沒有,比如 AMD。這家公司近年來在通用 GPU 領域,一直緊追英偉達,成長速度極快。2022 年,AMD 數據中心事業部營業額實現 64% 的同比高速增長。
此外還有英特爾。目前英特爾在 GPU 市場,已推出面向數據中心和 AI 的 Xe HP 架構,還有面向高性能計算的 Xe HPC 架構。
當然,就英偉達 GPU 具有的标準通用屬性看,這家公司大概率會是 ChatGPT 在商業化初期較長時間内的主要受益方。
英偉達 CEO 黃仁勳近期針對 ChatGPT 發表看法時指出,"ChatGPT 的出現對人工智能領域的意義,類似手機領域‘ iPhone ’的出現。這一刻在科技領域具有裡程碑的意義,因為現在大家可以将所有關于移動計算的想法,彙集到了一個産品中。"