北京時間 11 月 7 日淩晨,OpenAI 在首屆開發者日上,正式公布自定義 GPT。這一次的最重磅更新,當屬 GPTs。它讓過去一段時間裏大家想象的 GPT 幫你做一切,成爲現實。無需編程,每個人通過對話聊天的方式,即可構建一個專屬技能的 GPT。
依托此功能,OpenAI 将在本月晚些時候推出 GPTs 商店,讓更多開發者可以依靠制作專屬 GPT 賺錢。
如此重磅的更新,以及強大的功能,背後支撐的可不僅僅是在聚光燈下的 "GPU",而是更爲龐大的算力産業。
以 GPTs 爲引,回看我國大模型領域,以及算力産業的發展,不難發現,還有很多有待提升的空間,以及值得布局的商業藍海。
第一步:算力!算力!算力!
衆所周知,大模型的訓練、推理等過程對算力要求極高,以 GPT-3 爲例,英偉達曾披露訓練一次 1750 億參數的 GPT-3 需要 34 天,使用 1024 張 A100 GPU 芯片,單次訓練成本高達 1200 萬美元。
與此同時,在大模型等相關應用的快速發展下,據國際數據公司(IDC)發布的報告顯示,全球算力投資額将在未來五年内以每年 16.5% 的複合增長率增長。中國作爲全球最大的算力市場之一,算力投資額占比已超過全球總投資額的 1/3。
據華爲預測,到 2030 年人類将進入 YB 數據時代,通用算力将增長 10 倍,人工智能算力将增長 500 倍。
如此龐大的算力需求,最終落地點不僅僅是那一張張 GPU 芯片,而是更爲底層的算力基礎設施。二算力背後的底層支撐就是服務器。
當前,中國有超過 2000 萬服務器的龐大存量,每年通用服務器采購量約 400 萬 -500 萬台。華爲預測,到 2027 年,中國數據中心服務器市場總規模接近 5000 億元。
截至 2023 年 6 月底,全國在用數據中心機架總規模超過 760 萬标準機架,算力總規模達到 197EFLOPS,位居全球第二。算力總規模近五年年均增速近 30%,存力總規模超過 1080EB。
放眼國内 IDC 行業,當下新建成、在建的數據中心大多數以支持智能算力的智算中心爲主,而一些老舊數據中心在改造的過程中,也從配電、機房空間、布線等方面,進行針對性改造,達到足以智算項目落地的能力。
不過,僅僅是智算中心的落地對于算力産業,以及大模型而言還是遠遠不夠的。
第二步:智能網絡建設
如果沒有網絡,智算中心就像一座座孤島,即使有再大的算力也無法 " 輸出 "。
立足中國數據中心市場," 東數西算 " 工程啓動已過去近兩年的時間,東西部數據中心逐步呈現出協同發展态勢,但就目前對算力的需求來看,東部地區的數據中心依舊是供不應求,而西部地區上架率雖有所提升,但仍不理想,上架率不足 30% 的數據中心比比皆是。
究其原因,網絡延時是重要因素之一。爲了更好的協同東西部地區算力産業發展,工業和信息化部、中央網信辦、教育部、國家衛生健康委、中國人民銀行、國務院國資委等六部門聯合印發的《算力基礎設施高質量發展行動計劃》中指出,探索算力協同調度機制。推動以雲服務方式整合算力資源,充分發揮雲計算資源彈性調度優勢。鼓勵各方探索打造多層次算力調度架構體系,建設可滿足各類創新主體開展多元異構算力調度、應用、研發、驗證的平台環境。依托國家新型互聯網交換中心、骨幹直聯點等設施,促進多方算力互聯互通。
由此可見,網絡對于算力産業發展重要性。基于大模型領域的特點來看,基礎模型的訓練可以放在訓練成本較低的西部地區,從而實現低成本、大規模的訓練,而最終應用側的推理、調優,目前還是需要放在離最終用戶更近的東部地區。
不過似乎現有的網絡已經不足以支撐龐大的算力調度和數據流通需求,在 AGI 快速發展的當下,企業、用戶需要一個更加智能、更加便捷的互聯網架構,這個網絡架構也将是解鎖大模型價值的關鍵鑰匙。
中關村超互聯新基建産業創新聯盟秘書長馬炬曾對钛媒體表示:" 現有的網絡是否能承載大模型時代的模型訓練、網絡傳輸,以及算力供給等方面的需求?這是現階段行業需要考慮的一大問題。"
無獨有偶,互聯科技 AINet 負責人張先國也曾公開表示,在以模型爲中心的 AIG 時代,對強有力的網絡生态系統的需求将更加迫切。" 在大模型時代,傳統的互聯網的‘公網’已經不足以滿足當下的業務和應用需求。" 張先國強調," 時代需要一張新的網絡去承載 AGI 業務需求。"
第三步:綠色化
如果說算力是大模型的底層支撐的話,那麽電力可以看做算力的底層支持。近日舉辦的雲栖大會上,中國工程院院士、阿裏雲創始人王堅曾表示,過去一百年裏,全球電動機消耗掉的電量就占到了總發電量的一半,而現在的大模型就相當于新時代的電機。
以 Huggingface 的 BLOOM 大模型爲例,該大模型有 1760 億參數,光前期訓練,就需要耗費掉 43.3 萬度電,相當于中國 117 個家庭一年用電量的總和。
而與之參數量相當的 GPT-3 的耗電量更爲恐怖。數據顯示,OpenAI 訓練 GPT-3 耗電爲 1.287 吉瓦時(約等于 128 萬度電),大約相當于 120 個美國家庭 1 年的用電量。而這僅僅是訓練 AI 模型的前期電力,僅占模型實際使用時所消耗電力的 40%。
2023 年 1 月,OpenAI 僅一個月已耗用可能等同 17.5 萬個丹麥家庭的全年用電量。谷歌 AI 每年耗電量達 2.3 太瓦時,相當于亞特蘭大所有家庭 1 年用電量。
而衆所周知,現階段,中國數據中心用電幾乎全來自市電,市電中,絕大部分又是來自 " 火電 ",對于 2060 年實現碳中和而言,數據中心作爲用電大戶,在這個過程中自然需要綠色化運營。國務院印發的《" 十四五 " 數字經濟發展規劃》中就明确指出,持續提升數據中心可再生能源利用水平。
從我國 " 東數西算 " 整體布局來看,西部地區的幾大節點無一例外的占據了 " 綠色 " 的優勢,以甯夏中衛爲例,中衛市今年啓動實施用能權、碳排放權改革,推進 " 綠電園區 " 試點建設,完成确權和節能量确定工作;組織指導 4 家發電企業制定溫室氣體控制計劃,完成 1199.4 萬噸碳排放配額清繳履約,推動産業綠色低碳發展。
與此同時,去年 11 月,甯夏推動騰格裏沙漠 3 吉瓦新能源基地光伏複合項目首期 100 萬千瓦光伏項目全面開工建設,今年 4 月并網發電。
公開數據顯示," 十四五 " 期間,中衛天都山等地區規劃新增新能源約 400 萬千瓦。截至 2022 年 9 月,中衛市新能源裝機容量達到 822 萬千瓦,占全市發電裝機總量的 83%,占全區新能源裝機總量的 29%,其中光伏占全區光伏總量的 32%。而據钛媒體向 IDC 行業側了解,目前所處中衛集群的數據中心所接入的市電,已經有相當可觀的一部分屬于 " 綠電 "。
回到上文提到的,如若足以支持大模型、智能化的網絡搭建完成,企業則可以将更多的大模型訓練、推理、應用放在綠色電力充沛的西部地區進行。一方面,降低了企業使用大模型的成本,另一方面,在帶動西部地區經濟發展的同時,讓大模型的使用更加綠色化。
在大模型的背後,不僅是備受矚目的 GPU 芯片,還有更爲龐大的算力産業。而立足中國算力産業,實現從智算中心到智算網絡,再到綠色智算的三步走,也才僅僅是大模型行業發展的 " 開端 "。