英偉達芯片 " 倒爺 " 們，開始不發朋友圈了，
2023 年大模型火熱的時候，" 倒爺 " 們朋友圈的畫風是 " 欲購從速、30% 定金，有實力的老闆來！" 到了 2024 年就變成了 " 現貨現款、物美價優。" 甚至有一批人已經黯然退場。
以 H100 整機價格爲例，官方售價爲 30 萬美元左右，水貨一度高達 300 多萬人民币，超過 50% 的利潤空間，讓不少人趨之若鹜，但是現在價格已經回落到 230 萬人民币左右，再倒賣也就沒什麽利潤空間。
其中既有英偉達芯片更新換代的原因，基于 Blackwell 架構的 GB200 等新品單位算力成本更低；也有算力行業從過熱到回歸理性的必然，有了 GPU 并不意味能轉換成大模型算力，大家對這一現實的理解，是用真金白銀砸出來的。
大模型之大，動辄需要 64/128/256 台服務器（一台服務器 8 張 GPU 卡）組成的算力集群來訓練。對于志在基礎大模型的廠商來說，萬卡集群成了入門門檻，不僅海外 OpenAI、馬斯克的 xAI 等都在規劃十萬卡集群，國内也同樣走在競逐十萬卡集群的路上。
來自需求端的壓力，也正在重新校正 AI 算力産業，首當其沖的便是智算中心。作爲計算、存儲、網絡的集合體，智算中心直接反映大模型算力的行業現狀，而來自一線的聲音趨于一緻：智算中心太 " 多 "，大模型不夠用了。
缺算力是真的，空置也是真的
智算中心并不是絕對意義上的 " 多 "，無論從各種視角看，真正适配大模型訓練的算力在未來一段時間仍有很大的缺口，大規模智算中心的建設不會停止。
以 OpenAI 爲代表，ChatGPT 發布兩年來，大模型産業發展的腳步似乎變慢了，不排除這是大模型新一輪爆發前的蟄伏，在 "Scaling Law"（規模法則）信仰之下，xAI、Meta、OpenAI 等巨頭都在積極布局十萬卡乃至更大規模的智算集群。
例如 7 月份，馬斯克宣布位于美國田納西州孟菲斯市的超級集群開始投入訓練，該集群配備了 10 萬個英偉達 H100 GPU，被稱爲 " 世界上最強大的 AI 訓練集群 "。兩個月後，馬斯克宣布該集群名爲 "Colossus（巨人）"，将在未來幾個月内再增加 10 萬顆 GPU，其中 5 萬顆将是更爲先進的英偉達 H200，Grok 3 訓練預計在三到四個月内于該集群完成，目标是 12 月發布。
再看 OpenAI，甚至因爲算力交付和 " 鐵杆盟友 " 微軟産生了分歧。此前微軟與 OpenAI 合作共建一個代号爲 " 星際之門 " 的巨型數據中心項目，項目預計成本超過 1150 億美元，旨在建設一個配備數百萬塊 GPU 的超級計算機。據報道，微軟計劃到 2025 年底向 OpenAI 提供約 30 萬個英偉達最新的 GB200。
但是奧爾特曼似乎對微軟的速度還不滿意，在完成 66 億美元的最新一筆融資後，OpenAI 又與甲骨文達成合作，将在德克薩斯州的一個新數據中心租用服務器，該數據中心未來可容納數十萬個英偉達 GPU。
圖片系 AI 生成
超大規模數據中心解決方案運營商秦淮數據對钛媒體 APP 表示，公司堅定看多智算，預計 2027 年開始智算需求進一步爆發，到 2030 年 100% 的推理需求都需要由超大規模數據中心來完成。
賽迪顧問人工智能與大數據研究中心高級分析師白潤軒此前表示， 截至 2024 年上半年，國内已經建設和正在建設的智算中心超過 250 個，2024 年上半年智算中心招投标相關事件 791 起，同比增長高達 407.1%。
" 這表明智算中心的建設在全國範圍内得到了廣泛的關注和支持。從 2023 年開始，各地政府加大了對智算中心的投資力度，推動了基礎設施的發展。" 白潤軒說。
百度智能雲 AI 計算部負責人王雁鵬則表示，從需求側來看，十萬卡是今年大模型競争的規模門檻，從技術角度來看，大模型算力基本估算爲模型的大小乘以所需要的數據量，"GPT4 是萬億參數，大概用了 2-3 萬張 H 卡集群訓出來 GPT4，按照 Scaling Law 推算，GPT5 的集群卡數大概在十萬量級，可能是 5-10 萬之間，參數級别會提升大概 3-5 倍。"
然而，與萬卡算力集群火熱相對應的，是大模型市場的 " 冷清 "。
據經濟觀察報統計，截至 2024 年 10 月 9 日，網信辦共通過 188 項生成式人工智能備案，也就是有 188 個大模型可以上線提供生成式人工智能服務。但超過三成的大模型在通過備案後未進一步公開其進展情況；僅有約一成的大模型仍在加速訓練模型；接近一半的大模型則轉向了 AI 應用的開發。
這些迹象可以理解爲：大模型預訓練需求越來越集中了。
與此同時，國内市場相較于海外市場更複雜。相似之處是算力需求持續增長，不同之處是算力封鎖、生态不全，加之前期部分炒貨囤卡的行爲，這就導緻了一種詭異的狀态——算力既緊缺又空置。因爲，" 把 GPU 卡塞進機房 " 和 " 構建用于大模型訓練所需的算力集群 "，是兩個完全不同的概念。
但是，對于智算中心的空置率或者浪費程度，并沒有一個統一的答案。從钛媒體 APP 獲得的一份資料可以有個大概感知：上半年國内已上線智算中心 17 億卡時，使用 5.6 億卡時，利用率 32%；另有數據顯示，目前算力基礎設施行業的平均上架率不足 60%。
算力空置引起各方關注
" 各地前期已經建設了一批智算中心，不管是國産卡還是英偉達的卡，這些集群都不同程度上存在閑置問題，政府已經注意到了這些問題，智算中心的運營主體也也不少出現虧損，在算力挑戰短時間内很難解決的情況下，投資節奏上還是要有所把控。" 一位接近政府的行業側人士對钛媒體 App 提到。
國家層面先後推出了十餘項政策推進智算中心建設，例如 " 東數西算 "" 數字中國建設整體布局規劃 " 等，但上述人士告訴钛媒體 App，最近發改委已經基本明确，如果還要進一步新建智算中心，而且是采購國外卡，能耗指标均不予批複。如果采購國産卡，考慮支持國産創新，并且在東數西算的八大節點上，還可以安排能耗指标。
據了解，目前智算中心主要投資模式，一是政府投資建設，建設資金來自地方政府财政資金、專項債券發行等，建成後所有權歸政府所有；二是企業獨立投資建設，由企業聯盟、少數企業聯合、單獨企業等形式進行投資；三是高校或科研機構獨立投資建設，向師生、研究人員提供免費算力支撐，服務高校教育場景，這種情況下建設成本較低。
這其中，有不少智算中心向銀行貸款采購 GPU 卡，承諾兜底方都是幾家搞基礎大模型的公司，比如阿裏巴巴、騰訊、百度等。銀行也很疑惑，大模型公司本身就有雲基礎設施和大量 GPU 卡，絕大多數中間商的議價權和渠道能力還不如這些大廠，怎麽讓大廠們加錢采購？
钛媒體 APP 獲悉，有地方政府開始斡旋，希望讓雲廠商租用閑置的智算中心算力。" 我們都不知道國内還有這麽多卡，某種意義上，算力稀缺的背後存在一些資源錯配。" 上述人士表示。
該人士還提到，政府意識到可能會有算力浪費的情況出現，但是，部分地方手握能耗指标，和供應商拉扯的時間較多，智算中心建得慢，而部分地方建設得快反而虧損，由此帶來的負面甚至引起了高層注意。
據悉，工信部日前面向六個城市定向下發了關于智算雲服務試點的批文，希望用公共雲的方式，解決前期各地方的智算中心建設問題，特别是國有資金建設的一些小散算力中心浪費問題。
近幾個月來，政府側已經出台多項政策，正強調有序引導，出清落後産能。
例如《數據中心綠色低碳發展專項行動計劃》發布，對數據中心行業的區域布局、能效水效、綠電使用進行了嚴格、全面的規定，并提出 " 全面清理地方高耗能電價優惠政策 "，輿論普遍認爲該政策将加速落後産能淘汰，從而改善行業供給結構，促進行業良性發展。
8 月 1 日，《公平競争審查條例》正式實施，要求各地方政府 " 沒有法律法規依據或國務院批準，不得給予特定經營者稅收優惠 "，這意味着盛行已久的地方 " 以稅引商 " 模式被按下了暫停鍵，企業将更關注經營本身，有利于行業從 " 卷價格 " 走向 " 卷創新 "。
雲計算行業也看到了智算中心建設的問題。阿裏雲智能科技研究中心主任安琳提到，目前有三種 " 萬卡集群：
假萬卡集群——公司确實有一萬張 AI 加速卡（GPU 卡），但分布在全國幾個不同的數據中心，每個數據中心有幾百張或幾千卡，加起來超過萬卡。這種集群是 " 假萬卡集群 "。
僞萬卡集群——擁有一萬張 AI 加速卡且部署在同一個數據中心，但訓練特定模型的時候，隻有一部分卡實際參與訓練。例如：1000 卡訓練 A 模型，2000 張卡訓練 B 模型，3000 張卡訓練 C 模型，4000 張卡訓練 D 模型。這種萬卡集群是 " 僞萬卡集群 "。
真萬卡集群——單一集群擁有一萬張 AI 加速卡（如 GPU 卡），部署在同一個數據中心，并且能通過大規模資源調度技術，讓萬卡作爲 " 一台 " 計算機，單一模型能在這一萬張卡上同時進行訓練。正如 100 個昆明湖連起來，也訓不出一支航母艦隊，大模型也是如此，隻有真正的萬卡智算集群，才能訓練出國際先進的大模型。
有數據中心行業人士也表示，數據中心行業對内卷嚴重的感知非常明顯，比如很多數據中心企業無條件爲客戶預留資源；簽訂短期租約，客戶擁有随時調價調量的權益；過度擴大責任範圍；招投标突破合理價格底線等等，這都是一些内卷帶來的亂象。
爲什麽大模型算力會閑置？
在回答這一問題之前，有必要捋清下大模型所需的算力類型。
目前大模型所需的算力主要有三種，其一是超大規模的大模型訓練，需要的算力集群越來越大，智算中心供不應求；其二是常規的大模型訓練 / 微調，一般的裸金屬或者算力集群都能滿足；其三是推理需求，用雲主機等都能滿足，未來需求有望穩定增長。
可以看出，除了第一種基礎大模型的訓練需求之外，其餘的大模型算力需求并不十分緊缺，不用最新的英偉達 GPU 卡，國産 AI 芯片也能頂上，企業可以在價格、成本、易用性等因素之間尋找平衡點。
ZStack CTO 王爲提到了一個很有意思的現象，也是國内企業不得已爲之的權宜之計——他表示，企業對于 AI 的投入還是相對比較謹慎的，在很多場景下用消費級顯卡，很大程度上解決了大模型非預訓練的需求。
對于雲廠商而言，按照正常的生意邏輯，一邊買卡一邊以雲服務的形式賣出去，不會大肆囤卡，其他的囤卡行爲顯然沒有充分認識到，賣卡這門生意有多難。
租卡也是一種節省成本的方法，GPU 正在更新換代，但不是簡單的付租金就行，雲廠商還要帶着工程團隊去做大量改造，估算地價、電價等，額外配置交換機、網卡、光纜等，任何資本支出都要盤算是否值得投入。
安琳進一步補充道，智算中心的三大主要門檻包括集群網絡、任務調度、智能運維。王雁鵬也表示，國内構建 10 萬卡集群面臨着三大難題，跨地域部署、多芯混訓以及集群穩定性，這些難題包括技術和工程上的多重挑戰。
首先是網絡，大模型催生了一種全新的網絡需求，此前從未有過，也就沒有相應的成熟方案，市面上所有方案都是邊研發邊使用，可以說，網絡技術直接決定集群規模能建多大。
" 幾百 G 的帶寬，在每一個毫秒範圍内正向模型訓練帶寬全占滿，下一個毫秒又反向全占滿回來，在人類曆史上的通信，沒碰到過這種需求。這涉及到諸多軟件硬件，交換機、網卡芯片硬件和軟件設計，路徑選擇的算法、通信協議的加速。要幹這件事，網卡、交換機甚至中間用的光纜都得專門定制。" 安琳說道，阿裏雲 AI 高性能網絡架構 HPN 7.0 成果論文被 SIGCOMM2024 收錄，成爲 SIGCOMM 曆史上首篇關于 AI 智算集群網絡架構的論文。
其次是調度，算力集群規模小，網絡當然簡單，但是效率和規模就沒有競争力，如何讓計算任務靈活的在硬件資源調度，資産利用率就能越高，算力價格就可以做到更低。
傳統思路是按照硬件資源做調度，先監測算力卡是否空閑，如果閑着了就給他扔一個任務過去，這是最簡單且效率極低的調度，雲計算行業早已經進化到按任務來調度，可以監測到每一張卡上每一個任務的進程，然後根據任務進程分配新的任務。
安琳強調，" 不是簡單地給算力卡安排任務，而是把更細顆粒度的一個個不同的計算任務在這些卡間做調度，需要很多的工程技術能力積累，這也是爲什麽現在全世界做得好的 AI 公司，基本上都屬于雲計算公司。"
最後是運維，在以前的計算中，算力卡壞了可以很快将其隔離，然後繼續用其他卡運行，現在大模型有很多瞬時故障，在毫秒級時間有抖動，一次通信過程中的抖動和丢包，就會導緻 GPU 利用率下降 50%。據安琳介紹，阿裏雲已經升級到毫秒級檢測，及時從集群裏隔離故障算力。
此外，國内企業構建算力集群還面臨着一個現實的困難：芯片。
國内企業面臨算力供應不穩定的挑戰，較難構建單一大規模訓練集群。現實情況是，企業内部會出現同一廠商不同代際芯片，或者不同廠商芯片共存的情況。這些芯片如何進行混部訓練，同時保證混部訓練的效率也是難題。
此外，随着芯片集成度的不斷提高，芯片的故障率也會相應上升，英偉達 H 系列芯片的故障率比 A 系列高 3-4 倍。并且算力集群規模越大，其故障率就越高。按照 H 系列芯片的故障率水平，十萬卡集群每 20 分鍾就會出現故障。較高的故障率對穩定性訓練保障提出了更高的要求。
王雁鵬介紹，包括百度在内的國内廠商正在破解這些難題。在跨地域方面，針對由于傳輸距離變長所産生的高延遲，百舸 4.0 已經構建了十萬卡級别的超大規模 HPN 高性能網絡，通過提供更高效的拓撲結構、更優的多路徑負載均衡策略及通信策略，能夠實現幾十公裏的跨地域通信。同時，在通信效率上，通過優化的擁塞控制算法、集合通信算法策略，将帶寬有效率提升至 95%，實現了完全無阻塞。最後，通過 10ms 級别超高精度網絡監控，保障了網絡穩定性。
智算中心，從内卷走向有序
對于智算中心的建設是否過于超前，不同人有不同看法。一方認爲，國内智算中心還無法擺脫海外生态體系，需要三到五年的過渡期，在此過程中，大規模加速建設智算中心必然會帶來大量浪費。
另一方認爲，海外封鎖隻會愈發嚴峻，國産算力生态必須加速成熟，相比于國家戰略的競争，超前建設帶來的一些小問題是可以接受的。有消息顯示，受到美方要求，台積電被迫采取臨時策略，将暫停向大陸 AI 算力芯片客戶供應 7nm 工藝及以下更先進制程的代工服務。
目前來看，囤積英偉達卡的确帶來一部分算力浪費，如上所述，很多購卡方不具備智算中心所需的網絡、調度和運維能力。一位智算中心技術專家直言，" 之前太多的投機倒把，很多都不是幹這個行業的，覺得囤貨就能掙錢，把它塞到一個機房裏面去，穩定性，各種容錯，亂七八糟的問題都解決不了，造成了很多浪費。
國産算力也同樣存在問題，該專家談及國産 AI 算力的浪費時感慨，" 華爲的運營能力太強，在大家還沒有準備好用國産卡和用華爲的時候，花了大力氣搞算力場、智算中心，運營商建了大幾萬卡的集群，它的芯片距離客戶開箱即用，到真正能用好還有一些距離，接下來會有更多的國産芯片進來，這個問題會進一步放大。"
" 但是對于整體國産卡這件事情我比較樂觀，基于大模型時代算力格局變化。原來的模型非常分散，CUDA 生态非常厲害是因爲要兼容那麽多模型，現在大模型比較收斂的情況下，大家的主流框架是一樣的；同時英偉達又這麽貴，再考慮到算力可獲得性問題，大家就會更願意嘗試用國産卡。" 他補充表示。
近日，《科技日報》也頭版刊登了全國政協委員張雲泉署名文章《智算中心建設不可盲目跟風》，文章強調，智算中心的建設需要巨額資金投入，而投資回報卻不确定。
文章表示，由于智算技術更新叠代很快，智算中心的生命周期一般隻有 5 至 10 年，如果沒有強大的技術儲備和升級能力，就可能陷入不斷投入卻無法跟上技術發展步伐的困境。另外，智算中心的運營管理離不開專業的技術人才和高效的管理團隊，否則就可能無法發揮其應有作用，甚至出現設備閑置、資源浪費等問題。由此看來，智算中心該不該建、能不能建、什麽時候建、建在哪裏，需要科學、穩慎決策，絕不能頭腦發熱、一哄而上 " 趕時髦 "。總的原則應當是，在市場需求明确且可持續的情況下，因地制宜、按需建設、适當超前。
一些地方也加強了對智算中心運營的要求，比如山東德州價值約 2 億元的 " 全國一體化工業大數據山東雲中心省會經濟圈區域分中心數據機房‘德智未來’智算中心項目 "，就在招标文件中明确寫明了 " 采用設計施工采購運營一體化的模式建設 "，要求運營期限不低于 5 年，并規定了項目驗收投運後每年算力的最低收益。
王爲也表示，從政策角度上看，政府對智算中心的要求比以前多，以前是先把智算中心建起來就行，現在建設初期就會找好的運營方，或者建設與運營一體，保證算力的使用率。
" 去年算力消耗以訓練爲主，目前看消解不了算力中心的算力，很多大模型廠商手裏囤的算力也不少，一些大模型廠商也減少了預訓練，不太需要對外租很大的算力了。現在很多智算中心也開始找一些推理的場景，研究落地應用，使用端會更分散，整個市場應該會更健康。" 他說。（本文首發于钛媒體 APP，作者 | 張帥，編輯 | 蓋虹達）
