ChatGPT 的火熱，讓國内不少互聯網、AI 企業紛紛加碼大模型。比如雲從科技（SH688327，股價 41.95 元，市值 310.71 億元）近期就拟募集 36 億元投向 " 大模型 "。
曾經的 AI，是 CV（計算機視覺）的天下。就國内而言，最受矚目的 AI 公司當屬 "CV 四小龍 " 商湯科技（HK00020，股價 2.93 港元，市值 980.64 億港元）、曠視科技、雲從科技和依圖科技。ChatGPT 的橫空出世，令 AI 産業的焦點迅速從視覺轉爲語言，從 CV 轉爲 NLP（自然語言處理）。
在語言大模型時代，CV 四小龍之一的雲從科技又将何去何從？特别是大模型追求 " 強者恒強 "，可能将是少數巨頭的遊戲。在算力 " 軍備競賽 " 中，雲從科技能否跟上巨頭的腳步？
值得注意的是，雲從科技已被列入實體清單。這意味着公司采購海外廠商生産的高端 AI 芯片存在限制，比如目前最火熱的 AI 芯片當屬英偉達 A100 和 H100。對此，《每日經濟新聞》記者 4 月 13 日緻電雲從科技。其工作人員表示，（上述芯片）此前有一點庫存，公司也在與國内廠商合作。
少數玩家的遊戲
互聯網、移動互聯網的興盛，使得各行各業崛起了一大批細分領域的巨頭。AI 的興起，同樣在各細分領域百花齊放。比如 CV（計算機視覺）領域的 " 四小龍 "；語音領域的科大訊飛（SZ002230，股價 59.18 元，市值 1374.80 億元）、思必馳。
而大模型時代，遊戲規則驟然改變。算力的 " 軍備競賽 "，導緻大模型成本高企，可能僅有少數巨頭能夠負擔。
據國盛證券計算機團隊測算，以英偉達 A100 芯片、DGX A100 服務器、現階段每日 2500 萬訪問量等假設爲基礎，估算得出：在初始算力投入上，爲滿足 ChatGPT 當前千萬級用戶的咨詢量，投入成本約爲 8 億美元，對應約 4000 台服務器；在單日運行電費上，參考美國平均 0.08 美元 /kwh 工業電價，每日電費約爲 5 萬美元，成本相對高昂。
此次雲從科技欲募集資金 36.35 億元，用于雲從 " 行業精靈 " 大模型研發項目。其中，場地購置及裝修費 5.54 億元，研發設備購置費 20.94 億元，人力資源成本 7.60 億元，其他費用 2.27 元。
投資明細。 圖片來源：雲從科技定增預案截圖
算力投入應屬于研發設備購置費。照此計算，雲從科技欲投入不超過 20.94 億元用于算力投入。
截至 2022 年三季度末，雲從科技貨币資金 12.47 億元。2022 年第三季度，上市公司營收 6479.03 萬元，同比下降 80.07%；歸母淨利潤 -2.64 億元。2022 年前三季度，上市公司營收 4.55 億元，同比下降 41.53%；歸母淨利潤 -5.89 億元，經營性現金流淨額 -5.29 億元。
從雲從科技财務數據看，初始投入之後的訓練費用、運行電費對其也是較沉重的負擔。據國盛證券計算機團隊，基于參數數量和 token 數量估算，GPT-3 訓練一次的成本約爲 140 萬美元；對于一些更大的 LLM 模型（如擁有 2800 億參數的 Gopher 和擁有 5400 億參數的 PaLM），采用同樣的計算公式，可得出，訓練成本介于 200 萬美元至 1200 萬美元之間。
據天風計算機團隊，參考 GPT-3 的發展曆程，OpenAI 從 45TB 的文件中過濾出 570GB 的數據集，僅訓練費用就高達 1200 萬美金，随後 OpenAI 經過約 3 年時間不斷探索，中途有 InstructGPT、davinci 不同版本的嘗試，最終在 2023 年發布了 GPT-4，打造一個有競争力的大模型需要數據、算法等資源的持續投入。
強者恒強
那麽，雲從科技是否可以與巨頭進行差異化競争，做一個 " 小而美 " 的垂直行業領軍者？
在信達證券看來，參數量超級龐大的模型在任何垂直領域都具備優勢，垂直細分的小模型難有生産空間。因此，信達證券認爲在大模型格局未完全形成之前，參數量的無上限堆砌是各家企業發力的焦點，故算力的 " 軍備競賽 " 無可避免。
據天風計算機團隊統計，百度 Ernie 大模型參數量約爲 2600 億，京東言犀、商湯商量 SenseChat 參數量爲千億級别，騰訊混元 AI 大模型參數量爲萬億級别。華爲盤古 α 參數量爲 2000 億。
據雲從科技公告，2020 年，OpenAI 發布的 NLP 大模型 GPT-3，實現了千億級數據參數，大模型也成爲了超大規模預訓練模型的代名詞。2022 年，ChatGPT 的出現更進一步确定了大模型作爲人工智能主流技術路線的趨勢。
可以看出，各大巨頭的參數級别爲千億級乃至萬億級。
圖片來源：天風計算機團隊公衆号 " 牛骨挖掘機 "
爲何各家都在比拼參數量？信達證券認爲，從論文研究來看，參數量的提升有助于構建語言預測模型的精确度，同時提高泛化能力。泛化能力的提升意味着一個參數量超級龐大的大模型，其在垂直細分領域的預測能力可超過針對垂直領域開發的中等參數量模型。
這意味着，做大模型似乎隻有成爲巨頭，才能避免被邊緣化。
天風計算機團隊也認爲，擁有一個大模型并不難，但是持續打造一個有競争力的大模型難度很大。雖然國内有衆多廠商推出了大模型，但從終局的角度看，大模型終将收斂并稀缺。參考 OpenAI 在海外的發展曆程，大模型需要連同生态一起進化，形成強者恒強的格局。
芯片何來？
中航證券研究所認爲，在 ScalingLaw 的框架下，隻要追加數據與算力，大模型的能力就能持續增強。對 OpenAI 而言，目前大模型的最大限制是數據和算力的總量。
或許，大模型之間的競争，已經轉爲對數據與算力資源的争奪。
對于雲從科技而言，由于公司被納入美國 " 實體清單 "，購買模型訓練用的高端芯片面臨限制。即使資金充足，能否成功獲取龐大算力所需芯片呢？
雲從科技定增預案顯示，2020 年 5 月至今，美國商務部宣布将包括公司在内的多家中國公司及機構列入 " 實體清單 "，該行爲不會對公司日常對外銷售、客戶拓展等産生重大不利影響，但可能對公司研發和項目交付過程中采購境外廠商的芯片、服務器等器件産生一定限制，盡管公司已制定國産器件替代的産品方案，但由于方案落地需要一定驗證時間、客戶對使用替代器件的産品認可具有不确定性等因素，可能會對公司的生産經營産生一定影響。
簡而言之，對銷售影響不大，影響主要是采購境外廠商芯片、服務器。
對于芯片問題，《每日經濟新聞》記者 4 月 13 日緻電雲從科技，其工作人員表示：" 首先有一部分庫存，然後我們和國産芯片供應商之前也完成深度适配。"
該工作人員也表示，具體芯片問題公司在 2 月份投資者活動記錄表有回複。記者查詢後了解到，雲從科技芯片的采購分兩類。第一類：公司過去向英偉達采購部分芯片用以訓練側方面，公司具有一定量的庫存儲備且國産化的訓練芯片水平也已經在快速提升中。第二類：過去兩年中，公司在國産化硬件适配方面穩紮穩打，已與華爲、寒武紀（SH688256，股價 195 元，市值 782 億元）、曙光等提供芯片和服務器的廠商完成了深度适配。
值得一提的是，雲從科技一度研發過 AI 芯片，如承擔工信部 " 基于自研 SoC 芯片的高準确度人臉識别産業化應用 " 等國家級重大項目建設任務。
而根據雲從科技招股書，其表示公司所處的人工智能行業尚處于發展初期，未來發展趨勢存在較大不确定性，相關技術及各應用場景的定制化解決方案叠代速度快，技術的産品化和市場化亦具有一定的不确定性。2020 年，由于芯片設計成果未達預期，且 EDA 軟件和生産流片遭遇限制，公司終止了 " 人工智能 SOC 芯片研制及結合高準确度人臉識别技術的産業化應用 " 項目。
也就是說，雲從科技終止了自研人工智能 SOC 芯片。
每日經濟新聞
