微軟砸下大幾億美元，專門爲訓練 ChatGPT 打造了一台超算——
上萬張英偉達 A100 芯片打造，甚至專門爲此調整了服務器架構，隻爲給 ChatGPT 和新必應 AI 提供更好的算力。
△圖源：微軟
不僅如此，微軟還在 Azure 的 60 多個數據中心部署了幾十萬張 GPU，用于 ChatGPT 的推理。
有網友感慨：果然還是得靠錢生錢啊 ~
還有網友調侃，微軟數據中心服務器終于多了個新用途：
雖然不是真的，不過想象微軟數據中心的某些服務器用途，可能一半是 Xbox 的 xCloud，另一半是 ChatGPT。
微軟爲什麽打造這個超算？
事實上，這台超算并非最近才開始打造。
據微軟表示，他們給 OpenAI 提供這台超算已經有 3 年之久，而 ChatGPT 也正是基于這台超算提供的算力訓練的。
這是因爲，OpenAI 在最初商量與微軟合作時，曾經就算力方面的事情進行過協商。
OpenAI 認爲，如果微軟想給自己提供算力，就必須在 Azure 雲計算平台上 " 騰出 " 一部分巨大的算力單獨給它們使用，且确保它們不與 Azure 提供的其他服務産生沖突。
微軟答應了這一條件，特意給 OpenAI 提供了一台超算，用于各種大模型訓練。
△圖源：微軟
當然，微軟也不是白白給 OpenAI 提供超算服務的，背後肯定有自己的考量。
其一，吸引更多企業來使用 Azure 訓練自己的大模型。微軟執行副總裁 Scott Guthrie 表示：
雖然它是 OpenAI 的定制版，但同樣具備某種通用性，任何企業都可以基于這種方式來訓練自己的大語言模型。
其二，直接在 Azure 中提供 OpenAI 模型服務（Azure OpenAI Service）。
此前包括 GPT-3、Codex 和 DALL · E 2 等模型，都已經接入 Azure。
至于納德拉 1 月份立的 " 要把 ChatGPT 加入 Azure 服務 "flag，目前也已經實現。
官網還特意給 ChatGPT 相關服務貼了個高亮标簽：
這波屬實是微軟用 ChatGPT，再次宣傳了一波自己的雲服務（手動狗頭）。
當然，基于英偉達 A100 打造的超算也不是微軟 Azure 的最新技術。
據微軟表示，他們還将基于英偉達 H100 和網絡技術，推出 Azure 最新的 AI 虛拟機産品。
國内 ChatGPT 雲廠商現狀？
那麽，國内雲廠商是否會因爲 ChatGPT 被帶動起來一波？
事情并不如想象中簡單。
目前來看，國内公開表示擁有 1 萬張英偉達 A100 的企業隻有幻方量化。
據幻方官網顯示，2022 年 3 月由于需要發展量化金融業務，他們構建了一個名爲螢火二号的 AI 集群，擁有一萬張英偉達 A100。
至于其他企業，據《财經十一人》介紹，國内 GPU 持有量超過 1 萬張的企業不超過 5 家，即使規模最大的企業也不超過 5 萬枚，而且這裏面有不少都是英偉達中低端數據中心芯片。
顯然，相比微軟能給 ChatGPT 投入大量算力、或是像 Facebook 和谷歌一樣動辄能采購幾千上萬張 GPU，算力是國内廠商做 ChatGPT 的另一大難點。
在以 ChatGPT 爲代表的大模型技術上，軟硬件都還有不少難關要攻克。
參考鏈接：
[ 1 ] https://twitter.com/satyanadella/status/1615156218838003712
[ 2 ] https://azure.microsoft.com/en-us/products/cognitive-services/openai-service#overview
[ 3 ] https://www.high-flyer.cn/blog/hfai/
[ 4 ] https://new.qq.com/rain/a/20230305A07EU900
[ 5 ] https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/
[ 6 ] https://www.theverge.com/2023/3/13/23637675/microsoft-chatgpt-bing-millions-dollars-supercomputer-openai
