英偉達老黃，帶着新一代 GPU 芯片H200再次炸場。
官網毫不客氣就直說了，" 世界最強 GPU，專爲 AI 和超算打造 "。
聽說所有 AI 公司都抱怨内存不夠？
這回直接141GB大内存，與 H100 的 80GB 相比直接提升 76%。
作爲首款搭載 HBM3e 内存的 GPU，内存帶寬也從 3.35TB/s 提升至4.8TB/s，提升 43%。
對于 AI 來說意味着什麽？來看測試數據。
在 HBM3e 加持下，H200 讓 Llama-70B 推理性能幾乎翻倍，運行 GPT3-175B 也能提高 60%。
對 AI 公司來說還有一個好消息：
H200 與 H100完全兼容，意味着将 H200 添加到已有系統中不需要做任何調整。
最強 AI 芯片隻能當半年
除内存大升級之外，H200 與同屬 Hopper 架構的 H100 相比其他方面基本一緻。
台積電 4nm 工藝，800 億晶體管，NVLink 4 每秒 900GB 的高速互聯，都被完整繼承下來。
甚至峰值算力也保持不變，數據一眼看過去，還是熟悉的 FP64 Vector 33.5TFlops、FP64 Tensor 66.9TFlops。
對于内存爲何是有零有整的 141GB，AnandTech 分析HBM3e 内存本身的物理容量爲 144GB，由 6 個 24GB 的堆棧組成。
出于量産原因，英偉達保留了一小部分作爲冗餘，以提高良品率。
僅靠升級内存，與 2020 年發布的 A100 相比，H200 就在GPT-3 175B 的推理上加速足足 18 倍。
H200 預計在 2024 年第 2 季度上市，但最強 AI 芯片的名号 H200 隻能擁有半年。
同樣在 2024 年的第 4 季度，基于下一代 Blackwell 架構的 B100 也将問世，具體性能還未知，圖表暗示了會是指數級增長。
多家超算中心将部署 GH200 超算節點
除了 H200 芯片本身，英偉達此次還發布了由其組成的一系列集群産品。
首先是HGX H200平台，它是将 8 塊 H200 搭載到 HGX 載闆上，總顯存達到了 1.1TB，8 位浮點運算速度超過 32P（10^15 ) FLOPS，與 H100 數據一緻。
HGX 使用了英偉達的 NVLink 和 NVSwitch 高速互聯技術，可以以最高性能運行各種應用負載，包括 175B 大模型的訓練和推理。
HGX 闆的獨立性質使其能夠插入合适的主機系統，從而允許使用者定制其高端服務器的非 GPU 部分。
接下來是Quad GH200 超算節點——它由 4 個 GH200 組成，而 GH200 是 H200 與 Grace CPU 組合而成的。
Quad GH200 節點将提供 288 Arm CPU 内核和總計 2.3TB 的高速内存。
通過大量超算節點的組合，H200 最終将構成龐大的超級計算機，一些超級計算中心已經宣布正在向其超算設備中集成 GH200 系統。
據英偉達官宣，德國尤利希超級計算中心将在Jupiter 超級計算機使用 GH200 超級芯片，包含的 GH200 節點數量達到了 24000 塊，功率爲 18.2 兆瓦，相當于每小時消耗 18000 多度電。
該系統計劃于 2024 年安裝，一旦上線，Jupiter 将成爲迄今爲止宣布的最大的基于 Hopper 的超級計算機。
Jupiter 大約将擁有 93 ( 10^18 ) FLOPS 的 AI 算力、1E FLOPS 的 FP64 運算速率、1.2PB 每秒的帶寬，以及 10.9PB 的 LPDDR5X 和另外 2.2PB 的 HBM3 内存。
除了 Jupiter，日本先進高性能計算聯合中心、德克薩斯高級計算中心、伊利諾伊大學香槟分校國家超級計算應用中心等超算中心也紛紛宣布将使用 GH200 對其超算設備進行更新升級。
那麽，AI 從業者都有哪些嘗鮮途徑可以體驗到 GH200 呢？
上線之後，GH200 将可以通過 Lambda、Vultr 等特定雲服務提供商進行搶先體驗，Oracle 和 CoreWeave 也宣布了明年提供 GH200 實例的計劃，亞馬遜、谷歌雲、微軟 Azure 同樣也将成爲首批部署 GH200 實例的雲服務提供商。
英偉達自身，也會通過其 NVIDIA LaunchPad 平台提供對 GH200 的訪問。
硬件制造商方面，華碩、技嘉等廠商計劃将于今年年底開始銷售搭載 GH200 的服務器設備。
參考鏈接：
[ 1 ] https://www.youtube.com/watch?v=6g0v3tMK2LU
[ 2 ] https://www.nvidia.com/en-gb/data-center/h200/
[ 3 ] https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
