《科創闆日報》7 月 12 日訊（記者 黃心怡） 7 月 11 日，英特爾在中國市場推出雲端 AI 訓練芯片—— Habana ® Gaudi ® 2。該芯片可滿足大規模語言模型、多模态模型及生成式 AI 模型的需求。據現場介紹，該芯片性能在一些關鍵指标上勝過英偉達 A100。
據了解，該 Gaudi2 處理器及 Gaudi2 夾層卡 HL-225B，以第一代 Gaudi 高性能架構爲基礎，具有 24 個可編程 Tensor 處理器核心（TPCs）。
每顆芯片集成了 21 個專用于内部互聯的 100Gbps（RoCEv2 RDMA）以太網接口，配備配置 96GB HBM 高速内存及 2.4TB/ 秒的總内存帶寬，滿足大規模語言模型、多模态模型及生成式 AI 模型的需求。
據現場介紹，英特爾 Gaudi2 運行 ResNet-50 的每瓦性能約是英偉達 A100 的 2 倍，運行 1760 億參數 BLOOMZ 模型的每瓦性能約達 A100 的 1.6 倍。
在發布會上，浪潮信息高級副總裁、AI 和 HPC 總經理劉軍現場發布搭載 Gaudi2 的新一代 AI 服務器 NF5698G7。
目前，英特爾已與浪潮信息合作，打造基于 Gaudi2 深度學習加速器的 AI 服務器 NF5698G7。該服務器集成了 8 顆 Gaudi2 加速卡 HL-225B，還包含雙路第四代英特爾至強可擴展處理器，支持 AMX/DSA 等 AI 加速引擎。當日，該款 AI 服務器也正式發布。
浪潮信息高級産品經理王磊強調，NF5698G7 是專爲面向生成式 AI 市場開發的新一代 AI 服務器，支持 8 顆 OAM 高速互聯的 Gaudi2 加速器，将爲 AI 客戶提供大模型訓練和推理能力。
新華三集團計算存儲産品線副總裁劉宏程表示，基于英特爾 Gaudi2 AI 加速器，新華三正與英特爾合作，開發适合大模型訓練和推理的高性能 AI 服務器。
同時，超聚變數字技術有限公司算力基礎設施領域總裁唐啓明指出，超聚變将與英特爾，共同推出基于 Gaudi2 的全新産品與解決方案。
此前，英特爾中國區董事長王銳在接受《科創闆日報》記者采訪時指出，ChatGPT 浪潮帶來計算需求的大幅度提升，目前正與包括百度、阿裏等在内的中國的客戶開展共同研究。王銳透露，不管是高性能的計算還是分布式的計算，都已經進行了布局。
一位英特爾技術專家《科創闆日報》記者分享了英特爾在大模型領域的布局情況。在訓練層面，針對 CPU、GPU、IPU、Habana 等異構計算，英特爾用 oneAPI 以及 XPU 平台來提供更多的選擇。在推理方面，第四代 Sapphire Rapids 發布後，基于 AMX 加速器，可在行業中解決 80% 以上的客戶推理需求。同時，也充分利用 CPU，包括用于訓練的 Ponte Vecchio，和用于推理的 Arctic Sound 等。
伴随着大模型的熱潮，雲計算的商業模式正朝着 MaaS（模型即服務）的方向演進，其所帶來的算力需求也值得關注。
" 它的理念是利用預訓練模型，對行業數據進行訓練，從而形成針對特定場景的、面向各行業的細分模型。我們知道通用模型的參數量非常大，例如 GPT-3 可達到 1750 億，部署這些模型會比較麻煩，因此，可能需要對大模型進行蒸餾和壓縮，形成行業可部署的模型。" 上述技術專家稱。
此外，把大模型進行私有化部署是不少行業的潛在需求。" 很多細分行業不接受 SaaS 服務，尤其金融等行業。因此，英特爾正在探讨如何把這個模型小型化之後，在本土落地做私有化部署，使其真正在行業落地。"
