IT 之家 3 月 14 日消息,晶圓級芯片創新企業 Cerebras 推出了其第三代芯片 WSE-3,宣稱以相同功耗相較上代産品 WSE-2 性能翻倍。
IT 之家整理 WSE-3 參數如下:
台積電 5nm 制程;
4 萬億個晶體管;
900000 個 AI 核心;
44GB 片上 SRAM 緩存;
可選 1.5TB / 12TB / 1.2PB 三種片外内存容量;
125 PFLOPS 的峰值 AI 算力。
Cerebras 宣稱基于 WSE-3 的 CS-3 系統憑借其至高 1.2PB 的内存容量,可訓練比 GPT-4 和 Gemini 大 10 倍的下一代前沿模型。其可在單個邏輯内存空間中容納 24000T 參數規模的模型,大大簡化了開發人員的工作。
CS-3 适合超大規模 AI 需求,緊湊的四系統集群可以在一天内微調 70B 模型,而在使用最大規模的 2048 個 CS-3 系統集群時,可以在一天内完成 Llama 70B 模型的訓練。
Cerebras 表示 CS-3 系統具有卓越的易用性,大模型訓練中所需代碼相較 GPU 減少 97%,僅需 565 行代碼就可達成 GPT-3 大小模型的标準實現。
阿聯酋 G42 财團已表示将打造基于 Cerebras CS-3 的 Condor Galaxy 3 超算,包含 64 個系統,可提供 8 exaFLOP 的 AI 算力。