DeepSeek 開源周，今日正式收官！
内容依舊驚喜且重磅，直接公開了 V3 和 R1 訓練推理過程中用到的文件系統。
具體來說，包括以下兩項内容：
Fire-Flyer 文件系統（簡稱3FS，第三個 F 代表 File），一種利用現代 SSD 和 RDMA 網絡的全部帶寬的并行文件系統；
Smallpond，基于 3FS 和 DuckDB 構建的輕量級數據處理框架。
劃重點就是，3FS 可以把固态硬盤的帶寬性能利用到極緻，表現出了驚人的速度：
180 節點集群中的聚合讀取吞吐量爲 6.6TB/s；
25 節點集群中 GraySort 基準測試的吞吐量爲 3.66TB/ 分鍾；
每個客戶端節點的 KVCache 查找峰值吞吐量超過 40GB/s。
V3 和 R1 中訓練數據預處理、數據集加載、嵌入向量搜索和 KV Cache 查找等工作，3FS 都立下了汗馬功勞。
網友們表示，3FS 和 Smallpond 爲 AI 數據處理設定了新基準，将改變數據處理的遊戲規則。
對于 AI 來說，這就像從自行車升級到了高鐵。
将 SSD 和 RDMA 性能榨幹
根據 DeepSeek 團隊介紹，3FS 是一種高性能的分布式文件系統，面對的就是 AI 訓練和推理工作負載的挑戰。
它利用現代 SSD 和 RDMA 網絡來提供共享存儲層，從而簡化分布式應用程序的開發。
SSD 就是固态硬盤，而 RDMA（遠程直接訪問，remote direct memory access）是一種直接存儲器訪問技術。
它可以在沒有雙方操作系統介入的情況下，将數據直接從一台計算機的内存傳輸到另一台計算機，也不需要中央處理器、CPU 緩存或上下文交換參與。
特點就是高通量、低延遲，尤其适合在大規模并行計算機集群中使用。
具體到 3FS，具有以下特點：
分布式架構：結合了數千個 SSD 的吞吐量和數百個存儲節點的網絡帶寬，使應用程序能夠以不受位置影響的方式訪問存儲資源。
強一緻性實現帶：分配查詢的鏈式複制 ( CRAQ ) 以實現強一緻性，使應用程序代碼簡單易懂。
文件接口：文件接口衆所周知且随處可用，無需學習新的存儲 API。
并且，3FS 能夠适用于大模型訓練推理和過程中不同類型的應用負載：
數據準備：将數據分析 pipeline 的輸出重組成分層目錄結構，并有效管理大量中間輸出。
數據加載器：通過跨計算節點随機訪問訓練樣本，消除了預取或混洗數據集的需要。
Checkpoints：支持大規模訓練的高吞吐量并行 Checkpoints。
用于推理的 KV 緩存：爲基于 DRAM 的緩存提供了一種經濟高效的替代方案，可提供高吞吐量和更大的容量。
在大型 3FS 集群上的讀取測試中，實現了驚人的高吞吐量。
該集群由 180 個存儲節點組成，每個存儲節點配備 2 × 200Gbps InfiniBand 網卡和 16 個 14TB NVMe SSD。
大約 500+ 個客戶端節點用于讀壓測，每個客戶端節點配置 1x200Gbps InfiniBand 網卡。
在訓練作業的背景流量下，最終聚合讀吞吐達到約 6.6TB/s。
DeepSeek 還用 GraySort 基準測試評估了基于 3FS 構建的 smallpond 框架，該基準測試可測量大規模數據集的排序性能。
測試分爲兩個階段，先用鍵的前綴位通過 shuffle 對數據進行分區，然後進行分區内排序。兩個階段既需要從 3FS 讀取，也需要向 3FS 寫入數據。
測試集群包含 25 個存儲節點（2 個 NUMA 域 / 節點、1 個存儲服務 /NUMA、2 × 400Gbps NIC/ 節點）和 50 個計算節點（2 個 NUMA 域、192 個物理核心、2.2 TB RAM 和 1 × 200 Gbps NIC/ 節點）。
最終對 8192 個分區中 110.5TB 數據進行排序，耗時 30 分 14 秒，平均吞吐量爲 3.66TB/ 分鍾。
另外，KV 緩存客戶端的讀取吞吐量，峰值也達到了 40GB/s。
One More Thing
回顧 DeepSeek 這五天開源的内容，幾乎都和 AI Infra 相關：
第一天，，DeepSeek 獨創 MLA 架構的高性能版本，直接突破 H800 計算上限；
第二天，， 第一個用于 MoE 模型訓練和推理的開源 EP 通信庫，提供高吞吐量和低延遲的 all-to-all GPU 内核；
第三天，，一個通用矩陣乘法庫，僅 300 行代碼，是 V3/R1 訓練推理關鍵秘籍；
第四天，，創新的雙向流水線并行算法 DualPipe、用于 MoE 的負載均衡算法 EPLB，以及訓練和推理框架的性能分析數據；
第五天，3FS 和 Smallpond，高效的分布式文件系統和以之爲基礎的數據處理框架。
并且主打的就是極度壓縮成本，降低消耗的同時将各種硬件的性能全部發揮到極緻。
而另外一邊，有網友已經在期待 V4 和 R2 的上線了。
至此，DeepSeek 開源周的連載也要告一段落了，但 DeepSeek 後續動作依然值得持續關注。
感興趣的話，歡迎掃碼備注「DeepSeek- 職業 / 姓名」加入群聊，一起關注 DeepSeek 更多動态！
項目地址：
https://github.com/deepseek-ai/3FS
參考鏈接：
https://x.com/deepseek_ai/status/1895279409185390655
