被稱為開眼看世界的林則徐,在自己的書房中寫了這樣一副對聯,以做自勉:海納百川,有容乃大,壁立千仞,無欲則剛。
包容的胸懷是我們做成很多事情的根基,也是一項産業戰略、科技事業發展的關鍵。近幾年,數據基礎設施國産化,在科技自立的大背景下如火如荼。比如,以計算和存儲為主要構成的 HPC/AI 數據基礎設施事關國計民生,在以科技創新和基礎科研為代表的關鍵領域均扮演着重要角色。但很多科技科研場景的 HPC/AI 數據基礎設施當前都依托 X86 CPU+GPU+Lustre 存儲 +IB 交換機這個大一統的抱團生态體系,且已成為業界公認的 HPC/AI 設施最佳性能組合之一。如何兼顧科技科研領域的效率成果與自立自強,為 HPC/AI 等多樣性算力應用關鍵場景,提供最适合業務的數據底座,成為一個關鍵問題。
這種情況下," 海納百川,有容乃大 " 的意義就凸顯了出來。不久之前,在深圳一所國家重點實驗室,華為 OceanStor Pacific 分布式存儲與早期依托 X86 CPU+GPU+Lustre 存儲 +IB 交換機組網構建的某大科學裝置 AI 集群進行了綜合的 POC 測試。其結果顯示,華為 OceanStor Pacific 分布式存儲完美兼容匹配該大科學裝置的 AI 集群生态環境,更重要的是通過實測,其多項指标性能和功能均優于現有系統。華為與該國家重點實驗室聯合操作的這項 POC 測試意義極其深遠重大,遠超于一款産品或解決方案發布:它代表了一種實事求是,兼容并蓄的發展策略;是一塊國産先進存儲面向全球的敲門磚,一艘中國科技與全球化間的破冰船;對于科學研究,乃至更多領域的數字化、智能化進程來說,這是十分幸運的。
數據之潮,時代之需:
科研場景的存儲挑戰
X86+GPU 主導的大一統生态技術體系經過了數十年發展和構建,其大樹根基在全球和中國已經十分深遠。大量國際國内的數字化工具和軟件應用,數字化成果都捆綁 X86+GPU。這在某種程度上來說是種無奈,但也是客觀存在不可回避的現實。
尤其在科研領域,HPC/AI 正在全球各個學科的研究中扮演重要角色,X86+GPU 算力平台可以更方便教授學者與科研從業人員接觸全球最新學術動态和驗證科研成果。這種強慣性的作用下,短時間内強行脫離 X86 生态是不現實的。因此,早期甚至當前新建的很多 HPC/AI 基礎設施,選擇建立在 X86+GPU 體系上。
随着 HPDA 的整體發展,從業務負載上而言需要考慮 HPC/AI、大數據以及 AI 的混合疊加,需要支持應用驅動的科學計算工作流,進而推動負載以數據為中心,從計算科學發現轉向數據科學發現轉變。
科技科研的突破速度取決于數據基礎設施的性能,特别是對數據存儲性能帶來極緻挑戰。第一個挑戰是應用的數據量級從 PB 級正在加速走向 EB 級;第二個挑戰是應用的負載從單一走向多樣化,也就是常說的混合負載;最後一個挑戰是應用類型的變化,從簡單走向複雜。核心是數據與業務的耦合度在增加,數據計算需要參與整個業務流程的多個環節,且環環相扣,缺一不可。
在當前推進科技科研自立自強的大時代背景下,面對這些數據中心存儲挑戰和需求,以及面對 X86+GPU 體系暫不可完全替代,國内業界都希望看到先進的國産存儲兼容 X86+GPU 環境的下的 HPC/AI 應用,也可以提供媲美 Lustre 存儲的性能和功能。
更佳性能,更優選擇:
華為分布式存儲的價值呈現
不久之前,華為 OceanStor Pacific 分布式存儲與在深圳某國家重點實驗室依托 X86 CPU+GPU+Lustre 存儲 +IB 交換機組網構建的大科學裝置 AI 集群進行了 POC 測試。從測試結果上看,整體兼容效果良好,沒有出現任何兼容問題,并且使用了華為 OceanStor Pacific 分布式存儲之後,存儲在功能、性能上優于現有系統,融入計算集群的效果也更加良好。
這次測試對接的成功,表明華為在技術創新、産品兼容上的進取姿态,也表明其為科研創新,乃至更廣闊計算、存儲領域做出貢獻的決心。科研教育與國家實驗性,在一個國家的計算基礎設施中具有代表性意義。與該大科學裝置 AI 集群的成功對接,可以看作華為 OceanStor Pacific 分布式存儲敲開了國産存儲為 HPC/AI 提供更優選擇的大門。HPC/AI 應用場景下,Lustre 不再獨領風騷。
一般來說,多元算力包括 x86、ARM、AI、GPU 計算等多種計算生态,存儲需要根據不同的計算場景與計算設施,為用戶提供最佳體驗。華為分布式存儲的價值與優勢,釋放到 HPC/AI 場景,可以有效滿足科研等場景中的存儲需求。
具體而言,華為 OceanStor Pacific 分布式存儲通過這樣幾個角度,破除 HPC/AI 場景的存儲困局。
首先解決海量數據高性價比存儲的問題:我們知道随着 HPC/AI 業務量的不斷增長,往往最先遇到的是機房空間不足和存儲成本高昂的問題。為此,華為推出了 華為 OceanStor Pacific 分布式存儲高密專用硬件,基于全新的高密架構設計,并提供更高的容量利用率,在有限的機房空間裡存下更多數據,更好地滿足海量數據增長的需要。疊加華為 OceanStor Pacific 分布式存儲的智能分級存儲技術,對域内熱、溫、冷數據進行統一管理,數據能夠在熱、溫、冷層系統間自動遷移,無需管理員手動幹預,靈活有效地管理數據全生命周期,同時有效解決海量數據的運維管理難題。
其次,提供面向混合負載的高性能:HPC/AI 應用計算所涉及的數據越來越多、類型越來越豐富、任務并發性也越來越高,因此需要性能更加均衡的存儲。華為 OceanStor Pacific 分布式存儲采用 OceanFS 新一代并行文件系統,結合獨特的大小 I/O 自适應數據流技術,一套存儲即可同時滿足極緻帶寬、極緻 IOPS 和極緻時延的混合負載要求。通過與分布式并行客戶端(DPC)的密切配合,打破單流和單客戶端的性能瓶頸,幫助企業有效應對混合工作負載的挑戰。
最後,多個不同業務環節數據的高效安全流動:由于數據量的增大、數據應用的複雜化,數據在不同環節、不同系統間高效流動是 HPC/AI 業務面臨的一個主要挑戰。華為 OceanStor Pacific 分布式存儲擁有業界領先的多協議互通能力。多個存儲服務同時訪問一份數據,支持 NFS、CIFS、HDFS 和 S3 等協議的按需部署,通過其中一種協議寫入的數據,無需遷移即可被其他協議讀取,提高跨環節、跨系統的數據分析效率。
此次面向多元算力,釋放多元算力價值的全面啟航,展現了華為的包容與兼顧,也展現了華為 OceanStor Pacific 分布式存儲乃至華為存儲,邁向科研 +HPC/AI 場景的發展方向。
面向未來,有容乃大:
數據基礎設施再啟航
在成功完成兼容測試後,華為在市場與受衆的層面獲得了更廣泛的認可。但華為 OceanStor Pacific 分布式存儲與深圳知名的國家重點實驗室大科學裝置 X86 AI 集群進行的 POC 測試,更廣泛的價值在于面向科研領域、ICT 領域,展現了一種關于有容乃大的智慧。
這次測試成功,對于多方面來說都有其意義。
對于科研機構來說,X86 環境的 HPC/AI 可以很快獲得更好的存儲支持,即使不在短期進行國産化計算替換,也可以實現數據可控、可信的數字化戰略,從而獲得更穩健、開放的科研環境。
對于 HPC/AI 相關項目與數據中心來說,華為 OceanStor Pacific 分布式存儲兼容多元算力意味着更多選擇,更廣闊的解決方案構建空間,确保計算基礎設施真正實現多樣性。對于計算國産化趨勢來說,我們不搞封閉和孤立,而是在開放、包容的态勢中走向科技自立自強。
華為分布式存儲支持多元化算力,意味着是一個真正開放兼容、自主創新的高可靠存儲數據底座正在建立,具備傳統超算、大數據分析及 AI 分析能力,應用驅動統一數據源支持全流程科學計算服務,在為科研及商業提供多樣性算力同時,能夠基于數據知識累積,提供高階數據價值服務。華為 OceanStor Pacific 分布式存儲的兼容性提升,既是一次新的啟航,也是一個明确的指向:它向世界展示了中國 ICT 産業海納百川的胸懷,包容萬物的決心。