文藝複興三傑之一的米開朗基羅,被稱為 " 天才建築師 "。其實他一生留下的建築并不多,僅僅有美第奇禮拜堂、卡比多廣場、聖彼得大教堂穹頂等寥寥幾座。但米開朗基羅卻憑借對建築層次與結構的精妙把握,影響了此後數百年的建築風格。很多人認為,米氏特别擅長在立體的空間與繁雜的結構中,尋求建築的最大确定性。得益于此,像聖彼得大教堂穹頂這樣原本被認為不可能的作品才最終問世——探尋确定性,也就此成為建築設計師的目标之一。
在今天,數字化和雲化正在容納一切。每天,不計其數的硬件連接雲端,軟件完成雲上開發、叠代。這讓雲端變成了一個空前複雜的賽博空間,同時也産生了海量的不确定性。但是,這種不确定性又是必須被治愈和解決的。根據 GIV 預測,至 2025 年,全球企業雲技術使用率将達到 100%。全面雲化的不可逆趨勢下,企業必須确保自身數字化、智能化過程中的安全、穩定與可靠。
(華為雲貴安數據中心)
誰來再為全球企業尋得雲時代的确定性呢?答案是運維團隊。
過去,我們普遍認為運維應該是消防員,哪裡着火撲滅哪裡;但在雲時代的浩瀚業務與海量數據面前,這種模式顯然杯水車薪。于是,SRE 應運而生,雲服務商和企業用戶開始追尋确定性的運維價值。運維人需要成為 " 雲上的建築師 ",去設計可靠的建築結構,去預知建築可能面臨的種種風險,去構建安全與穩定的結構閉環。
在這樣的背景下,華為雲 SRE 團隊,是國内成長最快、發展最好的 SRE 團隊之一。他們不僅肩負起了華為雲業務體系的運維确定性,同時還為行業帶來了充沛的溢出價值。
今天,我們走進華為雲 SRE,去了解一個運維人從消防員變成建築師的故事,一個如何成為 " 雲上的米開朗基羅 " 的故事。
圖紙之下:
不确定性疊加的雲紀元
SRE,即 Site Reliability Engineering,站點可用性工程師。這個概念起源于 2003 年,主要針對傳統 IT 運維中人工為主的操作模式,希望以整體設計、自動化工具取而代之。簡單來說,SRE 的核心就是用軟件而非人工,來解決運維與安全問題。
當時代的鐘擺悄悄回蕩,SRE 的價值愈發凸顯了出來。因為在不經然中,我們已經來到了一個不确定性疊加的雲紀元。
一個全雲化的業務與服務系統,究竟會面臨多少安全問題?可能誰也無法給出精準答案。網絡異常、軟件故障、流量洪峰、硬件老化、機房斷電,都可能帶來一次運維問題。甚至一次技術人員的崗位調換,都可能造成意想不到的考驗。
而伴随着雲原生的落地,雲上承載的軟件開發與業務上新更加頻繁。增加新的業務模塊,也将考驗現網的穩定性與可靠性。随着雲上軟件開發與業務叠代成為常态,運維效率會成為考驗運維團隊與運維能力的最大難題。
另一個雲時代的不确定性,來自雲計算網絡急速發展。随着現網規模的不斷壯大,雲服務體系連接的計算節點、用戶節點都在不斷增多,同時參加運維的人員規模也在不斷增加。這種網絡規模擴張,讓運維不确定性呈現出幾何級增長。傳統意義上 " 頭疼醫頭,腳疼醫腳 " 的運維模式,将難以抵禦網絡規模的海量沖擊。
這種情況下,就需要有一種工程性的方法,可以在承認這種不确定性的前提下,依舊能夠保障雲服務體系的穩定可靠。比如說,讓運維能力參與到前端設計中來;強化運行中的動态風險治理;建設高可用,可用容納故障與風險的業務架構——這些方法的統合,就是 SRE。
或許可以這樣理解,SRE 就像是在充滿不确定性的雲時代,畫上一張确定性的建築圖紙。它不是具體解決哪個運維安全問題,而是帶來宏觀的安全與可靠。
華為雲 SRE,就是看到了這種必然趨勢,同時積極進行了嘗試與探索。
建築師的眼與手:
先一步成長的華為雲 SRE
未來,雲計算将會像水、電一樣觸手可及,随取随得。這個結論可以推導出一個必然:雲計算體系,必須像電網、水網一樣安全可靠。如今,我們再也不會常備蠟燭,預防停電。這背後的努力,是電網進行了大量運維工作來保障高可用——雲計算也将如此。
在華為雲的眼中,這個結論清晰可見。于是華為雲自成立的那一天起,就成立了 SRE 團隊。SRE 負責維護華為雲的整體質量,看護整個雲計算網絡的安全與穩定運行。
(在新華社智庫《中國雲計算創新活力報告》中,華為雲斬獲安全可靠能力排名第一)
如今,華為雲 SRE 這位建築師,已經用雙手畫出了一張宏偉的 " 确定性 " 建築圖紙。在全球範圍内,支撐着華為雲在全球 170 多個國家和地區,超過 240 個雲服務、370 萬開發者和海量企業業務,以及百萬級别的節點實例。這樣龐大的業務藍圖,都需要 SRE 團隊統一參與開發與部署規範,确保上線運維安全。
在這個過程中,華為雲 SRE 的 " 看家法寶 ",就是構築了華為雲的高可用架構,讓雲服務在産品開發的前端就具備高可靠、高可用特性。整體而言,高可用結構在應對故障時可分為三個維度考量:首先是軟件具有确定性的失效率,确保不會頻繁發生故障,将軟件問題控制在一定範圍之内;其次是給出确定性的恢複時長,明确可以在怎樣的時間之内進行業務恢複;接下來是構築确定性的爆炸半徑,确保單點的故障擴散範圍有限,隻影響到很小的範圍,而不影響整體業務。
在這樣的架構下,最終華為雲 SRE 實現了将可靠性、可恢複性、影響範圍控制的特性全面融入,真正面向萬千企業提供安全、可靠、高質量的服務承諾。從實際結果來看,在近幾年華為雲業務高速發展的同時,其出現的故障概率與故障烈度顯著低于全球主流雲廠商。或許可以說,華為雲 SRE 的運維能力做到了與公司業務規模一同成長,甚至先一步成長。
米開朗基羅的 " 溢出 " 效應:
讓千萬企業從 SRE 中受益
我們知道,數字化技術會在發展到一定程度時,出現明顯的 " 溢出 " 效應。比如說數字化價值賦能,就從虛拟經濟溢出到實體經濟,帶來了 " 數實融合 " 的發展契機。
對于華為雲 SRE" 建築師 " 們而言,其也在雲上運維的探索上展現出了明顯的 " 溢出 " 效應。
華為雲 SRE 的基礎價值,就是通過确保華為雲服務與網絡的穩定,帶給客戶更好、更優質的雲體驗,尤其是在 Devops 的場景下,保障了華為雲用戶敏捷創新、快速叠代的開發模式。讓用戶不僅能夠上雲,還可以有質量地用雲、有保障地用好雲。
再向前走一步,華為雲 SRE 通過服務客戶與無數應用的經驗總結,提出了 " 确定性運維 " 的發展方向與方法論,繼而梳理出适用于雲上業務的 " 确定性運維 " 能力體系和成熟度模型,供千行百業的企業進行參考。
這一業界獨有 " 确定性運維 " 能力體系成熟度模型包含:第一級基本運維,即基礎運維的能力構建,以此确保業務基本生存;第二級标準化運維,其能夠将運維帶到更加規律、規範的發展階段,确保業務的穩定可靠;第三級 SRE 轉型,意味着運維團隊開始從 " 消防員 " 轉型為 " 建築師 ",開始勾勒整體的确定性運維藍圖;在第四級,企業獲得 SRE 帶來的初步确定性,而到第五級企業将獲得高度确定性。
在可見的未來,大部分企業都會上雲,每一家企業都需要開發、運營軟件的時代裡,确定性運維可以說是一種剛性需求。即使每家企業的業務訴求與業務種類不同,但對穩定可靠的追求其實是高度統一的。
面向這一趨勢,華為雲 SRE 的一系列自我成長,都可以變成賦能萬千企業的成熟價值。比如,通過智能運維工具提升組織的效率和可靠性;通過全質量管理的流程理念,形成組織人員管理的可控性;運維團隊變成設計師,參與前端标準設計,構築高可用架構。
這些由華為雲 SRE 綜合和探索出的技術與方法,或許是每一家企業的決策者、管理者,都應該看到的現實價值。
在全雲化紀元,每家企業都需要運維能力的提升,那或許每家企業也都可以成為 " 雲上的米開朗基羅 "。SRE 的核心文化,依舊需要各界攜手去探索和發揚。但就像運維所需的确定性那樣,SRE 探索對每家企業的未來價值來說,也是充滿确定性的。