DeepMind 大模型再登上 Nature ——
氣象預測大模型GenCast，8 分鍾内完成 15 天的預測，而且不管常規還是極端天氣都能分析。
在 97.2% 的場景中，GenCast 的表現都超過了全球頂尖的中期天氣預報系統 ENS。
不同于 DeepMind 之前推出的 GraphCast 的确定性預測，GenCast 關注的是各種天氣情況的概率。
和 GraphCast 一樣，GenCast 也已經開源。
它基于擴散模型實現，分辨率爲 0.25 度經度 / 緯度（在赤道處約爲 28 × 28 公裏），相當于将地球表面分割成了超過 100 萬個網格。
每個網格都涵蓋 80 多個地表和大氣變量，相當于每次預測都有數千萬甚至上億條數據生成。
測試結果表明，在 1320 種實驗條件中，GenCast在 97.2% 的任務中，都比 ENS 更準确。
對于 GenCast 的表現，論文作者、DeepMind 研究人員 Ilan Price 表示：
我們确實取得了巨大的進步，通過機器學習趕上了并超越了基于物理的模型。
準确率超最強傳統方法
傳統天氣預報基于數值天氣預報（NWP）算法實現，核心是對模拟大氣動力學的方程求近似解。
不過，相比于單一确定性的預測，氣象機構越來越依賴集合預報，生成多個基于 NWP 的結果，對各種可能的情景進行建模。
GenCast 做的也是集合式預報，當然基于的原理不是 NWP 而是 AI。
開頭提到的 ENS，就是目前最先進的集合預報系統，來自歐洲歐洲中期天氣預報中心（ECMWF），未來将被納入其确定性預報系統 HRES。
但即便是這種最強的傳統方式，也無法戰勝 AI 系統。
在常規預報當中，DeepMind 團隊利用訓練數據中未涵蓋的真實曆史（2019 年）數據，設置了 1320 種實驗條件，涉及不同的物理變量、預報時長和垂直高度。
結果在 97.2% 的場景當中，GenCast 的 CRPS 都顯著優于 ENS，如果隻看對 36 小時之後的預測，GenCast 在 99.6% 的條件下都能勝出。
（CRPS 衡量了預報與觀測值之間累積概率分布的差異，數值越小說明預報越準确）
對于高溫、大風等極端天氣事件（實驗中按發生概率分爲 1%/0.1%/0.01% 三檔），除了在個别場景下，GenCast 的預報的相對經濟價值（REV）顯著優于 ENS。
（2t 代表距離海平面 2 米高處溫度，10wind_speed 代表 10 米處風速，msl 代表平均海平面氣壓，藍線代表 GenCast）
除了基礎的預測，在下遊應用上 GenCast 也表現出了更強的預測能力。
DeepMind 團隊測試了一款區域風電應用，使用全球發電廠數據庫中的 5344 個風電場位置和裝機容量信息，通過插值獲得各風電場位置的 10 米風速預報，并通過功率曲線轉換爲風電功率。
在 120 公裏、240 公裏、480 公裏三個空間聚合尺度上，GenCast 的風電功率預報 CRPS 和 REV 在 7 天内都顯著優于 ENS。
不僅精準性強，GenCast 的預測速度也很快，完成一次 15 天的預測僅需約 8 分鍾，而 ENS 需要幾個小時。
用擴散模型預測天氣
不同于 DeepMind 去年在 Science 上發表的 GraphCast（基于圖神經網絡 GNN），GenCast基于擴散模型實現。
它以最近的 X ( t ) 和前一步天氣狀态 X ( t-1 ) 的殘差 Z ( t ) 爲采樣條件，經過去噪後得到預測結果，然後利用預測結果計算新的殘差作爲新的輸入依據，将預測向更長時間延伸。
而具體的去噪過程，DeepMind 又選擇了交給Transformer來完成。
Transformer 編碼器首先将物理狀态場從經緯度網格表征映射到一個六次細化的二十面體網格上。
然後，在 Transformer 的自注意力機制中，網格上的每個節點都會關注其周圍 32 跳鄰域内的所有節點，從而有效捕捉局部和中等尺度的天氣特征。
最後，解碼器将結果映射回原始分辨率，得到去噪後的結果。
GenCast 從公開的 ERA5 再分析數據集中，選取了 1979 至 2018 這 40 年的數據（間隔 12 小時，分辨率 0.25 °）對 GenCast 進行了訓練。
爲了提高預訓練效率，數據首先被降采樣到 1 ° 分辨率，使用 5 次細化的二十面體網格進行學習。
這個階段需要 200 萬步，在 32 個 TPUv5 實例上運行約 3.5 天。
完成預訓練後，再用原始的 0.25 度分辨率數據和 6 次細化的二十面體網格，對模型進行高精度微調，共計 64000 步，需要約 1.5 天完成。
目前，像去年發布的确定性預測模型 GraphCast 一樣，GenCast 也已經開源，代碼和模型權重均已發布。
DeepMind 還表示，将會很快發布 GenCast（和以前的模型）生成的實時和曆史預報結果，爲其他研究者提供更多的研究資源。
論文地址：
https://www.nature.com/articles/s41586-024-08252-9
參考鏈接：
[ 1 ] https://deepmind.google/discover/blog/gencast-predicts-weather-and-the-risks-of-extreme-conditions-with-sota-accuracy/
[ 2 ] https://www.nature.com/articles/d41586-024-03957-3
