钛度圖聞 · 一百四十六期
策劃制作｜钛媒體視覺中心，編輯｜劉亞甯，作圖｜初彥墨
2024 年剛開年，OpenAI 推出的文生視頻工具 Sora 再次風靡全球，成爲了 OpenAI 繼 ChatGPT 之後新的生成式 AI 标杆。AI 重塑世界，也可能會讓環境資源付出巨大的代價。
據《紐約客》雜志引援國外研究機構報告，ChatGPT 每天要響應大約 2 億個請求，在此過程中消耗超過 50 萬度電力，也就是說，ChatGPT 每天用電量相當于 1.7 萬個美國家庭的用電量。而随着生成式 AI 的廣泛應用，預計到 2027 年，整個人工智能行業每年将消耗 85 至 134 太瓦時（1 太瓦時 =10 億千瓦時）的電力。
除了耗電，和 ChatGPT 或其他生成式 AI 聊天，也會消耗水資源。加州大學河濱分校研究顯示，ChatGPT 每與用戶交流 25-50 個問題，就可消耗 500 毫升的水。而 ChatGPT 有超過 1 億的活躍用戶，這背後消耗的水資源無疑是令人震驚的。
訓練一個大模型，科技巨頭每年都消耗了多少能源？本期钛媒體 · 钛度圖聞帶你關注。
AI 大模型參數突破百萬億級别，訓練一次有多燒錢？
在大模型的訓練中，語料信息的規模是很重要的。一般來說，語料規模越大，其蘊含的信息就越豐富，模型所形成的參數越大，具有更好的泛化能力。爲了獲得智能水平更高的大模型，AI 模型的語料規模和參數規模越來越大。
從參數規模上看，大模型先後經曆了預訓練模型、大規模預訓練模型、超大規模預訓練模型三個階段，參數量實現了從億級到百萬億級的突破。2017 年，谷歌首次提出 6500 萬參數的 Transformer 模型，自此大模型就開始走上了一條快速發展之路。
2018 年，谷歌發布基于 Transformer 的 BERT，BERT 學習了 16GB 的語料，形成 3.4 億個參數；2019 年，OpenAI 推出了 15 億參數的 GPT-2，同年，谷歌推出 T5 模型，參數達到 110 億。從十億級到百億級，大模型在一年内實現躍升。2020 年，OpenAI 推出了 1750 億參數的 GPT-3；2021 年，谷歌推出 Switch Transformer 架構，其參數量擴展到了 1.6 萬億；同年，北京智源人工智能研究院也推出參數量在萬億級别的模型 " 悟道 "。2022 年，清華大學、阿裏達摩院等機構的研究人員提出的 " 八卦爐 " 模型，其具有 174 萬億個參數，可與人腦中的突觸數量相媲美。如今，大模型參數量已實現百萬億級的突破。
目前，人工智能公司很少公開談論大模型的訓練成本，但相關研究估計這些模型的訓練成本可高達數百億美元。斯坦福大學發布的《2023 年人工智能指數報告》，基于已有大模型披露的硬件和訓練時間，對其訓練成本進行了估算。
2019 年，OpenAI 發布的大語言模型 GPT-2 參數量爲 15 億，它的訓練成本約爲 5 萬美元左右；到了 2020 年，訓練 1750 億參數量的 GPT-3 的費用大概是 180 萬美元。GPT-3 比 GPT-2 的參數量擴大了 117 倍，其訓練費用也增加了 36 倍。大型語言和多模态模型如 " 吞金獸一般 "，變得越來越大，也越來越貴。
生成式 AI 多耗能：ChatGPT 日耗電量超 50 萬度
訓練大模型需要大量的能源，比傳統的數據中心要消耗更多的電力。OpenAI 曾發布報告指出，自 2012 年以來，AI 訓練應用的電力需求每 3 到 4 個月就會翻一倍。華爲 AI 首席科學家田奇也曾給出數據，AI 算力在過去 10 年至少增長了 40 萬倍。AI 大模型可謂是 " 耗電巨獸 "。
研究顯示，訓練谷歌于 2022 年發布的大語言模型 PaLM 需要消耗 3436 兆瓦時的電量，約等于 11.8 萬美國普通家庭日耗電量（美國普通家庭日均耗電量約爲 29 千瓦時）；就算訓練參數量爲 3.4 億的 BERT 模型，也需要消耗 1.5 兆瓦時的電量，相當于觀看 1875 小時的流媒體。
據了解，AI 服務器和芯片是産生能耗最主要的地方。通用型服務器隻需要 2 顆 800W 服務器電源，而 AI 服務器則需要 4 顆 1800W 高功率電源，AI 服務器對于電源的需求大大提升。荷蘭一位學者表示，到 2027 年，新制造的人工智能設備的用電量将與荷蘭、瑞典、阿根廷等國的用電量一樣。
除了耗電，由于算力設備的冷卻需求，AI 消耗的水資源數量也驚人。
谷歌環境報告顯示，2022 年谷歌的用水量達到了 56 億加侖水（約 212 億升水），相當于 8500 個奧運會規格的遊泳池，這些水被用來爲該公司的數據中心散熱。不僅如此，在微軟的美國數據中心訓練 GPT-3 使用的水量相當于填滿一個核反應堆的冷卻塔所需的水量，大約 70 萬升。而用戶在使用生成式 AI 工具時也需要耗水。研究顯示，ChatGPT 每與用戶交流 25-50 個問題，就可消耗 500 毫升的水。研究人員預計，到 2027 年，全球範圍内的 AI 需求可能會需要消耗掉 66 億立方米的水資源，幾乎相當于美國華盛頓州全年的取水量。
除了消耗大量的電力和水資源，AI 大模型還是碳排放大戶。斯坦福大學報告顯示，OpenAI 的 GPT-3 模型在訓練期間釋放了 502 公噸碳，是目前大模型中有據可查耗能最嚴重的，它的碳排放量是 Gopher 模型的 1.4 倍， 是 BLOOM 模型的 20.1 倍，約等于 8 輛普通汽油乘用車一生的碳排放量，人均 91 年的碳排放量。
随着科技日新月異，未來 AI 大模型會層出不窮。不可否認的是，生成式 AI 的出現給社會生活帶來了巨大的助力，但 AI 給人類帶來效率提升的同時也可能引發能源危機。所以，科技巨頭們還需從算法和模型優化、硬件優化、訓練和計算技巧等方面入手，讓 AI 功耗在一定程度上降低。
數據來源：斯坦福大學《2023 年人工智能指數報告》、《AI 專題：重新思考對 AI 能源使用的擔憂》、中國政府網等公開資料整理。
