5 月 23 日，36 氪舉辦「颠覆 · AIGC」産業發展峰會。本次峰會彙聚産業力量，共同探讨企業、行業在面臨變革時的應對策略，分享思考，探索和發現産業中最具潛力的企業與最具價值的技術，在激蕩的環境中探尋前行的方向。
大會上，燧原科技創新研究院院長、首席科學家姚建國教授發表了題爲《新一代 AIGC 算力底座》的主題演講，從算力視角分享了自己在大模型發展曆程中的見聞。姚建國教授坦言，大模型的快速發展已超出意料，兩年前關于大模型落地的解決方案仍不夠明晰，但目前看來大模型用武之處頗多。姚建國教授也表示，大模型的發展不是一蹴而就，而算力是大模型發展的重要助推器。
同時，姚建國教授進一步指出，國内芯片技術與軟件生态建設較國外仍有差距。首先，随着智能算力的需求增加，利用系統級設計解決大模型算力可能會成爲未來的發展方向；其次，軟件生态産業應構建國内軟件生态，尋求與國際創新體系相結合。最後，産業界的内部合作将加速算力基礎設施落地商用，共同推動國産算力發展。
燧原科技創新研究院院長、首席科學家姚建國教授
以下爲姚建國演講實錄（經 36 氪整理編輯）：
我本身在燧原科技和上海交大兩個單位，所以整個算力視角，我會從産業界、學術界包括研究界的角度分享一下。
其實算力的主要分爲需求、場景、芯片和系統四個層次。2022 年左右有多少朋友相信大模型落地？我和很多朋友分享過，也讨論過整個後續大模型發展，大模型真正有一個算力之問，模型越大真的能夠提升算力水平嗎？
其實這個問題 2023 年之前，很多朋友都不信，爲什麽呢？因爲我們原來很多小的模型都能解決我們的問題，比如說原來 NLP、CV 也好都是通過經典模型解決。模型越大，能力越強，泛化越好，就有能力解鎖新的技能，這是出乎很多人意料的一個期望，最終 2023 年，現在很多人相信了。所以很多發展原來受限于算力、模型、軟件硬件叠代式交互結果，這也是大家熟悉的發展曆程。
谷歌 2017 年提出 Transformer，把 Attention 機制介紹到學術界， OpenAI 整個發展曆程通過了好幾代叠代。整個過程不是一蹴而就的，模型不停叠代去做。在大模型開始之初是有極大風險的，他們自己都不太相信，或者是懷疑這個能做到什麽樣的程度，通過了幾代的叠代，去年年底開始有了突破性的成果。所以我們還是期望國内有一款對标 ChatGPT 的通用大模型，我們能夠願意付費使用，這樣會對整個産業有重大的推動作用。
這個過程中，算力起到什麽作用呢？一般來講都說，大模型的參數很多，參數很多時候算力要求很大。比如 OpenAI 的開放文獻中提到：3640PFLOS 天，這個相當于 1 萬張 A100 加速卡的算力水平。可以看到真正通用大模型算力水平是通過大量算力去做，也因此 ChatGPT 的投入巨大，風險巨大。
2020 年之前從研究界一直關注 Transformer 模型，Transformer 相關一些機制到 NLP 解決，後來移到 CV 上，當然 CV 還在提升精度。從整個發展水平和發展規律來看，算力在整個大模型基礎設施裏面起了重大推動作用。埃隆馬斯克要做，首先買了一萬張 GPU 卡，這個是基本的配置。
算力的種類很多，包括通用算力、超算、智算，通用算力就是我們用的雲計算；超算方面，比如說天氣預報、超算中心；智能計算這幾年的發展呈指數級增長，超越了摩爾定律。2012-2018 年 AI 訓練算力增長了 30 萬倍，而通用計算增長隻有 7 倍，所以說從算力發展來講，目前算力水平包括算力需求的話還是智能計算爲主的計算發展趨勢。
我記得前兩年去企業交流時，很多人都在問，大模型怎麽落地？當時我也不知道，但現在看來都覺得哪兒都可以落地，所以說很多發展，都是在意料之外的發展。這個意料之外的過程中，我們怎麽去找一下規律，看一下未來國内機會哪，我們沿着别人走過的路，能夠找一些其他的方向發展，所以整個發展是生成能力改變了生産力的智能。
什麽叫生産力智能？就是能夠幫我們人類做很多事情，能夠解決生産力問題，我本人負責研究生，我們在研究生培養裏面，今年開始改了一些考試規則，比如說研究生複試編程，如果 GPT 能做出來，研究生就不需要學了，這樣考試内容基本不能和 GPT 能力相當，人類還是要解決複雜問題的，通用的基本智能，可以交給機器去做，這個很多是生成能力，未來會給大家很多想象空間。
這裏就有算力需求，不同的算力需求應對不同的大模型，基礎大模型，場景大模型和應用大模型。基礎大模型與 ChatGPT 類似，是很基礎，是通過巨大的算力生成模型，通過預訓練，由超大算力去支撐。這一般都是巨大的智算中心去做的，小的智算中心還達不到要求。
場景大模型是在大模型的基礎上做調優，可以适用到不同的應用場景，賦能到不同行業，可以用普惠訓練算力做。
還有應用大模型，主要是推理算力，是相對來講性價比比較高的算力。推理現在有兩種趨勢，一個雲端推理調用一下返回來；另外還有端側，現在開始要有，本身的大模型部署開始往端側做。
還有就是 " 模型即服務 "，這個事已經發展很久了，但是發展并不好，原來我們 AI 這個通用一些自動化 AI 算法，有很多的 BAT 都做過，但用下來之後，包括客戶反饋是一般的。但如果 " 模型即服務 " 是通過通用人工智能提供的話，可以帶來不同一些體驗，比如文字生成圖。
所以我們一緻認爲，AIGC 給大家帶來全民體驗 AI 能力，這個非常重要，現在我們大街上随便找人都可以說 AI 能力這個事情，因爲都體驗過。這就是很多 " 模型即服務 " 能力部署的範圍提供。
我們再看一下芯片，上個月上海學術界做一個讨論，大模型我們差多遠？學術界給的說法至少差一代，芯片當然也差，隻有知道差在哪以後我們才有能力追趕。不管是模型、算法也好，還是芯片能力也好，國内一直以來都在講追趕。
智能芯片目前還是英偉達占統治地位，這個是不可否認事實，而且大家看到全球 AI 芯片的增長的話，是快速的增長，因爲智能算力的需求在增加，智能算力主要芯片載體就是 AI 計算加速卡，叫 GPU、DSA 也好，都是 AI 算力的特定計算。
從市場來講還是有很大需求，但是我們怎麽辦呢？其實我們要深刻看一下曆史發展，和我們将來發展路徑一個耦合度，比如超算。超算也是做大系統，主要靠互聯去解決大算力問題，這樣的話能夠實現 E 級計算。它的重要特點就是單核能力差，系統能力相當，我單個打不過你整個系統還是可以，因爲它實現了整體算力。
智能計算未來類似芯粒，單 die 算力有限，但是系統級設計包括互聯能夠解決大模型算力這種智算水平，未來很可能往這個方面發展。
最近很多的研究、初創企業都在提系統級創新，包括 AMD、英特爾都在提，這是技術的趨勢。系統級創新的問題來源于算力水平，不僅僅是單顆芯片解決，一定是通過系統解決方案去實現整個算力的變化。
目前存儲和運算的性能提升很多，但是帶寬提升有限，有一個 9 萬倍計算性能提升，但是有一個 30 倍帶寬性能提升，這肯定是不匹配的，未來會有通信瓶頸。所以要去解決高速通訊下實現高速互聯，高速互聯實現可擴展智算水平的問題。
另一方面，現在功耗太大，大家知道智算中心其實都是高耗能産業。解決這種高能效一些計算，比如英特爾做了 7nm 以下數據搬運，能夠占 63% 的能耗水平。現在很多大模型計算都是數據密集型的計算，因此它的能耗會很高。另外大模型需求還要去做專門的加速，剛才咱們看到大模型發展從技術來講可以追溯到 2017 年谷歌發的 Attention 的文章，那篇文章在模型上提供了一個專門的算法，現在包括英偉達在内的各類加速設備，都在做專門的加速，針對特定模型、特定算子，特定的計算範式可以做專門加速，整個實現模型算力就會有這種呈指數提高，這就是系統性創新。
另外整個智算系統的發展趨勢來講，芯片還是要大算力，高速互聯下的高算力，這個能夠實現系統級的解決方案。目前來講單獨的服務器、單獨的集群無法解決大模型預訓練，但推理還是可以的。預訓練會有一些專門加速，比如說 H100 提供 Transformer 引擎，提供低精度的數據格式，這樣也是提升算力利用率。這裏還有很多互聯創新，所以未來會有很大創新是集中在系統級層面。
此外還有生态，軟件生态其實是我們産業最關心一件事情。前段時間讨論，軟件生态提了好多年了，爲什麽軟件生态還沒有成長起來？現在大家都認爲做軟件生态，首先是在國内包括研究界自己要把軟件生态産業支撐起來，并與國際創新體系相結合。
所以說，還是在開放的軟件生态下，去做類似于大模型編程，現在出了新的編程模型，包括編程方法，支撐大模型更有效地、更容易地編程。這也是智算系統的發展趨勢。
燧原科技是做整個算力的基礎設施和數字底座，有芯片、軟件、系統，包括解決方案，目前 AI 芯片主要還是兩類，是第二代訓練和第二代推理，現在已經實現了整個算力集群的部署。由于集群都需要高速互聯，我們也實現了自己的協議高速互聯，替代原有協議，這樣可以實現多機多卡，實現大規模千卡以上互聯下的集群算力。
同時，燧原也提供了液冷智算集群的解決方案，實現了低能耗、高能效。目前已經在智算中心、泛互聯網、以及智慧城市和金融的人工智能應用場景裏落地商用了。未來也是需要我們和産業界朋友一起推動國産算力發展，構築新一代 AIGC 的算力底座。
