文/Renee
編輯/孫越
從2022.11.30的ChatGPT,到2023.6.13的360智腦大模型2.0,全球AI界已爲大模型持續瘋狂了七個多月。ChatGPT們正如雨後春筍般湧現,向AI市場投放一個個"炸彈":辦公、醫療、教育、制造,亟需AI的賦能。
而AI應用千千萬,把大模型打造好才是硬道理。
對于大模型"世界"來說,算法是"生産關系",是處理數據信息的規則與方式;算力是"生産力",能夠提高數據處理、算法訓練的速度與規模;數據是"生産資料",高質量的數據是驅動算法持續叠代的養分。在這之中,算力是讓大模型轉動的前提。
我們都知道的是,大模型正對算力提出史無前例的要求,具體的表現是:據英偉達數據顯示,在沒有以Transformer模型爲基礎架構的大模型之前,算力需求大緻是每兩年提升8倍;而自利用Transformer模型後,算力需求大緻是每兩年提升275倍。基于此,530B參數量的Megatron-Turing NLG模型,将要吞噬超10億FLOPS的算力。
(AI不同模型算法算力叠代情況 圖源:格隆彙)
作爲大模型的大腦——AI芯片,是支撐ChatGPT們高效生産及應用落地的基本前提。保證算力的高效、充足供應,是目前AI大算力芯片廠商亟需解決的問題。
GPT-4等大模型向芯片廠商獅子大開口的同時,也爲芯片廠商尤其是初創芯片廠商,帶來一個利好消息:軟件生态重要性正在下降。
早先技術不夠成熟之時,研究者們隻能從解決某個特定問題起步,參數量低于百萬的小模型由此誕生。例如谷歌旗下的AI公司DeepMind,讓AlphaGO對上百萬種人類專業選手的下棋步驟進行專項"學習"。
而小模型多了之後,硬件例如芯片的适配問題迫在眉睫。故,當英偉達推出統一生态CUDA之後,GPU+CUDA迅速博得計算機科學界認可,成爲人工智能開發的标準配置。
現如今紛紛湧現的大模型具備多模态能力,能夠處理文本、圖片、編程等問題,也能夠覆蓋辦公、教育、醫療等多個垂直領域。這也就意味着,适應主流生态并非唯一的選擇:在大模型對芯片需求量暴漲之時,芯片廠商或許可以隻适配1-2個大模型,便能完成以往多個小模型的訂單。
也就是說,ChatGPT的出現,爲初創芯片廠商們提供了彎道超車的機會。這就意味着,AI芯片市場格局将發生巨變:不再是個别廠商的獨角戲,而是多個創新者的群戲。
本報告将梳理AI芯片行業發展概況、玩家情況,總結出大算力時代,玩家提高算力的路徑,并基于此,窺探AI大算力芯片的發展趨勢。
PART-01
國産AI芯片,正走向AI3.0時代
現階段的AI芯片,根據技術架構種類來分,主要包括GPGPU、FPGA、以 VPU、TPU 爲代表的 ASIC、存算一體芯片。
根據其在網絡中的位置,AI 芯片可以分爲雲端AI芯片 、邊緣和終端AI芯片;
雲端主要部署高算力的AI訓練芯片和推理芯片,承擔訓練和推理任務,例如智能數據分析、模型訓練任務等;
邊緣和終端主要部署推理芯片,承擔推理任務,需要獨立完成數據收集、環境感知、人機交互及部分推理決策控制任務。
根據其在實踐中的目标,可分爲訓練芯片和推理芯片:
縱觀AI芯片在國内的發展史,AI芯片國産化進程大緻分爲三個時代。
1.0時代,是屬于ASIC架構的時代
自2000年互聯網浪潮拉開AI芯片的序幕後,2010年前後,數據、算法、算力和應用場景四大因素的逐漸成熟,正式引發AI産業的爆發式增長。申威、沸騰、兆芯、龍芯、魂芯以及雲端AI芯片相繼問世,标志着國産AI芯片正式啓航。
2016年5月,當谷歌揭曉AlphaGo背後的功臣是TPU時,ASIC随即成爲"當紅辣子雞"。于是在2018年,國内寒武紀、地平線等國内廠商陸續跟上腳步,針對雲端AI應用推出ASIC架構芯片,開啓國産AI芯片1.0時代。
ASIC芯片,能夠在某一特定場景、算法較固定的情況下,實現更優性能和更低功耗,基于此,滿足了企業對極緻算力和能效的追求。
所以當時的廠商們,多以捆綁合作爲主:大多芯片廠商尋找大客戶們實現"專用場景"落地,而有着綜合生态的大廠選擇單打獨鬥。
地平線、耐能科技等AI芯片廠商,分别專注AI芯片的細分領域,采用"大客戶捆綁"模式進入大客戶供應鏈。
在中廠們綁定大客戶協同發展之際,自有生态的大廠阿裏成立獨資芯片公司平頭哥,着眼AI和量子計算。
2019年,平頭哥發布的第一款AI芯片含光800,便是基于ASIC架構打造,用于雲端推理。據阿裏介紹,1顆含光800的算力相當于10顆GPU,含光800推理性能達到78563 IPS,能效比500 IPS/W。相比傳統GPU算力,性價比提升100%。
在1.0時代,剛出世的國内芯片廠商們選擇綁定大客戶,有綜合生态的大廠選擇向内自研,共同踏上探索AI芯片算力的征途。
2.0時代,更具通用性的GPGPU"引領風騷"
盡管ASIC有着極緻的算力和能效,但也存在着應用場景局限、依賴自建生态、客戶遷移難度大、學習曲線較長等問題。
于是,通用性更強的GPGPU(通用圖形處理器)在不斷叠代和發展中成爲AI計算領域的最新發展方向,當上AI芯片2.0時代的指路人。
自2020年起,以英偉達爲代表的GPGPU架構開始有着不錯的性能表現。通過對比英偉達近三代旗艦産品發現,從FP16 tensor 算力來看,性能實現逐代翻倍的同時,算力成本在下降。
于是,國内多個廠商紛紛布局GPGPU芯片,主打CUDA兼容,試探着AI算力芯片的極限。2020年起,珠海芯動力、壁仞科技、沐曦、登臨科技、天數智芯、瀚博半導體等新勢力集結發力,大家一緻的動作是:自研架構,追随主流生态,切入邊緣側場景。
在前兩個時代中,國産AI芯片廠商都在竭力順應時代潮流,前赴後繼地跟随國際大廠的步伐,通過研發最新芯片解決AI算力芯片的挑戰。
我們能看到的變化是,在2.0時代中,國産AI芯片廠商自主意識覺醒,嘗試着自研架構以求突破。
3.0時代,存算一體芯片或成GPT-4等大模型的最優選
ASIC芯片的弱通用性難以應對下遊層出不窮的應用,GPGPU受制于高功耗與低算力利用率,而大模型又對算力提出前所未有的高要求:目前,大模型所需的大算力起碼是1000TOPS及以上。
以 2020 年發布的 GPT-3 預訓練語言模型爲例,其采用的是2020年最先進的英偉達A100 GPU, 算力是624TOPS。2023年,随着模型預訓練階段模型叠代,又新增訪問階段井噴的需求,未來模型對于芯片算力的需求起碼要破千。
再例如自動駕駛領域,根據财通證券研究所表明,自動駕駛所需單個芯片的算力未來起碼要1000+TOPS:2021年4月, 英偉達就已經發布了算力爲1000TOPS的DRIVE Atlan芯片;到了今年,英偉達直接推出芯片Thor,達到2000TOPS。
由此,業界亟需新架構、新工藝、新材料、新封裝,突破算力天花闆。除此之外,日漸緊張的地緣關系,無疑又給高度依賴先進制程工藝的AI大算力芯片廠商們提出新的挑戰。
在這些大背景下,從2017年到2021年間集中成立的一批初創公司,選擇跳脫傳統馮·諾依曼架構,布局存算一體等新興技術,中國AI芯片3.0時代,正式拉開帷幕。
目前存算一體,正在上升期:
學界,ISSCC上存算/近存算相關的文章數量迅速增加:從20年的6篇上漲到23年的19篇;其中數字存内計算,從21年被首次提出後,22年迅速增加到4篇。
産界,巨頭紛紛布局存算一體,國内陸陸續續也有近十幾家初創公司押注該架構:
在特斯拉2023 Investor Day預告片末尾,特斯拉的dojo超算中心和存算一體芯片相繼亮相;在更早之前,三星、阿裏達摩院包括AMD也早早布局并推出相關産品:阿裏達摩院表示,相比傳統CPU計算系統,存算一體芯片的性能提升10倍以上,能效提升超過300倍;三星表示,與僅配備HBM的GPU加速器相比,配備HBM-PIM的GPU加速器一年的能耗降低了約2100GWh。
目前,國内的億鑄科技、知存科技、蘋芯科技、九天睿芯等十餘家初創公司采用存算一體架構投注于AI算力,其中億鑄科技、千芯科技偏向數據中心等大算力場景。
現階段,業内人士表示,存算一體将有望成爲繼CPU、GPU架構之後的第三種算力架構。
該提法的底氣在于,存算一體理論上擁有高能效比優勢,又能繞過先進制程封鎖,兼顧更強通用性與更高性價比,算力發展空間巨大。
在此基礎上,新型存儲器能夠助力存算一體更好地實現以上優勢。目前可用于存算一體的成熟存儲器有NOR FLASH、SRAM、DRAM、RRAM、MRAM等。相比之下,RRAM具備低功耗、高計算精度、高能效比和制造兼容CMOS工藝等優勢:
目前,新型存儲器RRAM技術已然落地:2022上半年,國内創業公司昕原半導體宣布,大陸首條RRAM 12寸中試生産線正式完成裝機驗收,并在工控領域達成量産商用。據昕原半導體CTO仇聖棻博士介紹,昕原RRAM産品的良率已經超過93%。
随着新型存儲器件走向量産,存算一體AI芯片已經挺進AI大算力芯片落地競賽。
而無論是傳統計算芯片,還是存算一體芯片,在實際加速AI計算時往往還需處理大量的邏輯計算、視頻編解碼等非AI加速計算領域的計算任務。随着多模态成爲大模型時代的大勢所趨,AI芯片未來需處理文本、語音、圖像、視頻等多類數據。
對此,初創公司億鑄科技首個提出存算一體超異構AI大算力技術路徑。億鑄的暢想是,若能把新型憶阻器技術(RRAM)、存算一體架構、芯粒技術(Chiplet)、3D封裝等技術結合,将會實現更大的有效算力、放置更多的參數、實現更高的能效比、更好的軟件兼容性、從而擡高AI大算力芯片的發展天花闆。
站在3.0時代門口,國産AI大算力芯片廠商自主意識爆發,以期爲中國AI大算力芯片提供彎道超車的可能。
AI芯片市場的發展動力,大抵來源于以下幾個因素。
中央與地方政府正爲提供充足算力而奔波
2023年2月,中央政府發布多個相關報告與布局規劃,強調東數西算中算力的調動,目前已落下一子:東數西算一體化服務平台。
地方政府層面,例如成都在2023年1月,發布"算力券",即将政府算力資源與算力中介服務機構、科技型中小微企業和創客、科研機構、高校等共享,有效提高算力利用率;北京在2023年3月,發布加快落實算力的相關意見,加快計算中心、算力中心、工業互聯網、物聯網等基礎設施建設。
基于國家與地方政府相關政策指引,AI廠商們紛紛建立起超算/智算中心,較于以往不同的是,今年算力的首個市場化運作模式誕生,智算中心算力的規模也實現質的飛躍:據國家信息中心與相關部門聯合發布的《智能計算中心創新發展指南》顯示,目前全國有超過30個城市正在建設或提出建設智算中心。
AI芯片産業布局規劃持續落地
可以看到,關于AI芯片政策已從"十三五"的規劃階段,來到"十四五"的落地階段:提高AI芯片研發技術,推廣AI應用。
同時,各地明确提出,要加強AI芯片産業布局。在這之中,浙江、廣東、江蘇等省份均提出了至2025年,人工智能芯片領域的具體發展方向。
存算一體正成爲地方算力産業新機遇
存算一體,正成爲深圳算力産業鏈創新發展的新機遇,并在積極落地之中。
2023年4月2日,在第二屆中國産業鏈創新發展峰會新一代信息技術産業發展論壇上,北京大學深研院信息工程學院副院長楊玉超表示,深圳将立足于相對完善的産業鏈集群,從先進工藝與封裝、創新電路與架構、EDA工具鏈、軟件與算法生态這四個方面解決存算一體在産業化應用上的挑戰。
今年4月,中國大模型正式爆發,未來,對于AI大算力芯片的需求隻增不減。
現有的大模型,正向着英偉達A100大算力芯片獅子大開口:
故例如商湯等AI廠商,正把眼光放置在國産AI大算力芯片上:2023年4月10日商湯披露,目前商湯所用的國産化AI芯片占比達到總體的10%。這無疑,将加速國内AI芯片廠商的成長。
英偉達表示,未來将從GPU架構出發,走向"GPU+DPU的超異構":推出NVLink-C2C 、支持UCLe+芯粒+3D封裝;推出Thor"超異構"芯片2000T;
AMD表示,未來硬件創新突破更難,将走向"系統級創新",即從整體設計的上下遊多個環節協同設計來完成性能的提升。
千億美元的AI芯片市場,2023火得滾燙
整體人工智能産業鏈,基本分爲基礎層、技術層和應用層三個層面:
基礎層包括AI芯片、智能傳感器、雲計算等;技術層包括機器學習、計算機視覺、自然語言處理等;應用層包括機器人、無人機、智慧醫療、智慧交通、智慧金融、智能家居、智慧教育、智慧安防等。
基礎層作爲人工智能行業發展的基礎,爲人工智能提供數據和算力支撐,其中,AI芯片是人工智能算力的基礎。
在AI産業尚未成熟之時,基礎層企業當前價值量最大,中國人工智能産業鏈中,基礎層企業比例達到83%,技術層企業比例爲5%,應用層企業比例爲12%。
基礎層決定大樓是否穩固,而下遊的應用層面決定大樓高度。在應用層,智能機器人、無人機等智慧終端潛力無限,智慧城市、智慧醫療等領域,更是有不少金子能挖。目前,我國智能機器人市場規模持續快速增長。
數據顯示,2017-2021年我國智能機器人市場規模從448億元增長至994億元,期内年均複合增長率達22.05%,預計2023年其市場規模将達1300億元。
據中國信通院數據統計,中國智慧城市市場規模近幾年均保持30%以上增長,2021年市場規模達21.1萬億元,預計2023年其市場規模将達28.6萬億元。
千億美元市場,AI芯片魅力無限
在全球數字化、智能化的浪潮下,技術層的技術正不斷叠代:自動駕駛、影像辨識、運算等技術正在各領域深化應用;與此同時,應用層的物聯網設備正不斷豐富:工業機器人、AGV/AMR、智能型手機、智能音箱、智能攝影機等。
這無疑,會推動基礎層的AI芯片與技術市場迅速成長。根據灼識咨詢數據,2022年全球AI芯片市場規模達到960億美元,預計2027年達到3089億美元,2022年至2027年的複合年增長率爲23%:
國内的AI芯片市場,更爲火熱:根據灼識咨詢數據,2022年中國AI市場規模達到319億美元,預計于2027年将達到1150億美元,2022年至2027年的複合年增長率爲29.2%。
2021,AI芯片賽道迎來風口
随着下遊安防、汽車等市場需求量增大,再加上2019年以來,美國持續制裁國内廠商的動作,2021年,國内AI芯片賽道迎來風口。在這一年裏,資本們競相挑選屬于中國AI芯片市場的"潛力狗",以期掌握未來芯片市場的話語權。盡管2022年投資熱度有所回落,但總體金額仍超百億元。
(2016-2023年中國人工智能芯片行業融資整體情況 圖源:前瞻經濟學人APP)
C輪後的融資較少,AI芯片市場仍處于萌芽期
通過分析投資輪次發現,AI芯片市場仍處于萌芽期:目前人工智能芯片行業的融資輪次仍處于早期階段,C輪後的融資數量較少。
(2016-2023年中國人工智能芯片行業投融資輪次情況 圖源:前瞻經濟學人APP)
存算一體成爲香饽饽
細分賽道來看,GPU是價值量最高的賽道,摩爾線程等GPU玩家融資超10億,榮獲"MVP";
而存算一體賽道融資公司數量最多,億鑄科技、知存科技等七家存算一體玩家,備受資本青睐。值得注意的是,存算一體賽道下的四家初創公司億鑄科技、知存科技、蘋芯科技、後摩智能,已連續兩年獲得融資。
國内AI大算力賽道,玩家幾何?
目前,寒武紀、平頭哥等1.0時代玩家,現已成爲優質AI算力芯片上市公司;2.0時代湧現的非上市AI算力芯片公司如壁仞科技、登臨科技、天數智芯等在産品端持續發力;3.0時代,千芯科技、億鑄科技等初創公司正在存算一體這一架構上尋求突破。
經偲睿洞察整理發現,目前,多數AI芯片公司布局邊緣側、中心側偏小算力場景,例如智慧安防、智慧城市、智慧醫療等應用場景;壁仞科技、平頭哥、億鑄科技能夠覆蓋邊緣側、中心側偏大算力場景;在新一批初創企業中,億鑄科技做出大膽的嘗試,試圖用存算一體架構去做大算力場景。
故,我們按照架構以及應用場景分類,呈現出以下AI算力芯片中遊廠商全景圖:
ChatGPT火爆來襲,引發AI産業巨浪,國産AI芯片正迎來3.0時代。在大模型催生的3.0時代,亟需AI大算力芯片提供充足算力,讓日益沉重的大模型快速滾動起來。
PART-02
大模型盛行,芯片廠商如何解決大算力難題?
算力,即國力
伴随"元宇宙"時代開啓,GPT-4等大模型來勢洶洶,數據流量将迎來爆發增長。據IDC預測數據,預估未來五年,全球算力規模将以超過50%的速度增長,到2025年整體規模将達到3300EFlops。而2025年全球物聯網設備數将超過400億台,産生數據量接近80ZB,且超過一半的數據需要依賴終端或者邊緣的計算能力進行處理。
(全球算力需求未來增長情況 圖源:中國銀河證券研究院)
(全球算力增長速度明顯落後于數據量增長 圖源:中國銀河證券研究院)
數據量暴增,各國急需算力維系數據的正常運轉,各國之間的算力之争,正式打響。而事實上遠不止算力之争這麽簡單,這背後,是各國國力的角逐。
2022年3月,由IDC、浪潮信息、清華大學全球産業研究院聯合編制的《2021-2022全球計算力指數評估報告》,揭示了現如今"算力與國力"的基本關系:
全球各國算力規模與經濟發展水平顯著正相關,算力規模越大,經濟發展水平越高。計算力指數平均每提高1點,數字經濟和GDP将分别增長3.5‰和1.8‰;美國和中國的計算力指數分别爲77分和70分,明顯領先其他國家的計算力指數。
場景衆多,不同的算力場景,對芯片的要求不同
小至耳機、手機、PC,大到汽車、互聯網、人工智能(AI)、數據中心、超級計算機、航天火箭等,"算力"都在其中發揮着基礎核心作用。而不同的算力場景,對芯片的要求不同:
可以看到,數據中心由于其算法多樣、叠代速度更快等特性,對芯片的要求尤其高:既要其高算力、又要其低功耗、低成本、高可靠性,還要其具備更高的通用性。
數據中心建設,迫在眉睫
在衆多應用場景之中,數據中心尤爲重要。作爲AI基礎設施,數據中心承載着多個中心側與邊緣側算力的應用:
1、國家數據中心集群支撐工業互聯網、金融證券、災害預警、遠程醫療、視頻通話、人工智能推理。
2、城市内的數據中心作爲算力"邊緣"端,服務金融市場高頻交易、VR/AR、超高清視頻、車聯網、聯網無人機、智慧電力、智能工廠、智能安防等。
現如今,算力、甚至是國力之争,已然拉開序幕。
美國對中國數據中心、智算中心、超算中心的制裁自2021年就已開始:2021年4月,美國商務部對中國國家超級計算濟南中心、深圳中心、無錫中心、鄭州中心等中國超算實體列入"實體清單"。
基于下遊市場的需求增長,地緣政治等因素,我國數據中心也快速提上日程:2021年5月,國家提出"東數西算"工程,明确圍繞8個國家算力樞紐,推進國家數據中心集群以及城市内部數據中心建設。
現如今,中國數據中心建設較于美國仍有一定差距:
《2021-2022全球計算力指數評估報告》指出,目前世界上大約有600個超大規模的數據中心,每個都擁有超過5000台服務器,其中約39%在美國,是中國的4倍,而中國、日本、英國、德國和澳大利亞的服務器數量總和約占總數的30%。
截至2021年底,我國在用數據中心機架總規模達 520 萬标準機架,在用數據中心服務器規模1900萬台,算力總規模超過140 EFLOPS。
在算力即國力的大背景下,大模型的催化下,低成本、低功耗的大算力一定會成爲剛需。中國,亟需能夠承載算力的自主可控的數據中心,而數據中心的算力,依賴着芯片的國産替代進度。
數據中心場景下,國産主流AI芯片,仍有差距
在數據中心這一基礎設施中,服務器占據69%。現如今,在數據中心加速服務器市場,GPGPU憑借着更高性能、更高通用性占主導地位:
根據IDC數據,2021年,GPU/GPGPU服務器以91.9%的份額占我國加速服務器市場的主導地位;而前面我們提到過的ASIC、FPGA等非GPU加速服務器僅占比8.1%。
而現階段,在雲端數據中心場景下,國産GPGPU芯片較于國際頂尖水平,仍有差距。
在進行對比之前,我們需要明确的是,在雲端(服務器端),對于訓練芯片、推理芯片的要求不全然相同:
訓練芯片需通過海量數據訓練出複雜的神經網絡模型,使其适應特定的功能,相應地,對性能和精度有較高的要求,并需具備一定的通用性;
推理芯片則是利用神經網絡模型進行推理預測,對峰值計算性能要求較低,則更加注重單位能耗算力、時延、成本等綜合指标。
AI訓練芯片,國産仍有差距
目前,壁仞科技、平頭哥、昆侖芯、沐曦、天數智芯等玩家對于雲端數據中心皆有布局,其中,昆侖芯、平頭哥等大多廠商推出推理芯片;寒武紀、沐曦、天數智芯則推出訓推一體芯片。
近年來,國内廠商訓練芯片産品硬件性能不斷取得突破,但與市場主流英偉達A100産品仍存在一定差距:
以燧原雲邃T20産品爲例,其32位單精度浮點性能達32TFLOPS,高于A100的19.5TFLOPS,且在功耗上更具優勢,但内存寬帶不足A100的1/3,在應對機器學習和深度學習的帶寬需求上仍有差距。
同時據浙商證券分析,寒武紀去年年底推出的思元590系列可能在部分模型上由于其ASIC專用性表現出更優異的性能,但由于其通用性不足,仍需要後期适配和技術支持。對比之下,中國AI訓練芯片仍與英偉達在性能、生态(兼容)有一定差距。
AI推理芯片,國産有望追平
目前,寒武紀、燧原、昆侖芯等國内廠商産品已具備與市場主流的Tesla T4 正面競争能力:其能效比爲1.71TOPS/W,與T4的1.86TOPS/W差距較小。
算力優化路徑
差距猶在,國産AI廠商亟需趕上國際速度。大家提升芯片性能的第一步,都是卷先進制程。
現階段,先進制程芯片設計成本高昂:單位面積成本在14/16nm後陡增。
(先進制程芯片的單位面積成本增加 圖源:天風證券)
1、根據奇異摩爾數據,随着制程從28nm制程演變到5nm,研發投入也從5130萬美元劇增至5.42億美元,2nm的開發費用接近20億美元,先進制程已然成了全球巨頭的燒錢競賽。
2、根據EETOP公衆号數據,在7nm節點,設計一款芯片的費用高達3億美元。且伴随摩爾定律不斷放緩,晶體管同時逼近物理極限、成本極限。
由此,芯片上遊企業也在瘋狂漲價:供貨商台積電的先進制程晶圓價格每年都在漲,越漲越離譜。
3、先前還是分制程漲價:2021年,台積電在8月25日中午通知客戶全面漲價,即日起7nm及5nm先進制程将漲價7%至9%,其餘的成熟制程漲價約20%;
4、而在2023年初,台積電全線大幅度漲價:根據《電子時報》報道,台積電12英寸5nm晶圓價格高達1.6萬美元/片,較上一代7nm晶圓漲價60%。
成本上漲将成爲常态,更令人遺憾的是,在國内廠商已經把制程卷到7nm的情況下,性能也并沒有趕超英偉達。
若是卷到5nm以達到更高的性能,芯片廠商得不償失:
首先是成本難以負擔,英偉達在GPGPU的護城河,是靠着錢砸出來的。據英偉達黃仁勳表示,光是A100芯片的研發成本,就是20-30億美元(百億元級别)以及4年時光。短期之内,國内初創企業沒有如此大的體量,也付不起時間成本。
目前,高昂的研發成本已讓寒武紀等廠商,仍未盈利。
其次是錢花了,沒效果:性能并非保持"正增長"。邏輯芯片依然沿着摩爾定律向前演進,存儲芯片繼續縮減尺寸已不再具備成本和性能方面的優勢,模拟芯片制程的縮小反而可能導緻模拟電路性能的降低。
同時,長期來看,7nm芯片比5nm成本效益更高:
美國喬治城大學發布了一份AI芯片研究報告,其中對采用不同工藝節點的AI芯片進行經濟效益分析。該報告通過量化模型揭示出,相比5nm工藝節點,7nm工藝芯片的成本收益更優。
研究人員從該成本分析模型,得出兩個結論:
1、在正常運營兩年内,先進工藝(7/5nm)芯片的能耗成本就超過了其生産成本,采用舊工藝的芯片(10nm及以上)能耗成本增長更快。若綜合考慮生産成本和運營成本,先進工藝芯片的成本效益是舊工藝芯片的33倍。
2、對比7nm和5nm芯片,當正常運營使用8.8年時,二者的成本相當。這意味着,如果在8.8年以内更換芯片,7nm更劃算。鑒于數據中心AI訓練和推理所用的AI加速器大都是3年更換一次,單從成本效益來看7nm芯片比5nm更劃算。
除此之外,還有着地緣政治影響,國内的先進制程研發屢屢受阻。芯片苦于先進制程久矣,而提升芯片算力,絕非隻是提升單芯片的性能,而是要考慮芯片的宏觀總算力。
宏觀總算力 = 性能*數量(規模)*利用率,而目前在CPU、GPU、AI等大算力芯片身上,我們能看到的是,很多方案不能兼顧這三大因素:
1、有的算力芯片,可以做到性能狂飙,但較少考慮芯片的通用性易用性,導緻芯片銷量不高、落地規模小。例如通過FPGA定制,便是規模太小,成本和功耗太高。
2、有的算力提升方案,重在規模投入,但解決不了未來算力需求數量級提升的根本。
3、有的解決方案,通過各種資源池化和跨不同的邊界算力共享,來提升算力利用率,但改變不了目前算力芯片性能瓶頸的本質。
而想要達到大算力,需要兼顧性能、規模、利用率三大影響因子的、具備大局觀的方案。
算力解決方案,蓄勢待發
以AI雲端推理卡爲例,我們能看到的是,2018-2023年,算力由于工藝制程"卷不動"等種種原因,成本、功耗、算力難以兼顧。
但國力之争已然打響,ChatGPT已然到來,市場亟需兼顧成本、功耗、算力的方案。
目前國際大廠、國内主流廠商、初創企業都在謀求計算架構創新,試圖找出兼顧性能、規模、利用率的方案,突破算力天花闆。
對于架構創新,業内給出不少技術及方案:量子計算(量子芯片)、光子芯片、存算一體、芯粒(Chiplet)、3D封裝、HBM······
在這之中,現在能夠兼容CMOS工藝又能盡快量産的,有HBM、芯粒、3D封裝、存算一體。而存算一體、芯粒(Chiplet)是目前業内普遍認爲,能夠突破 AI 算力困境,進行架構創新的兩條清晰路線。
用存算一體消除數據隔閡
從傳統馮·諾依曼架構到存算一體架構,通俗來講,就是消除數據與數據的隔閡,讓其更高效地工作。
在傳統馮·諾伊曼架構之下,芯片的存儲、計算區域是分離的。計算時,數據需要在兩個區域之間來回搬運,而随着神經網絡模型層數、規模以及數據處理量的不斷增長,數據已經面臨"跑不過來"的境況,成爲高效能計算性能和功耗的瓶頸,也就是業内俗稱的"存儲牆"。
(存儲牆限制具體表現 圖源:浙商證券)
存儲牆相應地也帶來了能耗牆、編譯牆(生态牆)的問題。例如編譯牆問題,是由于大量的數據搬運容易發生擁塞,編譯器無法在靜态可預測的情況下對算子、函數、程序或者網絡做整體的優化,隻能手動、一個個或者一層層對程序進行優化,耗費了大量時間。
這"三堵牆"會導緻算力無謂浪費:據統計,在大算力的AI應用中,數據搬運操作消耗90%的時間和功耗,數據搬運的功耗是運算的650倍。
而存算一體能夠将存儲和計算融合,徹底消除了訪存延遲,并極大降低了功耗。基于此,浙商證券報告指出,存算一體的優勢包括但不限于:具有更大算力(1000TOPS以上)、具有更高能效(超過10-100TOPS/W)、降本增效(可超過一個數量級)······
如下圖所示,相較于GPGPU,存算一體芯片能夠實現更低能耗、更高能效比,在應用落地方面能夠助力數據中心降本增效,賦能綠色算力。
基于此,若是處理一天的咨詢量,存算一體芯片在初始投入上,是A100的13%-26%,在每日電費上,是A100的12%。
2.3.2.2 用Chiplet賦予芯片更多能力
除了打破數據之間的牆,芯片設計廠商試圖賦予芯片更多的能力:把任務分發給不同架構的硬件計算單元(比如CPU、GPU、FPGA),讓他們各司其職,同步工作,提高效率。
回顧計算機發展史,AI芯片處理器從單核—多核,計算從串行—并行,從同構并行到異構并行。
當摩爾定律還是行業的鐵律,也就是第一階段時,計算機編程幾乎一直都是串行的。絕大多數的程序隻存在一個進程或線程。
此時,性能依賴于硬件工藝。而2003年以後,因爲工藝達到了瓶頸,光是靠硬件提升行不通了。随後,即便迎來了同構計算(疊加多個核,強行提升算力),但總體的天花闆仍然存在。
異構并行計算的到來,開辟了新的技術變革:把任務分發給不同架構的硬件計算單元(比如說CPU、GPU、FPGA),讓他們各司其職,同步工作,提高效率。
異構的好處,從軟件的角度來講,異構并行計算框架能夠讓軟件開發者高效地開發異構并行的程序,充分使用計算平台資源。
從硬件角度來講,一方面,多種不同類型的計算單元通過更多時鍾頻率和内核數量提高計算能力;另一方面,各種計算單元通過技術優化提高執行效率。
在這之中,Chiplet是關鍵技術。
在當前技術進展下,Chiplet方案能夠實現芯片設計複雜度及設計成本降低。IC設計階段将SoC按照不同功能模塊分解爲多個芯粒,部分芯粒實現模塊化設計并在不同芯片中重複使用,能夠實現設計難度降低,且有利于後續産品叠代,加速産品上市周期。
用HBM技術拓寬"數據通道"
由于半導體産業的發展和需求的差異,處理器和存儲器二者之間走向了不同的工藝路線,這也就意味着,處理器與存儲器的工藝、封裝、需求大不相同。
這就導緻,從1980年開始至今,二者之間的性能差距越來越大。數據顯示,從1980年到2000年,處理器和存儲器的速度失配以每年50%的速率增加。
(1980-2000年,處理器和存儲器兩者的速度失配以每年50%的速率增加 圖源:電子工程專輯)
存儲器數據訪問速度跟不上處理器的數據處理速度,兩者之間數據交換通路狹窄以及由此引發的高能耗兩大難題,在存儲與運算之間築起了一道"内存牆"。
爲了減小内存牆的影響,提升内存帶寬一直是存儲芯片關注的技術問題。黃仁勳曾表示計算性能擴展最大的弱點就是内存帶寬。
HBM,便是該難題的解法。
高帶寬存儲器(High Bandwidth Memory),是一種硬件存儲介質。基于其高吞吐高帶寬的特性,受到工業界和學術界的關注。
HBM其中一個優勢就是通過中介層縮短内存與處理器之間的距離,通過先進的3D封裝方式把内存和計算單元封裝在一起,提高數據搬運速度。
超異構,兼顧性能、規模、利用率的新興方案
超異構計算,是能夠把更多的異構計算整合重構,從而能讓各類型處理器間充分地、靈活地進行數據交互而形成的計算。
簡單來說,就是聚合DSA、GPU、CPU、CIM等多個類型引擎的優勢,同時結合Chiplet、3D封裝等新興架構,實現性能的飛躍:
√ DSA負責相對确定的大計算量的工作;
√ GPU負責應用層有一些性能敏感的并且有一定彈性的工作;
√ CPU啥都能幹,負責兜底;
√ CIM就是存内計算,超異構和普通異構的主要區别就是加入了CIM,由此可以實現同等算力,更低能耗;同等能耗,更高算力。另外,CIM由于器件的優勢,能負擔比DSA更大的算力。
超異構計算能夠很好解決性能、規模、利用率問題。
在性能層面,由于存算一體的加入,能夠實現同等算力,更低能耗;同等能耗,更高算力;
在規模層面,由于超異構基于一個計算平台能夠聚合多個類型引擎,能夠兼顧靈活性與通用性,也就沒有因爲不夠通用導緻規模過小;又由于該方案較爲全能,能夠應付各類型的任務,利用率也能夠得到提升。
超異構未來研究方向
而現實是,僅僅是異構計算,便面臨着編程很難的困境,NVIDIA經過數年的努力,才讓CUDA的編程對開發者足夠友好,形成主流生态。
超異構就更是難上加難:超異構的難,不僅僅體現在編程上,也體現在處理引擎的設計和實現上,還體現在整個系統的軟硬件能力整合上。
對于更好地駕馭超異構,軟硬件融合給出了方向:
·1、兼顧性能和靈活性。從系統的角度,系統的任務從CPU往硬件加速下沉,如何選擇合适的處理引擎,達到最優性能的同時,有最優的靈活性。并且不僅僅是平衡,更是兼顧。
·2、編程及易用性。系統逐漸從硬件定義軟件,轉向了軟件定義硬件。如何利用這些特征,如何利用已有軟件資源,以及如何融入雲服務。
3、産品。用戶的需求,除了需求本身之外,還需要考慮不同用戶需求的差異性,和單個用戶需求的長期叠代。該如何提供給用戶更好的産品,滿足不同用戶短期和長期的需求。授人以魚不如授人以漁,該如何提供用戶沒有特定的具體功能的、性能極緻的、完全可編程的硬件平台。
算力即國力,數據中心是各國開展國力之争的"根據地"。數據中心亟需大算力芯片,滿足各大中心側、邊緣側應用場景的需求。
然而在數據中心應用場景下,國内現有雲端AI訓練、推理芯片仍與尖子生英偉達A100芯片有較大差距。同時,現階段工藝制程已達到物理極限、成本極限,尋求更高效的計算架構,才是上上之選。
現如今,存算一體,Chiplet,3D封裝等技術現已成熟,超異構等解決方案可實施性較高。傳統架構上,各國差距明顯,而在新型技術上,各國難分伯仲。
算力之争的格局,正悄然發生變化。
PART-03
國内AI芯片,百舸争流,勝局未定
傳統架構下,英偉達一家獨大
按照市場格局來分,在AI芯片領域,目前有三類玩家。
一種是以 Nvidia、AMD 爲代表的老牌芯片巨頭,這些企業積累了豐富的經驗,産品性能突出。根據上文可知,在雲端場景下,無論是推理芯片還是訓練芯片,國内廠商皆與其有差距。
另一種是以 Google、百度、華爲爲代表的雲計算巨頭,這些企業紛紛布局通用大模型,并自己開發了 AI 芯片、深度學習平台等支持大模型發展。如 Google 的 TensorFlow 以及 TPU,華爲的鲲鵬、昇騰,阿裏平頭哥的含光800。
最後是AI 芯片獨角獸,如寒武紀、壁仞科技、地平線等,憑借雄厚的技術實力、資金基礎、研發團隊,闖進AI芯片賽道。
目前,英偉達占據80%以上中國加速卡市場份額,國産 AI 芯片亟待發展:根據 IDC 的數據顯示,2021 年中國加速卡的出貨數量已經超過 80 萬片,其中 Nvidia 占據了超過 80%的市場份額。剩下的份額被 AMD、百度、寒武紀、燧原科技、新華三、華爲等品牌占據。
技術路徑背後,暗藏玄機
按照計算架構分類,目前國内大抵分爲三大陣營:ASIC、GPGPU、存算一體玩家。
通過梳理各廠商使用架構、應用場景、資源禀賦,可以發現以下幾條線索:
大廠與自動駕駛專業芯片廠商們,偏愛ASIC。
國内大廠華爲海思、百度、平頭哥皆選擇ASIC作爲自己的芯片架構:
1、華爲選擇部署端到端的完整生态,例如使用昇騰910必須搭配華爲的大模型支持框架MindSpore、盤古大模型。
2、阿裏在該方面的定位是系統集成商和服務商,運用自身芯片産品搭建加速平台中,對外輸出服務。
3、百度昆侖芯主要在自身智算集群和服務器上以及國内企業、研究所、政府中使用。
ASIC盡管集成度非常高,性能可以充分發揮、功耗可以得到很好的控制,但缺點也很明顯:應用場景局限、依賴自建生态、客戶遷移難度大、學習曲線較長等問題。
而大廠皆擁有多個特定場景,ASIC"應用場景局限、客戶遷移難度大"的弊端在大廠場景下便不複存在,同時選擇ASIC在量産制造供應鏈上的難度顯著低于GPU。
專注于自動駕駛場景的AI芯片廠商例如地平線、黑芝麻,由于手握多家訂單,同樣避免了ASIC的弊端:截止2023年4月23日,地平線征程芯片出貨量突破了300萬片,與超過20家車企,共計120多款車型達成量産定點合作。
2017年後,AI芯片獨角獸們,加入GPGPU陣營。
由于ASIC隻能在特定場景、固有算法之下發揮極緻性能,廠商們要麽需要自身有特定場景(例如華爲等大廠),要麽綁定大客戶(例如耐能科技)。而更爲通用的GPGPU展現出該有的性能之後,成爲國産AI芯片公司的首選。
可以看到,選擇GPGPU的登臨科技、天數智芯、燧原科技已經把訓練與推理都全面覆蓋,而ASIC大多芯片例如平頭哥,隻能專注于推理或是訓練場景。
2019年前後,新一批AI芯片獨角獸們,押注存算一體
AI算力芯片發展至2019年前後,國内AI芯片廠商們發現,在傳統架構下,CPU、GPU、FPGA已被國外壟斷,且高度依賴先進工藝制程,缺乏一定先進制程技術儲備的國内AI廠商,紛紛尋找新的解法——存算一體芯片。目前,存算一體格局未定,或将成爲國内廠商破局關鍵。存算一體主流的劃分方法是依照計算單元與存儲單元的距離,将其大緻分爲近存計算(PNM)、存内處理(PIM)、存内計算(CIM)。
特斯拉、阿裏達摩院、三星等大廠所選擇的,是近存計算。
據Dojo項目負責人Ganesh Venkataramanan介紹,特斯拉Dojo(AI訓練計算機)所用的D1芯片相比于業内其他芯片,同成本下性能提升4倍,同能耗下性能提高1.3倍,占用空間節省5倍。具體來說,在D1訓練模塊方面,每個D1訓練模塊由5x5的D1芯片陣列排布而成,以二維Mesh結構互連。片上跨内核SRAM達到驚人的11GB,由于用上近存計算架構,能效比爲0.6TFLOPS/W@BF16/CFP8。業内人士表示,對于CPU架構來說,這一能效比非常不錯。
阿裏達摩院在2021年發布采用混合鍵合(Hybrid Bonding)的3D堆疊技術——将計算芯片和存儲芯片face-to-face地用特定金屬材質和工藝進行互聯。據阿裏達摩院測算,在實際推薦系統應用中,相比傳統CPU計算系統,存算一體芯片的性能提升10倍以上,能效提升超過300倍。
三星基于存内處理架構,發布存儲器産品HBM-PIM(嚴格意義上是PNM)。三星表示該架構實現了更高性能與更低能耗:與其他沒有HBM-PIM芯片的GPU加速器相比,HBM-PIM芯片将AMD GPU加速卡的性能提高了一倍,能耗平均降低了約50%。與僅配備HBM的GPU加速器相比,配備HBM-PIM的GPU加速器一年的能耗降低了約2100GWh。
國内知存科技選擇的是,存内處理:2022年3月,知存科技量産的基于PIM的SoC芯片WTM2101正式投入市場。距今未滿1年,WTM2101已成功在端側實現商用,提供語音、視頻等AI處理方案并幫助産品實現10倍以上的能效提升。
而存内計算,便是國内大部分初創公司所說的存算一體:
億鑄科技,基于CIM框架、RRAM存儲介質的研發"全數字存算一體"大算力芯片,通過減少數據搬運提高運算能效比,同時利用數字存算一體方法保證運算精度,适用于雲端AI推理和邊緣計算。
智芯科微,于2022年底推出業界首款基于SRAM CIM的邊緣側AI增強圖像處理器。
在存算一體陣營之中,大廠與初創公司同樣因爲技術路徑,走了不同的路。
大公司與初創公司"自覺"分爲兩個陣營:特斯拉、三星、阿裏巴巴等擁有豐富生态的大廠以及英特爾,IBM等傳統的芯片大廠,幾乎都在布局PNM;而知存科技、億鑄科技、智芯科等初創公司,在押注PIM、CIM等"存"與"算"更親密的存算一體技術路線。
綜合生态大廠思量的是,如何快速攻破算力和功耗的瓶頸,讓自己豐富的應用場景快速落地;芯片大廠們針對客戶所提出的高效算力和低功耗需求,開發出符合客戶需求的技術。
也就是說,大廠對存算一體架構提出的需求是"實用、落地快",近存計算作爲最接近工程落地的技術,成爲大廠們的首選。
而中國初創公司們,由于成立時間較短、技術儲備薄弱:缺乏先進2.5D和3D封裝産能和技術,爲打破美國的科技壟斷,中國初創企業聚焦的是無需考慮先進制程技術的CIM。
雲端場景下,玩家由淺入深
不同的業務場景均已呈現出各自的優勢,在商業模式上國内外都在探索階段。而不論是國内外公司,先雲端推理是大家一緻的方向。
業界普遍認爲,訓練芯片的研發難度和商業化落地更難,訓練芯片可以做推理,但推理芯片不能做訓練。
原因是,在AI訓練的過程中,神經網絡模型并沒有固定,所以對芯片的通用性有很高的需求。而推理則更簡單,增速更快,故而訓練芯片對于芯片公司的設計能力考驗更高。
從全球AI芯片市場來看,先推理後訓練是主流路徑,英特爾收購的AI芯片公司Habana、國内諸多AI初創公司皆是如此。
如此選擇,也是下遊市場的催化作用:
随着近年來 AI 模型訓練逐漸成熟,AI 應用逐漸落地,雲端推理的市場已經逐漸超過了訓練的市場:
根據IDC與浪潮聯合發布的《2020-2021中國人工智能計算力發展評估報告》顯示,2021 年中國市場 AI 服務器的推理負載超過訓練負載,并且随着 AI 進入應用期,數據中心推理算力需求的複合增長率是訓練側的2倍以上,預計到2026年用于推理的加速器占比将超過 60%。
AI芯片"新星"存算一體門檻奇高
2019年後,新增的AI芯片廠商,多數在布局存算一體:據偲睿洞察不完全統計,在2019-2021年新增的AI芯片廠商有20家,在這之中,有10家選擇存算一體路線。
這無一不說明着,存算一體将成爲繼GPGPU、ASIC等架構後的,一顆冉冉升起的新星。而這顆新星,并不是誰都可以摘。
在學界、産界、資本一緻看好存算一體的境況下,強勁的技術實力、紮實的人才儲備以及對遷移成本接受度的精準把控,是初創公司在業内保持競争力的關鍵,也是擋在新玩家面前的三大門檻。
存算一體,打破了三堵牆,能夠實現低功耗、高算力、高能效比,但想要實現如此性能,挑戰頗多:
首先是存算一體涉及到芯片制造的全環節:從最底層的器件,到電路設計,架構設計,工具鏈,再到軟件層的研發;
其次是,在每一層做相應改變的同時,還要考慮各層級之間的适配度。
我們一層一層來看,一顆存算一體芯片被造出來,有怎樣的技術難題。
首先,在器件選擇上,廠商就"如履薄冰":存儲器設計決定芯片的良率,一旦方向錯誤将可能導緻芯片無法量産。
其次是電路設計層面。電路層面有了器件之後,需要用其做存儲陣列的電路設計。而目前在電路設計上,存内計算沒有EDA工具指導,需要靠手動完成,無疑又大大增加了操作難度。
緊接着,架構層面有電路之後,需要做架構層的設計。每一個電路是一個基本的計算模塊,整個架構由不同模塊組成,存算一體模塊的設計決定了芯片的能效比。模拟電路會受到噪聲幹擾,芯片受到噪聲影響後運轉起來會遇到很多問題。
這種情況下,需要架構師了解模拟存内計算的工藝特點,針對這些特點去設計架構,同時也要考慮到架構與軟件開發的适配度。
軟件層面架構設計完成後,需要開發相應的工具鏈。
而由于存算一體的原始模型與傳統架構下的模型不同,編譯器要适配完全不同的存算一體架構,确保所有計算單元能夠映射到硬件上,并且順利運行。
一條完整的技術鏈條下來,考驗着器件、電路設計、架構設計、工具鏈、軟件層開發各個環節的能力,與協調各個環節的适配能力,是耗時耗力耗錢的持久戰。
根據以上環節操作流程可以看到,存算一體芯片亟需經驗豐富的電路設計師、芯片架構師。
除此之外,鑒于存算一體的特殊性,能夠做成存算一體的公司在人員儲備上需要有以下兩點特征:
1、帶頭人需有足夠魄力。在器件選擇(RRAM、SRAM等)、計算模式(傳統馮諾依曼、存算一體等)的選擇上要有清晰的思路。
這是因爲,存算一體作爲一項颠覆、創新技術,無人引領,試錯成本極高。能夠實現商業化的企業,創始人往往具備豐富的産業界、大廠經驗和學術背景,能夠帶領團隊快速完成産品叠代。
2、在核心團隊中,需要在技術的各個層級中配備經驗豐富的人才。例如架構師,其是團隊的核心。架構師需要對底層硬件,軟件工具有深厚的理解和認知,能夠把構想中的存算架構通過技術實現出來,最終達成産品落地;
3、此外,據量子位報告顯示,國内缺乏電路設計的高端人才,尤其在混合電路領域。存内計算涉及大量的模拟電路設計,與強調團隊協作的數字電路設計相比,模拟電路設計需要對于工藝、設計、版圖、模型pdk以及封裝都極度熟悉的個人設計師。
落地,是第一生産力。在交付時,客戶考量的并不僅僅是存算一體技術,而是相較于以往産品而言,存算一體整體SoC的能效比、面效比和易用性等性能指标是否有足夠的提升,更重要的是,遷移成本是否在承受範圍内。
如果選擇新的芯片提升算法表現力需要重新學習一套編程體系,在模型遷移上所花的人工成本高出購買一個新GPU的成本,那麽客戶大概率不會選擇使用新的芯片。
因此,存算一體在落地過程中是否能将遷移成本降到最低,是客戶在選擇産品時的關鍵因素。
目前來看,英偉達憑借着更爲通用的GPGPU霸占了中國AI加速卡的市場。
然而,存算一體芯片憑借着低功耗但高能效比的特性,正成爲芯片賽道,冉冉升起的一顆新星。
而存算一體市場,風雲未定,仍處于"小荷才露尖尖角"階段。但我們不可否認的是,存算一體玩家已然構築了三大高牆,非技術實力雄厚,人才儲備紮實者,勿進。
行業發展趨勢
存算一體,算力的下一級
随着人工智能等大數據應用的興起,存算一體技術得到國内外學界與産界的廣泛研究與應用。在2017年微處理器頂級年會(Micro 2017)上,包括英偉達、英特爾、微軟、三星、加州大學聖塔芭芭拉分校等都推出他們的存算一體系統原型。
自此,ISSCC上存算/近存算相關的文章數量迅速增加:從20年的6篇上漲到23年的19篇;其中數字存内計算,從21年被首次提出後,22年迅速增加到4篇,23年有6篇。
(ISSCC2023存算一體相關文章 圖源:ISSCC2023)
系統級創新,嶄露頭角
系統級創新正頻頻現身半導體TOP級會議,展露着打破算力天花闆的潛力。
在 AMD 的總裁兼CEO Lisa Su(蘇姿豐)帶來的主旨演講"Innovation for the next decade of compute efficiency"(下一個十年計算效率的創新)中,她提到了AI應用的突飛猛進,以及它給芯片帶來的需求。
Lisa Su表示,根據目前計算效率每兩年提升2.2倍的規律,預計到2035年,如果想要算力達到十萬億億級,則需要的功率可達500MW,相當于半個核電站能産生的功率,"這是極爲離譜、不切合實際的"。
而爲了實現這樣的效率提升,系統級創新是最關鍵的思路之一。
(算力與功耗關系 圖源:ISSCC2023大會)
在另一個由歐洲最著名三個的半導體研究機構IMEC/CEA Leti/Fraunhofer帶來的主旨演講中,系統級創新也是其核心關鍵詞。
該演講中提到,随着半導體工藝逐漸接近物理極限,新的應用對于芯片的需求也必須要從系統級考慮才能滿足,并且提到了下一代智能汽車和AI作爲兩個尤其需要芯片從系統級創新才能支持其新需求的核心應用。
"從頭到腳"打破算力天花闆
系統級創新,是協同設計上中下遊多個環節,實現性能的提升。還有一種說法是,系統工藝協同優化。
系統工藝協同優化爲一種"由外向内"的發展模式,從産品需支持的工作負載及其軟件開始,到系統架構,再到封裝中必須包括的芯片類型,最後是半導體制程工藝。
(系統工藝協同優化 圖源:ISSCC2023大會)
簡單來說,就是把所有環節共同優化,由此盡可能地改進最終産品。
對此,Lisa Su給出了一個經典案例:在對模型算法層面使用創新數制(例如8位浮點數FP8)的同時,在電路層對算法層面進行優化支持,最終實現計算層面數量級的效率提升:相比傳統的32位浮點數(FP32),進行系統級創新的FP8則可以将計算效率提升30倍之多。而如果僅僅是優化FP32計算單元的效率,無論如何也難以實現數量級的效率提升。
(特定域計算支持工作負載優化,從而提高性能和效率 圖源:ISSCC2023大會)
這便是系統級創新成爲關鍵路徑的原因所在:如果電路設計僅僅停留在電路這一層——隻是考慮如何進一步優化FP32計算單元的效率,無論如何也難以實現數量級的效率提升。
對此,在未來發展機會模塊的演講中,Lisa Su給出了未來系統級封裝架構的大緻模樣:包含異構計算叢集,特定加速單元,先進封裝技術,高速片間UCIe互聯,存算一體等内存技術。
(未來的系統級封裝架構 圖源:ISSCC2023大會)
百舸争流,創新者先
技術路徑、方案已然明确,接下來就是拼魄力的階段。
每一個新興技術的研發廠商,在前期無疑要面臨技術探索碰壁,下遊廠商不認同等各個層面的問題。而在早期,誰先預判到未來的發展趨勢,并用于邁出探索的腳步,鋪下合理的資源去嘗試,就會搶到先機。
芯片巨頭NVIDIA在這方面做出了很好的榜樣。
當數據中心浪潮還未鋪天蓋地襲來、人工智能訓練還是小衆領域之時,英偉達已經投入重金,研發通用計算GPU和統一編程軟件CUDA,爲英偉達謀一個好差事——計算平台。
而在當時,讓GPU可編程,是"無用且虧本"的:不知道其性能是否能夠翻倍,但産品研發會翻倍。爲此,沒有客戶願意爲此買單。但預判到單一功能圖形處理器不是長遠之計的英偉達毅然決定,在所有産品線上都應用CUDA。
在芯東西與英偉達中國區工程和解決方案高級總監賴俊傑博士的采訪中,賴俊傑表示:"爲了計算平台這一願景,早期黃仁勳快速調動了英偉達上上下下非常多的資源。"
遠見+重金投入,在2012年,英偉達拿到了創新者的獎勵:2012年,深度學習算法的計算表現轟動學術圈,作爲高算力且更爲通用、易用的生産力工具,GPU+CUDA迅速風靡計算機科學界,成爲人工智能開發的"标配"。
現如今,存算一體已顯現出強大的性能,在人工智能神經網絡、多模态的人工智能計算、類腦計算等大算力場景,有着卓越的表現。
國内廠商也在2019年前後紛紛布局存算一體,同時選擇3D封裝、chiplet等新興技術,RRAM、SRAM等新興存儲器,突破算力天花闆。
AI大算力芯片的戰争,創新者爲先。
ChatGPT火爆來襲,引發AI産業巨浪,國産AI芯片正迎來3.0時代;在3.0時代,更适配大模型的芯片架構——存算一體将嶄露頭角,同時系統級創新将成爲未來的發展趨勢,搶先下注的廠商将先吃到ChatGPT帶來的紅利。