清華最新芯片成果,登上 Science!
全球首顆全系統集成、支持高效片上學習的憶阻器存算一體芯片,正式問世。
它集合了記憶、計算和學習能力。能在片上快速完成不同任務的模型訓練。而能耗僅爲先進工藝下 ASIC 的1/35,能效有望提升75 倍,同時兼顧保護隐私。
這就是由清華大學集成電路學院吳華強教授、高濱副教授團隊帶來的最新成果,論文題爲 "Edge learning using a fully integrated neuro-inspired memristor chip"。
相關話題已經登頂知乎熱榜。
Science 編輯評價其爲:
存算一體領域的重要進展。
突破從 0 到 1,芯片内搞定 AI 訓練
正如人類大腦能夠基于預先接受過的知識,快速學習新場景中的新知識。
邊緣設備也需要具備類似的學習能力,才能更好适應用戶習慣和新場景。
但是目前神經網絡訓練需要将大量數據在計算和存儲單元之間來回移動。這使得在邊緣設備上很難高效進行訓練任務。
基于憶阻器内存高速訪問、斷電後仍可保存數據的特性,可以實現内存 + 硬盤二合一,解決數據的大量移動,從而進一步實現了完全在芯片上進行學習任務。
由此,清華團隊提出憶阻器存算一體芯片。
它集成了高性能憶阻器陣列和必備模塊,同時也是一塊類腦計算芯片(neuro-inspired computing chip)。
爲此,研究團隊提出了一種新型通用算法和架構(STELLAR)。
它利用憶阻器的特性,通過僅計算正負号、預定義阈值、循環調諧等設計,提升正向傳播算法映射到芯片硬件上的效率,從而實現了高效率、低功耗的片上學習。
研究人員通過幾個實驗來驗證片上學習的能力。
第一個實驗中,有一台追蹤光點的小車。在進行提升學習前,小車在明亮場景中會跟丢光點。
而通過 500 個訓練樣本進行端側學習後,小車在明亮和黑暗場景中都能很好完成任務。
從下圖 D 中可以看到,小車在明亮場景下的得分從原來的 0.602 提升到了 0.912。
另一個實驗是進行圖像識别。
實驗步驟是先讓基本模型識别數字 "0" 和 "2-9",然後讓模型學習識别數字一個新類别的 "1"。
結果可以看到,在經過 150 次訓練後,進行提升學習能将準确度從 7% 提升到 93%。
研究團隊十餘年攻堅
本次成果來自清華大學集成電路學院吳華強教授、高濱副教授團隊。
吳華強教授現任清華大學集成電路學院院長、清華大學微納加工中心主任。
2005 年在美國康奈爾大學(Cornell University)電子與計算機工程學院獲工學博士學位。随後先後在美國 Spansion 公司和美國 Primet Precision Materials 公司分别擔任高級工程師和技術主管。
2009 年,加入清華大學微電子學研究所。
研究方向爲新型存儲器及基于憶阻器的存算一體,涵蓋從器件、工藝集成、架構、算法、芯片以及系統等多個層次。
高濱副教授于 2013 年獲得北京大學微電子與固體電子學專業力學博士學位,2015 年加入清華大學微納電子系。
研究方向爲新型存儲器,器件模型與模拟,設計 - 工藝協同優化,存算一體與神經形态芯片,信息安全芯片。
張文彬、姚鵬作爲學術論文的第一作者。
團隊合影
實際上,關于該方向的存算一體芯片,清華團隊已經探索了十餘年。
2012 年,錢鶴、吳華強團隊開始研究用憶阻器來做存儲。研究團隊最初在實驗室中探索憶阻器器件的一緻性和良率。
2014 年,清華大學與中科院微電子所、北京大學等單位合作,優化憶阻器的器件工藝,制備出高性能憶阻器陣列——這一次提出的最新成果中已應用。
2020 年,錢鶴、吳華強團隊基于多陣列憶阻器,搭建了一個全硬件構成的完整存算一體系統,在這個系統上高效運行了卷積神經網絡算法,成功驗證了圖像識别功能,比圖形處理器芯片的能效高兩個數量級,大幅提升了計算設備的算力,實現了以更小的功耗和更低的硬件成本完成複雜的計算。
如今,随着大模型趨勢到來,AI 算力瓶頸問題更加突出,存算一體等新方案也備受關注。
Science 編輯表示,基于憶阻器的芯片技術近期受到非常大的關注,它有望克服馮諾依曼架構造成的算力瓶頸。
論文地址:
https://www.science.org/doi/abs/10.1126/science.ade3483
本文來源:量子位、清華大學等,版權屬于原作者,僅用于學術分享