好家夥,隻能說好家夥。都 2024 年了,SRAM 概念居然能成爲風口,屬實沒有想到。
今天芯片圈有個爆炸性的消息,叫大模型推理最快芯片出世,創始人喊話奧特曼," 你們太慢了!"
這家初創公司叫 Groq,原來谷歌 TPU 的人馬,自研芯片主要是加速推理卡那種。
按他們的說法,他們的推理速度比英偉達的 GPU 快了十倍,但是成本卻隻有十分之一,那一來一去豈不是差百倍?
看起來非常棒。
目前 Groq 公司的新款加速卡,可以支持 Mixtral 8x7B SMoE,LIama 2 的 7B 和 70B 這三種模型,并且可以直接體驗 Demo。
目前測試下來效果接近每秒 500tokens,當然他們隻說快,沒說内容真實性和準确性,内容概不負責的那種。
除了 Demo 演示,Groq 現在也支持 APi 訪問,并且完全兼容,可以直接從 OpenAI 的 APi 切換。
免費十天,一共 100 萬 tokens 可以用。價格方面也表示,未來肯定低于市面上同類價格。
總之,看起來非常棒。
本來呢,這就是國外初創公司新産品自我宣傳、自我展示的過程,和國内沒有半毛錢關系。
但是國内突然有一個闆塊跟打了雞血一樣猛幹猛幹。我一看,原來是 SRAM 芯片闆塊,好幾個股票都直接被幹上 20cm。
我仔細去看了一下,原來是 Groq 表示該新産品采用 14nm 制程,搭載了 230M 的 SRAM 來保證帶寬,片上系統内存帶寬達到了 80TB/s。
然後國内這些小作文寫手,居然開始狂吹 SRAM,說什麽拳打 DRAM,腳踢 HBM。
好家夥,是真當行業裏沒人懂是吧。
先來科普一下 SRAM 是什麽芯片。
SRAM 的中文全名叫靜态随機存取存儲器,和 DRAM 也就是内存,在技術上略有不同。
SRAM 是易失性内存,也就是說斷電不保存數據,這點 DRAM 内存條也一樣,NAND FLASH 剛好相反,它是非易失性的,斷電還能保存數據。
SRAM 的優點很明顯,快,非常快,不僅遠遠超過 NAND,更是超過 DRAM 的速度,所以SRAM 的特點就是快。
你可以理解成 SRAM 是一個高速搬運的臨時倉庫,DRAM 是次一級稍微慢一點的臨時倉庫,NAND 是一個比較慢的永久倉庫。
三者共同組成了計算機的存儲架構,嚴格意義上來講,SRAM+DRAM 叫内存,NAND 以及過去的 HDD 機械硬盤叫外存。
而前段時間炒得火熱的 HBM 高帶寬内存,實際上是 DRAM 的超級加強版,它的本質是通過堆疊多顆 DRAM 的芯片來提供更高的帶寬和容量。
具有多層堆疊結構的 HBM
曆史上,SRAM 作爲單獨一顆芯片存在是有過一段曆史期的。
但是到 80 年後,90 年初基本就消失淘汰了,現在隻有在極少數特殊的應用場合才能看到它。比如 128M、256M 的産品依然有,甚至還有 512M。幹嘛呢?新款芯片測試和研發的時候搭載一個 SRAM,主要就是研發測試用,談不上商業化,市場化。
這裏插一個飛利浦、光刻機的 ASML 和台積電的故事。
80 年代初,如夢初醒的歐洲人在半導體領域爲了不被發展強勁的美日兩國拉開差距,歐洲共同體曾經搞過一個 " 尤裏卡計劃 ",這個計劃裏有個關于集成電路的項目叫 JESSI。
JESSI 裏面最重要的項目就是 MEGA,對,就叫這個名字,和理想汽車 MEGA 沒關系。
這個計劃就是做 1M 的内存。MEGA 項目有兩個具體執行的單位,分别是西門子和飛利浦。
于是兩家公司分工了一下,西門子負責 DRAM,飛利浦負責 SRAM。
西門子的 DRAM 事業就是從這裏起步的,2006 年的時候,DRAM 事業拆分,就是奇夢達,然後經曆了 2008 年金融危機以及同行三星的瘋狂價格戰後,奇夢達最終倒在了 2009 年,之後奇夢達的專利又被老朱同志搞來,于是就有了國産内存之光——長鑫。
這段曆史在我 " 内存戰争 " 系列裏都講過。
項目在 1984 年啓動,兩個巨頭準備出資 15 億馬克,兩國政府補貼 5 億馬克,目标是在 80 年代末趕上日本人。
做到一半的時候,西門子在最關鍵的時候選擇 " 背刺 ",他們直接從東芝引進 DRAM 的技術,并且在 1987 年的時候順利量産了 1M 的 DRAM。
正是因爲這個原因,西門子直接從日本複制了整個東芝生産線的設備,當然光刻機也肯定用了尼康的。
然後歐洲的光刻機初創公司 ASML 當時就哭了,說好的是歐洲政府補貼的項目,怎麽好處全給日本同行?
好在,ASML 還有飛利浦這個好爸爸,最艱苦的時候,ASML 依靠爸爸,稍微賣了幾台光刻機,熬了過去。
但是問題又來了,随着市場變化和技術叠代,SRAM 芯片市場逐漸消失。甚至 CPU 大哥英特爾直接把它集成到 CPU 裏面變成緩存,單顆的 SRAM 芯片還有誰要啊?
所以,最終飛利浦負責的 SRAM 項目失敗了,落得一地雞毛。
思來想去,飛利浦隻能選擇止損。他們找到當時剛剛對新技術饑渴難耐的中國台灣,因爲那邊剛剛誕生了未來的芯片代工巨頭——台積電。
于是飛利浦毫無保留地把整個 MEGA 項目的生産線放開給台積電學習,再原封不動地把所有設備打包搬到中國台灣,當然作爲光刻機供應商的 ASML,也總算順帶把自己的光刻機設備給賣出去了。
作爲回報,在台積電股東裏,飛利浦是當時最大的外部股東,占股 27.5%。
所以說台積電的老底子都是飛利浦給打下來的。
最有意思的事來了,1988 年,新産線快弄好的時候發生了一場大火,無奈之下,台積電隻能把所有過火的光刻機退了回去,并且重新下了 17 台新訂單。
這 17 台機器的訂單是真的幫了大忙。
ASML 當時很缺錢,這些訂單在關鍵時刻救了急。當然 FAB 都有保險,結果就是爲火災買單的保險公司成了 ASML 的客戶,所以 1989 年的時候,從嚴格意義上講,ASML 最大的客戶是保險公司。
從上面這個小故事大家就可以看到,到 80 年代後 90 年代初,SRAM 基本作爲單獨芯片銷售的市場基本上已經消失了。
當然,SRAM 并沒有消失,它們以 IP 内核的形式直接被集成到 CPU,GPU,以及各種 SoC 芯片内部。
直接設計在一起,然後流片流出來就行了,沒什麽人買單顆 SRAM 的芯片了,除了上文提到過的極少數的需求之外。
到現在 CPU,GPU 的内部都有 SRAM,它們作爲芯片的二級緩存而普遍存在。
在 PC,HPC 上的 CPU 裏面,SRAM 面積還不小哦,普遍占到一半,但是在手機這種對功耗要求比較高的 CPU 裏,SRAM 就比較小了。
由此可見,SRAM 還有兩個特點,第一是面積大,第二是功耗高。
SRAM 和 DRAM 相比,在面積上有天然的劣勢,這個沒辦法,因爲本身結構限制了。
DRAM 的原理是 1T1C,也就是一個電容一個晶體管,而 SRAM 則由 6 個晶體管組成。
因此同容量情況下,SRAM 的面積得是 DRAM 的 5 倍~6 倍以上。
而面積就是成本,所以 SRAM 按單位面積算,那是相當昂貴的。
所以 CPU,GPU 裏能給的容量,普遍也就幾 M 到幾十 M,比如啓哥這顆 i9-14900 的 CPU 頂配桌面級 CPU,當時 4000 多大洋買的,SRAM 二級緩存隻有區區 32M。
不是英特爾不想做大,而是真的用不起啊,
商業環境下,你不能隻考慮性能,不考慮成本,你說是不是?
當然在 AI 芯片上,情況略有不同,畢竟 AI 芯片的核心面積比我的 i9 要大多了,所以普遍能上 100 多,甚至 200 多 M 的 SRAM 緩存。
畢竟人家 Groq 的一塊卡,要賣 2 萬多美金,那用料必須得足啊,速度必須得快啊,否則對不起這 2 萬美金的售價啊。
那再反過來說,就算以後大容量的 SRAM 成爲 AI 芯片的标準,請問和國内做 SRAM 上市公司有什麽關系嗎?
半毛錢關系都沒有。
我已經說了,SRAM 早就以 IP 内核的形式集成到 SoC 裏面,又不是單獨拿來賣的,難道 Groq 還采用了國産 SRAM 公司的 IP 不成?
就算用了,這買 IP 也花不了太多錢啊,都是非常成熟的技術和方案,也不知道那些按計算器拍業績的人,是咋按的,反正我看不懂。
所以網上傳的那份《SRAM 和 DRAM,從成本角度與 AI 的關系》,絕對有失偏頗,隻提優點,不提缺點,也不提實際情況。
實際情況就是大容量的 SRAM 要上,畢竟這個直接提升性能比較明顯,但是 HBM 也絕對不是它的對立面啊。HBM 依然是未來主要技術路徑,這個毫無疑問,畢竟 HBM 雖然貴,但是單位容量價格比 SRAM 還是便宜太多了,性價比擺着呢。
說什麽 SRAM 未來替代 HBM,絕對胡說八道,瞎扯淡。
當然了,這些半導體知識太專業了,一般人接觸不到,也不懂,哪怕是機構研究員,估計相當一部分人也稀裏糊塗的,反正跟風推票就完事了,回頭拿派點,豈不是喜滋滋?