(圖片來源:TiPost/Intel)
ChatGPT 發布一周年将到來之際,中國、美國的 AI 大模型進展迅速,行業持續 " 狂飙 "。
10 月 20 日,AI 大模型領域獨角獸企業 北京智譜華章科技有限公司(以下簡稱 " 智譜 AI")宣布,已完成新一輪融資,今年以來,智譜 AI 累計融資額超過 25 億元人民币。
此輪投資方陣容豪華,包括社保基金中關村自主創新基金(君聯資本爲基金管理人)、美團、螞蟻、阿裏、騰訊、小米、金山、順爲、Boss 直聘、好未來、紅杉、高瓴等多家機構,而君聯資本等部分老股東跟投,華興資本擔任獨家财務顧問。據悉,智譜 AI 創始團隊來自清華大學,公司估值據傳已超過 100 億元。
無獨有偶。美國 OpenAI 公司于 20 日上線了 DALL-E 3 AI 繪圖功能在 ChatGPT Plus 付費版中,而且該公司還公布 DALL-E 3 關鍵技術論文,用 19 頁叙述 " 提示詞遵循 " 等技術細節。
事實上盡管美國加碼芯片出口管制措施以阻止中國的 AI 發展,但考慮到目前大模型行業的趨勢,中國國産算力仍然有望迎難而上。這意味着,中國的 AI 應用産業仍然具有一定的競争優勢,從而在未來全球數字經濟變革中承擔重要地位。
大模型浪潮下,阿裏、騰訊向清華系獨角獸投資 25 億
以 ChatGPT 爲代表的生成式 AI,一夜之間火熱 " 出圈 ",瞬間掀起了新一波技術浪潮。
美國弗吉尼亞大學經濟學教授 Anton Korinek 直言,相比過去 20 年,預計生成式 AI 将在未來 10 年把生産力提高 10%-20%。
事實上,早在 2019 年 6 月,智譜 AI ——這家由清華大學計算機系知識工程實驗室的技術成果轉化公司,瞄準了當時還未爆火的大模型技術。公司集結了一群清華大牛—— CEO 張鵬畢業于清華計算機系,總裁王紹蘭爲清華創新領軍博士,清華大學計算系教授唐傑也參與研發中國最大規模預訓練模型悟道 2.0。
智譜 AI CEO 張鵬
2020 年,智譜 AI 開始了 GLM 預訓練架構的研發,并訓練了 100 億參數模型 GLM-10B。2021 年,公司利用 MoE 架構成功訓練出萬億稀疏模型,并于 2022 年公布了 1300 億級超大規模預訓練通用模型 GLM-130B,而且還以此打造大模型平台及産品矩陣。
2023 年,智譜 AI 推出千億基座的對話模型 ChatGLM,并開源單卡版模型 ChatGLM-6B 等,部署于個人開發者和企業應用領域。今年 6 月,智譜 AI 叠代出 ChatGLM2,包括 6B、130B、12B(120 億參數)、32B、66B 等參數的模型,效果全面提升,推理速度增長 42%。據張鵬透露,相比 GPT-4 版的 ChatGPT,ChatGLM2-12B、32B 和 66B 性能分别提升 16%、36% 和 280%。
當前,智譜 AI 開源模型在全球下載量已超過 1000 萬次。同時,公司也進行了商業化探索,打造了 AIGC(生成式 AI)模型及産品矩陣,包括已獲批上線的智譜清言、高效率代碼模型 CodeGeeX 等。
融資方面,創立至今的四年來,智譜 AI 共完成三輪融資,最近一次消息是 2022 年 9 月公司宣布的 B 輪,投資方包括華控基金、啓明創投、君聯資本、中科創星、将門創投等機構。
如今,智譜 AI 又完成了一輪 25 億元融資,阿裏、騰訊、小米、螞蟻等巨頭紛紛參與。公司稱,上述融資将用于基座大模型的進一步研發,更好地支撐行業生态。
據财新,目前智譜 AI 公司估值已超過 100 億元。
OpenAI 罕見公布新模型技術
10 月 20 日,OpenAI 向 hatGPT Plus 和 Enterprise 用戶上線了最新的 DALL-E 3 文生圖模型的訪問權限。
據悉,DALL-E 3 于上個月首次發布,相比 DALL-E 2,OpenAI 第三代文生圖技術首次内置在 ChatGPT 當中,可允許用戶提供更直觀的描述性信息從而生成圖片,而且新技術生成的圖像更逼真,效果更好。OpenAI 表示,其爲 DALL-E 3 模型提供安全堆棧技術,從而爲擴展功能做好準備。
與此同時,OpenAI 團隊還非常罕見的公布了 DALL-E 3 的部分技術細節,因爲 ChatGPT、GPT-4 到目前爲止都沒有全部公布相關技術論文。
此次論文中,OpenAI 詳細闡述了 DALL-E 3 的技術改進,首先團隊提出了一種改進圖像生成系統的方法 " 提示詞遵循 ",通過訓練高質量的生成圖像标題來提高文本生成圖像的能力。而且,團隊還創建了一個比較龐大、精準的提示詞數據,該數據集詳細描述了每個圖像的内容,包括主要對象、周圍環境、背景、圖像中的文本、風格、顔色等。
其次,作者使用新的數據集對基礎提示詞進行微調,生成 " 描述性合成提示詞 "。随後,作者利用研發的 " 圖像生成器 ",應用于文生圖數據集的每個圖像,生成關鍵提示詞用于後續實驗。
最終,OpenAI 團隊使用 95% 的合成提示詞和 5% 的真實反饋的數據集訓練了 DALL-E 3 模型,并内置在 ChatGPT 應用中,以發揮模型的最大潛力,和實現高精确度的文生圖反饋。
此外,團隊還讓 DALL-E 3 在多個測試中跑分,已顯示出較好的性能。在 CLIP 得分評估中,DALL-E 3 明顯優于 DALL-E 2 和開源的 Stable Diffusion XL 模型;在 Drawbench 基準評估中,DALL-E 3 同樣優于 DALL-E 2 和 Stable Diffusion XL,差距在 20%-30% 左右。
OpenAI 公司 CEO 奧特曼(Sam Altman)此前已表示,新的 DALL · E 3 效果相當驚人。" 如果不嘗試的話,很難理解這是多麽了不起的事情。"
另據報道,OpenAI 去年開始研發的一款輕量化模型,内部代号爲 "Arrakis",現已停止開發,原因主要是大模型的商業化步伐放緩。據市場機構 Appfigures 的數據,ChatGPT 在過去 9 個月的收入增長超過了 30%,但到了 9 月,其增速僅爲 20%,顯示出增長放緩趨勢。
然而,相比于 OpenAI,由于美國不斷加碼芯片出口管制措施,中國 AI 大模型之路更爲嚴峻,。
10 月 17 日,美國商務部下屬工業與安全局(BIS)發布了對中國半導體出口管制最終規則,在去年 10 月 7 日出台的臨時規則基礎上,進一步加嚴對 AI 相關芯片、半導體制造設備的對華出口限制,并将多家中國實體增列入出口管制 " 實體清單 "。
這一措施已影響到大模型算力巨頭英偉達、英特爾、AMD 等廠商在華産品銷售。英偉達已表示,包括 A100/H100、A800/H800、L40s/L40、RTX4090 等産品受出口管制影響。公司創始人黃仁勳直言,這一管制措施将對英偉達在中國市場有很大影響。
Counterpoint 分析師 Brady Wang 表示," 從長遠來看,如果美芯片制裁持續下去,這将影響到中國 AI 發展。"
當然,國産大模型算力能力依然也在不斷增強。科大訊飛在 10 月 19 日第三季度業績會上表示,出口管制對将構建在英偉達算力上的大模型廠商産生較大影響,但科大訊飛已于 2023 年初與華爲昇騰啓動專項攻關,合力打造中國通用人工智能新底座,讓國産大模型架構在自主創新的軟硬件基礎之上。
科大訊飛方面強調,當前華爲昇騰 910B 能力已經基本做到可對标英偉達 A100。
10 月 20 日,工信部新聞發言人、總工程師趙志國表示,中國正加快推動算力基礎設施建設發展。下一步,工信部持續推進算力發展,加強基礎設施建設,構建梯次化算力基礎設施體系架構,使多方算力互聯互通,促進技術創新和應用融合。
(本文首發钛媒體 App,作者|林志佳)