做類ChatGPT産品,組中國版OpenaAI恐怕是先當下最最人盡皆知的創投野心。
有人官宣标榜放話,也有VC開始把視角投向産學研轉換的大模型項目——或許能更有基礎一些,其中,清華大學顯然處于身負衆望的頭一梯隊。
量子位獨家獲悉,背靠清華的大模型研究團隊,計算機系教授唐傑牽頭的創業公司智譜AI,身價水漲船高,在幾近哄搶的狀态中接近完成一輪新融資,估值已超30億元。
唐傑的學生同樣有市無價。其麾下知名弟子楊植麟的NLP創業公司循環智能,也被寄予厚望,一切往大模型方向走,國内最頭部的VC,孵化式提供支持。
唐傑師徒,清華NLP力量冰山一角
唐傑,清華計算機系教授。他剛剛入選2023 AAAI Fellow,也是ACM/IEEE Fellow。研究方向包括人工智能、數據挖掘、社交網絡、機器學習和知識圖譜等,曾獲ACM SIGKDD Test-of-Time Award(十年最佳論文)。
△唐傑
這次傳聞中被多家VC哄搶的智譜AI,在2019年由他和同爲清華教授的李涓子創立,由清華大學計算機系知識工程實驗室的技術成果轉化而來。
經唐傑手的大模型,都是這幾年裏大家的"老朋友":超大規模預訓練大模型"悟道"(悟道2.0參數規模達到1.75萬億);2021年與阿裏達摩院聯合發布的中文多模态預訓練大模型M6;已經開源的中英文預訓練語言大模型*GLM-130B。
相同參數規模下,M6訓練能耗僅是GPT-3的1%;ChatgGPT需要8張A100才能跑起來,而GLM-130B僅用4張3090就能驅動。在大模型賽道上的既有産品和性能實績,讓唐傑團隊被VC追逐、哄搶不足爲奇。
VC手中的金橄榄枝,還抛給了唐傑的得意門生楊植麟。
楊植麟是誰?以年級第一的成績從清華本科畢業後,他在NLP研究全球排名第一的卡内基梅隆大學語言技術研究所(LTI)就讀,師從蘋果AI研究負責人Ruslan Salakhutdinov和谷歌首席科學家William Cohen,4年即拿下博士學位。
△楊植麟
博士期間,楊植麟和圖靈獎得主Yoshua Bengio合作發布數據集HotpotQA,又先後以一作身份發表成果Transformer-XL和XLNet——這兩篇分别是ACL 2019和NeurIPS 2019最高引論文之一。現在,他的谷歌學術引用次數突破16000次。
這位90後創業者不僅學術履曆優秀,在産業界的表現也可圈可點。
2016年,楊植麟創立循環智能,公司主要業務是運用NLP、語音、多模态、大模型等人工智能技術打造"銷售科技"方案。與此同時,智譜AI和清華研究團隊的多個AI項目由他主導,華爲的"盤古"大模型也是楊植麟團隊和華爲雲聯合推出的。
ChatGPT引爆狂潮,唐楊師徒二人成了VC眼中的香饽饽,但清華大模型NLP方向上的人才富礦不止他二人。
孫茂松、劉知遠團隊算其中一股中堅力量,兩人都來自清華自然語言處理與社會人文計算實驗室(THUNLP)。THUNLP成立于上世紀70年代的實驗室,牽頭人是國内NLP研究領域的泰鬥黃昌甯,孫茂松是黃的學生,劉知遠則是孫的學生。
△孫茂松
2021年底,孫茂松團隊發布了機器中文語言能力評測基準"智源指數"(CUGE),以評測和推動中文NLP的發展。其他成果不多贅述,但此處不得不提的有三個。一個是AI寫詩模型"九歌",訓練過程中學習了80萬首中國古詩;另一個是語言表征模型ERNIE(和百度文心大模型同名),可與當時任務最優的BERT媲美;還有以中文爲核心的預訓練大模型清源CPM,這是智源"悟道·文源"的前身。
另一支赫赫有名的清華系NLP隊伍,是交互式人工智能(CoAI)課題組教授朱小燕和其學生黃民烈團隊,他們先後提出過SentiLARE、StoryGPT等預訓練模型。
黃民烈本人不僅參與了"悟道"大模型的開發,還基于大模型和對話系統的學術背景,在前年創辦緻力于打造"超拟人大模型"的聆心智能。去年12月,聆心智能推出首個産品AI烏托邦,用戶可通過其與定制AI角色對話;在去年年底完成數千萬元天使+輪融資後(投資方包括智譜AI),不到一周前,聆心智能又宣布完成Pre-A輪融資。
△黃民烈
至于不久前從京東卸任,回歸學術界擔任清華電子工程系教授的周伯文(旗下還有一家公司銜遠科技),也在NLP、人機對話打磨了多年的研究和業界經驗。
國内大模型力量百家争鳴:5大學術重鎮,10大産業巨頭
清華不是這輪浪潮中唯一的寵兒。随着AIGC和類ChatGPT産品相關話題日益高漲的熱度,國内大模型人才市場好不熱鬧。
爲此,量子位梳理了百家争鳴的國内産學研界大模型重鎮,代表性機構和代表性人物,共計5支學術界團隊和10大産業界力量,排名不分先後。當然極有可能挂一漏萬,歡迎在評論區中補充。
首先是5支學術界團隊:
01:複旦邱錫鵬教授團隊
不鳴則已,複旦大學教授邱錫鵬帶領的NLP團隊沒有絲毫預告,猛然在中國激起類ChatGPT産品第一朵浪花。
産品名稱MOSS,緻敬《流浪地球2》裏擁有自我意識的AI,參數量比ChatGPT小了一個數量級,在訓練方式上,直接選擇和其他AI模型進行對話。MOSS即将面向公衆進行内測,還要在3月馬不停蹄開源代碼。
據公開資料,邱錫鵬是複旦大學理學學士和博士,研究方向爲中文NLP、開源NLP系統、可信NLP技術、對話系統等,共發表CCF-A/B類論文70餘篇,并主持開發了開源NLP工具FudanNLP 、FastNLP。他與中國計算機學會自然語言處理專委會副主任、教授黃萱菁都來自複旦大學NLP實驗室,二人均在複旦大學取得學士和博士學位。
黃萱菁的研究領域爲NLP、文本檢索、雲計算,複旦博士畢業後留校任教。2008年前後,她以訪問學者身份前往MIT,現在是複旦大學AI、NLP學科方向帶頭人。曾入選入選"人工智能全球女性""AI 2000人工智能全球最具影響力提名學者"及"福布斯中國2020科技女性榜"。
02:哈爾濱工業大學智能技術與NLP研究室
哈工大智能技術與自然語言處理研究室(ITNLP Lab)自上世紀80年代初,就開始從事NLP研究,代表性成果是提出了漢字語句輸入的思想,并實現了國内外第一個語句級漢字鍵盤輸入系統。周明、王海峰、張民、荀恩東都出自哈工大NLP一脈。
教授王曉龍是實驗室負責人。王曉龍碩士期間就讀于天津大學,并在哈工大拿到計算機應用博士學位,名爲insun的拼音輸入法就是他的研究成果。實驗室教師還包括博士劉秉權、博士劉遠超 、博士孫承傑等教授。
劉秉權,本碩博均就讀于哈工大計算機專業,現爲智能技術與自然語言處理研究室副主任,中國計算機學會高級會員、CCF中文信息技術專委會委員,作爲主要研制人參加了"微軟拼音輸入法"(與微軟合作)和"手機操作系統漢字智能輸入"(與日本富士通合作)項目。
劉遠超主要研究興趣在智能信息處理、自然語言處理與理解、數據挖掘等領域,多次擔任ACL、EMNLP、COLING、NIPS等CCF人工智能頂級會議及等學術刊物的審稿專家。
孫承傑在哈工大先後取得碩博研究生學位後,2009年起在留校任教,主要研究方向爲NLP、信息抽取、信息推薦、文本挖掘和機器學習,承擔和參加多項國家自然科學基金項目和國家"863"項目。
03:清華AIR
清華AIR,全稱清華大學智能産業研究院,于2020年由多媒體及AI領域的世界級科學家張亞勤創建,張亞勤本人現擔任清華AIR院長,同時也是清華大學智能科學講席教授,中國工程院院士。
張亞勤本碩畢業于中國科學技術大學,在華盛頓大學取得博士學位,後當選美國藝術與科學院院士,澳州國家工程院院士,IEEE院士。他曾在微軟公司工作16年,1999年和李開複博士等共同創立微軟中國研究院(微軟亞洲研究院前身)并擔任第二任院長。又于2014年9月加盟百度公司擔任總裁。
△張亞勤
清華AIR還聚集了劉洋、馬維英、聶再清、劉菁菁等NLP方向的AI大牛。
劉洋是AIR執行院長,主要研究方向是NLP。武漢大學本科畢業後,劉洋在中國科學院計算技術研究所獲博士學位,曾擔任ACL亞太分會創始執委兼秘書長、Computational Linguistics編委。2010年,他在NLP頂會計算語言學上發表國内第一篇長文,并在ACL上成爲國内第一個做tutorial學者。
馬維英,IEEE Fellow,博士畢業于美國加州大學聖芭芭拉分校,AIR惠妍講席教授、首席科學家,他的研究方向包括人工智能的幾個核心領域,如大數據挖掘、ML、自然語言理解與生成、CV等。他擁有160多項技術專利,此前曾任微軟亞洲研究院常務副院長、字節跳動副總裁兼AI Lab主任。
另一位AIR首席研究員聶再清本碩畢業于清華大學計算機科學與技術系,博士時期在美國亞利桑那州立大學師從美國人工智能學會前主席Subbarao Kambhampati。2004年起,在微軟亞洲研究院曆任副研究員/主管/高級研究員、首席研究員;2017年至2020年,在阿裏擔任天貓精靈首席科學家、達摩院AI Labs北京研發中心負責人。
劉菁菁同樣是AIR首席研究員,擁有MIT計算機科學博士、劍橋大學MBA學位,曾任美國微軟資深首席研究部門經理,帶領科研團隊在視覺加語言多模态機器學習,自然語言處理等人工智能領域開展科學研究。
04:西湖大學NLP實驗室
西湖大學NLP實驗室團隊核心成員有博士張嶽、藍振忠等人。
張嶽本科畢業于清華大學計算機專業,碩士、博士期間均就讀于牛津大學,2010年3月-2012年6月在劍橋大學計算機科學專業從事博士後研究,現爲西湖大學長聘副教授,受邀編寫了劍橋大學的NLP教材。根據統計,2012年-2020年期間,張嶽在NLP領域的頂會發表數量是全球第三。
△張嶽NLP課程可在B站觀看
藍振忠是中山大學校友,博士畢業于卡内基梅隆大學(CMU)計算機學院,多次擔任ACM Multimedia, CVPR, ECCV, ICCV 等國際頂會的論文評審專家。加入西湖大學前,他在谷歌AI工作;加盟西湖大學後,藍振忠組建了一支30多人的團隊,正在嘗試整合多種AI技術,構建虛拟心理咨詢師。
05:IDEA研究院
IDEA研究院,全稱粵港澳大灣區數字經濟研究院,創立人沈向洋。沈向洋是視頻檢索領域的開創者,也是ACM和IEEE院士。他博士畢業于卡内基梅隆大學,是圖靈獎得主Raj Reddy的學生,與李開複、洪小文同門參與創建微軟亞洲研究院(MSRA),曾擔任微軟公司全球執行副總裁。
IDEA研究院下大模型負責人張家興同樣出身MSRA。在獲得北京大學博士學位後,張家興先後就職于百度、微軟、阿裏巴巴,曾任微軟亞洲研究院研究員、360數科首席科學家,2021年6月加入IDEA。去年,張家興帶領團隊推出了國内第一個以中文爲主的AI繪畫模型"太乙",被稱爲中文版Stable Diffusio。據透露,"太乙"訓練數據量超過了1億中文圖文對。
△太乙根據提示次"小橋流水人家,水彩"生成的畫作
接下來聊聊10家極具代表性的産業界力量:
01:百度
提起百度的NLP技術,最被人熟知的是文心大模型。百度日前已經官宣要在3月把"文心·一言"(ERNIE Bot)向公衆開放,它就是基于文心大模型技術推出的生成式對話産品。
2022年,DALLE-2、Stable Diffusion引領的AI繪畫狂潮中,百度順勢推出同以文心大模型爲底座的AI藝術和創意輔助平台"文心 · 一格"。
百度這方面坐鎮和帶隊的,自然是NLP領域華人第一人——王海峰。百度CTO王海峰畢業于哈爾濱工業大學,博士學曆,博士畢業後王海峰加入微軟亞洲研究院,進行自然語言處理方向的研究,之後曆任isilk.com研究科學家,東芝(中國)研究開發中心副所長兼研究部部長等職位。2010年1月加入百度,從NLP應用開始打造了百度NLP核心團隊。
核心團隊成員之一有2006年浙江大學畢業後加入,現任百度集團副總裁、深度學習技術及應用國家工程研究中心副主任吳甜,她整體負責百度AI技術平台和智能雲AI産品,百度産業級深度學習開源開放平台飛槳正是她負責。
吳華,中科院自動化研究所博士畢業,現任百度技術委員會主席,負責百度翻譯項目。她曾擔任自然語言處理領域國際會議ACL 2014年的程序委員會主席,是中國本土企業首位ACL程序委員會主席。
馬豔軍,山東大學、清華大學校友,博士畢業于愛爾蘭都柏林城市大學,百度深度學習技術平台高級總監。曾任《Machine Translation》雜志編委,并多次擔任頂級國際會議的 AreaChair等職務,發表論文20餘篇。小度機器人正是馬豔軍基于深度問答技術在2013年孵化。
02:阿裏達摩院
阿裏達摩院機器智能技術實驗室下屬的語言技術實驗室,是阿裏巴巴負責NLP技術研發的核心團隊。
現任語言技術實驗室負責人黃非,從ACM傑出科學家司羅手中接過重擔。加入達摩院之前,他在卡内基梅隆大學攻讀博士,之後NLP研究工作在IBM Watson和Facebook開展,在NLP和AI的頂會及期刊上發表文章40多篇;另一位團隊負責人邴立東和司羅、黃非同爲卡内基梅隆大學校友,曾多次擔任ACL、EMNLP等會議的領域主席。
前文提到的M6是阿裏達摩院推出的大模型之一,同樣爲人所熟知的還有基于統一學習範式OFA等底層技術打造的阿裏通義大模型,之所以爲"通義",是因它具備搞定多種任務的"大一統"能力。
至于達摩院被曝要推出的類ChatGPT産品,就是在阿裏通義大模型體系的基礎上融合升級。
△阿裏内測中的達摩院版ChatGPT提前曝光03:字節跳動
字節跳動AI Lab成立于2016年,旨在爲字節跳動内容平台提供算法和技術支持,研究領域主要涉及NLP、數據挖掘、ML、語音與音頻等,推出的NLP相關産品有爲字節跳動所有産品提供翻譯服務的Byte Translator,以及涉獵體育、金融、時事的新聞寫作機器人Xiaomingbot。
字節跳動AI Lab團隊總監之一李航,同時當選三大國際頂會(ACL,IEEE,ACM) Fellow。他師出日本,碩士畢業于日本京都大學電氣工程系,後在東京大學取得計算機科學博士學位,主要研究方向包括信息檢索、NLP等,曾在微軟、華爲先後任職。
本月初,字節跳動AI實驗室被曝有開展類ChatGPT産品和AIGC相關研發。最新消息爆料,字節跳動正在布局大模型,在語言和圖像兩種模态上發力。其中,語言大模型團隊由字節搜索部門領導,目前規模在十數人左右;圖片大模型團隊由智能創作團隊牽頭。
04:小冰
2020年,小冰公司從微軟總部拆分,獨立運營。其擁有的小冰框架以NLP爲基礎,是目前是全球承載交互量最大的完備AI框架之一。
本周,小冰公司的"小冰鏈"開放了小範圍公測,不同于ChatGPT,小冰鏈将其思考過程完整、透明地呈現在用戶面前,而且還能經過思考實施(某種)行動。
△小冰鏈的文字寫作能力
公司CEO李笛畢業于清華大學,前微軟(亞洲)互聯網工程院副院長,微軟時期創立了微軟AI情感計算框架,現在他領導全球團隊,負責人工智能小冰框架系統的技術研發、産品革新及商業落地
05:華爲
2021年,華爲雲發布"盤古"大模型,這是業界首個千億參數中文語言預訓練模型,預訓練階段學習了40TB中文文本數據,接近人類中文理解能力。
華爲這方面的核心人物,當屬國際歐亞科學院院士、IEEE Fellow、華爲雲人工智能領域首席科學家田奇。田奇本科畢業于清華大學電子工程系,碩士畢業于美國德雷塞爾大學,後赴美國伊利諾伊大學香槟分校學習獲博士學位。田奇研究方向本爲CV,但近幾年也轉向NLP領域。
△田奇06:騰訊
騰訊麾下有"混元"AI大模型(HunYuan)。去年年底,騰訊HunYuan進一步推出國内首個低成本、可落地的NLP萬億大模型,并再次登頂自然語言理解任務榜單CLUE。
HunYuan是業界首個可在工業界海量業務場景直接落地應用的萬億NLP大模型,最快用256張卡,1天内就能訓練完成,成本直接降至原來的1/8。
△混元AI大模型支持的對話應用案例
俞棟是騰訊AI Lab副主任,同時當選ACM/IEEE/ISCA三大頂會Fellow,主要研究方向是NLP與語音識别。浙大電子工程學本科畢業後,俞棟在美國印第安納大學計算機系和中國科學院自動化所模式識别與智能控制拿下兩個碩士學位,最後在美國愛達荷大學計算機完成博士學業。加入騰訊之前,俞棟是微軟研究院首席研究員。
07:京東
本月初,京東雲宣布,旗下言犀人工智能應用平台将整合過往産業實踐和技術積累,推出産業版ChatGPT智能人機對話平台,預計參數量達千億級。
京東集團副總裁、IEEE Fellow何曉冬表示,京東ChatGPT領域擁有豐富的場景和高質量的數據,京東雲言犀每天就能和用戶進行1000萬次交互。何曉冬是京東深度學習及語音和語言實驗室的負責人,本科畢業于清華大學後,何曉冬在中國科學院取得碩士學位,後又至美國密蘇裏大學哥倫比亞分校攻讀博士,研究主要集中在DL、NLP、語音識别等領域。
08:科大訊飛
科大訊飛是國内NLP行業龍頭。ChatGPT爆火後,科大訊飛在投資者互動平台表示,在ChatGPT主要涉及的NLP相關技術和方向上,公司具備長期深厚的積累。
科大訊飛公開資料披露,2022年12月,科大訊飛已經進一步啓動生成式預訓練大模型任務攻關,類ChatGPT技術将在今年5月落地公司AI學習機産品中。
科大訊飛副總裁、研究院執行院長是劉聰,于2001 年進入中國科學技術大學攻讀電子信息工程專業。加入訊飛語音實驗室後,開始了在語音識别領域的研究。現在,他同時擔任語音及語言信息處理國家工程研究中心副主任。
現任科大訊飛AI研究院副院長劉權,博士畢業于中國科學技術大學電子工程與信息科學系、語音及語言信息處理國家工程實驗室,主要研究領域是NLP,2020年至2021年,劉權帶領團隊獲得NLP領域5個國際權威評測冠軍,曾任國際常識知識推理會議Commonsense 2017學術委員會委員。
09:瀾舟科技
瀾舟科技創始人周明是聞名世界的NLP專家,先後就讀于重慶大學、哈爾濱工業大學和清華大學,并在清華大學擔任過副教授。創業前,周明長期在微軟亞洲研究院擔任NLP組的負責人、微軟亞研副院長。周明在NLP領域發表的文章數量居世界前列,2012年至2020年期間,周明在NLP領域頂會發表的論文數量居全球第一。
瀾舟科技給予Transformer的"孟子"大模型,走輕量化路線,僅包含10億參數量,可處理多語言、多模态數據,同時支持多種文本理解和文本生成任務。
△孟子大模型對圖片内容的描述
上周,瀾舟剛剛宣布與中文在線合作,要基于專用大模型開發一套預訓練模型技術的文學創作輔助算法。
10:浪潮信息
去年年中,浪潮信息推出了4個技能大模型(SkillModel),分别爲對話模型"源曉問"、問答模型"源曉搜"、翻譯模型"源曉譯"、古文模型"源曉文",它們4個都基于"源1.0"大模型生成。"源1.0"是浪潮信息在2021年發布的巨量中文語言模型,參數量高達2457億。
△浪潮"源"生成的新聞文本
浪潮信息在互動平台表示,公司在AIGC已從算力、算法和應用三個方面進行布局和長期研發投入。浪潮人工智能研究院首席研究員是吳韶華,他同時擔任浪潮信息AI軟件研發總監。他帶領的團隊除了推出"源1.0",還研發了深度學習框架Caffe-MPI、人工智能開發服務平台AI Station。
ChatGPT珠玉在前,複旦MOSS一聲不吭的出現,在國内掀起了更高一浪。
産學研三方都摩拳擦掌、蓄力待搏,在技術這塊基石之上,能夠壘起堅固高牆的人才成爲了另一個必争之地,可以說,伴随着類ChatGPT産品在國内的推進,關于大模型人才的搶奪和競争遊戲,才剛剛開始。
— 聯系作者 —