在 4 月 11 日舉行的第八屆 HAOMOAIDAY 上,毫末智行對外發布業内首個自動駕駛生成式大模型 DriveGPT,中文名 " 雪湖 · 海若 ",期望重塑汽車智能化技術路線。
毫末智行 CEO 顧維灏透露,DriveGPT 雪湖 · 海若通過引入駕駛數據建立 RLHF(人類反饋強化學習)技術,對自動駕駛認知決策模型進行持續優化,現階段主要用于解決自動駕駛的認知決策問題,後續持續會将毫末多個大模型的能力整合到 DriveGPT。終極目标是實現端到端自動駕駛。
目前,毫末 DriveGPT 雪湖 · 海若實現了模型架構與參數規模的升級,參數規模達到 1200 億,預訓練階段引入 4000 萬公裏量産車駕駛數據,RLHF 階段引入 5 萬段人工精選的困難場景接管 Clips。
DriveGPT 雪湖 · 海若的底層模型采用 GPT(Generative Pre-trained Transformer)生成式預訓練大模型,與 ChatGPT 使用自然語言進行輸入與輸出不同,DriveGPT 輸入是感知融合後的文本序列,輸出是自動駕駛場景文本序列,即将自動駕駛場景 Token 化,形成 "Drive Language",最終完成自車的決策規控、障礙物預測以及決策邏輯鏈的輸出等任務。
DriveGPT 雪湖 · 海若的實現過程是,首先在預訓練階段通過引入量産駕駛數據,訓練初始模型,再通過引入駕駛接管 Clips 數據完成反饋模型(Reward Model)的訓練,然後再通過強化學習的方式,使用反饋模型去不斷優化叠代初始模型,形成對自動駕駛認知決策模型的持續優化。同時,DriveGPT 雪湖 · 海若還會根據輸入端的提示語以及毫末 CSS 自動駕駛場景庫的決策樣本去訓練模型,讓模型學習推理關系,從而将完整駕駛策略拆分爲自動駕駛場景的動态識别過程,完成可理解、可解釋的推理邏輯鏈生成。
現場,毫末宣布 DriveGPT 雪湖 · 海若首發車型是新摩卡 DHT-PHEV,即将量産上市。顧維灏提到,DriveGPT 雪湖 · 海若可以逐步應用到城市 NOH、捷徑推薦、智能陪練以及脫困場景中。有了 DriveGPT 雪湖 · 海若的加持,車輛行駛會更安全;動作更人性、更絲滑,并有合理的邏輯告訴駕駛者,車輛爲何選擇這樣的決策動作。對于普通用戶來說,車輛越來越像老司機,用戶對智能産品的信任感會更強,理解到車輛的行爲都是可預期、可理解的。
目前,毫末 DriveGPT 雪湖 · 海若已正式對外開放,開啓對限量首批客戶的合作,北京交通大學計算機與信息技術學院、高通、火山引擎、華爲雲、京東科技、四維圖新、魏牌新能源、英特爾等已經加入。
毫末 DriveGPT 雪湖 · 海若将攜手生态夥伴率先探索四大應用能力,包括智能駕駛、駕駛場景識别、駕駛行爲驗證、困難場景脫困。當前,毫末在使用數據過程中,逐步建立起一套基于 4D Clips 駕駛場景識别方案,具備極高性價比。在行業上,給出正确的标注結果,一張圖片需要約 5 元;如果使用 DriveGPT 雪湖 · 海若的場景識别服務,一張圖片的價格将下降到 0.5 元。單幀圖片整體标注成本僅相當于行業的 1/10。接下來,毫末會将圖像幀及 4D Clips 場景識别服務逐步向行業開放使用,這将大幅降低行業使用數據的成本,提高數據質量,從而加速自動駕駛技術的快速發展。
(DriveGPT 雪湖 · 海若的場景識别能力對外開放)
顧維灏介紹,毫末在 2023 年 1 月發布的中國自動駕駛行業最大的智算中心 MANA OASIS(雪湖 · 綠洲)此次從算力優化等層面升級了三大能力,進一步支持 DriveGPT 雪湖 · 海若的算力。
此外,在本屆 HAOMOAIDAY 上,毫末還宣布中國首款可大規模量産落地、重感知城市 NOH,将首批落地北京、保定、上海等城市,并開啓泛化測試,到 2024 年有序落地 100 城。
生态層面,毫末乘用車 6P 開放合作取得重大突破,已與 3 家主機廠簽署定點合同,相關項目正在交付中。這是毫末商業化的重要一躍,全面保障了毫末高速發展态勢。