現在一句口令，就能指揮汽車了。
比如說聲 " 我開會要遲到了 "" 我不想讓我朋友等太久 " 等等，車就能理解，并且自動加速起來。
如果這次行程有不滿意的，隻需要給汽車提供反饋建議：" 要在充分保障安全的前提下 "，汽車的自動駕駛行爲就會在下次行程中進行自我修正。
這是來自普渡大學數字孿生實驗室最新研究——
讓大語言模型部署在自動駕駛實車上，在多個交通場景，比如停車場、十字路口和高速上理解乘客的各種個性化指令，構建他們的數字孿生。
最終在衆多大模型的實驗中，GPT-4 脫穎而出。
更多細節在此。
基于 LLM 的自動駕駛系統
而這背後的實現，主要來自于一個框架 Talk2Drive。
這個框架主要有三個特點：
1、它将人類口頭命令轉換爲文本指令，然後由雲端的大模型來處理。在此過程中會用到一些語音識别的開源 API，比如 Whisper，準确捕獲口令并翻譯成文本。雲上的大模型結合天氣、交通狀況和當地交通規則等信息，生成上下文駕駛數據。
2、大模型生成特定的自動駕駛代碼，随後發送回車輛的電子控制單元（ECU）并在其中執行。
代碼執行涉及調整基本駕駛行爲以及車輛規劃和控制系統中的各種參數。
随後，車輛的執行器通過 CAN 總線和線控系統控制油門、刹車、檔位選擇和轉向。
3、車輛的存儲模塊秉承 " 千人千面 " 的理念，記錄着所有人車交互數據，确保每次行駛體驗都是基于乘客的曆史偏好和實時命令進行定制，實現真正意義上的數字孿生個性體驗。
經過一衆大模型對比，他們最終選擇 GPT-4，因爲它的延遲相對較小，以及推理能力更強。
在 Talk2Drive 系統中，三類不同駕乘偏好的乘客以口頭化的指令表達與大模型進行交互，以促使系統做出相應調整。當乘客對調整後的自動駕駛行爲不滿意時會關閉自動駕駛模式，系統也會記錄這種情況下的 " 接管 "。
結果顯示，無論駕乘偏好如何，Talk2Drive 都能顯著降低接管率。
這輛全副武裝的自動駕駛車和大語言模型 API 協作完成了這次研究。
來自普渡大學數字孿生實驗室
這項研究來自普渡大學數字孿生實驗室。
從研究團隊來看，大部分都是華人面孔。
其中一作 Can Cui 目前是普渡大學一年級博士生。在加入普渡大學工程學院之前，在密歇根大學獲得了電氣與計算機工程碩士學位。本科畢業于武漢理工大學。
其導師王子然博士，在 2022 年加入普渡大學之前，曾在豐田矽谷研發中心任職四年，以主任研究員的身份領銜數字孿生的相關研究。
據介紹，普渡數字孿生實驗室從 2023 年 6 月開始深耕大語言模型和自動駕駛交叉領域，進行了包括文獻綜述、創立公開數據集、仿真環境測試、以及主辦研讨會等一系列工作。
論文鏈接：
https://arxiv.org/abs/2312.09397
項目網站：
https://purduedigitaltwin.github.io/llm4ad
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
