全民智駕的元年到來，AI 正成爲車企競争的新賽場。
文丨智駕網 王欣
編輯 | 雨來
全民智駕的元年到來，AI 已成爲車企競争的新賽場。
3 月 5 日，CVPR 2025 成績單出來了，其中，理想汽車上榜了 4 篇。
CVPR 國際計算機視覺與模式識别會議是 IEEE（電氣和電子工程師協會）主辦的一年一度的國際會議，被公認爲計算機視覺領域的頂級會議之一，和 ICCV、ECCV 并稱計算機視覺三大頂級會議，近年來也不斷有自動駕駛領域的前沿研究獲獎。
對于理想汽車的意義在于，這不僅是其首次以車企身份跻身全球頂級 AI 會議，更标志着其從 " 造車新勢力 " 向真正發展爲 AI 公司的戰略轉型有了一個階段性的成果。
當天，理想汽車創始人、董事長、CEO 李想在社交媒體上發文稱：自從特斯拉的全自動駕駛（FSD）功能入華後，經過對比，理想 AD Max V13 的接管次數明顯少于特斯拉 FSD，表現更好。李想還提到，理想 AD Max V13 基于 1000 萬條數據進行訓練，并于 2 月 27 日全面推送，得到了用戶的好評。
這次入選的四篇論文背後的署名作者是理想汽車副總裁、智駕負責人朗鹹朋及其團隊的多名工程師。在不久前的理想汽車 AI Talk 中，朗鹹朋曾在直播中表示，預計 2025 年理想汽車能夠實現 L3 級的智能駕駛。
此次入選的 StreetCrafter、DrivingSphere、DriveDreamer4D 與 ReconDreamer 四篇論文，主要是理想汽車在自動駕駛模拟仿真方向做的創新，同時直面回答自動駕駛研發的核心痛點難題：數據成本高企與極端場景覆蓋不足。
下面我們分别解析這四篇論文：
01.
StreetCrafter：基于 LiDAR 與視頻擴散模型的街景合成技術
StreetCrafter 是作爲理想汽車聯合浙江大學、康奈爾大學提出的自動駕駛仿真技術，其核心目标是通過 LiDAR 點雲與視頻擴散模型的融合，解決傳統方法（如 NeRF、3D 高斯散射）在視角偏離訓練軌迹時渲染模糊或僞影的難題。
其核心技術包含兩部分：
可控視頻擴散模型：通過多幀 LiDAR 點雲聚合生成全局點雲，并渲染爲像素級條件圖像，作爲擴散模型的輸入。在推理階段，根據新視角的相機軌迹生成高保真視頻幀，支持實時渲染和場景編輯（如對象平移、替換和删除）。
動态 3D 高斯表示蒸餾：利用生成的新視角圖像作爲監督信号，優化 3D 高斯的幾何與紋理，結合混合損失函數（L1、SSIM、LPIPS）和漸進優化策略，提升視角外推能力，同時保持 80-113 FPS 的實時渲染速度。
實驗結果顯示，在 Waymo 數據集上，StreetCrafter 在 3 米視角偏移下的 FID 爲 71.40，顯著優于 Street Gaussians 的 93.38，且在複雜區域（如車道線和移動車輛）的細節清晰度更高。
StreetCrafter 其應用價值在于降低自動駕駛訓練對真實數據的依賴。例如，在訓練車輛變道算法時，可通過調整相機軌迹生成多角度變道場景視頻，模拟不同光照、天氣條件下的數據，以及應對極端場景下的仿真測試。
在應對突發障礙物（如行人橫穿、車輛逆行）時，利用場景編輯功能，在 LiDAR 點雲中插入虛拟障礙物（如删除道路上的車輛并替換爲行人），生成測試視頻。例如，模拟行人突然闖入車道，驗證系統緊急制動能力。
但局限性包括對 LiDAR 标注的高成本依賴（數據采集成本提升）、生成速度僅 0.2FPS，以及對形變物體（如行人）的建模精度不足。
也許正是意識到這些不足，日前理想汽車宣布：今年推出的所有車型都将标配激光雷達傳感器。
02.
DrivingSphere：生成式閉環仿真框架與 4D 高保真環境建模
DrivingSphere 旨在構建一個支持動态閉環交互的 4D（3D 空間 + 時間）仿真環境，以克服傳統開環仿真數據多樣性不足、閉環仿真視覺保真度低的問題。
框架主要通過兩大模塊和一個機制，爲智能體構建了高保真 4D 世界，評估自動駕駛算法。
動态環境組合（DEC 模塊）：基于 OccDreamer（3D 占用擴散模型）生成靜态場景，并結合 "Actor Bank" 動态管理交通參與者（如車輛、行人），通過語義相似性或随機采樣選擇參與者，實現城市場景的無限擴展。
該模塊采用 OccDreamer，一個基于鳥瞰圖（BEV）和文本條件控制的 3D 占用擴散模型，用于生成靜态場景。它通過 VQ-VAE 将 3D 占用數據壓縮爲潛在表示，并結合 ControlNet 分支注入 BEV 地圖和文本提示，逐步生成城市級連續靜态場景。
視覺場景合成（VSS 模塊）：利用雙路徑條件編碼（全局幾何特征與局部語義圖）和視頻擴散模型（VideoDreamer），生成多視角時空一緻的高保真視頻，并通過 ID 感知編碼綁定參與者外觀與位置，解決外觀漂移問題。
閉環反饋機制：通過 Ego Agent（被測算法）與環境 Agent（交通流引擎）的交互，實現 " 感知 - 決策 - 環境響應 " 的動态閉環測試，驗證算法在複雜場景中的魯棒性。
在實驗與結果方面，DrivingSphere 在視覺保真度評估中表現出色。
在 nuScenes 數據集上，DrivingSphere 的 OccDreamer 模塊生成的場景 FID 顯著優于 SemCity，視頻生成結果在 3D 目标檢測和 BEV 分割指标上超越 MagicDrive 與 DriveArena。
總的來看，DrivingSphere 其核心貢獻在于将幾何建模與生成式技術結合，但論文也指出，需進一步優化動态行爲的複雜性（如極端場景覆蓋不足）和計算成本。
03.
DriveDreamer4D：基于世界模型的 4D 駕駛場景重建與軌迹生成
DriveDreamer4D 的目标是通過世界模型（World Model）增強 4D 駕駛場景重建的時空一緻性與生成質量，解決傳統傳感器仿真方法（如 NeRF、3DGS）在複雜動作（如變道、加速）下的局限性。
比如，現有傳感器仿真技術（如 NeRF、3D 高斯散射）依賴與訓練數據分布緊密匹配的條件，僅能渲染前向駕駛場景，難以處理複雜動作（如變道、急刹）導緻的視角偏移或動态交互問題，常出現 " 鬼影 "" 拖影 " 等僞影。
亦或是開環仿真數據多樣性不足，閉環仿真則面臨視覺保真度低、動态交互不真實等挑戰。
那麽世界模型通過預測未來狀态生成多樣化駕駛視頻，但其此前局限于二維輸出，缺乏時空連貫性，無法滿足 4D 場景重建需求。
DriveDreamer4D 的核心架構分爲兩大部分：
新軌迹生成模塊（NTGM）：支持文本描述或自定義設計生成軌迹（如變道、加減速），并通過仿真環境（如 CARLA）進行碰撞檢測與安全性評估，生成控制信号以驅動視頻合成。
正則化訓練策略（CDTS）：引入感知一緻性損失，優化合成數據與真實數據的分布對齊，并通過誤差反饋叠代提升軌迹生成質量。
實驗表明，DriveDreamer4D 在時空一緻性和視覺真實性上優于 PVG、S ³ Gaussian 等基線模型。用戶調研中，其在常規場景（如單車道變道）的生成效果獲好評，但在跨車道等極端動作下仍存在重建失效問題。
該研究的應用價值在于降低數據采集成本并增強算法魯棒性，但需進一步結合時序建模與多模态輸入（如高精地圖）以提升複雜場景的适應性。
04.
ReconDreamer：動态駕駛場景在線修複與漸進式數據更新
ReconDreamer 聚焦于解決動态場景重建中大幅動作導緻的僞影問題（如遠景扭曲、車輛遮擋）。
針對這一類問題，ReconDreamer 依然是利用世界模型的知識，通過在線修複 ( DriveRestore ) 和漸進數據更新策略 ( Progressive Data Update Strategy 以下簡稱 PDUS ) 兩大手段，解決複雜動作的渲染質量問題。
在線修複技術（DriveRestorer）：構建退化幀與正常幀的修複數據集，通過擴散模型去噪策略修複僞影，并采用脫敏策略優先處理問題嚴重區域（如天空與遠景）。
漸進式數據更新策略（PDUS）：分階段生成更大跨度的軌迹數據（如 1.5 米→ 3 米→ 6 米），逐步擴展模型對複雜動作的适應能力，直至收斂。
ReconDreamer 的創新點在于首次将世界模型與動态重建結合，實現了實時修複渲染缺陷，并通過漸進式訓練策略解決了大動作渲染中的數據分布偏移問題。
這爲自動駕駛閉環仿真提供了高保真傳感器數據生成方案，支持複雜場景（如緊急變道和多車交互）的可靠測試。
當然局限性也包括，比如在線修複機制增加了訓練時間，且目前僅在 Waymo 數據集上進行了驗證，未來需要擴展至更多複雜環境（如雨天和夜間）。
定量分析結果顯示，ReconDreamer 在 NTA-IoU（車輛檢測框重合度）上相較于基線方法（如 Street Gaussians 和 DriveDreamer4D）提升了 24.87%，在 NTL-IoU（車道線重合度）上提升了 6.72%，同時 FID（圖像質量評估）降低了 29.97%。用戶研究表明，96.88% 的用戶認爲 ReconDreamer 在大動作渲染中優于 DriveDreamer4D。
定性分析結果顯示，ReconDreamer 有效消除了遠景模糊和天空噪點，保持了車輛位置和形狀的一緻性，并确保車道線在大偏移下的平滑無斷裂。
此外，消融實驗結果表明，DriveRestorer 的主幹網絡基于 DriveDreamer-2 的掩碼版本效果最佳，而 PDUS 的步長設定爲 1.5 米時性能最優，過大的步長會導緻噪聲累積。
【關注智能駕駛，關注智駕視頻号】
