撰文 / 閱 凡
設計 / 趙昊然
12 月 3 日,由人工智能科學家李飛飛創立的科技公司 World Labs 推出了第一個項目,僅通過一張圖片,就能将圖中的場景三維化,生成的場景符合基本空間原理和物理定律,用戶可以在生成的空間内移動,轉換視角。
他們稱之爲大世界模型(Large World Model,LWM)。
李飛飛表示,大型世界模型隻是 Worlds Labs 公司的第一步,後面他們準備把場景設計融入 AR、機器人甚至自動駕駛。
2 天後,Google DeepMind 發布 Genie2,也展示了其可根據單圖生成無限 3D 世界,用于 AI 遊戲及智能體訓練,這就意味着它可以模拟虛拟世界,帶來了物體交互、複雜角色動畫、物理以及建模和預測其他智能體行爲的潛力能力。
又 5 天後,在 OpenAI 發布會直播第 3 天,此前被稱爲理解和模拟現實的基礎性 AI 技術,邁出開發能夠與物理世界互動模型重要一步的 Sora,推出了 Sora Turbo,在模拟運動中的物理世界時,進一步增強了它的可編輯能力。
2018 年,世界模型的概念開始被廣泛提及,科學家指出,人類使用有限的感官感知世界,并基于這些感知建立起一個内部的、簡化的世界模型,這個簡化的模型不僅幫助我們理解世界,更重要的,我們還會根據這個頭腦中的簡化世界決定預測未來走向。
而計算機領域的世界模型不僅包括觀察、狀态估計、動作建議和潛在變量建議四大核心元素,也采用了類似的思維模式,即在有限的、有選擇性的信息基礎上進行有效的決策和預測。
世界模型将會如何改變這個世界,對于身處變革中的智能汽車又意味着什麽?
智能座艙:從被動到主動預測和推薦
随着越來越多産品升級爲高通 8295 芯片,以及 AR-HUD 的普及,3D HMI 正在成爲智能座艙發展的新趨勢之一。
從 3D 車模到 3D 的場景構建,到最終可能會演變的全 3D 架構,用戶正在以 3D 的方式探索整個座艙的場景,實現多視角切換。一鏡到底的場景變化,這種更加直接并具有連貫性的體驗,正在颠覆整個座艙交互的方式和信息呈現的方式。
而汽車座艙的另一個變化,就是 AI 在智能座艙的快速應用和能力拓展,它正在重新構建視覺、聽覺、語義等多模态融合的全新體驗。
當前,雖然世界模型尚不成熟,但是它已經預示了很多的可能。
汽車商業評論了解到,今天 AI 在座艙的能力大多還是基于 AI 算法的拟合,也就是依賴于人提供大量的算法和數據進行訓練,AI 并沒有真正的理解座艙内這個小世界的物理規律,也就無法主動預測用戶行爲。
但如果世界模型能夠上車,打造成爲座艙世界模型,就意味着車輛通過對外界環境的聲音、光線、溫度、位置、人體眼神、動作等信息的感知,能夠知道外面是在刮風,還是在下雨,人什麽時候會熱,什麽時候會冷。
它從一定概率的拟合轉向成一種精确的計算,把人當做其中一個變量,在這個世界模型裏去運行,主動調整車内的溫度和濕度,包括聲音、光線等,不僅讓人保持最舒适、最愉悅、最高效的狀态,也實現了在 3D 世界的沉浸。
它帶來的的最大的價值點就在于,座艙未來會從被動接受指令,到主動推薦和預測,并且會更加精準。同時,将人、車、外部環境的衆多感知信息相融合,真正将座艙拓展爲千人千面。
智能駕駛:更快、更省、更安全
2024 年,自動駕駛端到端大模型成爲了車企開始競逐的新焦點,它取代了此前用于感知、描述、預測以及規劃的多個模塊,讓自動駕駛以深度學習和人工智能爲基礎,通過統一的神經網絡架構實現環境感知到車輛控制的全流程自動化,更接近人類的真實駕駛。
而端到端大模型的潛力和能力挖掘,以及未來競争的核心就在于誰的數據規模更大、誰的訓練能力更強,誰的跨域融合應用能力更出衆。
蔚來汽車曾在它的蔚來世界模型 NWM 的描述中表示,它能夠在 0.1 秒内推演出 216 種車輛可能發生的軌迹,尋找最佳決策。然後在接下來的 0.1 秒内,根據外界的信息輸入,重複更新内在時空的模型,再去預測 216 種可能性。以此循環,跟随駕駛軌迹持續預測,得到駕駛的最優解。
因此,世界模型爲自動駕駛訓練構建了更低成本、更快開發速度、以及複雜場景訓練的可能。
首先,傳統的自動駕駛訓練依賴大量的實際道路測試數據來構建場景,但世界模型能夠通過學習和生成,構建出更加豐富多樣的虛拟駕駛場景,包括一些罕見的、難以在實際中頻繁遇到的特殊場景和邊緣情況,如極端天氣條件下的駕駛場景、複雜交通流中的特殊事件等,爲自動駕駛模型提供更全面的訓練數據,從而提升其在各種場景下的應對能力。
其次,世界模型增強态勢感知與決策能力。
世界模型可以模拟真實世界環境的動态變化,理解各元素之間的關聯和因果關系,提前預判整個場景的演變。
第三,世界模型可以提高訓練效率與降低成本。
基于世界模型的仿真平台相較于傳統的單一道路測試,能夠更加精準地滿足日益增長的模拟需求,大幅削減重複采集和分析工作,按照需求快速生成特定場景,有效提高算法的精準度和叠代效率,從而縮短自動駕駛技術的研發周期,降低研發成本,加速其商業化應用的進程。
雖然,當下的世界模型尚不成熟,但對于汽車真正成爲人們的智能出行伴侶或者移動智能機器人的美好想象來說,越來越多科技公司的技術推動和演進,讓這個夢想又向前了一步。