白交 發自 凹非寺
量子位 | 公衆号 QbitAI
Vision Pro 現在玩的太花了，什麽時候能快進到沉浸式玩 3D 遊戲？？
現在有個新研究，在 VR 裏實時控制 3D 高斯潑濺生成的物體，距離真正實現又前進了一大步。
比如操作這個鐵馬，一不小心就鬼畜了……
再比如，調教了下這隻烈狗。
來自 UCLA 人工智能和視覺計算實驗室、港大、浙大、Style3D、CMU 以及亞馬遜全華人，研究人員提出了一個 VR 系統 VR-GS。
其中還看到了一個熟悉的圖形學大佬王華民。
具體來看看，是如何實現的。
在 VR 玩 3D 高斯潑濺
在這項研究中，團隊主要做了這三點貢獻：
開發了高保真沉浸式的 VR 系統，并做了廣泛評估。
實時 3D 内容交互：該系統的工程設計側重于以人爲本。
全面的系統集成，将 3D 高斯潑濺、場景分割、圖像繪制、基于物理的實時求解器和新的渲染幾何嵌入算法等技術結合在了一起。
當然，最核心的就是提出了物理感知交互式的 VR 系統 VR-GS。
這個名字顧名思義，就是集成了 3D 高斯潑濺（GS）和基于位置的擴展動力學（XPBD）。後者是一個高度适應性和一緻性的物理模拟器，用于實時變形模拟。
由于模拟和渲染過程具有不同的幾何表現形式，因此很難将模拟器直接集成到 3D 高斯内核中。
爲了解決這一難題，研究人員構建了一個四面體籠，将每個分段的高斯内核組嵌入到相應的網格中。由 XPBD 驅動的變形網格随後引導 GS 内核的變形。
從多視角圖像開始，該流水線巧妙地将場景重建、分割和使用高斯核的修複結合在一起，除此之外，還進一步融合了碰撞檢測、陰影投射等技術。
另外，他們還注意到，簡單的嵌入會導緻高斯内核出現一些尖峰僞影的問題。
因此提出了一種兩級嵌入方法，每個高斯核被嵌入到一個局部四面體中，局部四面體的頂點被獨立嵌入到全局網格中。
區别還是比較明顯的。
最終用戶反饋中，在包括易用性、延遲滿意度、系統功能和總體滿意度等方面都獲得了積極的評價。
研究團隊
本項研究由 UCLA、港大、浙大、Style3D、CMU 以及亞馬遜等機構的研究人員完成。
其中來自 UCLA 人工智能和視覺計算實驗室的 Ying Jiang、Chang Yu、Tianyi Xie 做出同等貢獻。
感興趣的旁友，可戳下方鏈接研究研究～
https://yingjiang96.github.io/VR-GS/
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
