AI生成3D主題樂園，角色建築批量生成，風格保持一緻

最少隻需 1 個 3D 樣例，即可生成 3D 主題樂園。

來自香港城市大學、上海人工智能實驗室和南洋理工大學 S-Lab 的研究人員提出了一種名爲ThemeStation的新穎框架。

它可以從少量 3D 樣例中生成主題一緻的高質量 3D 畫廊。

還能基于文本控制，生成想要的 3D 資産。比如 " 穿正裝的貓頭鷹 "。

要知道，虛拟世界和遊戲等應用中，常常需要大規模主題一緻的 3D 模型，如古城中的建築群、虛拟生态系統中的怪物陣容。

盡管一位資深 3D 建模師可以創作出若幹主題一緻的作品，但要創建大規模内容豐富、風格一緻的 3D 畫廊卻是一大挑戰。

即便最近的 3D 内容生成（3D AIGC）在文本到 3D、圖像到 3D 等領域取得了長足進展，大大降低了 3D 内容創作的門檻。但由于輸入模态中 3D 信息有限，它們仍然存在 3D 模糊和不一緻的問題，且無法充分保證與輸入樣例主題的一緻性。

因此研究人員提出了這項工作。目前該論文已被SIGGRAPH 2024接收，方法已開源。

ThemeStation 的主要貢獻包括：

提出了一種用于主題驅動 3D 到 3D 生成的兩階段框架，其目标是僅從一個或幾個 3D 樣例生成在主題一緻性和内容多樣性方面均符合要求的新 3D 資産。

首次嘗試将擴散先驗擴展到 3D 到 3D 内容生成這一挑戰性任務上。

引入了雙重分數蒸餾 ( DSD ) ，通過在不同噪聲水平應用參考先驗和概念先驗，實現了在 3D 到 3D 生成中同時使用兩種互相沖突的擴散先驗。

與現有的文本到 3D、圖像到 3D 的技術不同，ThemeStation 接受 3D 樣例作爲輸入。與文本和圖像相比，3D 樣例可以提供更多關于幾何和紋理的 3D 信息，大大減少了 3D 生成中的多視角不一緻問題，使得生成更高質量的 3D 模型成爲了可能。

然而，直接在少量 3D 樣例上訓練的 3D 生成器缺乏先驗信息，隻能簡單地重複、縮放和微調輸入樣例，無法生成多樣化且主題一緻的 3D 資産。爲此，ThemeStation 采用了一種兩階段的生成方案，模仿了實際 3D 建模工作流程：

第一階段 : 主題驅動的概念圖像生成

在第一階段，ThemeStation 利用給定 3D 樣例的多視角渲染圖像對預訓練的文本到圖像 ( T2I ) 擴散模型進行了微調，以生成一系列與輸入 3D 示例保持一緻主題的概念圖像，類似于實踐中的概念草圖設計過程。與 DreamBooth 等主體驅動的微調技術不同，該階段的目标并非完全拟合給定 3D 樣例。

因此，在該階段，研究人員使用低學習速率和少訓練步驟來微調預訓練的擴散模型以提取 3D 樣例中的主題信息并避免過拟合，最終實現了主題一緻且多樣化的 3D 變體概念草圖生成。

第二階段 : 參考信息驅動的 3D 資産建模

在第二階段，ThemeStation 進行參考信息驅動的 3D 資産建模。給定一張第一階段生成的概念草圖和輸入的 3D 樣例，ThemeStation，首先使用現有的圖像到 3D 技術生成粗糙的 3D 模型作爲初始化。然後，它使用所提出的雙重分數蒸餾 ( DSD ) 損失函數來逐步優化這個初始模型。

雙重分數蒸餾 ( DSD ) 損失是 ThemeStation 的技術核心，它結合了兩種擴散先驗 : 概念先驗和參考先驗。概念先驗來自第一階段合成的概念草圖，通過整體調整布局和顔色來确保概念圖的重建。參考先驗則來自輸入的 3D 樣例，通過利用多視角渲染圖像和法線圖中的 3D 一緻信息來恢複更豐富的高頻細節。

具體而言，研究者分别使用概念草圖和輸入 3D 樣例的渲染圖片微調了兩個定制化的 T2I 擴散模型來提供不同的擴散先驗。

值得注意的是，由于概念圖和輸入的 3D 樣例并非同一 3D 物體，同時使用這兩種互相沖突的先驗信息作爲優化目标并非易事。與簡單組合這兩種先驗 ( 可導緻嚴重的損失沖突 ) 不同，ThemeStation 的研究者創新性地根據擴散模型的去噪時間步分配不同的先驗損失——在高噪聲下控制全局布局（概念先驗）并在低噪聲下精雕細琢（參考先驗）。

在這樣的設計下，兩個沖突的先驗得以融合，避免了信息損失。這一設計靈感來自圖像風格遷移算法和 T2I 擴散模型中反向擴散過程的基于時間步長的由粗糙到細緻的動态變化，如下圖所示：