基于新款文生 3D 基礎模型
注意看，這是一家 " 魔法博物館 "，陳列的展品琳琅滿目，甚至還有機甲套裝 ……
魔法鏡子、水晶法杖 …… 也是一應俱全，仿佛真的進入了魔法世界。
沒錯，這個 " 博物館 " 裏的 " 展品 " 全都是由 AI 打造的，而且一件隻需要五分鍾。
來自南洋理工大學、上海 AI 實驗室等機構的研究人員，共同推出了新款文生 3D 基礎模型3DTopia。
隻需要一組文本，它就可以在 5 分鍾内生成出多樣化、高精度的 3D 模型。
除了 " 魔法博物館 " 裏的展品之外，日常的物品 3DTopia 更是可以精準合成。
比如老闆心血來潮想要布置一下辦公室，它就能建立出桌椅擺件的樣子，甚至桌子上的咖啡也一起 " 準備 " 好了。
就算天馬行空一些也沒關系，隻要人能想到，它可以建立出一套月球的 " 沙盤 "。
那麽，該怎麽用 3DTopia 來創建 3D 模型呢？
推理分兩階段進行
3DTopia 的推理過程是分爲兩個階段進行的，第一個階段會根據提示詞生成點雲格式的粗糙模型。
比如當我們讓它生成一個機器人模型時，第一階段得到的模型是長這樣的：
第二階段就是用該團隊推出的 theeefiner 對這個粗糙的點雲進行細化，并完成上色等操作。
經過優化 theeefiner 的之後，這個機器人模型終于變成了人類熟悉的樣子。
所以，實際操作過程也需要對這兩部分用到的工具分别進行部署。
首先拉取 3DTopia 的文件，然後用 conda 創建虛拟環境并完成安裝，接着還要安裝另一份教程部署第二階段要用到的 threefiner。
部署完成之後，還得到 HuggingFace 上下載一個 checkpoint 文件并放到指定目錄。
整個過程難度倒也不算大，但是對于小白來說操作起來可能也得費一番功夫。
所以，如果這個部署過程看上去過于繁瑣，這裏還有一份大神改編的 Colab 筆記。
利用這份筆記，隻需要修改其中的提示詞和文件名，部署過程則是一鍵完成，不過實測需要選擇 A100 才能完美運行。
這份筆記将第二階段拆分成了兩個子步驟，所以部署完之後一共需要運行三段代碼，修改提示詞的方式如下圖。
其中 stage1 生成的文件名可以點擊左側的文件夾圖标，就可以在 3DTopia - results 目錄下找到，stage1 目錄下同時還會生成初稿的預覽視頻。
最終的成品模型，則是默認存在了 stage2 目錄中。
不過需要注意的是，目前筆記的第 2-2 步存在一處小錯誤，運行之前需要在 threefiner 前加上一個英文感歎号，否則無法正常運行。
