文 | 周鑫雨
編輯 | 鄧詠儀
36 氪獲悉，美國 AI 3D 創業公司「Luma AI」近日完成 4300 萬美元 B 輪融資，由 A16Z 獨家投資。
此前，Luma AI 已經完成了 2000 萬美元的 A 輪融資，投資方包括 Amplify Partners、NVIDIA ( NVentures ) 、General Catalyst。
成立于 2021 年，Luma AI 是一家聚焦于 3D 内容生成的技術公司，提供 3D 内容生成和 3D 内容重建技術解決方案。
截至目前，Luma AI 已經推出了拍攝捕獲 3D 圖片和視頻、Image to 3D（圖片生 3D）、Video to 3D（視頻生 3D）、Text to 3D（文字生 3D）等功能。基于 Luma AI 的技術，用戶隻需用一台手機，就可以短時間、低成本生成所需的 3D 模型。
Luma AI 的核心團隊，擁有海外頭部大廠和高校的履曆。創始人兼 CEO Amit Jain 出身 Apple AR/VR 部門，在 3D 計算機視覺、深度技術産品等方面有豐富經驗。創始人兼 CTO Alex Yu 畢業于 UC Berkeley，曾與人工智能研究實驗室教授 Angjoo Kanazawa 共同進行 NeRF（Neural Radiance Fields，神經輻射場）相關的 3D 計算機視覺研究。
今年，來自 Nvidia 和斯坦福大學的 Jiaming Song，來自 UC Berkeley 人工智能實驗室、NeRF 論文作者之一的 Matt Tancik，分别加入 Luma AI，擔任首席科學家和應用研究團隊的負責人。
随着技術的開源和更多玩家的湧入，3D 内容生成行業的競争也愈發激烈。對于 3D 行業而言，企業真正的 " 護城河 " 則在 3D 數據。
相較于文本和 2D 圖像數據，可供訓練的 3D 數據并不多，而經過标注和語義匹配的 3D 數據則更爲稀缺。目前普遍的解決方案是利用 2D 擴散生成模型來指導 3D 表示的優化，從而實現 3D 内容生成。
所謂的 NeRF 技術，是 Luma AI 構建 3D 内容的核心。這一套最初由 UC Berkeley 和 Google 發布的深度學習系統，可以基于少量的 2D 圖像，對 3D 場景的幾何形狀和外觀進行建模。
Luma AI 增長負責人 Barkley Dai 告訴 36 氪，基于 NeRF 和 Gaussian Splatting 3D 重建技術，Luma AI 可以基于 2D 圖像數據快速構建高質量 3D 數據，用于機器學習和算法訓練。
減少生成高質量 3D 内容所需的算力資源和時間，則是 AI 3D 生成技術落地的關鍵。自今年以來，Text to 3D 所耗時長已經從小時級，縮減到了分鍾級。
2023 年 11 月，Luma AI 在 Discord 上發布了最新 Text to 3D 工具 Genie，則将 Text to 3D 所耗時長縮減到秒級。基于大量 3D 形狀、結構和場景數據進行深度神經網絡訓練，Genie 建立了對語義和 3D 空間幾何對應關系的理解能力。
Genie 3D 内容生成效果。
Genie 重建鞋子 3D 模型的效果。
根據輸入的自然語言提示詞，Genie 可在 10 秒左右的時間生成相應的 3D 模型，并提供可下載的 GLB、OBJ 和 FBX 等 3D 數據的标準化文件格式。Barkley 告訴 36 氪，目前市面上極少有廠商能做到 10 秒級的 3D 内容生成時間。
Genie 使用頁面。
在 Jain 看來，所有視覺生成模型的推理和生成過程都要基于對 3D 現實場景的理解，互聯網的視覺呈現是降維到 2D 後的表達成果。而随着 XR 等内容載體的發展，3D 内容生成落地的場景也遠不止遊戲和影視，而是将成爲消費級的内容生産和表達形式。
歡迎交流！
