宋亞宸 | Vast 創始人 &CEO 宋亞宸
在矽星人首屆 AI 創造者大會（ACC 2024）上，Vast 創始人 &CEO 宋亞宸分享了生成式 3D 的前沿進展。從最初 360P 級别的生成效果，到即将邁入 4K 時代；從專業建模師的專屬領地，到人人都能 zero-shot 創作的開放平台；從靜态模型到具備骨骼、動作的完整角色，3D 生成正在重塑我們創造和交互的方式。作爲中國引領全球的 3D 生成技術企業，Vast 的 Tripo 模型爲我們展示了一個令人振奮的未來：每個人都能成爲自己世界的設計師。
以下爲演講實錄：
大家下午好！今天給大家帶來一些特别有趣的 AI 内容。我們公司叫 Vast，是一家專注于 3D 大模型的公司，大家可能對 3D 大模型感到陌生，或許大家已經很熟悉語言、圖像、視頻大模型，以及海外的音樂大模型，其實 3D 領域也有屬于自己的大模型。
我們的 3D 大模型叫做 Tripo，其核心能力是通過輸入一段文字或一張圖片作爲 Prompt，甚至是多模态輸入，例如圖像、視頻等，生成一個 3D 模型。這個模型的表達形式可以包含貼圖、材質、PBR（物理基礎渲染）等元素，它是一個有實用價值的完整 3D 模型。它可以應用于遊戲、動畫、元宇宙、3D 打印、工業設計等多種領域，支持多樣且富有細節的使用場景。
除了 3D 生成本身，我們還提供了各種處理功能，包括自動骨骼綁定和動作生成。這意味着，生成的 3D 模型不僅是靜态的，還可以進行交互，具備動态效果。此外，我們還實現了風格化、格式轉換等功能，歡迎大家直接在我們官網上體驗 3D TripoAI 的功能。
https://www.tripo3d.com/
從 " 文字 " 到 " 實體 "，Tripo 究竟 " 智 " 造了什麽？
目前我們的 3D 模型生成技術發展到什麽階段呢？我們可以将其與圖像大模型 Midjourney 的水平作比較：在今年年初，我們的技術相當于 Midjourney V3 的水平；到現在我們已經達到了 V4 的水平，預計明年年初可以達到 V5 甚至 V6 的水平。可以把它形象地比喻爲：在今年年初時，我們的生成效果類似于手機攝像頭的 360P 分辨率，而現在的 Tripo 2.0 已經達到了 720P 的清晰度，明年我們有望實現 1080P 甚至 4K 的效果。這一進展基于去年發布的研究論文，表明我們在 3D 生成領域的核心技術模塊已走在前列。作爲中國公司，我們在 3D 生成的技術創新方面奠定了非常核心的技術模塊和能力，包括六頭六縱的 CVPR 等等。此外，我們還開源了許多有影響力的項目，包括全球最大的 3D 算法框架 ThreeStudio，圖生 3D 的鼻祖 Wonder3D ，以及全球最大的開源 3D 仿真生成模型。
我們的目标是在今年使靜态的 3D 模型生成達到實用水平。當前生成的内容已經接近于擁有一年建模經驗的建模師的水平，同時，我們正在推進雙足及四足骨骼自動綁定、文字生成動作、視頻生成動作等功能。預計明年，無論是我的外婆、我的孩子，還是在座的每一位，都可以零門檻、零成本地實時創造完整的 3D 内容和體驗。
3D 生成在 CG、工業和元宇宙中到底有多 " 聰明 "？
當前 3D 生成技術已經達到了相當成熟的水平，接下來我們來看一下這個技術在哪些場景中能夠得到廣泛應用，到 2024 年，我們發現主要有四大傳統場景可以被 AI 3D 技術賦能。首先是傳統的 CG 行業，包括遊戲、動畫、影視制作、虛拟制作等領域；其次是傳統工業領域，特别是下半年我們重點關注的 3D 打印、工業設計、家居、首飾、玩具、燈具、香薰、蠟燭、文創等行業；第三類是新興行業，比如元宇宙、XR、具身智能仿真模拟、數字孿生、數字人等應用場景；最後一類是傳統的 TMT 行業，如社交、直播、教育、電商等。
到目前爲止，作爲一家專注于海外市場的公司，我們的海外開發者數量已經超過 40 萬人，并擁有超過一萬家中小客戶，他們通過我們的 API 服務于自己的 To B 客戶和 To C 客戶，此外，我們還服務着 400 多家大客戶。
那麽，3D 生成技術解決了哪些核心問題呢？首先，降低了建模成本，以前一個 3D 模型的建模成本可能需要數百美金，而現在生成成本已無限接近于零；其次，顯著縮短了耗時，原來建模可能需要數周時間，而現在可以通過網絡實時生成；此外，過去需要非常高級的硬件和專業建模師，現在這些要求已不再必要，這種技術還實現了 3D 模型的規模化生成，比如以前一個模型需要反複修改，現在可以生成數萬個模型供挑選，這極大地提高了效率。
同時，3D 生成技術還能夠滿足個性化需求，未來每個人都可以根據需求生成獨一無二的 3D 模型，從而實現真正的定制化。這對于 3D 打印領域尤其重要，它分爲家用 3D 打印和工業 3D 打印兩部分，在家用 3D 打印領域，我們已經與全球前十的 3D 打印公司達成合作，過去用戶購買 3D 打印機後，由于不會建模而無法使用，而有了 3D 生成技術之後，不管是老年人還是小孩，都可以直接打印出自己喜歡的模型，比如鋼鐵俠與皮卡丘的結合體，非常有趣。在工業 3D 打印方面，我們看到許多應用場景，比如食品、禮品和文創的 3D 打印，可以根據用戶需求打印出個性化的産品。舉個例子，上周我們在汕頭與全球最大的積木廠商高磚合作推出了 3D 積木生成大模型，現在用戶隻需提供一張圖片或文字描述，就可以生成屬于自己的積木玩具。
我們與全球六七家最大的 3D 打印公司合作，共同舉辦了 3D 工業設計大賽，吸引了全球近千名工業設計愛好者參賽，創作了各式各樣的國際象棋設計作品。參賽者隻需提供文字和圖片即可直接生成完整的 3D 模型，這些模型可以立即放入家用 3D 打印機進行打印，我自己也貢獻了三套作品，雖然遺憾未能入圍。
每個人都能成爲自己世界的設計師
除了工業設計，3D 生成還廣泛應用于虛拟内容的創作。你現在看到的所有畫面均來自 Tripo1.4 版本生成的 3D 内容，作爲一個從未建過模的人，我用了一個早晨的時間，借助 Tripo 大模型創作出人生中第一個動畫，還獲得了入圍獎。萬聖節期間，我們也舉辦了相關活動，利用 3D 生成制作了許多有趣的視頻和動畫内容。
我們的用戶中還有一些非常有創意的創作者，利用成千上萬個 Tripo 生成的 3D 零件拼搭了一個太空站，這個作品在 Twitter 上被埃隆 · 馬斯克轉發，全球觀看次數超過 9000 萬次。現如今，通過 3D 生成技術，各種動畫和遊戲場景都能被秒級完成，例如《我的世界》這樣的遊戲，以前需要一年時間才能搭建的大型場景，現在不到 5 分鍾就可以生成。
我們還與 UGC 内容平台、家居廠商等達成合作，在平台上用戶可以快速生成各種大型的室内外場景。在元宇宙中，用戶可以設計服飾、首飾、家居等 3D 元素，用于虛拟場景。無論是遊戲、動畫還是虛拟制作，3D 生成技術都能快速進行調換、低成本地滿足需求。
未來，随着 UGC 内容的增加，越來越多非專業建模師的人将能夠通過文字和圖片生成自己理想中的世界，諸如 " 海賊王 " 的海洋世界、" 加勒比海盜 " 的冒險場景，甚至是 " 沙丘 " 中的神秘風光，都可以輕松打造，每個人都有機會成爲自己最喜愛的遊戲設計師。
此外，XR 也是一個重要的應用場景。雖然目前 XR 和 MR 還未普及，但當它們真正普及時，3D 生成将會成爲一種全新的交互方式。用戶隻需發出指令，就可以即時生成場景和物品，例如爲一個舞者生成舞台、爲一個沙發配置絢麗的燈光等。這不僅僅是創作，更是一種表達，甚至可以成爲 3D 日記，記錄和分享每個人的日常生活與心情。
我們的使命是 " 爲世界進文明，爲人類造幸福 "。大家有任何合作或感興趣的創意可以随時找我。謝謝大家！
