在元宇宙中過氣,在大模型中重生。
2023 年,大模型 " 救活 " 了很多行業,其中最爲反轉的,就是把虛拟數字人(以下簡稱虛拟人)從活死人墓裏拉了出來。
還沒開年,在 2022 年火爆一時的元宇宙就已經快速遇冷,虛拟人作爲元宇宙的遺孀也難逃霜凍的命運,不少虛拟人初創公司開始進入融資難、産品無法落地的艱難階段;甚至百度、騰訊等大廠們,也開始裁撤了曾重金打造的希壤和智影等專門爲虛拟人制作而生的平台。
正當所有人都以爲,虛拟人将經曆一段漫長的寒冬時,大模型來了。
大模型來了,首先意味着元宇宙之外,又有了新的概念和故事;但更重要的是,大模型的能力也确實對虛拟人技術産生了深刻的影響,在元宇宙時代未能解決的成本高昂、制作周期緩慢、門檻過高等問題,也都開始被大模型逐個擊破;同時,大模型讓虛拟人能夠真正開始規模化落地,融合進産業,這邁出了産業鏈成熟的關鍵一步。
但這一年仍然是混亂的。
年初,起死回生的虛拟人開始瘋狂找落地場景;年中,聞到商機的代理商們,帶着成千上萬虛拟人湧進直播間,開始披着技術的外衣瘋狂割韭菜,這也導緻企業客戶一時間對虛拟人望而卻步。
年底,當泡沫逐漸消失、技術逐漸成熟後,整個市場開始回歸冷靜,産業鏈開始分化,上中下遊的分工慢慢清晰,各行各業也不再追求形式而開始真正思考,虛拟人究竟能帶來什麽?
毫無疑問,虛拟人最重要的場景并不是當下所經曆的這一切,它是現實世界和虛拟世界的超級入口,是人生遊戲中真實的 NPC,但想要達到這個目标,無論是技術還是生态,都還尚早。
在年尾之際,我們将從技術、産品、商業化三個層面,與多位廠商共同複盤 2023 虛拟人這一年。
01 大模型讓虛拟人 " 活 " 了
在大模型到來之前,虛拟人一直避不開成本高昂的問題。
2022 年的時候,虛拟人通常都是一對一定制,價格也從上萬元到幾十萬不等,但即便如此,虛拟人的效果也不盡如人意。
某知名酒業公司品牌負責人告訴「自象限」,該公司曾嘗試将虛拟人應用在機場大屏的廣告中,但即便找了國内知名大廠,并花費近 60 萬元之後,落地的效果還是 " 一眼假 "。
成本高昂和落地效果不佳的直接原因,自然是技術不成熟。
在大模型之前,虛拟人的制作大多由真人驅動,即需要專門的演員戴上設備,通過動作捕捉技術進行長時間的數據采集才能完成 3D 建模。這種形式一是具有高昂的人力成本,其次則是制作周期漫長。
一位虛拟人從業者向「自象限」表示,一個虛拟人的數據采集需要專門的制作團隊制作數月,在這之後,還需要專業的技術人員專門進行調優。
這自然直接增加了虛拟人的制作成本,某虛拟人廠商告訴我們:" 找演員拍攝,幾乎是賣一個賠一個。"
在真人驅動之外,也有虛拟人依靠算法驅動。但這類虛拟人前期需要大量的數據訓練各類驅動模型,而且最終效果還要受語音合成、NLP 技術、語音識别、CG 渲染等技術的影響。
這類虛拟人盡管在大模型之前已經在某些特定方向有了相對穩定的技術,但仍然缺少一個強有力的 " 大腦 ",将各種模塊統一起來,讓虛拟人達到理想的效果。
除此之外,在大模型之前,靠傳統算法驅動的虛拟人通常依靠預設的參數和有限的模型進行訓練,但在大模型之後,大模型的生成能力則幾乎讓虛拟人擁有了無限的訓練參數。
▲ 圖源:中航證券研究所
如今,大模型已經作爲一種生産能力滲入到整個虛拟人制作的産業鏈中,這直接推動了虛拟人制作成本的大幅下降,從之前的十萬級下降到千元左右。制作周期也從之前的動辄幾個月,縮短到小時級别。
國内最早一批布局 AI 數字人的「矽基智能」告訴「自象限」:" 從上線起,矽基的數字人形象克隆産品統一定價爲 8000 元,通過标準化的價格和服務來擴大市場份額,目前市場上的售價參差不齊,從幾百到幾千不等,新的一年,我們在思考把 8000 元的門檻砍掉,進一步降低成本,走全新的商業模式。"
降本增效,是大模型帶來的第一層改變。大模型技術不僅直接降低了虛拟人的制作難度,更讓虛拟人看上去更像人。
比如,大模型改變了過去虛拟人 3D 建模依靠 CG 技術的傳統方法,轉而使用視頻大模型的制作工具,通過算法高效生成 3D 模型,這讓虛拟人的面部細節更加逼真,面部表情和唇形的同步效果也有所提高,讓虛拟人在說話時看起來更自然。
除此之外,大模型還在交互方面提高虛拟人的能力,讓虛拟人可以從單項輸出到與人進行事實互動。
根據 IDC 咨詢,根據虛拟人的自動化水平,可分爲 L1-L5 階段。如下圖所示,目前我們正處于 L3-L4 的中間階段,在直播間或者虛拟人互動的設備中,用戶通過文字就能與虛拟人進行實時交流和對話,以用來介紹産品、替用戶解決問題等等。
▲ 圖源:IDC 報告截圖
一位 2D 虛拟人廠商同「自象限」提到:" 目前相對智能化的虛拟人已能實現直播互動。這背後的技術原理在于企業事先建立的一個模闆庫或知識庫,一旦在直播中觸發了相應的關鍵詞,虛拟人就能實時調取裏面的内容進行回答。"
但從效果來看,這項技術還不夠成熟,有用戶反饋到:" 在直播間問的問題,過十分鍾虛拟人才會回複,早就沒耐心等在直播間了。"
最後,AIGC 的生産能力,也讓虛拟人開始有了 " 靈魂 "。
商湯智能研究院梳理了 AI 數字虛拟人的三大特征,包括多模态交互、深度學習能力和 AIGC 生産力。
相較早期虛拟人制作對人工依賴較高,AIGC 大幅提升了 AI 虛拟人的制作效率,并降低了制作門檻;大模型讓虛拟人能夠深度學習更多知識和技能,并識别包括圖片、視頻、音頻在内的多模态内容,爲虛拟人與真人自然交互的實現提供了基礎。
▲ 圖爲自象限原創,轉載請注明出處
很大程度上,大模型解決了虛拟人在解決了虛拟人在自然語言理解和内容輸出上的能力,比如在直播場景下,虛拟人可以依靠大模型的生成能力很好地完成在口播内容、腳本甚至劇本等方面的劇本撰寫工作,這很大程度降低了産業鏈的門檻,讓虛拟人不隻是一個形象,更成爲一個生産工具。
目前,部分虛拟人廠商已經開始向整個生成鏈條延伸,比如 " 一鍵生成視頻文案 "、" 一鍵生成講解視頻素材 "、" 多語言快速翻譯 " 等等,從虛拟人的技術提供商轉變爲更有整體性的解決方案提供商。
微軟小冰 CEO 李笛更是提出,虛拟人未來是混合模型。
「自象限」認爲,下一階段虛拟人将進入 " 虛拟人+" 的階段,虛拟人+RPA 在企業内部打造數字員工;虛拟人+AI Agent,在 C 端打造陪伴型機器人;虛拟人+AR/VR,在 3D 空間打造可見的遊戲 NPC;虛拟人+具身智能,讓人型機器人有了靈魂。
若将多種技術進行全面融合,虛拟人才真的能夠成爲 " 入口級應用 "。屆時,比拼的賽點将是虛拟人的開放程度、生态建設、場景拓展等一系列綜合能力。
02 虛拟人,走向 2D 還是 3D?
随着大模型帶動的虛拟人爆發,市面上虛拟人類型也逐漸豐富。從 2D 到 3D,從真人到算法,已經亂花漸欲迷人眼。這背後的本質,其實是市場對虛拟人的分類标準不同。
但「自象限」整理了一些常用的标準和分類後發現,虛拟人在産品落地方面其實更多是依靠視覺的不同來進行分類,即 2D 虛拟人和 3D 虛拟人。而從技術、産業鏈和應用場景來看,2D 虛拟人和 3D 虛拟人已經走出了兩條泾渭分明的道路。
▲ 圖爲自象限原創,轉載請注明出處
本質上,虛拟人的最終目标無限地接近于真人的形象,因爲隻有這樣,虛拟人才能帶給用戶和人一樣的感受和互動體驗。拿這個标準來看,3D 虛拟人更契合這個目标,也是未來應用方向。
但作爲對比,2D 虛拟人的制作成本更低,應用落地更簡單,能夠在短時間内帶來大規模商用。
▲ 左圖爲 2D 虛拟人,右圖爲 3D 虛拟人
從技術角度來看,兩種虛拟人背後搭建的技術架構也完全不同。
2D 虛拟人更關注面部表情、口型說話的語氣;3D 虛拟人則更關注整體的協調性,說話時肢體的動作,以及虛拟人與空間的幾何關系等等。
具體而言,2D 虛拟人可使用圖片處理器快速生成,3D 虛拟人則需要建模、動畫、渲染等環節;2D 虛拟人需要的數據量較小,對算力要求不高,3D 虛拟人則剛好相反;2D 虛拟人對精細度要求不高,但 3D 虛拟人卻要達到高仿真的拟人效果。
技術上的差異導緻 3D 虛拟人的制作成本要遠超 2D 虛拟人。
彼時大熱的 3D 虛拟人柳夜熙的制作投入高達百萬元。所以在上一波元宇宙潮中,3D 虛拟人作爲主角博得了熱度,但離飛入尋常百姓家還差了一大截,因此 2D 虛拟人抓住機會,恰好填補上這一需求的空白。
根據市場調研,目前,百度、商湯、魔琺科技等公司涉足 3D 虛拟人領域;騰訊、京東、快手、即構科技、萬興科技、一覽科技在 2D 虛拟人方向更新産品和服務,還有以方糖星球、真視通、易觀國際、天玑科技爲代表的企業以虛拟空間爲切入,完善虛拟人配套設施。
深耕 3D 虛拟人的廠商魔琺科技告訴「自象限」,魔琺科技全棧技術主要包含四大維度,分别是 AIGC 3D 寫實形象,AIGC 3D 動畫、AIGC 聲音和 AIGC 文本,在有言産品中,還涉及 AIGC 3D 運鏡和 AIGC 燈光等技術,是一個極爲複雜的綜合考量。
而針對 3D 虛拟人的難點,魔琺坦言當下生成技術在逐步攻克中,但高質量的 3D 數據,是行業非常稀缺的資源,這也是 3D 虛拟人的壁壘之一。
AIGC 文生視頻需要依托高質量的 3D 訓練數據,才能生成穩定有幾何關系和空間關系的視頻,2D 虛拟人廠商需要從 0 到 1 構建 3D 數據幾乎不太可能。
魔琺科技認爲:"3D 虛拟人是一種人物形态載體,能夠使用起來,就需要以産品化形态落地,去解決企業實際問題。"
這意味着,虛拟人廠商不僅需要提供 3D 虛拟人産品,更需要與企業的業務場景相結合,給企業一定的自由度,打造 3D 虛拟人的制作平台。
目前魔琺科技打造了端到端的超寫實 3D 虛拟人工業化産線及 "3D 虛拟人的 AIGC 平台—星雲平台 ",爲企業提供系列生成工具,企業根據自身需求,能夠更加靈活的調整虛拟人的細節、結構和适配的使用場景。
商湯也基于日日新大模型,打造了如影虛拟人制作平台,基于在視覺、語音領域積累的 3 萬個算法模型,虛拟人能快速識别、反應,與用戶建立起對話關系。并且,事後,虛拟人也不會 " 失憶 ",繼續學習叠代。
相比之下,2D 虛拟人的制作流程就簡單的多。某 2D 虛拟人廠商對我們介紹到:" 目前 2D 虛拟人制作有兩種方式,一種是請真人錄制,然後幫其定制形象。一種是從用戶提供的視頻中提取形象,再用到各種場景中。市面上 2D 虛拟人定制工具的邏輯基本一緻:輸入文案素材,就能生成一個簡單的虛拟人形象。"
大模型對 2D 虛拟人提效效果顯著,AI 可将傳統視頻制作流程中人工處理時間大幅減少 90%,模型訓練時間減少 60%,隻需 48 小時以内即能完成各類定制數字人的訓練工作。目前文生 AI 數字人視頻的時間在數分鍾左右。伴随技術的進步,未來文生視頻的效率還将持續提升。
大模型把虛拟人制作的成本打下來了,也把虛拟人的價格打下來了。
因爲便宜,2D 虛拟人開始鋪天蓋地的走進直播間、短視頻,不少大 V 開始有了數字分身,劉潤、周鴻祎相繼亮相了自己虛拟人分身,它們在直播間裏 7×24 小時、全年無休地介紹着産品,無論大企業還是中小商家,對虛拟人的熱情空前高漲,而這也吸引了大量魚龍混雜的代理商和套殼廠商,沒有實質技術,隻是打着科技的幌子招搖撞騙。
今年 7 月 -8 月,小紅書、閑魚、淘寶、抖音等平台都開始陸續出現了 "99 元 "、"299 元 "、"499 元 " 的虛拟人,據「自象限」調查,這些賣家往往通過各類成功案例吸引用戶下單,但下單後不管使用不包售後,通過一個有一個 " 圈套 ",隻爲 " 賣 ",不爲 " 用 ",虛拟人的熱度就這樣被炒得虛高。圖省事的買家以爲自己趕上了風口,結果吃了大虧;想撈快錢的賣家趁機而入,順利收割了第一批韭菜。
一位品牌商家對「自象限」講到:" 虛拟人最火的時候,采買了虛拟人主播,前幾次直播效果都不錯,前三個月可以盈虧可以勉強打平,今年七八月份光電費就一萬多,加上給虛拟人主播投流,虧了 10 萬左右。"
行業魚龍混雜,讓很多原本想嘗試的企業望而卻步。不過,這樣的情況到了年底,通過監管政策的密集下發和平台收緊了虛拟人直播的條件,混亂的現象暫時得到了控制,行業又重回冷靜期,開始真正思考,虛拟人,究竟能做什麽?
03 爆火虛拟人,花式商業化
事實上,直到今年,數字人才真正步入了商業化的正軌。
矽基智能創始人兼 CEO 司馬華鵬曾在采訪中提到 "2019 年推數字人,免費都沒人用。" 而到今年,我們也感受了一些新的變化," 去年我們克隆了十幾萬數字人,有些客戶不願意公開講自己在用 AI 協助工作,但今年大家都願意說了。"
"ChatGPT 出現之後,整個行業的心态發生了非常大的變化。"
2023 年,虛拟人的商業模式分化出了 3 種較爲成熟的模式:
第一種是元宇宙時期爲主的 IP 型,産品定位多位偶像、娛樂、科研教育等方面。以此衍生出了虛拟偶像、數字航天員、品牌代言人等一系列角色,将偶像身份具象化,通過 IP 打造和運營,如柳葉熙、洛天依等;
第二種則是功能型虛拟人,也叫服務型虛拟人,以數字員工爲代表,虛拟主播、數字客服等在金融、文旅、零售、直播等領域,與人的工作相輔助,降低企業成本,提供自動化、标準化和智能化的服務;
第三種則是正在探索的虛拟分身(Avatar),也稱虛拟空間身份代理,爲玩家打造特定的遊戲身份、虛拟演唱會觀衆、永生形象等,多應用在遊戲、VR、元宇宙中,是虛拟空間和現實空間的交互入口,玩家不僅能擁有虛拟形象,更能推動虛拟内容的生産,也是虛拟人最終要達成的狀态。
根據沙利文、頭豹研究院等數據顯示,2023 年多個品牌都在探索如何用虛拟人産生更大的價值,其中諸如虛拟歌手、明星克隆、消費品牌的虛拟代言人,迅速風靡網絡。
郭德綱說英語、Taylor swift 講四川話,AI" 複活 " 了張國榮和梅豔芳,也替一衆歌星開啓了線上演唱會。短視頻的玩梗和傳播,加速了虛拟人進入到大衆的視野中,而 C 端的熱情同時也映照着 B 端的需求。
年初,抖音大 V 劉潤打起了數字人短視頻的第一槍;年尾,坐擁 1200 萬粉絲的科普博主嚴伯鈞開始在多個社交媒體平台發布由矽基智能制作的數字人短視頻。
嚴伯鈞在接受采訪時也講到:" 當我第一次發布 AI 制作的内容時,就有觀衆敏銳地指出:‘你爲什麽不眨眼?’事實上,從動作、表情、語言到思想,AI 正在不斷地學習和模仿我的每一個特征,這是一個持續進化的過程。"
▲ 圖源:受訪企業提供
據了解,2023 年 8 月,公司聯合明星 MCN 公司謙尋成立了合資公司謙語智能,發布了 AI 數字人直播解決方案,爲謙尋旗下主播打造數字分身,在主播直播的 8 小時外,替主播繼續直播,延長直播時長。
而魔琺科技則更注重虛拟人本身的能力,某醫療機構營銷中心,每月需要數千條話題、熱點、科普類視頻用于運營各段視頻平台及營銷投放,現有幾十人的團隊每月産能幾百條。
通過使用魔琺有言一站式 AIGC 視頻創作平台,可以将圖文内容一鍵生成 3D 視頻,免去了視頻拍攝,制作等諸多環節,使用有言後,該營銷中心解決了産能不足的問題,實現獨立完成全平台視頻矩陣運營。還能創作大量優質的科普内容用于投放獲客,實現了優質醫療科普視頻的快速、規模化的量産。不僅團隊産能大幅提升,獲客 ROI 也随之提升。
更重要的是,2023 年,虛拟人開始走向千行百業,從影視、娛樂等領域走向金融、文旅、教育、政企等數字化深水區。
▲ 圖源:騰訊《數字人産業發展趨勢報告》
舉幾個例子,在虛拟人+教育領域,網易有道發布 AI 口語老師,該老師爲學生提供開放式的聊天場景,更符合真實的口語聯系環境,并在對話結束後快速生成結果報告;科大訊飛發布訊飛星火認知大模型,涵蓋了批改語文和英語作業,模拟口語老師實景對話等。
在虛拟人+政務方面,目前廈門、深圳、江西等地方紛紛引入數字員工,工作内容包括多語種的政策解讀、爲群衆提供 " 邊聊邊辦 " 的數字政務服務,通過虛拟人智能推送服務入口,完成業務咨詢、資訊推送、服務引導等等政務服務。
2024 年,有部分廠商也在逐步試水數字人+跨境電商。矽基智能告訴我們:" 由于海外的多語種對短視頻和直播有很大的門檻,我們開發了矽語翻譯小程序和專業版的 Anylang,可以通過實時翻譯結合數字人解決這個問題,幫助跨境電商企業一站式出海。"
總的來說,在經曆了 2023 年的動蕩期之後,虛拟人無論是的技術、産品還是行業格局,都走向了一個新的節點,2024 年,随着多模态大模型的成熟,虛拟人可能會再邁進一個台階,同時在千行百業中的逐步深入,也将打開更多數字化的大門。