元宇宙這個概念,自從 2021 年被紮克伯格帶火後,給人們的感覺一直就像個 " 最熟悉的陌生人 ",總是若即若離,忽遠忽近的。說直白點兒,就是大家都覺得它存在感不夠強,沒有想象的那麽厲害。
因爲提起元宇宙,網友們腦海中的印象還是這樣的:
紮克伯格曾遭到 " 群嘲 " 的著名 Horizon Worlds 虛拟形象自拍,圖片來自 Facebook
可是才短短一年,一場長達 1 小時,發生在元宇宙世界的隔空對話就橫空出世,炸翻了社交網絡。這次輪到網友傻眼,紛紛驚呼,怎麽一不留神它就悄悄進化成這樣了?!
近日,麻省理工學院科學家、同時也是人工智能大佬和知名播客主播的 Lex Fridman,對 Meta 首席執行官馬克 · 紮克伯格進行了一場關于增強現實、AI 和大語言模型的深度訪談。
與以往不同的是,這次兩人沒有在物理世界碰面,而是相隔着大半個美國,在元宇宙裏以超逼真的 3D 虛拟形象完成了對話。截至矽星人發稿時,這場名爲「First Interview in Metaverse」的采訪已在 X ( 原推特 ) 上狂攬近 1 千 3 百萬觀看量。
圖片來自 Lex Fridman Youtube 頻道
視頻開頭,Lex Fridman 的全身版高清數字分身出現在一片白色未來感空間中,他說:" 盡管 Mark 和我在現實世界中相隔數百英裏,但由于我們的形象都以照片級精度的 3D 模型建模,并伴随空間音頻相互呈現,我倆就像在同一個房間面對面交流。這項技術實在太令人驚歎了!我認爲這将是未來人類在互聯網上更深度有意義連結彼此的方式。"
兩人在訪談中都佩戴着 Meta Quest Pro VR 頭顯。可能是因爲視野裏的效果太過真實,Lex 一度像個好奇寶寶,除了咧嘴 " 傻笑 ",就是不停感歎:" 我在哪兒?Mark 真的是你嗎?這太棒了!你不介意我離你太近吧?"
當然,視線距離是可以調整的。不僅如此,你還可以通過控制手柄來調整光源位置,找到最凸顯自己面部優點的照明角度。
紮克伯格介紹說,與 Horizon Worlds 中的卡通版本或視頻傳輸不同,創建這些全新模拟真人的 Meta Codec 虛拟形象,需要對用戶的各種面部表情和動作細節進行廣泛掃描,而後建模并壓縮成一個編碼版本。
随後,頭戴設備的實時眼部和面部追蹤功能會捕捉用戶表情,映射到 3D 虛拟化身上,并 " 發送一個編碼版本的你應該看起來的樣子 " 給虛拟世界或會議通話另一端的人們,在他們眼前呈現一個足以以假亂真的你。
由于元宇宙裏的形象數據是以編碼形式傳輸,所以除了逼真外,也比發送一個完整的沉浸式視頻更加節省帶寬。
從采訪視頻來看,虛拟化身呈現出對真人細節的還原能力确實太強,用 Lex 的話說," 它捕捉到了一切,包括人臉上的缺陷。對我來說,這些缺陷正是人的微妙之處,這些小雀斑、皺紋、不對稱的臉頰、笑的時候眼角的表情…它們讓我更加享受其中,意識到完美并不是沉浸的關鍵。"
" 眼睛的确很重要," 紮克伯格說道:" 許多研究證明,人的交流主要是靠表情和肢體完成的,而不是靠語言。Meta 一直努力用自己的經典虛拟系統捕捉這些表情,通過照片般的真實體驗,帶來特殊的臨場感。" 他認爲這也觸及了虛拟現實和增強現實的視覺核心,就是令人們不論在世界上的哪一個地方,都會感覺在一起。
想象未來進入會議室,有些人實際在現場,有些人則以這種逼真的虛拟形态出現,并通過結合混合現實技術疊加在物理環境上:你以爲 TA 坐在桌子邊跟你聊項目,其實 TA 遠在千裏之外;夜深人靜一個人在外地想家的時候,帶上頭顯親人就近在咫尺。而對面人的一颦一笑,每一個細微的面部表情,都可以幾乎沒有延時和耗損地立體真實再現。
體驗過程中,Lex 一直禁不住驚呼這太美妙了," 我此刻心跳很快,對話的親密感可以這樣遠程實現。我感受到了情緒,也感覺到你我真實存在。這是我人生中最難以置信的體驗之一,真的大開眼界!"
不過需要說明的是,實現視頻中的對話效果目前對普通人還不是那麽容易。在開始采訪前,兩人都曾提前飛到匹茲堡,在 Meta Codec 項目組進行了融合當前軟硬件最高技術、長達幾個小時的細節掃描。
在前幾天剛結束的 Connect 大會上紮克伯格說過,他最大的願景就是讓那些高大上的科技變得親民,改變大多數人的生活。那麽這次,他對未來又有什麽構想呢?
小紮表示現在我們才剛剛開始。通過先掃描少數人,收集足夠多的表情數據,來探索整個流程能簡化到什麽程度,進而在應用到大量人群時更流暢。雖然目前這項技術還沒完全準備好推向市場,但在未來幾年内,會持續調整和優化,以早日應用到工作場景,解決生産力問題。
Meta 正在努力實現的是,隻需用手機進行非常快速的人臉掃描,比如拿起手機在臉前晃動、說幾句話、做一些表情,全程可能隻需兩三分鍾,就産生如同現在的通話質量。如何在保證體驗的同時更高效,仍是接下來面臨的挑戰之一。
Lex 認爲,全新的 Meta Codec Avatars 顯然已經越過了曾經的 " 恐怖谷底 ",鏡頭裏的小紮看起來完全和本人一樣,接着他試探性地笑着問:" 所以我們也不需要胳膊和腿了,對吧?"
" 不不,這些我們還是會解決的 ",紮克伯格趕忙解釋道," 實際上有個問題是,高精度的全身掃描需要強大的算力支持,無論對于頭顯的傳感器還是渲染能力。所以我們也許會考慮以較低的保真度還原身體,比如仍保留大的動作,但臉才是最需要解析的東西。畢竟眉毛移動一毫米就會傳達截然不同的情緒,相比之下,胳膊移動一英寸也顯得沒那麽重要了。"
Horizon Worlds 裏的虛拟形象曾因蒼白的表情和缺少下半身被人們形容爲 " 恐怖谷效應 ",圖片來自 Meta
兩人後來還聊到了剛剛問世的 Quest 3、增強現實、元宇宙中的人工智能和人類的未來。Lex 把這次和紮克伯格的訪談調侃成 " 互聯網裏表情最僵硬的兩個人在元宇宙的相遇 ",他覺得在這個虛拟空間裏,自己的表現力更容易被捕捉到,能更真實地傳達情緒:" 我真希望更多的人能來親自體驗!" 小紮也表示非常期待網友們看到這集播客後的反應,唯一擔心的是觀衆透過 2D 屏幕,能否真地感受到這種呼之欲出的真實震撼感。
而從網友們的留言來看,顯然不僅感受到,而且被結結實實地震撼了。
即使這幾個月已經被谷歌、微軟、特别是 OpenAI 的 ChatGPT 幾輪暴風式更新洗禮過,也算見過大世面,這次元宇宙裏的采訪還是超越了人們的認知範圍。全球頂級 Youtuber 野獸先生 (MrBeast)在視頻下留言說," 我們是怎麽從像素虛拟人來到這兒的,我到底錯過了什麽!" 其他人也紛紛跟帖表示 " 這是我見過最難以置信的事情之一 "。
有人說,在引領科技創新的強者隊伍裏,Meta 永遠占有一席之地。被質疑、取笑甚至诟病了那麽久,元宇宙還是進化成這樣一種強大的 3.0 形态來了。
Lex 說,我看到了未來。
紮克伯格說,我相信接下來的一年會相當瘋狂。
不論 Meta 未來會怎樣發展,走向如何,這場史上首次跨越百英裏、元宇宙中的 " 真人 " 隔空對話都具有裏程碑式的意義。而生于這個時代,見證一切不可能變爲可能的我們,本身就已經足夠幸運。