啊?Sora 火爆短片《氣球人》,也 " 造假 " 了???
背後藝術家團隊的最新揭秘,可謂一石激起千層浪:
原來,視頻畫面并非完全由 AI 生成,其中有大量視覺效果需要人類後期實現。
be like:
這下網友不幹了,合着大家夥兒跟 OpenAI 玩真心,OpenAI 背後卻耍起心眼子來了:
他們含糊其辭,就是希望觀衆認爲短片完全是 AI 生成的,這是不是有點不誠實了啊。
這不是人工智能生成的視頻,而是使用了一些 AI 技術的視頻。
還有網友直接開噴:誤導性營銷!這是誤導性營銷!
究竟是怎麽個事兒,咱們還是具體捋一捋。
揭秘 Sora 大片工作流
盡管 OpenAI 一開始就介紹了,《氣球人》這樣的短片出自藝術家團隊之手,他們隻是把 Sora 開放給了藝術家使用,但官方并未提及短片具體是如何制作而成的。
現在,《氣球人》背後的藝術家團隊 Shy Kids 自己來了個大揭秘,内容包括:
視頻片段一緻性如何實現
他們如何處理 Sora 生成的視頻素材
Sora 生成視頻的局限性及後期處理
視頻一緻性
《氣球人》中主角形象的一緻性可謂驚豔衆人。
但實際上吧,據 Shy Kids 團隊中負責後期制作的老哥 Patrick Cederberg(簡稱老帕)透露,想要實現這種前後一緻并不是寫寫提示詞就能成的。
Sora 并沒有提供工具,來幫助實現不同鏡頭之間的主體一緻性。也就是說,哪怕提示詞都是一樣的,兩次運行的結果也會有所不同。
他們的做法是,盡可能詳細地去對主角形象進行描述。
解釋角色的服裝以及氣球的類型是我們解決一緻性問題的方法,目前 Sora 還沒有集成适當的功能來實現此類控制。
即便如此,團隊在用 Sora 生成視頻素材時還是遇到了不少這樣那樣的問題。
比如,提示詞裏明明寫了氣球是黃色的,但 Sora 生成的片段裏氣球卻可能變紅。
視頻素材處理
一緻性之外,老帕提到,在時間軸方面,Sora 允許用戶修改關鍵幀。但這種時間控制并不精準,無法保證一定能實現預想的效果。
另外,想要實現這個鏡頭:
即把鏡頭焦點從牛仔褲一路上移到氣球頭,也得人類自己後期裁切平移畫面,因爲 Sora 本身不會渲染這樣的鏡頭:它總是傾向于把焦點集中在氣球頭上。
老帕還談到,他們在寫提示詞時也遇到了一些問題:
OpenAI 在讓藝術家試用 Sora 前,并沒有考慮到真正的電影制作人是如何思考的。
簡單來說,就是 Sora 對攝影術語(比如跟拍、平移等)的理解有限。老帕認爲,這一點上 Sora 不如 Runway。
值得一提的是,盡管 Sora 原生支持生成 1080p 視頻,但老帕他們實際上生成的素材都是 480p 的。他們是在後期使用 Topaz 等工具對視頻素材進行了超分處理。
生成速度方面,根據老帕的回憶,每次大概需要 10-20 分鍾的時間。
視頻後期
接下來,就到了網友們反應最強烈的部分——後期。
前面已經說到,Sora 本身還解決不了不同視頻片段裏一緻性的問題。
除了氣球不一定符合設定,或許是因爲訓練數據的原因,Sora 還喜歡自動給氣球加上奇奇怪怪的人臉。
給主角生成其實并不需要的假人頭。
Sora 還很堅定地認爲氣球得帶根繩。
總而言之言而總之,這些都需要老帕上手丢到 AE 裏,進行後期處理。
另外,盡管 Shy Kids 發現 "35mm 膠卷 " 這樣的關鍵詞很好用,能讓 Sora 生成的視頻畫面風格更一緻,但藝術家們仍需要爲最後的成片做調色,爲畫面添加顆粒和閃爍效果,以使整部影片畫面更加協調統一。
老帕還提到了一個有意思的細節:
Sora 很喜歡慢鏡頭。
我不知道爲什麽,但有很多鏡頭看上去都是 0.5 倍速和 0.75 倍速。
因此我們需要對大量畫面進行調速,免得影片看上去像個大型慢動作項目。
那麽,Sora 生成的視頻素材有多少最終被用在了影片裏?
" 數學很差 " 的老帕估計了一下,大概是300:1。
音頻方面,Sora 目前還不能生成聲音,因此旁白和音樂都是團隊自己加上去的。
版權
爲了不侵犯版權,OpenAI 給 Sora 上了一些限制。
比如,你不能把提示詞寫成 "35mm 膠卷,未來宇宙飛船中,一名男子拿着光劍靠近 ",那樣 Sora 會直接拒絕生成,因爲這畫面太像《星球大戰》了。
哦對,像什麽 " 阿羅諾夫斯基式鏡頭 " 和 " 希區柯克變焦 " 也是不行的。
3 人團隊 2 周制作完成
該說不說,在外界卷起風波之前,Shy Kids 團隊對于 Sora 的表現還是很滿意的。
畢竟,制作《氣球人》這樣一個高質量短片,最後隻用了他們仨 1.5 到 2 周的時間。
團隊認爲,現在,對于專業的電影團隊來說,Sora 當然還有很大進步空間,但對于大部分人而言,Sora 已經足夠驚豔。
用老帕自己的話說:
我覺得人們應該将 Sora 變成工作流裏的一部分。
不過,如果他們不想跟 AI 沾邊,也沒關系。
對于這樣的觀點,也有不少網友表示認同,認爲 Sora 這樣的視頻生成 AI,是對現有工作流很好的補充。
Adobe 把它們集成進軟件裏,就是一個很不錯的主意。
但," 我厭倦了 OpenAI 們的精美 Demo 營銷 "。
還有網友不滿的點在于,爆火的 " 人工智能生成視頻 " 背後有大量的人類工作,他們投入數百個小時工作,卻被 AI 掩蓋了真實的價值。
那麽,這事兒你怎麽看?
參考鏈接:
[ 1 ] https://www.fxguide.com/fxfeatured/actually-using-sora/
[ 2 ] https://twitter.com/bilawalsidhu/status/1783544598259794046
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~