一場鏖戰,阿根廷擊敗克羅地亞,時隔 8 年再次挺進世界杯決賽,這也是阿根廷隊史第 5 次進入大力神杯決賽圈的争奪。梅西的進球和助攻幾乎在比賽結束的同時在抖音上傳開了。僅僅幾天之前,阿根廷擊敗荷蘭闖入四強,梅西賽後采訪中一次難得的發怒連着幾天占據抖音熱搜前列。
今年 6 月,抖音集團 2022 年卡塔爾世界杯持權轉播商的身份官宣。而場均 7062 萬的觀看人數,2992 個累計上榜相關熱點以及 814 億的總播放次數,則是抖音上世界杯僅僅兩周的小組賽直播所帶來的聲量。
今年卡塔爾世界杯的熱鬧,很多都在抖音裡,火山引擎視頻雲的技術支持則在背後。
主攻畫面增強的 ToneMapping 算法,以及提升音頻體驗的火山引擎 RTC 等技術,讓這場面向數億用戶提供的超高清世界杯直播,以及豐富的互動玩法能夠實現。
清晰度背後的科技
世界杯曆年的冠軍更叠背後,是一條轉播技術的革新道路。卡塔爾世界杯是世界杯曆史上的第二十二屆,很多現在看起來早已成型的要素都是在這不到百年的賽事曆程中逐漸加入進來的。
1958 年第六屆世界杯第一次出現了黑白畫面的電視直播,全世界各地的球迷們可以通過衛星信号即時觀看比賽的視頻畫面。随着 1967 年西歐以及蘇聯開始了彩色電視的普及,70 年代的墨西哥世界杯見證了巴西的第三次奪冠,也是這項賽事商業化的開始。因為國際足聯在那屆世界杯上引入了首個合作夥伴阿迪達斯,并且彩色直播畫面第一次被引入世界杯直播。
商業化的需求進一步加速了世界杯在轉播技術上的革新速度。2006 年開始,世界杯比賽上空第一次出現了類似 " 飛貓 " 的索道影像承載系統,随後更複雜的拍攝設備,比如訊道攝像機、可攝像的無人機以及近年開始大規模用于體育賽事轉播的超高速攝像機和電影機,開始逐漸進入世界杯的場地。
圖源:新浪
卡塔爾世界杯上,負責轉播制作的 FIFA 世界杯分部和 Host Broadcast Services ( HBS ) 調動近 2500 人的團隊覆蓋所有活動。一場标準的世界杯比賽的攝像機計劃被提升到 42 個攝像機的規模,數量幾乎是 2002 年日韓世界杯的兩倍。
而今時不同往日,世界杯逐漸從電視媒介過渡到移動終端。多維度的直播體驗與不斷提升的清晰度要求,在轉播層面即意味着指數增長的數據處理難度。球迷們看球的媒介正在拓展,但對于世界杯轉播的核心訴求一直沒有變過——清晰和流暢。
對于抖音來說,它需要能從技術上接住這屆世界杯。
卡塔爾世界杯轉播相比曆屆的一個重大變化是,到 2018 年俄羅斯世界杯的時候所有比賽的 UHD/HDR(超高清 / 高動态範圍成像)信号覆蓋都仍然需要采用多模塊、雙層疊加的方法來集成,本屆世界杯則第一次被集成進一個單一的捕獲和傳輸工作流程中,這大大降低了信号團隊對于畫質提升處理的難度。
HDR 拍攝的片源擁有更廣的色域,更大的動态範圍。但很多終端顯示設備并不完全支持 HDR 信号播放,更傳統的 SDR 信号可以在絕大部分屏幕上實現,但在色彩飽和度以及畫面對比度方面不如前者,亮部與暗部畫面也容易出現細節缺失。
比如下圖,當畫面主體的亮度是準确的,背景中其他人物和場景細節就多少丢失了。
圖源:火山引擎
于是将 HDR 信号轉換成 SDR 信号非常重要,傳統的 Reinhard,Filmic 或者 Uncharted 2 等 TonaMapping 算法均使用固定曲線方法将 HDR 視頻轉換為 SDR 視頻,轉換得到的結果模式固定,無法适應多變的場景。對于世界杯這樣的大型賽事,現場動态範圍跨度極大,場館的燈光、草地以及球員亮度差異明顯,觀衆感興趣的球員信息實際可能集中在暗部區域,這就導緻 ToneMapping 之後的 SDR 信号過暗的問題。
圖源:火山引擎
火山引擎視頻雲采用内容自适應的 ToneMapping 算法,通過統計視頻幀的亮度信息對畫面進行動态映射,實現更優的轉換效果。
或者可以簡單理解成一種直播畫面色彩增強的實現機制。
圖源:火山引擎
圖源:火山引擎
人眼是一枚終極的攝影鏡頭,也因此人眼對攝像機拍攝的視頻表現極為敏感,且具有一定偏向性。畫面在清晰度、色彩及動态範圍等方面所打的折扣會極大地影響到用戶觀感。
這時候通常需要後期處理對視頻進行增強。火山引擎視頻雲的内容自适應 ToneMapping 使用幀級的動态增強方法來分析視頻内容的相關指标,以此進行相應的均衡化處理,采用場景檢測與同場景中參數平滑等技術獲得穩定的增強效果。
在 ToneMapping 算法背後,是火山引擎自研的視頻編碼器 ByteVC。
視頻編碼器 ByteVC 能夠對數字視頻進行壓縮,将模拟源更改為數字源,方便為視頻直播提供更豐富的技術實現。對于世界杯,視頻編碼算法既要在高速運動、複雜紋理的場景下确保直播内容的清晰度和流暢度,保障用戶的觀賽體驗,又要兼顧碼率、延遲等對網絡傳輸層面尤為敏感的指标。
除了色彩增強,視頻編碼器 ByteVC 在此次卡塔爾世界杯中對直播畫面的優化還包括自适應銳化、時空域降噪、ROI 等多種畫質增強技術,呈現更加沉浸感的超高清畫面。JND 主觀評測結果達到 1.64 分,意味着幾乎所有測試者都可以有正向感知。
再建一個足球廣場
世界杯是社會屬性強烈的賽事,它會在舉辦周期内成為幾乎所有人談論的話題。世界杯觀賽方式從電視向手機的遷移也意味着一種更加 " 原生 " 的世界杯互動體驗成為可能。
抖音上有超過 1232 萬人加入了自己喜愛的主隊,多達 1 億人參與了小組賽預測,嘗試過抖音上世界杯直播互動玩法的抖音用戶則超過 1000 萬人。
圖源:La Vie
抖音在 2022 世界杯比賽直播中還推出了邊看邊聊的玩法。用戶可以在觀看比賽時創建自己的聊天頻道,打破物理空間限制的邀請好友來一起看球。
在這種外放場景中,麥克風除了會采集到用戶的聲音,直播中賽場和解說的聲音也會被錄入,這會轉化成一種噪雜的回聲,回聲消除是幾乎所有實時音視頻場景中的棘手問題。
抖音邊看邊聊玩法背後則是火山引擎 RTC 的技術支持。火山引擎 RTC 通過音頻托管的方式,并采用自研軟件智能 3A ,在傳統算法的基礎上,引入基于深度學習的回聲抑制算法,有效消除雙講場景下的回聲,同時避免回聲消除過強導緻的人聲卡頓音質差等問題。
但有時候在朋友間聊天時,惱人的是過大的賽場和解說的聲音本身,抖音邊看邊聊玩法中獨特的一點是,AI 技術的滲入使得比賽中的聲音能夠随着用戶聊天音量的變化而自動變化。
火山引擎 RTC 采用了自适應音量均衡策略,可以結合直播音量自動調節人聲音量大小配比,讓用戶之間說話聲音清晰。同時為了更好地解決用戶語音被直播聲音遮蓋的問題,火山引擎 RTC 提供了智能音頻閃避功能,通過 AI 語音檢測準确人聲,當好友講話讨論時,用戶的直播聲音會自動降低,當大家專心看球不說話時,直播聲音又會恢複正常的音量,可以達到非常清晰自然的音頻體驗。
高質量的音頻體驗為用戶提供了一個更純淨的觀賽場域,火山引擎也将同樣的技術支持覆蓋到了 VR 端的 PICO,後者在硬件層面提供了一個區别于 2D 的立體互動空間。
圖源:數藏之家
在 PICO 的世界杯主會場,除了更沉浸式的超高清大屏,真人派對觀賽全景直播的 " 世界杯狂歡夜 " 像極了線下酒吧看球的真實體驗,用戶甚至可以為自己的 Avatar 虛拟形象穿上所支持球隊的球衣。火山引擎 RTC 則使得在 PICO 中同樣可以實現邊看邊聊的玩法。
某種程度上,這讓球迷離真實的世界杯賽場前所未有的近。
尾聲
摩洛哥赢了葡萄牙的第二天,作家周國平的抖音賬号裡正在開一場直播,周國平和足球解說員劉建宏等人開了一場關于青年教育的直播。直播最後周國平問劉建宏孩子該怎麼學習足球,他說自己的孩子很喜歡體育。
這樣的對話更像一場比賽散場後的聊天,抖音上的世界杯也正在形成一個完整的體驗生态。這裡有最完整的世界杯比賽直播,然後從這個線上足球場走出,各種世界杯主題活動以及抖音創作者的二創又進一步豐富了每個人的世界杯體驗。随着體育賽事轉播進入短視頻時代,這種互動是曾經單向參與的世界杯轉播所難以還原的。
火山引擎的技術支持則在這場抖音上世界杯的熱忱後面,在球場内外建立起一個可以聯結所有人的足球廣場。