文 | 虞景霖 尚恩
編輯 | 鄧詠儀
最近，黴黴說地道中文的視頻在全網瘋傳。
沒有機械的翻譯腔，黴黴用自然而地道的語氣講述自己最近的遊曆，甚至連嘴型都卡點對上，效果堪稱絕絕子。
還沒有看過視頻的小夥伴們，原視頻奉上
來源：公開網絡
視頻作者表示，想要做出效果這樣的視頻，其中有三個很重要的因素：掌握地道的口語翻譯、語音克隆和替換嘴型，但沒有提到具體用到的模型。
來源：johnhuu 教英語
看到視頻效果如此好，不少網友就開始試圖找到 " 複刻之法 "。
一位網友就表示需要至少三步才能達到這種效果，Whisper 識别、Tortoise-TTS 合成帶原始說話人音色的語音、Wav2lip 換嘴型。
來源：X（原 Twitter）
視頻火了之後，吸引了更多人開始嘗試，其中背後一款 AI 工具也被網友迅速扒出。
這不扒不知道，一扒吓一跳，這個工具竟然還是來自國内的一個初創團隊做的。
全網爆火，HeyGen 被網友瘋玩
全網火爆，網友紛紛動手玩了起來。
網友 @Gorden Sun 也複刻了一段黴黴說中文的視頻，在排隊等待 7000 個視頻後，用 HeyGen 制作的視頻翻譯終于完成了。并直言：" 效果絕對目前最好，沒有之一 "。
從視頻可以看到，無論是口型完美，卡點和嘴型都對的。
不過作者也表示，雖然聲音克隆稍有缺陷，畢竟 HeyGen 隻通過 40 秒的視頻來克隆音頻，如果刻意對比原視頻，情感還原度稍有欠缺。
HeyGen 雖然可以免費試用，但隻能生成 1 分鍾時長視頻，且生成需要等待很長時間，而付費版最便宜的也要 24 美元 / 月。因此，就有熱心網友貼出了如何用開源的工具，做出和 HeyGen 生成效果同樣的視頻。
比如，語音轉文字 whisper、文字翻譯 GPT、聲音克隆 + 生成音頻 so-vits-svc、生成符合音頻的嘴型視頻 GeneFace++。
除了這種中英互譯的視頻，HeyGen 在外網也是一片火爆景象，各種玩法都有。
比如，這位網友就用 HeyGen 制作了說 6 種不同語言的視頻。
HeyGen 火爆程度可見一斑，而近日根據推特上一位分析師 Will 的統計顯示，今年 8-9 月，各大文生圖類 AI 網站的訪問量均開始呈現下降趨勢，但 HeyGen 的訪問量卻上升了 92%，流量躍居各大獨立 AI 網站之首。
那麽，這個被衆多網友狂推，成爲 AI 獨立網站之首的 HeyGen，到底是什麽來頭？
國内創業團隊，7 個月收入百萬美元
2020 年 12 月，HeyGen 的背後玩家 " 詩雲科技 " 在深圳成立。
據 36 氪此前報道，公司成立之初，就以 " 用 AI 生成内容，讓用戶以更低成本完成内容創作 " 爲願景，已獲得來自紅杉中國、真格基金等風投們累計近千萬投資。
來源：X（Twitter）
HeyGen 要做 AI 視頻創作領域的 Midjourney，在團隊方面竟也有一些相似之處。目前，HeyGen 的團隊隻有大概 30 人，分布在全球各地，以遠程辦公形式進行合作。
HeyGen 的前身，一款名爲 "Movio" 的 AI 視頻翻譯平台，背後所依靠的模型是自家的多模态内容生成引擎 "Surreal Engine"。
2022 年 7 月，詩雲科技推出多模态内容生成引擎Surreal Engine，将内容生産分爲 Understanding（理解）、Framing（視框化）、Rendering（渲染）三個步驟。區别于市面上的兩大 3D 内容創作巨頭：Epic Game 的 Unreal Engine 和 Nvidia 的 Omniverse，Surreal Engine 讓普通人也可以輕松進行高維度、可交互的内容創作。
來源：詩雲科技
得益于此，HeyGen 的最新版本 Joshua Avatar 2.0 在實時生成人物視頻方面逼真度方面表現出色。
這不，連公司創始人都親自上陣打廣子了～
來源：HeyGen
不僅如此，HeyGen 的産品正式上線後的一年不到，創始人 Joshua Xu 就發表博文表示：HeyGen 在 7 個月内實現了 100 萬美元的 ARR（年度經常性收入），并保持連續 9 個月 50% 的月環比增長率。
目前，HeyGen 可以支持 50 多種語言和 300 多種不同的音色，用戶可以上傳自己的照片進行個性化形象定制，HeyGen 也貼心地爲用戶提供了上百款數字人素材和模闆。
盈利模式方面，HeyGen 主要依靠 C 端客戶付費，視頻生成付費模式分爲 " 創作者（Creator）和商務（Business）" 兩種，最低 24 美元 / 月。也支持 " 聲音克隆、人像精調 " 單獨付費。未來将逐步開放 API 接口、團隊協作和企業功能。
HeyGen 可以基本保證 1080P 的分辨率，滿足廣告、電商、新聞等行業的需求，還能幫助用戶制作 PPT。此外，HeyGen 還提供了文本轉視頻、音頻上傳、視頻分享和多種場景視頻等功能。
當然，HeyGen 還處在成長期，并不是完美的。目前，一些技術問題還會存在——比如生成的 AI 視頻存在視頻抖動、眨眼頻率過高等問題。
不過，HeyGen 目前正在趁着這一熱度全力沖刺。上周四，HeyGen 就在一場線上會議中展示商業版本的各項新功能——商業用戶可以用 HeyGen 生成長達 3 小時的内容，畫質最高可提升至 4K，這一切工作都可以在新上線的并排腳本編輯器、集成的校對模塊中進行。
長按添加「智湧」小助手入群
添加請備注：公司 + 職務
來源：公衆号【智能湧現】
