能、的那個 AI ——
有開源平替了!
這是用它讓羅翔進行英文普法的效果,張三李四 " 要素齊全 ":
以及英文講人生哲理 " 你的内心有沒有幽暗的成分 "(cr: line xiongjie lin):
相比起來,雖然和原産品(也就是 HeyGen)有一點差距,但是網友的評價是:
也還可以。
主要有了它,咱們在本地就能無限玩視頻翻譯,直接好處那可就是每月立省 350~(手動狗頭)
畢竟,HeyGen 再厲害,也隻有 2 分鍾免費時長。
△ HeyGen 收費情況
具體瞧瞧。
HeyGen 開源平替來了
這個視頻翻譯平替名叫MyHeyGen,來自b 站 UP 主:@ai 浮世繪。
他的首頁裏還有很多效果展示,比如這個新鮮出爐的" 這英 ":
除了英文,MyHeyGen 還支持轉法語、日語等共計 16 種語言。
視頻翻譯的三個流程:音頻翻譯、翻譯校正和視頻唇紋合成,它全部一個流程解決。
如果你想親手試試,步驟也不複雜。
大概流程是先環境準備:
然後就可以 git clone 安裝了。
然後在執行命令中提供其保存路徑 + 想要翻譯成的語言代碼(比如’ en ’代表英語)+ 翻譯好的視頻保存路徑就可以坐等了。
命令的完整格式如下:
python translate.py 原視頻文件路徑 目标語言代碼 -o 保存路徑
有網友實測成功:
不過,還是必須得滿足 16G 顯存才 ok,以及 windows 用戶可能需要自己再解決一下兼容問題(up 主該視頻底下有人提供了方法)。
如果這些都不行,可以再等等 colab 實現,up 主表示在測試中了。
效果方面,可以發現 MyHeyGen音色複刻得很是到位,用了最新的語音克隆開源技術XTTS v2。
投喂給 AI 一個明星的采訪視頻,它就能克隆其中的聲音講不同的話。
這是推特博主 @Gorden Sun 用黴黴的聲音測試的一個效果:
至于 MyHeyGen 的缺點,大家看完表示也明顯。
比如有人反映口形有一些不同步,有人則吐槽遇上面部大幅活動就容易 " 抽風 "(如本段開頭的 " 這英 ")等等。
但整體玩一玩還是 ok 的。
One More Thing
仔細一翻,HeyGen 的開源替代品還真不少。
有俄羅斯程序員也在業餘時間做了一個:HeyGenClone。
用的是谷歌翻譯,可以支持上百種目标語言,但隻支持原語言爲英文的視頻。
由于隻給了一個很短的俄語效果展示,不是很好評鑒,這裏就不放視頻了~
參考鏈接:
[ 1 ] https://twitter.com/dotey/status/1722543725459452211
[ 2 ] https://twitter.com/gorden_sun/status/1722439866112463163