定焦(dingjiaoone)原創
作者 | 王璐
編輯 | 魏佳
眼見 ≠ 爲實,AI 換臉欺騙了不少人。
前兩天,湖北公安破獲了一起用 AI 換臉技術解鎖社交賬号并倒賣獲利的案件。不法分子通過 AI 換臉專門幫人解鎖被平台凍結的交友賬号,每解鎖一個,收費 15 元 -30 元不等。該團夥共解凍了 2107 個賬号,從中獲利 40 萬元。
有數據顯示,2023 年基于 AI 的深度僞造欺詐暴增了 3000%,深度僞造也就是 deepfake,是 learning 和 fake 的組合,主要指用 AI 深度學習的技術,合成某個人的圖片或視頻、甚至聲音,最常見的便是 AI 換臉。工信部更是在近期表示,将推出 AI 換臉詐騙風險提醒功能。
一邊是 AI 換臉詐騙案件屢屢發生,另一邊則是 AI 換臉技術不斷叠代。
AI 圈最近被一款 AI 換臉項目—— Deep-Live-Cam,炸開了鍋。用戶隻需上傳一張照片,便可實時換臉成紮克伯格、董宇輝等任何想成爲的人。
這一項目免費面向所有用戶開放,發布在 GitHub(代碼托管平台)上,支持個人電腦安裝。項目開發者公布了安裝方法,沒有技術經驗的普通人可以邊學邊安裝。
由于操作簡單方便且換臉真實度高,Deep-Live-Cam 出場便登上 GitHub 熱榜第一,24 小時狂攬 1600+ 星(星星代表項目點贊和關注指标,幾千顆星星是相當不錯的級别)。不少網友将自己換臉成馬斯克,體驗了一把全球億萬富豪的感覺。
但大家在感慨 AI 換臉技術取得突破的同時,也在擔憂 " 詐騙更變得容易了 "。AI 換臉,該抵制嗎?
普通人都能用的 AI 換臉,
成本低至十幾塊
目前國内外出現的 AI 換臉工具不少,Deep-Live-Cam 被熱議的原因主要在于,用戶隻用上傳一張圖但替換效果非常逼真,還支持實時換臉。
其實," 實時換臉 " 功能的技術門檻算不上高。
瑞萊智慧聯合創始人、算法科學家蕭子豪介紹,想達到實時視頻換臉效果有兩種方式:一種是播放事先做好的換臉視頻,一種是接入實時換臉視頻。Deep-Live-Cam 屬于後者。
無論哪種,AI 換臉視頻都需兼顧前後幀的連貫性,而基于連續人臉視頻的處理,可根據前一幀的很多檢測資源做微小的調整," 這也讓基于連續幀的視頻 / 直播換臉,相比獨立幀的單張換臉,效率更高 ",一位從事 AI 技術的研究員表示。
AI 換臉依托的底層技術是 Deepfake,從業者推測,Deep-Live-Cam 采用的也是這一技術,所以僅從制作合成花費的素材和算力看,成本不會很高。
蕭子豪表示,如果不考慮其他硬件采購成本,大多數 AI 換臉成本,一次大概隻要十幾塊,主要包含照片和算力,Deep-Live-Cam 可能更低。和其他 AI 換臉工具相比,Deep-Live-Cam 用的照片數量更少,該工具還支持普通電腦使用,照片和算力成本更低。
相比之下,Deep-Live-Cam支持僅用一張圖片換臉,更讓從業者們震驚。因爲過往的 AI 換臉産品需要用戶提供多張不同角度的至少十幾張照片。
照片難度的降低讓用戶玩嗨了。AI 追随者小 C 表示,自己之前沒接觸過任何 AI 換臉工具,他覺得 Deep-Live-Cam 操作門檻不高,按照發布者的說明便可完成,尋找換臉素材的難度也不是很高。
他将自己換臉成了郭德綱、吳京、雷佳音等一衆名人,且都隻用了他們各自的一張圖片。他表示,隻要提供的是正臉、額頭無遮擋、自然光,接近自己膚色、證件照比例的照片,一張便可成功,臉換效果也很自然。
不止一位從業者認爲,部分影視劇采用的 AI 換臉技術,不僅門檻高、成本高昂,換臉效果也不夠自然,說話過程中經常出現變形、失真。" 像不像是 AI 換臉工具最大的難題,Deep-Live-Cam 能支持一張圖在直播過程中達到,臉邊緣沒有明顯貼圖痕迹,膚色和原人物差别不大的效果,逼真度領先很多 AI 換臉工具," 蕭子豪分析,其開發者應該是在圖片渲染模型上實現了過往 AI 換臉工具沒有的突破。
不過,目前 Deep-Live-Cam 還存在一些 Bug,比如支持換臉但不涉及換聲。但蕭子豪表示,想要實現此舉不難,接入實時換聲工具即可,稍有編程基礎的人就能完成。
AI 換臉,
躲不掉的詐騙和侵權
Deep-Live-Cam 等工具降低了用戶的使用門檻,但大家也開始恐懼,不法分子隻用一張圖就可以換臉行騙,對普通人而言,風險将會劇增。
瑞萊智慧數據指出,國内 AI 詐騙案件的涉案金額從 2020 年的 0.2 萬增長至 2023 年的 1670 萬,年複合增長率高達 1928.8%。2024 年上半年,AI 詐騙案超過 1.85 億。奇安信發布的《2024 人工智能安全報告》顯示,2023 年基于 AI 的深度僞造欺詐暴增了 3000%。
AI 換聲、AI 換臉、AI 生成是 AI 詐騙常用的三種手段,其中 AI 生成内容,秒數有限,畫質和人物瑕疵明顯,因此不法分子最常用的是 AI 換聲、AI 換臉。而大多人相信 " 眼見爲實 ",又讓 AI 換臉的欺騙性高于 AI 換聲。
AI 換臉不僅騙到了老年人,很多從事科技領域的年輕人也一夜失掉幾百萬。
據媒體公開報道,去年某科技公司 CEO 收到朋友轉賬求助,不到 10 分鍾被騙 430 萬元,騙子主要便是利用了 AI 變臉技術。還有香港某跨國公司員工被騙入不法分子設計的高管視頻會議後,将 2 億港元打到對方賬戶。
AI 換臉達到了 " 能以假亂真 " 的程度,是從業者的共識。
李旭反傳防騙團隊負責人李旭對 AI 換臉技術的關注,便來源于各種詐騙案件。他表示,近兩年 AI 換臉詐騙案件頻發,市面上大概有三種 AI 換臉詐騙手段非常成熟。
第一種,利用 AI 換臉僞造色情視頻,對受害人進行敲詐。
比如犯罪團夥會從網上等各種渠道收集被害人圖片、視頻信息,然後進行一鍵去衣、AI 換臉等合成處理,将僞造的不雅視頻或者豔照發給受害者,用來敲詐勒索。
第二種,利用 AI 換臉冒充熟人詐騙。
比如詐騙團夥會用市面上的一些換臉工具僞裝成受害人的親人、朋友、同事、領導等,先虛構一個緊急事由,利用被騙目标的急迫心理實施詐騙行爲,受害人在情急之下往往容易放松警惕将錢轉出。
現在使用 Deep-Live-Cam 更隻需要采集受害者一兩張照片即可深度仿造技出一段視頻,李旭覺得,AI 換臉詐騙的程度超出了大多數普通人的認知,也直接改變了電信詐騙的劇本,防不勝防,愈演愈烈。
第三,利用 AI 換臉冒充名人進行直播帶貨,騙取用戶下單。
比如主播在直播間利用 "AI 換臉 " 給自己 " 換 " 了一張名人臉,從而增加直播視頻流量,助力直播帶貨。
此外,未經他人允許,通過 AI 換臉對名人 / 普通人進行長短視頻二創、制作表情包等侵權問題也十分常見。
AI 換臉詐騙案件頻發且手段多樣,與這一技術的成熟度和廣泛度密切相關。
瀚皓科技 CEO 吳傑茜告訴「定焦」," 目前,AI 視頻生成、數字人和 AI 換臉技術都很成熟,而 AI 換臉是其中發展最早的領域。"
2014 年 Deepfake(深度僞造)技術的出現,标準着 AI 換臉誕生,但一直在小範圍傳播,直到 2017 年,有用戶利用該技術發布不實色情圖片後,AI 換臉才走入大衆視野,但同時也因爲其帶來的大量造假内容,該技術一直備受争議。
不止一位從業者表示,這些年,雖然大衆對 AI 換臉的讨論多集中在拯救影視劇上,但由于不好監管,利用 AI 換臉進行造假詐騙的事情也一直沒斷過。且 AI 換臉技術一直在叠代,入局者也不少,目前除了一些大廠涉及這一業務外,國内很多數字人、AI 生成視頻初創公司都有開發 AI 換臉業務,技術普及度比較高,該類工具也越來越多。
技術成熟、普及度高,監管也有一定的難度,導緻讓 AI 換臉技術這些年一直被濫用。
如何辨别越來越逼真的 AI 換臉?
近兩年 AI 換臉導緻的各種違法犯罪行爲不少,不可控性讓部分人覺得應該抵制 AI 換臉技術。
但也有很多從業者覺得,科技本身是中性的,其帶來的好壞影響主要取決于使用者。AI 換臉技術的出現和叠代不應該被制止。
吳傑茜表示,目前國内外均沒有對 AI 換臉技術采取一刀切,更多是進行立法管理。
比如美國針對深度僞造進行了專門立法,歐盟将深度僞造納入《通用數據保護條例》等現有法律框架規制度,德國、新加坡、英國等國家也将深度僞造相關犯罪納入刑法體系。中國也在《互聯網信息服務深度合成管理規定》中明确了對這一技術的規範。
多位從業者認爲,對 AI 創作的内容進行标明等管理辦法,以及傳授給大衆一些防 AI 詐騙方法,是十分必要的。
比如,曾有技術人員提出,可以在視頻通話時,要求對方将手指放在臉部,仔細觀察人臉是否變形,或者讓對方張嘴,看牙齒和舌頭是否清晰完整,從而判斷圖像是真人還是 AI 合成。
去年這一方法還比較奏效,但今年随着 AI 換臉技術的升級,已經讓其失靈。
蕭子豪表示,當下 AI 換臉技術可以實現有障礙物出現時人臉和動作不變形,且畫質清晰度很高。李旭也發現,近期發生的 AI 換臉詐騙案件都使用了很強的技術手段,單純靠動作幾乎辨别不出。
鑒于 AI 換臉技術的快速發展,李旭認爲,提高警惕是目前相對有效的方法。比如接到熟人借錢的視頻來電時,可以問對方一些隻有彼此才知道的隐私問題,并多向身邊人詢問核實。
部分從業者覺得,用 AI 辨别 AI 或許是個不錯的辦法。
比如先看畫面有沒有一些明顯違背常識的元素,重點看臉部邊緣是否有瑕疵,然後再借助一些 AI 工具。 蕭子豪覺得用 AI 甄别 AI,可識别出絕大多數騙局,目前很多公司和政府部門都找他們來合作 AI 換臉防禦系統。
但此舉在國内外也引發了一定争議。
首先,這種方式具有一定的使用門檻,用戶需要在手機 / 電腦端下載相關應用。其次,從本質上看,這類防禦工具存在一定的滞後性,主要對當下 AI 換臉工具見招拆招,但 AI 換臉技術和合成方法在時刻變化。
很多人寄希望于相關法律法規完善,比如提高對 AI 換臉詐騙、銷售 AI 換臉淫穢視頻、換臉名人進行帶貨等違法行爲的懲罰力度。
去年,杭州蕭山區人民法院判決了一起用 AI 換臉制作淫穢視頻的案例,被告人因提供 AI 換臉定制服務,通過 AI 換臉制作了大量淫穢視頻,還用建群的方式吸引觀看者付費進群,涉案金額共 6 萬餘元,最終被判處有期徒刑七年三個月,并處罰金 6 萬元。
不過也提醒大家一點,并不是所有的 AI 換臉都會侵犯肖像權。
今年 6 月北京互聯網法院宣判了兩起 AI 換臉侵權案件,兩位國風短視頻模特在社交平台上發現了自己視頻出現在某一換臉 APP 中,于是将該 APP 背後的科技公司告上法庭,認爲其損害了自己的肖像權和個人權益。
法院的宣判是,認定被告使用了原告出鏡的視頻,但由于涉案視頻中的原告面部已被替換,并未侵害原告的肖像權,因此僅認定此舉構成對原告個人信息權益的侵犯。
此刻,AI 換臉技術還在不斷升級,也尚未被禁止,AI 換臉工具還大量在市場上流傳。
「定焦」近期在某電商平台上直接搜索 "AI 換臉 " 時,已經搜不到任何信息,但隻要把關鍵詞稍加改變,還是能找到相關換臉工具售賣,并且路徑更爲隐秘,會跳轉到某二手網站進行交易。在技術和騙術都在不斷升級的當下,大家能做的是提高警惕,防止被 AI 換臉侵害。