明明是循規蹈矩的女學生,因照片被盜用,被 " 換臉 " 之後,成爲小電影的主角。卻因爲拿不出來證明 " 我不是我 " 的證據,背上莫須有的罵名。
這不是電視劇情節,而是韓國真實的、正在發生的 Deepfake 事件。
犯罪分子獲取女性照片後,通過 AI 技術 Deepfake 将其 " 換臉 ",捏造并不存在的 " 事實 " 誣陷女性,陷入自證陷阱的女性們無法自證清白,隻能呼籲大家關注濫用 Ai 帶來的危害。
很快,這件被稱爲 "N 号房卷土重來 " 的事件,引發了全球關注。
畢竟随着 AI 技術的發展,我們任何人都可能成爲被 Deepfake(深度僞造)的對象,成爲那些我們沒拍過、沒錄過的音視頻的 " 主角 "。
因此,如何确保我們的安全、防止 AI 技術的濫用,或者及時識别出 Deepfake 的詭計,變得迫在眉睫。
這也是外灘大會 AI 創新賽 · 全球 Deepfake 攻防挑戰賽上,來自全球 26 個國家及地區的 2200 名 " 最強大腦 " 想要的解決的難題。
本次 Deepfake 攻防賽由中國工程院院士王耀南擔任專家委員會名譽主席,螞蟻數科 ZOLOZ 和天玑實驗室作爲大賽出題方,賽題包含圖像和視頻兩大主流的 Deepfake 研究方向,是 CV ( 即計算機視覺 ) 領域權威賽事之一,吸引了全球超 1500 支隊伍參與。
賽事數據集由公開數據和僞造數據組成,其中,僞造圖片數據涵蓋了現實場景中超 50 種生成方式,僞造音視頻中則納入了超 100 種組合攻擊方式,組委會開放的訓練數據集總量超過 100 萬。
經過 3 個多月的激烈比拼,大賽圓滿結束,但關于 AI 與對抗的故事并沒有結束:
在 9 月 6 日 Deepfake 攻防賽表演賽上,由螞蟻數科和中國科技大學網絡空間安全學院聯合設計的高逼真 Deepfake 圖像亮相現場,對選手 AI 模型進行終極考察。來自中科院的 VisionRush 團隊獲得圖像賽道三等獎。
這也意味着,該 AI 模型能高效、有效地識别利用生成式 AI 技術制作的造假視頻,爲深受 Deepfake 困擾的受害者解決難題。
而早在 9 月 2 日,VisionRush 團隊響應賽事組委會号召,公開了這個模型源代碼,旨在幫助那些深受 Deepfake 技術困擾的受害者。
某種程度上來說,本屆大賽已圓滿結束,但推動 "AI 向善 " 的初心故事,還在繼續。
以下是關于他們的真實故事:
文 | 常甯甯
編輯 | 卓然
我要怎麽證明 " 我 " 不是我?
一個看似毫無邏輯的問題,卻極有可能因爲 Deepfake 技術的濫用成爲現實。
……
我們希望通過技術手段,爲每一個可能受到傷害的人提供保護。
9 月 2 日," 全球 Deepfake 攻防挑戰賽 " 參賽團隊 "VisionRush" 決定在網上開源其參賽作品,援助 Deepfake 受害者後,團隊成員之一的中科院 95 後助理工程師張欣怡在微博上寫下了如上這段文字。
張欣怡所在的 VisionRush 參賽隊,由 7 名來自中科院自動化研究所的師生組成,平均年齡僅 25 歲。在本次比賽中,他們利用賽方提供的超 150 萬數據,訓練出了根據視頻軌道來識别是否爲生成式 AI 僞造視頻的 AI 模型。
圖 | 中國科學院自動化研究所 VisionRush 參賽隊
這一模型,能有效地幫助 Deepfake 的受害者們證明 " 我不是我 " 這個難題。
"Deepfake" 是由 "deeplearning"(深度學習)和 "fake"(僞造)兩個單詞組合而成,是通過人工智能技術,将圖片或視頻中某人面部特征與其他人的與其他人的圖像或視頻進行融合的技術,從而創造出以假亂真的虛假視頻或照片。
随着生成式 AI 的技術發展,Deepfake 的門檻越來降低,如今僅憑一張照片,便可以低成本炮制大量肉眼難辨真僞的圖片和視頻,任何人都可以 " 造假 ",也可能成爲 " 被造假 " 潛在目标。
因造假成本太低,受害者往往難以證明視頻中的 " 我不是我 "。
例如,最近韓國卷土重來的 "N 号房 " 事件,有超過 200 所學校的女生被 Deepfake 換臉成爲色情圖片女主角,在海量 " 有圖有真相 " 中,女生們陷入自證陷阱中。
但在技術人眼裏,既然這些視頻是 Deepfake 的,隻要是 fake 就有破綻,肉眼看不出來的,就要用"AI 的辦法打敗 AI"。
37 歲的王博畢業于北大計算機專業,現在是中科院自動化研究所副研究員。王博重點多媒體内容安全,比如說文本、音視頻等内容是否涉及違規有害内容。期間,他見證了中國 AI 技術的發展,也見證了 2020 年前後,生成式 AI 加持下,Deepfake 普遍普及後,在網絡世界掀起的大浪。
如不法分子通過換臉名人政要、僞造音視頻,惡意曲解政策,引發輿論不安、威脅國土安全;或者詐騙分子僅憑一張網絡上的自拍,就能通過視頻換臉,随後實施電詐。
據不完全統計,僅在 2022 年,我國 AI 詐騙案件就達到了 50 萬件,涉及金額超過 100 億元。
VisionRush 的趙鵬鵬就曾見過一個報案,犯罪分子通過 Deepfake 換臉成校長,詐騙了一個班級群的家長,群内成員無一人幸免。
與此同時,由于大部分的 Deepfake 犯罪集中在網絡空間,受限于取證困難等客觀因素,大部分受害者維權困難,且即使能維權成功,時間周期也漫長,期間造成的名譽損失、心理傷害更是無法估量。
" 我們整個大團隊,專注在安全領域 20 多年了。始終沒有換方向,其實情懷也就在裏面了。我們還是想爲淨化網絡空間,做一些努力。 " 王博說。
但對抗 Deepfake 極其背後的黑産,僅靠一個 7 人團隊的力量并不夠,所以 VisionRush 也希望開源後,越來越多專業人士能參與進來,利用這個模型去做一些更有意義的事情。
就如參賽隊員張欣怡在微博中所說," 我們希望通過技術手段,爲每一個可能受到傷害的人提供保護。"
對抗 Deepfake 又稱 " 僞造對抗 ",雖也是 AI 領域,但相較于 " 生成式 AI" 實在是太冷門了——商業潛力不如生成式 AI、研發還需要投入資金。
包括這次比賽,也是 VisionRush 團隊爲數不多的專業 " 對口 " 比賽。在得知螞蟻集團舉辦了全球範圍的安全大賽、可以和來自全球的同行交手後,團隊立即成立了報名參賽,除了 " 切磋練兵 " 的心态外,也想去驗證一下自己實力。
畢竟目前 " 僞造對抗 " 關注少,邊緣化,但并不意味着其面臨的壓力更小,甚至因爲各方面因素," 僞造對抗 " 面臨的壓力更大。
首先在生成式 AI 的技術加持下,黑産的攻擊也越發猖狂。
姚偉斌就切身感受到了這種 " 猖獗 "。姚偉斌系螞蟻數科的安全科技品牌 ZOLOZ 的技術負責人,ZOLOZ 基于螞蟻集團超過 20 年的安全基礎,爲金融、政務、互聯網等海外客戶提供安全保障,而這些客戶也恰好是黑産想要利用 Deepfake 攻擊的對象。
" 以攻擊濃度而言,去年我們的海外客戶面臨的攻擊濃度約 1%,今年達到了 10%",這意味着以前 100 次服務中約有 1 次黑産攻擊,現在 100 次訪問中有 10 次攻擊,未來這個數據可能上漲到 50%,甚至更高。
但在識别虛假的對抗技術卻同生成式 AI 技術之間存在巨大代際差。
最直觀的對比在數據模型投資上。AI 模型的能力和投資成正相關,即投入的資源、數據、算力越多,AI 模型越強大。
市面上一個生成式 AI 的模型投資可能達到千萬級,但僞造對抗一個模型可能就幾十萬預算,巨大投資差異意味着二者之間力量 " 懸殊 ",若黑産分子以生成式 AI 爲武器發動攻擊時,維護網絡安全的 " 僞造對抗 " 或許面臨 " 軍火不足 " 的困境。
王博說," 現在互聯網中的僞造數據爆發式增長,很難對全網數據進行審查,僞造和鑒僞的資源投入不平衡也是一大挑戰。"
某種程度上來說,做 " 僞造對抗 " 像是一場 " 逆行 ",但這場 " 逆行 " 沒有回頭路。
畢竟 AI 作爲未來趨勢,也是綜合國力的一環,如果沒有相應的安全能力去制衡,AI 的發展可能會誤入歧途。
" 所以和 Deepfake 的這場戰争必須打,而且必須赢 ",姚偉斌說。
AI 沒有感情,或許會淪爲作惡的工具,但 AI 終究是 " 術 " 層面的東西,還需要 " 道 " 的層面來維護。
" 做科研這份工作,需要有足夠耐心和持之以恒的努力,還要能抵擋抵擋足夠多的誘惑。" 王博坦言,掙錢可以體現一個人的價值,但是解決一個科學問題,解決國家一項重大需求,是更有價值更有意義的事情,這不是金錢能衡量的。"
" 有人做生成,就要有人去做對抗。" 他們相信,這個世界總是會有人願意共同 " 逆行 " 打赢這場戰争的。畢竟相比于技術層面的東西,那些不變的普世價值觀,才更能推送社會長足進步。
AI 行業面臨的安全挑戰刻不容緩。
過去,由于 AI 門檻高,使用場景相對有限,對其潛在危害的讨論大多局限于學術界。然而,随着生成式 AI 技術的發展,Deepfake 等應用變得日益普遍,相關的安全問題也随之 " 破圈 ",才引起了公衆的廣泛關注。
在這樣的背景下," 僞造對抗 " 領域不僅小衆、鮮爲人知,整個行業也因起步較晚,極度缺乏實戰型人才。
目前大部分關注 " 識别虛假的對抗技術 " 的人,如這次外灘大會的這次全球 Deepfake 攻防挑戰賽選手中,大多是出于一種信念在堅持。
例如,本次參賽的曾兆陽,他是一位擁有 12 個大賽冠軍頭銜的天才程序員,曾在大型科技公司工作,并參與過綜藝節目《燃燒吧!天才程序員》的錄制,在算法領域頗具名氣。
目前,他是粵港澳數字經濟研究院的研究員,專注于機器視覺研究,即賦予機器 " 眼睛 ",使其能夠通過圖像進行判斷和理解,這是 AI 領域的一個重要分支。
近年來,随着人工智能相關的詐騙案件增多,曾兆陽開始關注到在 AI 技術的正反兩面博弈的問題,于是在發現這次比賽之後,他抽空參與了本次比賽,并交上了自己的答卷。
香港城市大學的博士後吳海威,則早在 2019 年讀研二時,就參與過 Facebook 舉辦的 Deepfake 檢測大賽,之後的 3 年時間裏,無論科研壓力多大,他多次參與相關比賽,希望通過競賽去提升自己,爲網絡安全貢獻一份力氣。
在 VisionRush 開源之後,吳海威、陳逸鳴所在的澳門大學 JTGroup 戰隊也相繼開源自己的參賽模型,他們也是這次大賽圖像賽道一等獎隊伍。
但是,要想在 " 僞造對抗 " 中取得勝利,僅憑一群人的信念是不夠的。
在 AI 技術發展的浪潮中,每個人的命運都與 AI 緊密相連。我們無法預知科技的利刃何時會傷人,也無法估量其後果。因此,我們需要在利刃尚在手中時,就采取預防措施。
正是基于 " 推動 AI 向善 " 的初心,螞蟻集團主辦、螞蟻數科承辦了本次外灘大會 AI 創新賽 · 全球 Deepfake 攻防挑戰賽。比賽的目的是喚起社會對 AI 安全的關注,吸引更多的投入,并培養實戰型人才,使識别虛假内容的對抗技術能夠跟上生成式 AI 的步伐,将 AI 技術納入道德的框架内。
推動 AI 健康發展,不是少數人的任務。
在 AI 廣泛應用于各個領域的情況下,社會需要更豐富、更多元化的實戰型人才梯隊。比賽中,我們可以看到選手背景的多元化。
除了來自 26 個國家的超過 1500 支隊伍同台競技外,還有許多來自字節跳動、小紅書等一流互聯網公司的 AI 研究者參與。
唐永威雖然不是計算機科班出身,但他在 2022 年參加 ATEC 大賽時自學了 AI 技術。作爲一名數據分析師,他對數據有着天然的敏感度。
在建模時,他一改行業内人看到數據建模後測試修改的工作方式,而是基于對數據的分析和業務理解,建立若幹不同模型,進行算法攻防測試。
通過這種 " 更下沉 " 的操作,唐永威的 AI 檢測模型在本次比賽中表現出色,獲得了視頻賽道的一等獎。
這也再次證明,推動 AI 向善,不能僅依賴于少數人的努力,而是需要凝結大衆的力量。
畢竟,善良作爲一種美德,既是社會的底色,也是社會的共識,沒有人能置身事外。
(應采訪者要求,文中均采用化名)