來源：獵雲精選；文 / 邵延港
誰能想到，一場多人參加的跨國視頻會議，竟然隻有一個人是真人，其餘的 " 參會人員 " 全部是經過 AI 換臉的詐騙 " 人員 "。最後的結果就是受害人将 2 億港元分别轉賬 15 次，轉賬到 5 個本地銀行賬戶。
"AI 換臉 " 的話題已經被讨論了很多年，如今已經真實到看不出破綻了嗎？
新一輪的 AI 浪潮，大模型的能力進一步增強，這種新技術也在加速向現實世界沖擊。無論是 ChatGPT，還是 sora，AIGC 都在 " 努力 " 創造一個真假難辨的世界：虛拟與現實的交織、身份與形象的混淆、聲音與真實的錯位、文字與真實的界限模糊。
如今，AI 這個潘多拉的魔盒被進一步打開。AIGC 是未來十年甚至更長周期的技術趨勢和變革動力，而技術發展的兩面性，在帶來機遇和發展同時，也帶來新的風險和挑戰。
不過，曆史的發展規律仍舊沒有變，無論是否爲虛拟創造的産物，" 作惡 " 的從來不是作爲工具的 AI 本身。好在，AI 也提供了一種新的途徑來鑒别 AIGC，即更了解自己的 AI 去打敗 AI 自己。
AIGC 安全問題泛濫
毫無疑問，各種 AI 引發的問題背後，是技術的進步。從 Transformer 網絡到 ChatGPT，從最初專用于人臉深度合成的 DeepFaceLab 發展到通用視頻生成服務 Gen-2，各種生成式人工智能模型如今已經不稀奇了。
大模型能做到這種程度的原因，終究還是機器學習能力的躍升。中文垂直創作大模型公司波形智能創始人姜昱辰這樣比喻：人工智能學習方法跟我們人非常相像。把東西教給 AI，它再進行學習和消化，之後就是模仿與創作。在初期，AI 的反饋可能不盡如人意，但做過個性化的範式訓練時，AIGC 的 " 人味 " 會更明顯。
AIGC 能做到也不隻是如此。中文大模型已經經過層層打磨，寫一篇質量過關，看不出 " 機器味 " 的稿子早已不是難事。随着大模型的應用越來越廣泛，馬斯克有當前最大參數大模型，谷歌有性能最強大模型，這些都能爲之帶來更多的想象力。
當今年 OpenAI 再次祭出大殺器 sora 時，APUS 董事長兼 CEO 李濤直言：它不僅展示了人工智能在視頻生成領域的強大能力，更觸及了人類對創作、真實性和未來的認知。
騰訊雲天禦安全專家黃澤豐表示，AIGC 的安全存在于三個階段：一是數據訓練階段的 AI 内生安全，二是大模型部署運營時的 AI 應用安全，三是推廣到公衆後的 AI 衍生安全。
如今公衆關注的如 AI 人臉詐騙這類問題，已經是一個非常複雜的問題。
黃澤豐表示：AI 換臉早期更多是通過社交工程學詐騙，通過不法手段獲取個人的信息，再進行加工處理進行欺詐；而現在演變爲可以實時模拟人臉的同時，将嘴型和眨眼等動作進行合成，極大的提升了迷惑性。
AIGC 的安全挑戰讓世界真假難辨，内容合規與幻覺一直是 AIGC 的首先要解決的問題。AI 換臉視頻的形成，關鍵在于個人信息的洩露，而當人臉信息被惡意使用時，對于各種系統安全、金融安全、個人隐私等問題形成連鎖反應。據悉，AIGC 的快速發展已經引發了黑灰産的新一輪的攻擊，利用 AI 換臉、批量生成版權内容套現獲利等問題頻發。
以前，東南亞詐騙團夥利用病毒去獲取用戶信息，做成視頻去欺騙銀行，獲得一些轉賬或者是貸款的問題，整個系統非常成熟。現在，有人可以基于人臉合成、拟聲等 AI 技術進行臉部替換，并結合表情驅動做出眨眼、張嘴等動作來構造虛假的人臉視頻，同時通過攝像頭劫持進行攻擊。
AIGC 可以帶來缤紛多彩的世界，但其對安全的刁難又該如何化解？
用大模型對抗大模型
面對 AIGC 帶來的震撼，李濤也感慨道：通過完全虛拟構建展示真實場景，在未來這種 " 真實 " 與 " 虛拟 " 的界限模糊，讓我們不得不去思考：在 AI 時代，我們應該如何定義和理解真實與虛拟。
大模型對于模拟對象的了解已經達到很高的程度，對于以往的僞造内容，現有檢測系統的檢測準确率可以達到 90% 以上，但是對基于大模型生成的内容，其檢測效果并不好。
但現在有一個明确的思路，就是用大模型對抗大模型。
黃澤豐表示，想要鑒别 AI 視頻詐騙，首先要确保設備是否處在安全的系統環境裏，例如系統可能被解鎖、篡改、重置、" 雙開 " 等等。
但是，現在 AI 對 AI，這種檢測更難，除了前端要這樣做檢測，後端就要以同樣的模型來檢測不同的動作，或者是更多的信息維度。
無論 AI 如何模拟，由于 AIGC 是通過算法和模型生成的，它們往往具有一些特定的模式或特征，AIGC 終究會在人類面前露出馬腳。利用 AI 的深度學習技術，我們可以訓練模型來識别這些特征，從而判斷一段内容是否是由 AI 生成的。
當然，AIGC 内容安全新挑戰不僅體現在 " 天文級 " 的數據體量，處理的内容也更加複雜。在内容生成階段，新型 AI 僞造、虛假、違背倫理、不适内容、未成年人等違規内容，以及 AI 問答産生專業性内容，都超出傳統内容風控的範疇。
作爲安全領域的專家，黃澤豐認爲 AIGC 的鑒别不會是 100% 準确。目前，AIGC 在一些細節上還是有很大的特征，例如 AI 渲染過的圖經常會有一些沒有邏輯的。但有時候，AIGC 内容還會經過二次修改，比如文章和代碼，這樣情況就會很難去鑒别。
但有思路就要有嘗試。
獵雲網了解到，螞蟻數科有一支 ZOLOZ" 數字身份打假隊 "，專注于辨别數字身份欺詐。據介紹，數字身份打假隊早在 2020 年就在儲備用 AIGC 打敗 AIGC 這項防禦能力，而在當時，這樣的真實攻擊并不多見。于是，他們同樣用 " 左右手互搏 " 的方式打磨系統。先用 AIGC 批量生成虛拟人臉，再利用生成的樣本來攻擊自己，從而不斷地優化防禦能力。
面對 AI 詐騙這類人臉合成攻擊，騰訊雲慧眼也用 AI 打敗 AI，其開發的遠近活模式，相比傳統的活體檢測技術，遠近活體通過對交互過程中人臉的形變信息建模，并對交互行爲進行分析，從而分辨出是真人還是攻擊，能夠有效檢測并攔截新型 AIGC 攻擊以及高清紙片、翻拍、面具等常見攻擊。
作爲安全廠商，360 最新上線了 360 安全大模型，其中提出了 " 以模治模 " 的方案，即采用 " 小模型 " 的技術保障大模型安全的技術路線。
在産業界，用魔法打敗魔法的思路已經被推廣。作爲 AI 檢測與安全領域的技術服務商們，不隻在鑽研，也在持續向外界賦能，AIGC 的标簽也不會隻隐藏在暗處。
AIGC 主導的世界
給 AIGC 内容打上标簽，更多的是無奈，而 AI 被濫用已經不是新鮮事了，當下 AI 被濫用情況急需被遏止。
如今，安全行業圍繞 AI 的攻擊和防禦一直是個業界焦點。在黑灰産産業化、鏈條化的分工模式下，應用 AI 發起安全攻擊的門檻越來越低。
當 AIGC 的能力逐漸增強，大模型高效泛化内容生成的特點，會讓黑客以更低的門檻和成本，發動更密集的攻擊。相比較而言，防守需要更缜密的邏輯關聯，更精準的溯源能力。在新技術的實踐落地過程中，成本效率将會經曆更嚴峻的考驗周期。
但也不是所有事情都需要去鑒别是否由 AI 生成，不是因爲有時候 AI 也 " 無能爲力 "，而是 AIGC 是挑戰也是機遇。
當 AI 作爲輔助時，人類生産效率的可觀提升，被視爲一場生産力的變革。多模态的 AIGC 技術可以超越人類原有的表現形式去創造新的表現形式，自動化生成大量内容，不僅可以節省人力和時間成本，對于嚴謹的專業領域的内容可以減少或消除誤差。
但無論内容是 AI 創造的，還是人創造的，這個内容對社會有用，它就是有意義的；如果說信息有害，無論是人的創造還是 AIGC 的創造，都需要去鑒别出來。
國内某網文平台編輯告訴獵雲網，"AI 寫小說在四五年前就有了，隻不過這類文章很難達到簽約标準，從質量上一眼就能看出來，并且目前還沒聽說哪一本 AI 寫的書出了不錯的成績。" AI 可以加速稿件更新進度，提高作者效率，但隻要文章的反饋好，誰還會在意它是怎麽生成的呢？
但用 AIGC 去僞造内容，本身就是一條歧路。AIGC 内容的版權風險，幾乎成爲共識，畢竟這個生産過程，也是學習過程，人類的學習也離不開初期的模仿。
對于内容是否由 AI 主導要因地制宜，多數觀點認爲還是要給 AI 發揮的土壤。
