作者｜劉楊楠
編輯｜王博
"Sora 的出現超乎所有人的預期，我們在 2021 年制定的部分防禦策略，今天可能已經不适用了。"
瑞萊智慧 RealAI 聯合創始人 & 算法科學家蕭子豪告訴「甲子光年」。
雖然 Sora 還未對普通用戶公開測試，但是 Sora 生成視頻的逼真效果，不得不讓人 " 未雨綢缪 "。
試想一下，如果騙子利用 Sora 生成一個人被搶救或者被綁架的視頻，再用 "AI 換臉 " 技術換成目标當事人親友的形象，同時利用特殊方法切斷當事人與親友之間的聯系，進而實施詐騙。如果在沒有各方安全防護措施的情況下，是有可能成功的。
即使沒有詐騙，虛假新聞、謠言也會對社會産生不良影響。
" 人工智能進入爆發式發展的關鍵階段。我們主張發展與安全并重，既要擁抱新事物新機遇，也要裝好刹車再上路，共同推進人工智能全球治理。"3 月 7 日，中共中央政治局委員、外交部長王毅在回答記者有關人工智能的提問時明确表态。
據不完全統計，在今年的全國兩會上，已有 20 多位代表、委員圍繞 " 人工智能 " 提出了相關建議。其中，" 安全 " 與 " 合規 " 是他們關注的焦點。
早在 ChatGPT 出現之初，「甲子光年」就曾在《第一批因 ChatGPT 坐牢的人，已經上路了》一文中寫道：" 在 ChatGPT 技術前景、商業模式都還方興未艾的時刻，圍繞自身的‘犯罪方案’以及所造成的負面影響卻已真實發生。由新技術衍生的網絡信息安全以及違法犯罪等方面的風險，成了擺在全球 AI 科學家、企業以及國家面前的嚴肅問題。"
一年後，Sora 的出現，讓新的安全問題出現在了人們面前，而出現多年的 "AI 換臉 " 技術也在不斷叠代升級。
無論是近期香港警方披露的涉案金額高達 2 億港元的 "AI 換臉 " 詐騙案，還是前段時間梅西澄清視頻被質疑 "AI 換臉 " 風波，都讓更多人意識到 " 眼見不一定爲實 "，AI 帶來的争議和風險其實就在人們身邊。
" 安全問題就像氣候問題一樣，如果大家現在隻看重發展，不重視安全問題，一直拖延下去，等到很嚴重的時候再行動可能就太遲了。" 蕭子豪說。
震撼、好奇與恐慌情緒交織，面對生成式 AI 模型帶來的全新挑戰，監管方、AI 安全廠商乃至置身其中的每一個人又該如何應對？
1. 隐秘的角落
生成式 AI 模型是 Deepfakes（深度僞造）的技術基礎，而以 "AI 換臉 " 爲代表的人臉僞造技術是 Deepfakes 的一個重要分支。
2019 年，兩位藝術家和一家廣告公司制作了 Facebook 創始人馬克 · 紮克伯格 ( Mark Zuckerberg ) 的 Deepfakes 視頻，并将其上傳到 Instagram。關于馬克 · 紮克伯格的深度僞造視頻
這段視頻由藝術家 Bill Posters 和 Daniel Howe 與廣告公司 Canny 合作制作，視頻中馬克 · 紮克伯格坐在辦公桌前，似乎在發表有關 Facebook 權力的演講。
" 想象一下：一個人完全控制了數十億人被盜的數據、他們所有的秘密、他們的生活、他們的未來，"AI 版 " 紮克伯格 " 在視頻中說，" 誰控制了數據，誰就控制了未來。"
原始的真實視頻來自紮克伯格 2017 年 9 月在 Facebook 上發表的一次演講。Instagram 的帖子稱其是使用 CannyAI 的視頻對話替換 ( VDR ) 技術創建的。
可以看到，AI 版 " 紮克伯格 " 已經十分逼真，整個畫面像是一個真實的新聞片段，詞條寫着 " 我們正在提高廣告的透明度 "。
這件事引起了 Facebook 以及輿論的強烈反對。此後，Deepfakes 技術迅速生長叠代爲一種新型騙局。在畢馬威發布的報告中，80% 的領導者相信 Deepfakes對其業務構成風險，但隻有 29% 的人表示他們已采取措施打擊這些風險。
随着生成式 AI 模型的發展，以 Deepfakes 爲代表的安全問題也愈發難以被檢測。
開源生态繁榮的背面，也讓生成式 AI 更容易被濫用。開源模型的開源協議一定程度上犧牲了開發者對模型的掌控。爲了滿足開源許可要求，其他人需要能夠研究、使用、修改和共享人工智能系統。" 修改 "，則意味着其他人可以删除人工智能模型的原始創建者添加的任何保護措施。
這些新生的AI安全隐患也直指人性的幽暗之處——情色、暴力、金錢詐騙與權力争鬥。
互聯網觀察基金會 ( IWF ) 發現，犯罪分子正在用開源人工智能來創建兒童性虐待材料 ( CSAM ) 。根據 IWF 報告，短短一個月内，他們在一個暗網論壇上記錄了 20000 張人工智能生成的圖像。令人毛骨悚然的是，IWF 指出，罪犯社區經常讨論 Stable Diffusion 模型。
據美國媒體報道，雖然尚未證明這些圖像是如何制作的，但網絡安全公司 Reality Defender 認爲有 90% 的可能确認這些圖像出自 Diffusion 模型。
近期，新澤西州一所高中的學生制作了一個可以從女孩照片中制作露骨圖像的網站，女同學報告說，她們是人工智能生成的裸照在學生中分發的受害者。而據哥倫比亞廣播公司（CBS）新聞報道，這隻是高中發生的許多類似事件的一個例子。 流行歌手泰勒 · 斯威夫特 ( Taylor Swift ) 此前也深受其害。
生成式AI也正在 " 重塑 " 詐騙産業鏈。
近期，香港警方披露了一起多人 "AI 換臉 " 詐騙案，涉案金額高達 2 億港元。據央視新聞報道，一家跨國公司香港分部的職員受邀參加總部首席财務官發起的 " 多人視頻會議 "，并按照要求先後轉賬多次，将 2 億港元分别轉賬 15 次，轉到 5 個本地銀行賬戶内。之後，其向總部查詢才知道受騙。警方調查得知，這起案件中所謂的視頻會議中隻有受害人一個人是 " 真人 "，其他 " 參會人員 " 都是經過 "AI 換臉 " 後的詐騙人員。
相似的案件此前也有發生，2023 年 4 月 20 日，内蒙古包頭市發生了一起金額高達 430 萬元的詐騙案件，也與 "AI 換臉 " 有關。
此外，政治宣傳和誤導也是深度造假帶來危害的領域。據美國媒體報道，今年 1 月，有人用 AI 模仿美國總統拜登的聲音，給新罕布什爾州的選民打電話幹擾選舉。
生成式 AI 雖然正以前所未有的速度重塑工業、科研及日常生活的方方面面，但由此帶來的安全隐患也正在不斷下探至更隐秘的角落。
不過，魔高一尺，道高一丈。針對這些隐患的應對措施也在加速完善。
2. 魔高一尺，道高一丈
作爲全球人工智能領域的風向标，OpenAI 的一舉一動都被放在顯微鏡下審視。安全，是 OpenAI 必須要完成的課題。
2023 年 9 月，OpenAI 推出 "Red Teaming Network（紅隊網絡）"。
圖片來源：OpenAI 官網
這是一個簽約專家組，旨在幫助爲公司的人工智能模型提供風險評估信息。目前，紅隊可以捕捉（盡管不一定修複）OpenAI 的 DALL-E 2 等模型中的種族或性别偏見内容。
此外，OpenAI 打算将識别元數據納入任何面向公衆的産品的未來版本中；現有的防禦措施将拒絕違反公司使用政策的 prompt，包括描述極端暴力、性内容和名人肖像。
同時，OpenAI 和 Meta 等公司正在研究幫助識别人工智能制作内容的措施。例如，在創建人工智能制作内容時加上獨特的 " 水印 "，或在分發時引入檢測人工智能圖像特征的算法。
然而，雖然相關工作已經取得了一些成果，但開源仍可能是一道頑固的裂痕，一些利用開源模型的犯罪分子不會配合使用這些功能；分發後檢測人工智能生成的圖像也隻能在一定程度的置信度下完成，目前還會産生太多的誤報或漏報。
除了企業使用技術手段 " 以牙還牙 " 之外，政府監管力度也在大幅收緊。
美國時間 2023 年 7 月 21 日，拜登于在白宮召集了七家發展人工智能技術的頭部公司——亞馬遜、Anthropic、谷歌、Inflection AI、Meta、微軟和 OpenAI，并獲得了七家人工智能頭部企業的自願性承諾，确保人工智能技術的安全性、有保障性和可信任性。
同時，白宮呼籲七家領先的人工智能公司同意自願保護未發布的模型權重。模型權重相當于人工智能模型的 " 秘密武器 "，其他人能夠通過修改模型權重，在沒有保障措施的情況下在新系統中重新創造他們的能力。
不止國外，國内也針對生成式AI的安全防禦快馬加鞭。
瑞萊智慧便是其中之一，他們的策略是 " 用 AI 檢測 AI"。
瑞萊智慧 RealAI 于 2018 年 7 月依托清華大學人工智能研究院發起設立，面向城市治理、金融、教育科研、智能汽車等行業場景，提供以通用 AI 模型、AI 安全爲核心能力的 AI 平台産品與行業解決方案。
瑞萊智慧 RealAI 聯合創始人 & 算法科學家蕭子豪告訴「甲子光年」，目前對于 AI 換臉技術有兩種主流方法，一種是識别視頻是否有編輯痕迹，如液化、磨皮等均會留下特殊的編輯痕迹；一種是判斷視頻内容是否違背常識。此前，谷歌 Gemini 1.5 便用第二種方法 " 拆台 "Sora，指出 Sora 生成視頻違背物理常識。
不過，蕭子豪表示，谷歌 Gemini 基于人類反饋訓練，這也間接決定了其在識别 AI 生成視頻時存在一定局限性——人類無法識别的 Gemini 也無法識别。爲此，瑞萊智慧着重開發相應技術識别人眼無法識别的痕迹。
整體來看，生成式 AI 生成的虛假視頻檢測，或許需要一套完全不同于早年 "AI 換臉 " 的檢測技術。"AI 換臉的攻擊方法比較多，但攻擊區域比較小。但生成式 AI 的僞造方法還比較少，除了 Diffusion 外，其他技術路線做出來的視頻都不夠逼真，瑕疵會暴露在整幅畫面上。"
"AI 生成視頻的檢測和傳統的 AI 換臉會有不同，但究竟有多大不同還無法确定，需要看更多 Sora 的視頻示例才行。" 蕭子豪表示，團隊正在對生成式 AI 進行一次系統性梳理，預判可能的發展趨勢。從技術上看，Diffusion 模型生成的視頻會有特别的頻譜或噪點。
中科睿鑒也是數字安全領域的代表性玩家，已在該賽道深耕近 20 年。
Sora 的出現給 AI 視頻檢測帶來了更大不确定性，帶出了 " 真的假視頻 "（AI 生成視頻），" 假的假視頻 "（真人擺拍冒充 Sora 生成視頻）等現象，判真判假都很重要。更有網友戲稱：現在有真的真視頻、假的真視頻、真的假視頻、假的假視頻 ……
生成視頻與真實視頻檢測結果對比，圖片來源：中科睿鑒
對此，中科睿鑒也在内部做了大量有關 Sora 生成的視頻測試。結果顯示，目前 Sora 生成的視頻在技術上是能檢測的。
中科睿鑒公布的數據顯示，已實現針對 Sora 的生成視頻鑒定，實測準确率 85% 以上。除了 Sora，睿鑒生成視頻檢測引擎對十餘種其他主流技術路線生成的視頻，平均檢出率在 90% 以上。
中科睿鑒告訴「甲子光年」，面對生成模型技術原理突破帶來的成代際的快速躍升，檢測模型僅僅靠數據和算力的線性叠代是不夠應對的，建設和積累僞造檢測的 AI 底座和專用基礎模型能力至關重要。
國家監管方面也正在加快腳步。
2023 年發布的《最高人民法院、最高人民檢察院、公安部關于依法懲治網絡暴力違法犯罪的指導意見》已有明确規定，對 " 利用‘深度合成’等生成式人工智能技術發布違法信息 " 的情形予以從重處罰。
3 月 4 日下午，在全國政協十四屆二次會議上，全國政協委員、全國工商聯副主席、奇安信集團董事長齊向東建議，從供給側的角度可以鼓勵各行業頭部企業與專業安全廠商結成創新聯合體，在關鍵行業選取典型場景開展聯合創新，共同探索大模型安全創新産品在威脅檢測、漏洞挖掘、指揮研判等方面的應用，在實戰中推動 "AI+ 安全 " 進入越用越強的良性循環。
從需求側角度，齊向東表示，積極的政策引導是推動新事物落地應用、成長壯大的催化劑。建議像支持新能源汽車的發展一樣，支持 "AI+ 安全 " 發展，設置專項基金，對研發創新 "AI+ 安全 " 産品的企業，給予政府基金、貼息貸款或科研項目等支持；對率先取得技術突破，實現成果轉化的科研機構和企業給予獎勵；對積極使用相關技術、産品和服務的企業給予相應補貼，推動 "AI+ 安全 " 相關産業取得更多科技創新成果。
全國人大代表、農工黨中央委員、南昌大學元宇宙研究院院長闵衛東也提出，應當加快研究數字技術防範人工智能風險的相關建議。他建議，在人工智能飛速發展的同時，也要建立起相應的數字之 " 盾 "，拉緊人工智能的 " 缰繩 "。
全國人大代表、科大訊飛董事長劉慶峰則建議圍繞大模型的數據安全、隐私洩露、可靠性、知識産權等幾大關鍵方面制定法律法規，提升通用人工智能技術可靠性與規範性；并針對通用人工智能技術可能帶來的社會風險、倫理挑戰和人類文明變化進行開放式課題研究。
不過，一個殘酷的現實是——建立數字之 " 盾 " 的命題依然任重而道遠。
3. 一場永無止境的 " 追擊 "
2021 年世界人工智能大會上，瑞萊智慧發布了生成式人工智能内容檢測平台 DeepReal。
DeepReal 檢測演示，圖片來源：瑞萊智慧
彼時，Deepfakes 的主要形式是通過換臉公衆人物傳播虛假言論；黑産也在用 AI 換臉詐騙獲利。瑞萊智慧發布該産品的兩大初衷，就是過濾虛假信息和反詐騙。
" 近幾年 AI 發展太快，有時我們會高估它的速度，有時會低估，但大多數時候都在低估，" 蕭子豪說，"Sora 的出現超乎所有人的預期，我們在 2021 年制定的部分防禦策略，今天可能已經不适用了。"
2022 年，ChatGPT 引爆生成式 AI 的熱潮後，蕭子豪明顯感到客戶需求增加了。"AIGC 産品有其成熟和落地的周期，我們的檢測技術也受 AIGC 技術和産品周期的影響。" 蕭子豪透露，接下來，産品叠代的重心将是持續适應攻擊算法的演化。瑞萊智慧正在改進内部研發流程，從根本上提高适應的速度。
毋庸置疑，生成式 AI 的普及會給 AI 安全廠商乃至全社會帶來更大的挑戰。
不過，在蕭子豪看來，最大的挑戰不在于技術。"AIGC 産品生成的視頻人眼辨識的難度确實增加了，但從技術角度出發，AI 攻擊和防禦技術的 gap 總體并沒有質的加大。"
真正的挑戰在于，在客戶的實際場景中，AI安全廠商常常要 " 戴着鐐铐跳舞 "。真正将一套 AI 安全解決方案落地到客戶場景時，并不完全是技術比拼，首先要做的是把帳算清楚。" 客戶場景的數據特點、硬件條件以及具體的場景需求各有不同，我們需要考慮到方方面面。" 蕭子豪表示。
長遠來看，AI 安全更大的挑戰在于，社會是否真正意識到了 AI 安全的緊迫性。" 安全問題就像氣候問題一樣，如果大家現在隻看重發展，不重視安全問題，一直拖延下去，等到很嚴重的時候再行動可能就太遲了。"蕭子豪告訴「甲子光年」。
畢竟，" 防禦 " 相對于 " 攻擊 " 本就帶有了被動意味。攻擊技術變化多端，大多時候都是檢測技術在追趕攻擊技術。安全廠商和攻擊方之間，是一場永無止境的 " 追擊 "。
