"AI 換臉 " 相信大家都不陌生。隻需要一張照片,通過人工智能深度合成技術,任何人都能成爲視頻中的主人公,甚至連表情和動作都能以假亂真。然而,這項新技術,卻讓一些人産生了不良想法,杭州的虞某就利用 "AI 換臉 " 軟件生成大量淫穢視頻進行傳播,被換臉的有不少女明星等公衆人物,虞某甚至還提供換臉定制服務。
"AI 換臉 " 僞造女明星涉黃視頻
2022 年 8 月,杭州市蕭山警方在網上巡查中獲取一條線索,轄區内有人利用 AI 技術制作淫穢視頻在網上進行大量傳播,警方依法對此立案偵查,并迅速抓獲了犯罪嫌疑人虞某,随後該案被移送至杭州市蕭山區人民檢察院審查起訴。
杭州市蕭山區人民檢察院檢察委員會專職委員章蕾表示,虞某通過在互聯網上發現了有一個 AI 換臉的技術軟件,他自己通過學習這個軟件,掌握了使用技能,從此開始利用 AI 換臉的技術去牟利。
檢察機關調查發現,虞某從 2020 年開始接觸 "AI 換臉 " 軟件,起初,他想通過在網上推廣該項技術以及相關的軟件來獲利,但是,一段時間過後關注他的人卻很少,一次偶然的機會,虞某看到有人在社交群組中發布淫穢信息來吸引他人關注,于是他也動起了類似念頭。
杭州市蕭山區人民檢察院第七檢察部檢察官助理陳禹堯表示,他可能發現僅僅通過販賣軟件的方式,可能很難獲取到一般人的關注。因爲他在網絡上看到有一些網絡群組在傳播一些淫穢色情視頻,他就想到說通過換臉軟件制作一些淫穢色情視頻,然後先放在互聯網群組上,從而吸引流量,吸引大家來關注這個軟件或者換臉視頻。
據虞某供述,爲了吸引更多的關注和流量,他在社交軟件上創建了 " 浏覽群 " 和 " 私人定制群 "," 浏覽群 " 主要用來傳播 "AI 換臉 " 的淫穢視頻吸引、招攬觀看者,其中包括一些經過虞某換臉的視頻,當有人提出 " 定制換臉 " 的需求,虞某會将這些人引入所謂 " 私人定制群 "。
杭州市蕭山區人民檢察院第七檢察部檢察官助理陳禹堯表示,通過收取入(浏覽)群費用的方式,一個 198 元、298 元或者 398 元。另外一個就是虞某還提供人臉視頻定制服務,相當于客戶如果需要定制一個換臉的視頻,他可以根據時長,根據視頻的難度大小收取相應的費用。
據蕭山檢察,截至案發,公安機關共在虞某某所組建的公開群内查獲淫穢視頻 1200 餘部、圖片 1600 餘張。
私人定制→ " 隻要能看到臉的都能換 "
據檢察機關調查,虞某一邊通過傳播換臉的淫穢視頻來 " 吸粉引流 ",同時又通過出售 "AI 換臉 " 軟件和提供所謂 "AI 換臉 " 的私人定制服務,在不到半年的時間裏就獲利數萬元。而被 "AI 換臉 " 侵害人臉敏感信息的受害者,不僅包括多位知名公衆人物,還有很多不特定的普通人。
據檢察機關調查,虞某根據 "AI 換臉 " 視頻的長度、清晰度等難易條件,按照 5 分鍾 300 元、10 分鍾 500 元等标準來收取定制的費用。虞某聲稱," 隻要能看到臉的都能換 "。
杭州市蕭山區人民檢察院第七檢察部檢察官助理陳禹堯表示,首先這個價格也是他自己定的,再一個初級、中級、高級,可能在這個視頻最後完成換臉的效果上有一定的區别。有些人可能一開始購買了初級的教程,初級的一些素材和材料,發現最後達到的效果不能達到他所期望的效果,那麽有可能會繼續付費去購買一些高級的視頻,包括高級教程。
杭州市蕭山區人民檢察院檢察委員會專職委員章蕾表示,他通過 VIP 定制,就是客戶提要求 " 我今天想要把臉換成是誰的臉,你幫我定制一下,我支付相應的報酬 ",通過這樣牟利的方式。
" 定制 " 換臉對象既有公衆人物也有普通人
據檢察機關了解,虞某的客戶要求 " 定制 " 換臉的對象不僅包括一些知名的公衆人物,也有生活中的普通人,其中就有人提出想要定制自己暗戀女生的換臉視頻,而對于這些未經同意就擅自侵犯他人敏感信息的違法行爲,虞某也是來者不拒。
另外,虞某除了進行定制化的換臉服務,還将 "AI 換臉 " 軟件分爲初級、中級和高級三個等級進行銷售并傳授使用教程,同時還提供網上非法收集的他人人臉素材。
杭州市蕭山區人民檢察院第七檢察部檢察官助理陳禹堯表示,這個軟件的入門的門檻其實是比較低的,它的操作相當于通過一些已經設定好了的運行的程序和代碼,相當于我隻要按照你的步驟,把需要進行換臉的視頻放在它規定的一個文件夾裏,或者是按照步驟來進行操作,它自動對你所要替換的人臉視頻裏面的人臉信息,或者照片裏的信息是自動提取,自動建立學習模型進行學習,然後下一步是自動進行合成的。
據檢察機關收集的證據顯示,虞某創建的衆多社交群組中,最少的成員 95 人,最多的成員達 2053 人,通過銷售換臉淫穢視頻以及定制換臉淫穢視頻等違法行爲,虞某先後收取口令紅包 200 餘次,總金額共計 6 萬餘元。
除追究刑責,檢察機關還提起民事公益訴訟
檢察機關認爲,作爲 "AI 換臉 " 技術的使用者,虞某通過傳播侵犯公民個人信息的方法和手段,使得更多 " 不特定主體 " 個人信息被侵害的社會危險性進一步擴大。因此,杭州市蕭山區人民檢察院在依法追究虞某刑事責任外,同時還提起民事公益訴訟。2023 年 7 月,杭州互聯網法院對這起公益訴訟案進行審理,這也是我國首例關于 "AI 換臉 " 侵犯公民個人信息公益訴訟案的審理判決。
2023 年 4 月 14 日,杭州蕭山區人民檢察院決定對虞某 "AI 換臉 " 侵犯公民個人信息公益訴訟案立案,當日履行公告程序,公告期滿,無适格主體提起訴訟。6 月 9 日,檢察機關依法對虞某提起民事公益訴訟。7 月 28 日,該案在杭州互聯網法院一審公開審理。
在庭審中,檢察機關出示了虞某侵犯公民個人信息、損害社會公共利益的詳細證據,包括公安機關對虞某所作的訊問、詢問筆錄、勘驗記錄、檢查記錄、鑒定意見,以及淫穢視頻 1200 多部、圖片 1600 多張等電子數據。
杭州互聯網法院互聯網審判第一庭庭長肖芄表示,過去我們常常認爲眼見爲實,耳聽爲實,但是随着深度合成技術以及新技術的運用,我們眼見也不一定爲實,新技術的不當應用或者是一種濫用,實際上沖擊了我們社會公衆主體相互之間的信任關系,特别是在互聯網空間這樣一種建立起來的信任關系。那麽對于這種信任關系、社會關系的一種侵害,其實本身也是對社會秩序的一種損害。
杭州互聯網法院經審理認爲,虞某利用 "AI 換臉 " 技術侵犯公民個人信息的違法事實确鑿,因此支持檢察機關作爲公益訴訟起訴人的全部訴訟請求:判令被告虞某删除非法獲取的個人信息,公開賠禮道歉、消除影響并賠償損失共 60000 元,這些款項将專門用于個人信息保護、人臉深度合成技術不當應用的治理等公益事項。
杭州互聯網法院常務副院長朱敏明表示,任何一項新技術,首先這個技術它總是有中立性的,那麽在技術本身我們是持接納支持的這種态度,但是技術開發應用的目的,它必須是有利于全人類的公益,不能是爲了這個技術,用于個人的非法牟利,然後侵犯其他公民、集體、國家、社會的合法權益,一旦越界了就要承擔相應的責任。那麽這個案子中因爲由檢察院來提起公益訴訟,然後法院來依法審判,充分發揮審判司法職能對新技術的規範。
技術無善惡但有邊界 須在法律規制内使用
2023 年 11 月,杭州市蕭山區人民法院判決被告人虞某犯制作、傳播淫穢物品牟利罪,判處有期徒刑七年三個月,并處罰金 6 萬元。
" 僅憑幾張照片,任何人都可能成爲受害者。" 從網絡主播換臉女明星直播帶貨,再到換臉被嫁接到淫穢視頻中,濫用 "AI 換臉 " 技術實施各類侵犯個人信息的行爲時有發生,甚至在灰色領域甚至違法犯罪領域濫用。那麽,"AI 換臉 " 技術的法律邊界在哪裏,又該如何規範和治理呢?
杭州互聯網法院互聯網審判第一庭庭長肖芄表示,我們國家的民法典對于侵害他人,通過深度僞造方式侵害他人人身權益是有明确的規定的,禁止通過深度合成的方式去侵害公民的人身财産權益,這是民法典的規定。随着技術的發展,個人信息保護法對于深度合成也有相關的規定,因爲不管是面部的一個替換還是聲音的替換,它實際上都需要收集公民的個人信息,那麽這些都是屬于個人信息保護法特别保護的敏感的生物識别信息。
我國目前除了 " 民法典 "" 個人信息保護法 ",2023 年正式實施的《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》中也明确規定,強調使用者不得利用深度合成服務從事法律、行政法規禁止的活動,要求深度合成服務提供者要落實信息安全主體責任。
注意!"AI 換臉 " 用來搞笑也存法律風險
法官認爲, "AI 換臉 " 技術即便隻是用來搞笑或者制作惡搞照片,也有可能涉及侵犯肖像權、名譽權,造成嚴重後果的,還可能構成侮辱罪或者诽謗罪。
而 "AI 換臉 " 技術的濫用,看似是對被侵害的個人的人格權、肖像權、名譽權、隐私權的侵害,實際上更是對社會公序良俗的踐踏,是對穩定的社會環境和清朗的網絡空間的挑戰。
杭州互聯網法院常務副院長朱敏明表示,一項新技術的産生往往專門針對這項新技術的法律法規會有所滞後,但是總的來說我們現在國家整個的法治體系已經相當完善,每個人你哪些行爲是可以做的,哪些行爲是不可以做的,它的原則性規定都是已經比較健全了。我想正常人都是能夠判斷得出來的,你去運用這項新技術,你的目的是有益于整個人類,有利于就是人民生活水平的提升,福祉的提升,還是說爲了個人謀取不當的利益。那麽我就想把握好這個界限,這些新技術都是能夠爲我們美好生活服務的。