一、百模大戰：" 商戰 " 何太急？
1. 事件回顧
2023 年 10 月 16 日，有家長發現在科大訊飛學習機中，一篇标題爲《蔺相如》作文含有诋毀偉人、扭曲曆史等違背主流價值觀的内容。有自媒體稱，這是一篇早在 2015 年就發布于互聯網的文章，後由第三方引入訊飛學習機，隻是科大訊飛未能發現并删除，直到事發前仍能在學習機文庫中搜索到的上述問題作文 [ 1 ] 。
據科大訊飛回應，發現問題後，已第一時間核實并下架了該作文，同時将該第三方内容全部下線，并處分了公司相關負責人，同時在内部制定了更加嚴格的内容審核機制，以确保今後杜絕此類問題。家長當日還專門發文，對科大訊飛的處理速度和态度表示了認可。
但事情卻沒有到此爲止。10 月 24 日，在科大訊飛異常重要的年度活動（2023 科大訊飛全球 1024 開發者節）上，這條 " 舊聞 " 突然再度發酵，引發了鋪天蓋地的輿情，一時間甚至出現了諸如 " 漢 X""XX 資本家 ""XX 走狗 " 等上綱上線的極端污名化言論，将這家一個月前才與教育部簽署合作協議的中國科技企業，推上了輿論的風口浪尖。
10 月 24 日下午，科大訊飛（002230.SZ）股價跳水跌停。截至收盤，報 46.7 元 / 股，成交額超 53 億元，總市值蒸發約 120 億元。
有自媒體則撰文分析，科大訊飛取得了關鍵技術突破，有人害怕了 [ 2 ] 。科大訊飛董事長劉慶峰在接受媒體群訪時回應表示：相關輿情背後有幕後推手，害怕訊飛大模型遙遙領先。
2. 成因分析
按照科大訊飛的說法，" 毒教材 " 内容是第三方引入訊飛學習機的。正因爲互聯網上的内容良莠不齊，而 AI 公司又不斷在互聯網上抓取訓練數據，無論是内容審查過失，或是被人故意污染，結果都将可能導緻大語言模型生成有害内容。
這樣的現象，被稱爲數據投毒（Data Poisoning）。（筆者注：其實從英文原意可以看出，譯爲 " 數據中毒 " 更能體現原意，即凸顯 " 中毒 " 結果，而非 " 投毒 " 這一帶有主觀的動作，但考慮到約定俗成，本文仍使用 " 數據投毒 " 這一說法。）
二、污水之源：數據投毒是個啥？
1. 什麽是數據投毒
數據投毒是指有意或惡意地向數據集中引入虛假、惡意或有害的數據，利用訓練或者微調（fine-tuning）過程使得模型中毒，以操縱、損害或欺騙機器學習模型的性能和輸出結果。這種攻擊旨在特定階段操縱訓練數據（本文讨論的數據投毒亦系數據收集和數據預處理階段），使模型在後續的預測和決策中表現不佳或産生錯誤的結果。
打個比方，假設有一款高老莊 AI 模型，專注于生成減肥食譜，這個模型在訓練過程中使用了大量的互聯網上的食譜和營養信息作爲訓練數據，這些數據包括了數百種食材、烹饪方法、食品的熱量信息等。然後，黑客孫悟空進行了數據投毒，在高老莊模型的訓練數據中注入了虛假信息（比如将大量油炸食品标記爲低熱量），成功混入了模型的訓練數據集中。而網友豬八戒想通過高老莊 AI 模型獲得減肥食譜，此時高老莊 AI 模型因爲 " 被污染 " 過，生成了不準确的飲食建議，最終導緻減肥失敗。
2016 年曾經發生過一起真實的數據投毒事件。當年微軟發布了一款聊天機器人 Tay，原本是一項有趣的實驗，旨在通過與網友對話學習人際交往技巧。然而，這個實驗在不到 24 小時内轉變爲一場噩夢。Tay 很快從一個友好、有趣的機器人變成了一個滿嘴髒話、充滿歧視和偏見的人工智能。原因是一些不良分子惡意濫用了這一機會，用不适當的言辭對 Tay 進行訓練，導緻對話數據集被污染。最終微軟被迫緊急下線 Tay，以制止它繼續學習和傳播不當内容。
2. 數據投毒的技術原理
（1）添加虛假數據：攻擊者可能向訓練數據中添加虛假或不準确的數據，以幹擾模型的訓練。例如上述 " 高老莊 AI 模型 " 的例子。
（2）數據偏差：攻擊者可能故意引入數據偏差，以使模型偏向某些特定類别或結果。例如，在一個圖像分類模型中，攻擊者可能提供大量特定類型的圖像，以使模型在該類别上表現良好，而在其他類别上表現糟糕。
（3）對抗性樣本：對抗性樣本是一種特殊類型的輸入數據，經過微小修改後，可以導緻模型産生錯誤的輸出。攻擊者可以生成對抗性樣本，并将其添加到訓練數據中，使模型容易受到攻擊。例如，在圖像分類中，對抗性樣本可能導緻模型将一隻貓誤分類爲一隻狗。
（4）數據污染：數據污染是指通過向數據中引入噪音或幹擾來降低數據質量。攻擊者可以故意污染訓練數據，使模型在處理幹淨數據時出現錯誤。例如，在語音識别模型中，添加噪音到音頻數據可能導緻模型錯誤地解釋語音。
（5）标簽錯誤：攻擊者可以更改或錯誤地标記訓練數據的标簽。這可能導緻模型學習不正确的關系。例如，在一個疾病診斷模型中，将健康圖像标記爲患病可能導緻模型産生錯誤的診斷。
三、毒壤之花：數據投毒有哪些結果影響？
數據投毒的危害有多大，作爲普通用戶，你或許覺得無足輕重。因爲在生成式 AI 的體驗中，即便有一天 AI 向你推薦 " 烹饪大熊貓 " 的減肥食譜，你肯定不會聽信，因爲那是衆所周知的國家保護動物；同樣，假如 AI 生圖軟件 " 指鹿爲馬 "，你也能基于生活常識，輕易識别錯誤。
但是，假如數據投毒發生在以下這些領域，你就不會覺得後果僅僅是 " 減肥失敗 " 而已了。
在自動駕駛汽車領域，可能導緻車輛産生錯誤的安全駕駛決策，如無法識别障礙物或紅綠燈，從而釀成嚴重的交通事故。
在智慧醫療診斷領域，可能會造成醫療圖像分析失誤，或者疾病診斷錯誤，嚴重危及患者性命。
在國家軍事安全領域，可能導緻對國家機密信息的入侵或破壞，危及國家安全，甚至誘導自主性武器錯誤發起攻擊，造成災難性後果。
而這些看似複雜高超的 " 投毒 " 技術手段，到底有多難實現？是否需要很大的成本？有技術專家自媒體作者查閱資料時發現，墨爾本大學和臉書 AI 實驗室于 2020 年底發表的一篇論文中提到：隻需要占比 0.006% 的惡意樣本，就可以有 50% 的概率完成數據投毒攻擊 [ 3 ] 。
看來這也有點過于輕而易舉了，在數據裏摻 " 一把沙子 "，就能壞掉 " 一大鍋好粥 "。
四、法内之地：數據投毒将承擔哪些法律責任？
1. 刑事責任
非法控制計算機信息系統罪：在數據預處理階段，如公司内部人員或外包方人員，利用接觸訓練數據和訓練流程之便，故意将中毒數據插入訓練集、控制數據标簽，甚至直接修改訓練數據，企圖實現 " 控制 "AI 模型生成有害結果，這樣的行爲可能涉嫌非法控制計算機信息系統罪。
2023 年 4 月，浙江警方破獲全國首例 " 投放木馬非法控制計算機信息系統案 "，涉案的黑灰産團夥便是在網絡平台内利用木馬控制程序對企業實施侵害。雖然這一案例與 AI 訓練數據投毒的技術場景不盡相同，但均系破壞性網絡攻擊行爲，均侵害了同一法益——即計算機信息系統的運行安全、計算機信息系統的保密性和控制性。
2. 民事責任
（1）侵犯生命健康權：用戶在使用 AI 模型過程中，因其基于對生成虛假信息的信賴，最終造成生命健康上的損害後果，有權基于用戶協議約定或《民法典》有關侵權法律規定，向 AI 模型研發企業提起民事訴訟，要求賠償損失。
（2）侵犯名譽權：如攻擊者向數據中注入虛假信息，如虛假指控、惡意陳述或诽謗性言論，旨在損害某個人或機構的名譽，亦将構成名譽侵權。
（3）侵犯知識産權：在攻擊者實施數據投毒行爲過程中，往往對數據進行篡改或操縱，從而侵犯了有關數據的知識産權，此外攻擊者亦可能會在此過程中擅自修改、複制或傳播受版權保護的數據，亦構成侵犯著作權。
3. 行政責任
（1）數據安全：對攻擊者而言，從事危害網絡安全的活動（包括提供數據投毒的程序或工具，或者爲他人從事數據投毒提供技術支持、廣告推廣、支付結算等幫助），根據《網絡安全法》第六十三條之規定，已涉及沒收違法所得、行政拘留、最高 100 萬元罰款的處罰責任；對于被數據投毒的 AI 企業而言，如存在違法未開展網絡安全認證、檢測、風險評估等活動，或者向社會發布系統漏洞、計算機病毒、網絡攻擊、網絡侵入等網絡安全信息的，根據《網絡安全法》第六十二條之規定，企業及負責人均有機會被處以罰款，并且将由有關主管部門責令暫停相關業務、停業整頓、關閉網站、吊銷相關業務許可證或者吊銷營業執照。
（2）廣告違規與不正當競争：攻擊者可能在廣告中使用虛假數據，例如虛構用戶評價、誇大産品性能或引入虛假推薦，以欺騙消費者，構成虛假廣告違規以及不正當競争違法，除了可能會面臨相應的消費者民事維權，還可能引發行政處罰。
五、貓鼠遊戲：如何有效應對數據投毒的風險？
1. 數據驗證和數據清洗
定期審查其訓練數據中的标簽，以确保其準确性。例如 OpenAI 公司在創建數據集時會通過特定的系統定期驗證數據，以确保每個标簽都準确無誤。OpenAI 借鑒了 Facebook 的做法，構建一個額外的 AI 安全過濾器，向人工智能提供有關暴力、仇恨、虐待等有害内容的實例，從而讓它學會識别相應内容。這樣的過濾器會被内置到 ChatGPT 中，以實現對相應有害内容的移除，确保數據的幹淨。
2. 加強内容審查
一方面在訓練階段，可以學習 OpenAI 公司，招聘人員來審查并分類處理從互聯網上獲取的、以及由 AI 自身生成的有害文本，繼續 " 投喂 " 給前述的 AI 安全過濾器學習。
另一方面在生成階段，與第三方内容審核平台合作，精準防控内容風險。目前，市場上已有一衆内容審查平台，可供采購此類服務。
3. 構建具有魯棒性的模型
通過多樣化訓練數據、特征工程以及異常檢測等方式，使 AI 模型在面對異常情況、幹擾、錯誤或攻擊時，依然保持穩定性和正确性。就像一輛 " 全天候自動适應 " 的智能汽車，能夠在各種不同的道路條件下（不管坦途或坑窪、天晴或雨雪）安全駕駛，也能夠處理某些突發小故障（如胎壓下降），總之可以适應各種變化條件以及異常情況，保持穩定、安全行駛。
4. 完善立法和制定标準
首先，從前述有關法律責任部分的分析，可以得知數據投毒行爲，沒有明确的法律條文加以規制，因此隻能從網絡安全、計算機網絡犯罪等層面，去實施監管。未來随着 " 百模大戰 " 走向成熟的發展定局，不難想象 AI 應用将走進千行百業，數據投毒的現象将日漸增多。鑒于該類行爲造成的危害後果不容小觑，法律規定更應該與時俱進，因應技術的發展進行調整和完善，厘清數據投毒的違法界限，制定相應法律後果以增加其違法成本。
其次，制定行業團體标準，明确界定數據投毒、惡意攻擊以及其他危害 AI 系統和用戶的行爲，促使科技向善，防止 AI 技術被濫用。在這方面，有鯉 LEGAL 團隊已積極參加到國家有關部門牽頭的人工智能合規标準的起草工作中，作爲起草人之一，亦将适時地增加有關數據投毒的相關内容。
5. 加強員工網絡安全培訓
數據投毒方式日漸隐蔽且多樣化，而網絡安全防範措施也在不斷升級，在這場 " 貓鼠遊戲 " 中，AI 企業應重視對員工的網絡安全教育，定期開展培訓，以幫助員工了解最新的網絡威脅和攻擊方式。同時制定清晰可執行的網絡安全政策，确保員工熟悉公司防範數據投毒的基本措施、如何安全地使用公司設備和網絡，以及如何識别潛在的數據投毒威脅。
