2024 年 3 月 1 日，奇安信集團正式對外發布 AI 安全整體應對方案，包括 AI 安全框架，以及基于安全框架下的 AI 安全解決方案、AI 評估服務和安全檢測工具等。這是奇安信繼去年發布 QAX-GPT 安全機器人、大模型衛士之後，在 AI 領域的又一次重要戰略布局。它可以幫助企業看清 AI 安全全貌，提前洞察風險并采取應對措施，爲中國企業搶占人工智能戰略制高點築牢安全底座。
随着 AI 技術在各領域的廣泛應用，更多新的、更複雜的安全問題也逐漸凸顯，尤其是大語言模型（LLM）的快速發展，帶來了數據安全、模型安全，以及内容安全、AI 倫理問題等各類風險。這些安全風險不僅影響 AI 技術的效果，還可能爲用戶和企業造成經濟損失、聲譽影響等。然而，目前業内還未形成成熟完善的解決方案及産品，大部分屬于探索階段。如何發現 AI 安全隐患，保護 AI 安全，已經成爲國家及全行業當前亟待解決的問題。
奇安信此次發布的 AI 安全整體應對方案，包括了 AI 安全框架，以及基于安全框架下的 AI 安全解決方案、AI 評估服務和安全檢測工具等幾個部分。
圖：AI 安全框架
其中，AI 安全框架的核心是在框架級别指導模型構建全生命周期的安全體系規劃，以确保企業應用人工智能的安全性和可靠性。它定義了模型構建到運行的各個生命周期，分别爲數據管理，擴展 - 微調，模型驗證，擴展 -RAG，模型部署，模型運行，以及各個階段攻擊者的技戰術。而知識庫則細化到框架中每個技戰術的解讀，攻擊實例分析，關聯技戰術，以及具體的安全防護措施。
AI 安全解決方案，是覆蓋安全框架中模型生命周期的安全防護與檢測方案，涵蓋數據安全、模型風險檢測與評估、模型應用全場景防護。它針對大模型訓練、微調、驗證、部署和運行過程模型安全屬性不清等問題，通過對之前發布的大模型衛士和奇安天盾進行安全能力升級，再搭配本次發布的 AI 安全檢測工具，形成覆蓋全周期的安全檢測與防護能力，讓部署 AI 的企業做到合規情況心中有數，業務風險防患于未然。
圖：AI 安全評估服務 17 類檢測細項
而 AI 安全評估服務爲企業在構建大模型時提前進行風險評估。它涵蓋了提示詞注入、不安全的輸出處理、訓練數據中毒、拒絕服務模型、供應鏈漏洞、敏感信息洩露、不安全的插件設計、過度代理、越獄、洩露回放、雪球攻擊、目标劫持、幻覺問題、毒性生成、數據洩露、金絲雀詞洩露及數據重構共 17 類大模型特有的風險評估檢測項。
圖：AI 安全評估系統對模型智能安全評分的界面
AI 安全評估工具，作爲一款專門針對大語言模型的安全檢測評估系統，确保大模型在最後推向市場前進行一次安全 " 質檢 "。首先，模型開發企業使用該系統後，可在開發 LLM 相關的産品和服務時客觀地進行風險識别，構建更加安全、可靠、穩定的大模型應用；其次，部分企業在選用開源大模型或者購買第三方大模型後，通過使用 AI 安全評估工具，可對模型安全進行有效評估，避免真正進入生産環境後出現各類安全問題。
