編者按:大模型的爆火,也對隐私和安全發起了挑戰。
1. 可信執行環境是什麽?大語言模型爲什麽需要它?
OpenAI 的 GPT 系列大語言模型(Large Language Mode,以下縮寫爲 LLM)的興起與應用,也帶來了諸如數據洩露、數據濫用、模型被攻擊和知識産權被竊取等一系列隐私和安全風險或挑戰。
可信執行環境(Trusted Execution Environment,以下縮寫爲 TEE)是一項基于軟硬件組合創建安全執行環境,能夠更好地确保計算和數據處理機密性和完整性。其關鍵機制爲:
安全隔離:通過硬件加密和内存隔離等硬件隔離技術,将敏感數據和關鍵代碼與其他應用及操作系統相隔離,從而确保它們即使在系統其他部分被攻擊或受到惡意軟件影響時也能夠得到更好的保護。
安全驗證:在啓動過程中進行身份驗證和完整性檢查,确保隻有經過授權的代碼和數據可以在其中運行,以此防止惡意軟件或未經授權的訪問。
安全執行環境:提供包含加密算法、安全協議和密鑰管理等防護功能的執行環境,用于處理敏感數據和執行關鍵算法,以增強數據在執行過程中的保密性和完整性。
TEE 與 LLM 可在多行業、多場景融合,TEE 可用于爲 LLM 提供頗具商業落地價值的隐私和數據保護創新解決方案。
2. LLM 與 TEE 的融合需求
LLM 在許多行業的不同場景都有着廣泛應用,例如金融行業的風險評估和交易分析,醫療保健領域的醫學圖像識别、病曆紀錄和疾病預測,以及法律和合規行業的法律咨詢、合同審查和文書處理等。
這些行業或場景中涉及到的數據多爲重要敏感的交易數據或個人數據,必須得到有效保護。
将 TEE 與 LLM 融合,有助于在這類場景中更好地保障數據在 LLM 模型訓練和推理過程中的保密性。
訓練階段,TEE 中的數據處理都處于加密狀态;推理階段,TEE 則可保護用戶輸入和模型結果的隐私。
同時,其硬件隔離和安全驗證機制可以更有效地防止未經授權的訪問和攻擊,增強模型運行時的安全性。
3. TEE 與 LLM 融合的挑戰:資源和性能限制
資源限制:TEE 的計算資源和存儲空間通常都非常有限,LLM 龐大的模型參數和計算需求可能會超出一般 TEE 的能力範圍。
性能下降:I/O 數據的加密和安全計算操作會引入額外的計算開銷,導緻模型訓練和推理性能有一定程度下降。基于算法的解決方案可減少模型規模和計算需求,以适應 TEE 的資源限制,但 CPU 仍會成爲制約 LLM 訓練的算力瓶頸。
4. 基于英特爾 ® 平台的解決方案:加速 TEE 與 LLM 融合應用
4.1 基于英特爾 ® SGX/TDX1 的 TEE 解決方案
英特爾自第三代英特爾 ® 至強 ® 可擴展處理器開始内置英特爾 ® 軟件防護擴展(英特爾 ® SGX)技術,其安全飛地的容量最多可達單顆 CPU 512GB,雙路共計 1TB 容量,可滿足目前千億大模型的執行空間需求。
此外,該技術提供支持的機密計算可實現應用層、虛拟機 ( VM ) 、容器和功能層的數據隔離。無論是在雲端、邊緣還是本地環境,都能确保計算與數據始終在私密性和安全性上獲得更全面的保護,以免暴露給雲服務提供商、未經授權的管理員和操作系統,甚至是特權應用。
另一方面,英特爾 ® Trust Domain Extension(英特爾 ® TDX)可将客戶機操作系統和虛拟機應用與雲端主機、系統管理程序和平台的其他虛拟機隔離開來。
它的信任邊界較英特爾 ® SGX 應用層的隔離邊界更大,使受其保護的機密虛拟機比基于英特爾 ® SGX 的安全飛地的應用更易于進行大規模部署和管理,在部署 LLM 這類複雜應用時,TDX 在易用性上更具優勢。
此外,今年推出的全新第四代英特爾 ® 至強 ® 可擴展處理器内置英特爾 ® AMX,可大幅提升矩陣運算性能,而英特爾 ® SGX/TDX 也可爲英特爾 ® AMX、英特爾 ® DL Boost 等計算指令提供支持,進而爲 TEE 中的大模型賦予快速落地 + 優化性能的雙重優勢。
△圖 1. SGX/TDX 的可信邊界
4.1.1. 大語言模型推理
使用私有數據進行個性化訓練的大模型不僅包含私有數據信息,其查詢本身也具有隐私性,尤其是基于邊端的非安全環境部署。
基于英特爾 ® SGX/TDX 的 TEE 可爲大模型提供更安全的運行環境,在數據上傳雲端前,查詢可先通過客戶端對傳輸内容加密,雲端隻需在英特爾 ® SGX/TDX 中解密查詢問題,然後輸入大模型的推理服務中,并将所得結果在雲端的 TEE 中加密後傳輸回本地客戶端。
在整個工作流程中,客戶端以外的數據和運行态程序均處于密态環境當中,效率遠遠高于其他基于純密碼學的解決方案。
目前像 LLAMA 7B、ChatGLM 6B 等模型都可以在該 TEE 方案上滿足實時可交互性能的運行。
圖 2 展示了使用 LLM 部署知識問答的參考設計。
基于英特爾 ® SGX/TDX 的 TEE 爲實際部署 LLM 中的自有知識産權保護提供了一套完整的方案,優化整個模型在查詢、傳輸和推理過程中的安全保護。
△圖 2. 基于 TEE 的大語言模型私密問答
4.1.2. 聯邦學習
借助基于 TEE 的聯邦學習解決方案 2 (見圖 3),就可在多機構之間實現基于 NLP 的深度學習,例如使用 BERT 的命名體識别。在金融和醫療等行業提升準确性,實現多機構數據互通,同時更好避免數據洩露。
此方案中每個參與方包含一個 Avalon3 管理模塊和 Gramine 工作負載,均運行在英特爾 ® SGX 的安全飛地中,在管理模塊彼此間的遠程認證完成執行後,即可啓動聯邦學習過程,參與方在本地使用各自的數據集進行訓練,然後将梯度上傳至聚合方,聚合方進行聚合後将平均梯度下發至各參與方,以繼續進行下一輪訓練。
對比圖 4 所示的 BERT + CRF 模型 4 ,此方案可以在強化隐私保護的同時,讓性能損失維持在 50% 以下 2 。
△圖 3. 基于 TEE 的聯邦學習
圖 4. BERT + CRF 模型 4
4.2. BigDL:端到端大模型和 TEE 融合的方案
據行業用戶反饋,LLM 在端到端應用中的痛點包括:
軟件棧複雜,難以确保端到端應用的安全。LLM 的訓練和推理常依賴較多的軟件棧、服務和硬件。爲保護用戶數據和模型産權,需确保每個環節的安全性(不同硬件、運行環境、網絡和存儲等)。
計算量大,且對性能敏感。LLM 的計算量非常大,需引入足夠多的性能優化。但是,不同模型、平台和軟件棧需要使用不同的優化方案,要在特定平台上實現更理想的性能,需要長時間的性能調優。
爲解決這些痛點,由英特爾主導的開源項目 BigDL,近期就推出了針對 LLM 的隐私保護方案,其兩大主要功能爲:
提供端到端的安全保護:在不修改代碼的情況下,爲單機和分布式的 LLM 應用提供端到端的安全保護功能。具體包括,基于英特爾 ® SGX/TDX 的 TEE、遠程證明、統一的密鑰管理接口和透明的加解密 API 等。
實現一站式性能優化:BigDL Nano 提供的針對 LLM 的一站式性能優化方案,可讓現有 LLM 應用在幾乎不用修改代碼的情況下受益于英特爾 ® AMX、英特爾 ® AVX-512 和英特爾 ® Extension for PyTorch。同時,用戶還可利用 BigDL Nano 提供的 LLM API,快速構建應用。
△圖 5. BigDL 端到端安全的大模型方案
如圖 6 所示,在應用了 PPML(Privacy Preserving Machine Learning,隐私保護的機器學習)提供的安全技術後,由于更強的安全和隐私保護會帶來額外開銷,因此端到端應用性能會略有下降;但應用了 BigDL Nano 提供的優化功能後,端到端的性能得到了顯著改善 *,總體性能甚至高于沒有任何保護的明文性能。
△圖 6. BigDL PPML + Nano 端到端性能損失情況
目前,該方案已經開源,并開始陸續交付給行業客戶進行測試和集成 5 。
5. 未來趨勢
TEE 提供了隐私保護和數據安全防護功能的創新解決方案,将在 LLM 實際落地過程中扮演重要角色。
通過将二者融合,可更好地保障數據在訓練和推理過程中的保密性,增強對未經授權訪問和模型結果篡改的防禦。
然而,在 TEE 中保護用戶隐私的同時,需要平衡性能需求,随着大模型對于計算需求的大幅提升,算力可能會執行在異構硬件上,TEE 和異構硬件的結合将成爲未來發展趨勢。
随着 CPU 性能的提升以及内置 AI 加速技術的升級和更新,在方便部署的場景下,CPU 會是大模型推理和 TEE 結合的首選,在訓練的場景下,基于 CPU 的 TEE 結合異構硬件的加密支持,則會是大模型訓練甚至大模型聯邦訓練的技術方向。
英特爾将一如既往地以軟硬結合的産品技術組合促進開發者參與,推動 LLM 與 TEE 的融合。
作者簡介:
英特爾公司 AI 架構師俞巍,英特爾公司平台安全資深架構師李志強,英特爾公司安全軟件研發工程師李青青,英特爾公司軟件架構師龔奇源,都在從事 AI 和 SGX/TDX 相關工作。
産品和性能信息:
1 SGX/TDX: https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/innovation-data-protection-with-security-engines.html
2 Wei Yu. et al. 2022, TEE based Cross-silo Trustworthy Federated Learning Infrastructure, FL-IJCAI ’ 22
3 https://github.com/hyperledger-archives/avalon
4 Souza, F., Nogueira, R. and Lotufo, R. 2020, Portuguese Named Entity Recognition using Bert-CRF, arXiv.org(請參見 https://arxiv.org/pdf/1909.10649.pdf)
5 https://github.com/intel-analytics/BigDL/tree/main/python/llm
性能優化效果與具體平台、模型和環境有關