AI 大行其道的時代,網絡安全正面臨前所未有的威脅。
化身黑客的 AI 學會了自動化攻擊,還有相當高的成功率,伊利諾伊大學香槟分校研究團隊的最新研究顯示:GPT-4 能夠在閱讀 CVE 漏洞描述後,學會利用漏洞攻擊,成功率高達 87%。
既然攻擊方都與時俱進,用上 AI 新技術來搞破壞。
防禦方自然也不會坐以待斃,也在積極把 AI 大模型納入自己的反制招數裏,最近就有這樣一件大事:
今年剛剛完成 10 億融資的新生代網絡安全領軍企業長亭科技,聯手同爲清華系的 AI Infra 廠商趨境科技,共同發布新一代安全大模型解決方案,此次合作将長亭問津(ChaitinAI)安全大模型參數規模提升至超過千億,安全能力全方位大幅提升。
至此網絡安全行業邁入千億大模型時代。
AI 攻防戰,千億大模型帶來什麽改變
從百億到千億,大模型參數規模升級,究竟能給網絡安全帶來什麽改變?
網絡安全領域有兩個核心的指标:攻擊識别準确率、檢測時延。
在一個企業的網絡系統裏,每天都有各種各樣的訪問 / 調用請求,需要識别每一個請求是正常的業務還是惡意的攻擊。加入大模型後,能夠協助系統進行更快速、更準确的攻擊判斷。
舉個栗子。
在長亭科技 30 萬 + 自有的多類型攻擊樣本測評中,某國内頭部大模型攻擊識别率爲 48.3%,而通過長亭聯合趨境科技發布的千億參數的安全大模型解決方案,可以把成績提升到92.1%。
在另一個基于真實攻擊流量構建的私有數據集的測試中,問津(ChaitinAI)也成功把成績從 65.5% 提升到95.8%。
再拿對安全要求更高的金融企業舉例,交易行爲和數據對安全性要求極高,擁有複雜的網絡環境,同時由于在系統裏的各種交易行爲活動量大,通常會有海量的日志數據,而對應的攻擊手段也非常多樣。
某金融企業在一次網絡環境中出現異常行爲時,問津(ChaitinAI)安全大模型同樣秒級響應。
首先從海量日志數據中迅速提取對應的數據行爲并進行标準化處理,根據行爲模式研判屬于 APT 攻擊(Advanced Persistent Threat,高級長期威脅),同時提取攻擊行爲相關的關鍵資産,掃描其中的安全漏洞,明确威脅行爲來源。随後再對攻擊行爲流量、文件等進行分析,成功揪出背後僞裝成合法軟件的惡意工具包。
問津(ChaitinAI)在這次攻擊行爲中給出了精确的事件研判報告和處理對策,整個流程僅需 3 分鍾,MTTD (平均檢測時間)和 MTTR (平均響應時間),從原來的三十分鍾到數小時,減少到 10 分鍾以内,幫助該企業安全團隊迅速定位和決策,成功阻斷了 APT 攻擊的進⼀步滲透和破壞。
像這樣的提升,接下來還有……這麽多:
事件研判處理建議采納率提升
安全報告的内容生成質量評分提升
對于代碼的問題發現和檢測的準确率提升
漏洞修複建議的采納率提升
對于違法、有害、暴力、色情等不良内容的識别能力更強。即對不良内容的識别準确率、召回率提升
同一目标的滲透測試任務,大模型驅動的智能滲透測試的漏洞發現數量以及可真實利用數量提升
基于不同場景選擇合适工具 / 策略的準确率提升
綜合的輸出健壯性和穩定性,不同場景下輸出質量的波動率降低
Scaling Law 的威力,在垂直領域大模型上再一次得到驗證:
參數規模的數量級提升,會體現在模型的通用性、泛化能力上。再落實到應用場景上,就不隻是單點的指标突破,而是全方位提升了。
接下來的問題就是,過去安全行業怎麽不用千億大模型,是因爲不喜歡嗎?(狗頭)
破解效果、效率和成本的不可能三角
其實主要涉及安全檢測效果、用戶響應效率和私有部署成本,三者之間的矛盾。
安全行業對于檢測效果的追求永無止境,任何一個小小的安全漏洞很可能帶來巨大的損失。安全大模型依然遵循 Scaling Law,千億參數的模型相比于百億參數,安全效果進一步升級。
同時,網絡安全防護是 24 小時一刻也不能松懈的任務,需要不斷調用大模型進行推理。一旦檢測到攻擊事件,接下來的響應速度也非常關鍵。
此外,對于安全行業來說,數據的隐私性也極其重要,使用大模型需要在本地部署,并用特定數據進行訓練。而訓練和維護一個千億參數的模型,背後是巨大的計算資源和投入,成本動辄需要數百萬。
既要安全效果好、又要落地成本低、還要檢測效率高,安全大模型落地中的看似 " 不可能三角 ",被長亭和趨境聯手破解了。
AI Infra 新秀入局,拉低部署門檻
這是一個掌握垂直行業場景的公司與大模型技術公司合作的典型案例。
長亭科技是國内頂尖的網絡信息安全公司之一,專注爲企業級用戶提供智能、簡單、省心的安全防護産品和解決方案。
趨境科技則是一家 AI Infra 新秀,專注于構建和開發先進的大模型推理加速平台,爲企業和開發者提供高效、低成本的大語言模型推理服務。
趨境科技在不久前,聯合清華 KVCache.AI 團隊發布開源項目 "KTransformers (https://github.com/kvcache-ai/ktransformers)",利用 MoE 模型和長文本注意力算子的稀疏特性,采用異構劃分策略,大幅度提升了超大模型和超長文本的推理性能,降低了他們本地部署的門檻。
作爲項目的首個展示案例,使用 KTransformers ,隻需不到 12GB 的顯存和百餘 GB 的内存即可在本地運行 Mixtral 8x22B 和 DeepSeek-Coder-V2 等千億級大模型,達到數倍于 Llama.cpp 的性能。
這一技術使得千億大模型的本地使用成本降低了 10 倍以上。
另一方面,對于安全場景下同樣非常重要的長文本推理能力 KTransformers 同樣可以實現大幅度優化。
即便是長達 1M 的超長上下文,KTransformers 也可以在僅配備 24GB 顯存的設備上即可完成,生成速度達到 16.91 token/s,比 Llama.cpp 快 10 倍以上的同時維持了接近滿分的 " 大海撈針 "。
項目在 GitHub 上開源後,馬上被 Hugging Face 注意到,收獲了開源項目負責人 Lysandre Debut 的點贊,同時還在國内外社區裏引起很多讨論。
推出開源版本的同時,趨境科技也推出了高性能 KTransformers 商業版引擎和基于此的推理服務平台,通過高級内核優化和放置 / 并行策略,在開源版的基礎上推理能力更強,速度更快,同時也增加了針對企業級的高并發策略,更适合團隊 / 企業級用戶。
大模型落地千行百業必經之路
在 AI Infra 日益完善、大模型安全備受關注的行業背景下,同爲清華系的長亭科技也很快注意到趨境科技。
由于問津(ChaitinAI)安全大模型同樣具備參數和注意力兩方面的稀疏性,這與趨境科技的技術優勢十分貼切,雙方一拍即合:
采用 KTransformers 的技術策略對問津(ChaitinAI)安全大模型進行升級。
問津(ChaitinAI)安全千億大模型解決方案應運而生。
雙方聯手,不僅是技術實力的驗證,更是深入場景落地能力、方案交付能力的驗證。
大模型在各行業的快速落地,離不開行業場景公司和 AI Infra 公司的聯合。
大模型的安全性和可靠性一直是持續關注和優化的重點所在。這次的合作隻是一次創新試驗,是大模型技術發展的一個縮影。
更長遠來看,未來,随着 AI 技術的不斷發展和行業需求的日益旺盛,會有更多這樣的合作出現。
可以預見,這些合作将不僅局限于技術層面的創新,更将涉及到安全、倫理、治理等多個維度的探索和實踐,共同推動大模型一步步落到千行百業。
問津(ChaitinAI)千億大模型解決方案試用鏈接:https://jsj.top/f/lzjQag
問津官網:https://www.chaitin.cn/zh/chaitinAI
KTransformers 開源鏈接:https://github.com/kvcache-ai/ktransformers
趨境科技官網:https://approaching-ai.com/
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>