Gmail應用RETVec可提高對垃圾郵件分類的正确性

Gmail、YouTube、Google Play 等應用系統都依賴文本分類模型來識别有害内容，包括釣魚攻擊、不适當的評論内容和垃圾郵件。機器學習模型很難對此類文本進行精準分類，因此攻擊者可以使用對抗文本操縱來主動繞過分類器。比如添加不可見的字符、關鍵字填充等來繞過防護。

爲使文本分類器更加高效，谷歌研究人員開發一種新型多語言的文本向量化器—— RETVec，以幫助模型實現最佳的分類性能和減少計算成本。此外，研究人員還将 RETVec 應用于 Gmail 實際場景。

使用 RETVec 增強 Gmail 垃圾郵件分類器

圖 1 基于 RETVec 的 Gmail 垃圾郵件過濾器改進

近年來，谷歌将 RETVec 廣泛應用于谷歌的安全和反濫用應用中以評估其有用性和有效性。用 RETVec 替換 Gmail 垃圾郵件分類器之前使用的文本向量化器可以将垃圾郵件檢測準确率在基準上改進 38%，将假陽性減少 19.4%。此外，使用 RETVec 将模型的 TPU 使用減少 83%。

RETVec 的優勢

RETVec 提出一種新型架構，融合了高度緊湊的字符編碼器、增強驅動的訓練和度量學習 ( Metric Learning ) 。RETVec 可以應用于不同語言和所有 UTF-8 字符，無需進行文本處理，使得其适用于設備級、網頁級和大型文本分類部署。使用 RETVec 訓練的模型具有更快的推理速度。

模型更小因此計算成本和延遲更低，這對大規模應用和設備級模型至關重要。

圖 2 RETVec 架構圖

使用 RETVec 訓練的模型還可以無縫轉化爲适用于移動和邊緣設備的 TFLite，對于 web 應用模型部署，研究人員還提供了 TensorflowJS 層的實現。

圖 3 使用不同向量化器訓練的文本分類模型

RETVec 是一種新型的開源文本向量化器，用戶可以構建更加彈性和高效的服務器端和設備級文本分類器，Gmail 垃圾郵件過濾器使用該模型可以幫助 Gmail 識别和過濾惡意郵件内容。