對大模型進行量化、剪枝等壓縮操作，是部署時最常見不過的一環了。
不過，這個極限究竟有多大？
清華大學和哈工大的一項聯合研究給出的答案是：
90%。
他們提出了大模型 1bit 極限壓縮框架OneBit，首次實現大模型權重壓縮超越 90% 并保留大部分（83%）能力。
可以說，玩兒的就是 " 既要也要 "～
一起來看看。
大模型 1bit 量化方法來了
從剪枝、量化，到知識蒸餾、權重低秩分解，大模型已經可以實現壓縮四分之一權重而幾乎無損。
權重量化通常是指把大模型的參數轉化爲低位寬的表示，可以通過對充分訓練後的模型進行轉換（PTQ）或在訓練中引入量化步驟（QAT）來實現。
然而，現有量化方法在低于 3bit 時面臨嚴重的性能損失，這主要是由于：
現有的參數低位寬表示方法在 1bit 時存在嚴重的精度損失。基于 Round-To-Nearest 方法的參數以 1bit 表示時，其轉換的縮放系數 s 和零點 z 會失去實際意義。
現有的 1bit 模型結構沒有充分考慮到浮點精度的重要性。浮點參數的缺失可能影響模型計算過程的穩定性，嚴重降低其本身的學習能力。
爲了克服 1bit 超低位寬量化的阻礙，作者提出一種全新的 1bit 模型框架：OneBit，它包括全新的 1bit 線性層結構、基于 SVID 的參數初始化方法和基于量化感知知識蒸餾的深度遷移學習。
這種新的 1bit 模型量化方法能夠以極大的壓縮幅度、超低的空間占用和有限的計算成本，保留原模型絕大部分的能力。這對于實現大模型在 PC 端甚至智能手機上的部署意義非凡。
整體框架
OneBit 框架總體上可以包括：全新設計的 1bit 模型結構、基于原模型初始化量化模型參數的方法以及基于知識蒸餾的深度能力遷移。
這種全新設計的 1bit 模型結構能夠有效克服以往量化工作在 1bit 量化時嚴重的精度損失問題，并且在訓練、遷移過程中表現出出色的穩定性。
量化模型的初始化方法能爲知識蒸餾設置更好的起點，加速收斂的同時獲得更加的能力遷移效果。
1、1bit 模型結構
1bit 要求每個權重值隻能用 1bit 表示，所以最多隻有兩種可能的狀态。
作者選用 ± 1 作爲這兩種狀态，好處就是，它代表了數字系統中的兩種符号、功能更加完備，同時可以通過 Sign ( · ) 函數方便地獲得。
作者的 1bit 模型結構是通過把 FP16 模型的所有線性層（嵌入層和 lm_head 除外）替換爲 1bit 線性層實現的。
這裏的 1bit 線性層除通過 Sign ( · ) 函數獲得的 1bit 權重之外，還包括另外兩個關鍵組件— FP16 精度的值向量。
△FP16 線性層與 OneBit 線性層的對比
這種設計不僅保持了原始權重矩陣的高秩，而且通過值向量提供了必要的浮點精度，對保證穩定且高質量的學習過程很有意義。
從上圖可以看出，隻有值向量 g 和 h 保持 FP16 格式，而權重矩陣則全部由 ± 1 組成。
作者通過一個例子可以一觀 OneBit 的壓縮能力。
假設壓縮一個 40964096 的 FP16 線性層，OneBit 需要一個 40964096 的 1bit 矩陣和兩個 4096*1 的 FP16 值向量。
這裏面總的位數爲 16,908,288，總的參數個數爲 16,785,408，平均每個參數占用僅僅約 1.0073 bit。
這樣的壓縮幅度是空前的，可以說是真正的 1bit LLM。
2、參數初始化和遷移學習
爲了利用充分訓練好的原模型更好地初始化量化後的模型，作者提出一種新的參數矩陣分解方法，稱爲 " 值 - 符号獨立的矩陣分解（SVID）"。
這一矩陣分解方法把符号和絕對值分開，并把絕對值進行秩 -1 近似，其逼近原矩陣參數的方式可以表示成：
秩 -1 近似可以通過常用矩陣分解方法實現，例如奇異值分解（SVD）和非負矩陣分解（NMF）。
作者在數學上給出，這種 SVID 方法可以通過交換運算次序來和 1bit 模型框架相匹配，進而實現參數初始化。
此外，符号矩陣在分解過程中對近似原矩陣的貢獻也被證明，詳情見論文。
作者認爲，解決大模型超低位寬量化的有效途徑可能是量化感知訓練 QAT。
因此，在 SVID 給出量化模型的參數起點後，作者把原模型作爲教師模型并通過知識蒸餾從中學習。
具體而言，學生模型主要接受教師模型的 logits 和 hidden state 的指導。
訓練時，值向量和參數矩陣的值會被更新，而在部署時，則可以直接使用量化後的 1bit 參數矩陣進行計算。
模型越大，效果越好
作者選擇的基線是 FP16 Transformer、GPTQ、LLM-QAT 和 OmniQuant。
後三個都屬于量化領域中經典的強基線，特别是 OmniQuant 是自作者之前最強的 2bit 量化方法。
由于目前還沒有 1bit 權重量化的研究，作者隻對 OneBit 框架使用 1bit 權重量化，而對其他方法采取 2bit 量化設置。
對于蒸餾數據，作者仿照 LLM-QAT 利用教師模型自采樣的方式産生數據。
作者從 1.3B 到 13B 不同大小、OPT 和 LLaMA-1/2 不同系列的模型來證明 OneBit 的有效性。在評價指标上，使用驗證集的困惑度和常識推理的 Zero-shot 準确度。詳情見論文。
上表展示了 OneBit 相比于其他方法在 1bit 量化時的優勢。值得注意的是，模型越大時，OneBit 效果往往越好。
随着模型規模增大，OneBit 量化模型降低的困惑度比 FP16 模型降低的困惑度要多。
以下是幾種不同小模型的常識推理、世界知識和空間占用情況：
作者還比較了幾種不同類型小模型的大小和實際能力。
作者發現，盡管 OneBit-7B 平均位寬最小、占用的空間最小、訓練的步數也相對少，但它在常識推理能力上不遜于其他模型。
同時作者也發現，OneBit-7B 模型在社會科學領域出現較嚴重的知識遺忘。
△FP16 線性層與 OneBit 線性層的對比一個 OneBit-7B 指令微調後的文本生成例子
上圖還展示了一個 OneBit-7B 指令微調後的文本生成例子。可見，OneBit-7B 有效地受到了 SFT 階段的能力增益，可以比較流暢地生成文本，盡管總參數隻有 1.3GB（與 FP16 的 0.6B 模型相當）。總的來說，OneBit-7B 展示出了其實際應用價值。
分析與讨論
作者展示了 OneBit 對不同規模 LLaMA 模型的壓縮比，可以看出，OneBit 對模型的壓縮比均超過驚人的 90%。
特别是，随着模型增大，OneBit 的壓縮比越高。
這顯示出作者方法在更大模型上的優勢：以更高的壓縮比獲得更大的邊際收益（困惑度）。此外，作者的方法在大小和性能之間做到了很好的權衡。
1bit 量化模型在計算上具有優勢，意義十分重大。參數的純二進制表示，不但可以節省大量的空間，還能降低矩陣乘法對硬件的要求。
高精度模型中矩陣乘法的元素相乘可以被變成高效的位運算，隻需位賦值和加法就可以完成矩陣乘積，非常有應用前景。
此外，作者的方法在訓練過程中保持了出色的穩定學習能力。
事實上，二值網絡訓練的不穩定問題、對超參數的敏感性和收斂困難一直受到研究人員關注。
作者分析了高精度值向量在促進模型穩定收斂過程中的重要意義。
有前人工作提出過 1bit 模型架構并用于從頭訓練模型（如 BitNet [ 1 ] ），但它對超參數敏感并且難以從充分訓練的高精度模型中遷移學習。作者也嘗試了 BitNet 在知識蒸餾中的表現，發現其訓練還不夠穩定。
總結
作者提出了一種用于 1bit 權重量化的模型結構和相應的參數初始化方法。
在各種大小和系列的模型上進行的廣泛實驗表明，OneBit 在代表性的強基線上具有明顯的優勢，并實現了模型大小與性能之間的良好折中。
此外，作者進一步分析了這種極低比特量化模型的能力和前景，并爲未來的研究提供了指導。
論文地址：
https://arxiv.org/pdf/2402.11295.pdf
