旋转量化：大模型低比特量化中的离群值克星

1. 先从离群值说起旋转量化到底在解决什么问题1.1 为什么同样量化有的模型崩得特别快很多人第一次接触旋转量化都会跟我一样先盯着这个名字发呆旋转跟量化有什么关系又不是做姿态识别模型权重还能转着圈量化吗其实它解决的是一个非常实际的问题——同样都是 int8、int4 量化为什么有些模型掉点不明显有些模型一压精度就直接碎掉答案多半出在“离群值”身上。我在做量化实验的早期习惯性地先打印模型每一层权重的分布。大部分层的分布是很漂亮的钟形曲线均值附近密集长尾很短。但如果你盯着 hidden state 那几层看会发现尾部并不干净。少数几个维度的激活值能比中位数大出十几倍甚至几十倍。这种情况在 7B、13B 这种大模型上尤其常见跟模型训练时的中间统计有关不是说“加个 LayerNorm 就好了”能解决的。量化本身做的事情是把原本连续的浮点权重和激活映射到有限的几个整数刻度上。假设一位模型里有个维度上的数值是 0.5另一个极端维度是 12.7按 4bit 量化动态范围就得覆盖 -12.7 到 12.7。分母一共只有 15 个刻度每一个刻度代表的步长就被那些极端值撑大了。于是 0.5 那个维度的有效信息被严重压缩量化误差从“可以忽略”变成“不可忽略”。旋转量化干的就是不让极端值“集中”在某一个方向上。1.2 一个很容易懂的类比你可以把量化想象成给一条街拍照片街两边大多数是两三层的普通楼房但街口突然立了一座 300 米高的摩天大楼。你要把整条街塞进同一张底片里为了不把楼顶切掉只能退很远去拍结果普通楼房在照片里变成一排小点子细节全丢了。量化误差就是这样被放大的。旋转量化不跟你比后退而是直接把照相机转一个角度斜着取景。摩天大楼还是那座摩天大楼但在取景框里的相对位置变了它不再占据某一个方向上的全部高度普通楼房的细节也不会被压缩得那么狠。更准确的数学表述是做一个正交变换把高方差维度的能量摊到多个维度上去让每个维度上的数值幅度都趋向“平均”。正交变换不改变矩阵的范数、特征结构这些全局属性但对量化来说最有用的一个性质是它能把集中在一个坐标轴上的极端值分散到整个坐标系的各个轴向上。这就像一个大行李箱在竖向怎么都盖不上盖子你换个姿势横着放高度降下来了箱子本身没有任何损失。量化前的旋转本质就是给权重和激活“换个姿势”。1.3 TurboQuant 是怎么切入这个场景的TurboQuant 是我在对比多种量化方法时搭的一套实验框架初衷很简单不同论文里那些旋转矩阵实现各有各的写法有前置在 Embedding 后面的有嵌在 Attention 每层里的还有在残差连接上做手脚的。如果不统一封装光是复现对比组就够让人头疼。于是我把旋转量化相关的操作抽成了几个可插拔模块。在 TurboQuant 里你可以把 QuaRot 那种固定 Hadamard 旋转、SpinQuant 那种学习式旋转、以及 QuIP# 那种随机正交变换都挂到同一条量化流水线上。后面串讲的十几种方法本质上都是在“旋转”这个操作上做了不同分支。这篇文章在时间线上其实去年就欠下了。中间因为工作原因搁置了很久最近重新跑完一波对比实验才敢动笔。文章不会避免讲数学但我尽量用工程话说数学不是目的能把它用起来才是。2. 旋转量化核心机制Hadamard 变换与算子融合2.1 Hadamard 矩阵看起来最不起眼用起来最划算旋转量化里最常出现的矩阵是 Hadamard 矩阵。它只有 1 和 -1 两种元素而且矩阵的每一行之间是正交的。最小的是二阶矩阵H2 [[1, 1], [1, -1]]四阶矩阵就是做一个克罗内克积H4 H2 ⊗ H2这个矩阵最大的好处是做矩阵乘法时不需要任何乘法运算只需要加法和减法。在 GPU 上加减法几乎不占计算资源所以用 Hadamard 矩阵做旋转对推理性能的损耗远小于其他任意正交矩阵。为什么旋转量化普遍选它而不是用 SVD 分解出来的正交基一是因为 SVD 计算成本过高对几十亿参数的大模型不可能在线性层每个维度上都做一次奇异值分解二是因为 Hadamard 矩阵是固定的不依赖输入数据可以在加载模型时一次性预计算好后面反复复用。实际使用中还有一个细节当隐藏层维度不是 2 的幂次时完整的 Hadamard 矩阵没法直接用。TurboQuant 的默认处理方式是按 block 做局部旋转比如把 4096 维切成 32 个 128 维的块每个块内独立套 Hadamard 变换。这个 block 大小对最终精度影响很大后面踩坑部分会专门说。2.2 旋转降低量化误差的直觉解释从数学上说正交变换不会改变向量的长度也就是 L2 范数不变。但它会改变向量在坐标轴上的投影分布。拿一个极端情况举例假设某一个隐藏层维度上w[42] 30而其他 4095 个维度的值都集中在 [-0.5, 0.5] 区间。直接量化这个向量scale 被 30 撑大其余维度全被压到很小的区间里。如果先对这个向量做一个 Hadamard 变换原本集中在 42 维上的能量会被平摊到整个向量上单个维度的幅度变成大约 30/√4096 ≈ 0.47跟其他维度在同一量级了。此时再做量化步长缩小了几十倍量化分辨率自然就上来了。这就是旋转量化之所以有效的根本原因不是因为它做了更多计算而是因为它让数值分布更适合量化。我写了个几分钟就能跑通的小例子大家有兴趣可以自己验证import numpy as np rng np.random.default_rng(42) w rng.standard_normal((1, 4096)).astype(np.float32) w[0, 123] 30.0 # 人为塞一个离群值 def quant_error(x, bits4): x_abs_max np.abs(x).max() scale x_abs_max / (2**(bits - 1) - 1) x_q np.clip(np.round(x / scale), -(2**(bits - 1) - 1), 2**(bits - 1) - 1) x_deq x_q * scale return np.mean(np.abs(x - x_deq)) # 用 scipy 里的 hadamard 矩阵 from scipy.linalg import hadamard H hadamard(4096, dtypenp.float32) w_rot w H print(未旋转量化误差:, quant_error(w)) print(旋转后量化误差:, quant_error(w_rot))在我本机跑出来的结果是未旋转的平均量化误差在 0.19 左右旋转之后降到不到 0.02。一个离群值带来的影响被一个矩阵乘法削掉了 90% 以上。2.3 旋转算子必须做融合不能“转了就不管”旋转本身是不消耗太多计算但如果你老老实实在推理图里加一个矩阵乘法那前面省下来的量化收益全都会还给延迟。真正工程化的做法是把旋转矩阵“融合”进相邻的参数里。举个例子对一个线性层 y xW如果要在激活 x 上做旋转理论上需要算 (xQ^T)(QW)。你可以看到Q^T 和 Q 是可以直接合并进上一层的权重和当前层的权重里去的。上一层的输出本来就是 xQ^T当前层的权重直接替换成 QW。这样推理时完全没有额外的旋转算子。类似地在 Attention 结构里QKV 投影和输出投影都可以做这种吸收。对于 LayerNorm/RMSNorm 后面的旋转可能需要把旋转矩阵接到上一层的 scale 或 bias 上。这也是为什么很多旋转量化实现看起来“东一块西一块”因为要针对每一种算子结构做对应的融合规则。TurboQuant 里有一个核心配置叫merge_mode可选full、block、none。默认推荐full也就是把所有能吸收的旋转全部合进相邻层权重。block模式适合那些不支持全局 Hadamard 的模型结构none则纯粹用来做精度对照实验不推荐在实际部署里用因为推理性能会非常难看。3. 串讲十余种方法各家怎么用“旋转”这个核心操作3.1 结构优化派GPTQ、AWQ、SmoothQuant这一派的特点是旋转不是它们的主打但跟旋转组合起来效果很稳定。GPTQ是逐层最小二乘量化方法它通过求解每一层的最优量化缩放把量化误差控制到最小。GPTQ 本身的优化过程对离群值非常敏感一旦某些列有极端值数值求解的稳定性就会下降。如果先做一次旋转把权重变成更均匀的分布再套 GPTQ求解过程会稳定很多。RGPTQ 这类工作就是在这个思路上展开的。AWQ走的是“激活感知”路线它会统计每个通道的激活值幅度然后给更重要的通道分配更大的缩放系数。AWQ 与旋转的关系是互补的旋转负责把离群值分散到各维度AWQ 负责根据分散后的重要性重新分配精度。在 TurboQuant 里我习惯先开旋转再跑 AWQ 的 channel scaling两者叠加效果比单独用任何一个都好。SmoothQuant的思路跟旋转正好相反它是把激活上的难度“迁移”到权重上通过一个可学习的平滑系数让激活分布更温和。旋转量化则是不动系数直接换坐标轴。两者组合的做法是先做 SmoothQuant 把激活幅度压到合理区间再上旋转进一步均匀化。缺点是需要引入额外的平滑系数存储模型体积会有轻微增加。3.2 格点码本派QuIP、QuIP#QuIP 系列是旋转量化里最“硬核”的一支。它不是在连续空间里做数值近似而是直接引入 lattice格点码本把量化从“落在哪几个固定刻度”变成“离哪个格点最近”。为了不让格点码本对离群值束手无策QuIP 在量化前会先做一个随机正交变换。这个随机旋转有两个作用一个是把离群值均匀化另一个是让权重分布和格点码本的结构更匹配。QuIP# 更进一步把码本设计成可扩展的三级结构配合旋转后均匀化的权重分布4bit 量化精度甚至可以逼近原始 FP16 的水平。这派方法最大的问题是实现复杂度高。普通量化只需要一个 scale 和一个 zero_pointQuIP 需要维护码本、旋转矩阵、缩放矩阵Debug 的难度直线上升。如果只是想在推理服务里快速用上 4bit 模型我觉得不必一上来就啃 QuIP#但如果你想理解旋转量化的上限在哪里QuIP# 是绕不开的参考系。3.3 学习旋转派SpinQuant 与可学习旋转方向前面提到的旋转矩阵都是固定的要么 random 生成要么用 Hadamard 这种确定性矩阵。但“固定”不一定是最优的。SpinQuant 的想法很直接既然旋转方向这么重要不如让旋转矩阵也跟着训练数据学习出来。它把旋转矩阵参数化为若干个 Givens 旋转的组合Givens 旋转在二维平面内做旋转多个 Givens 旋转叠加就能逼近任意正交变换。然后在少量校准数据上做反向传播更新旋转参数。实验下来学习出来的旋转往往比随机旋转或 Hadamard 旋转更好尤其是低 bit4bit 甚至 3bit场景。缺点是训练成本不低。TurboQuant 里默认给 SpinQuant 提供了离线模式和在线模式在线模式需要准备数百条校准样本并且在 GPU 上跑几百步优化。从我的实测看在 7B 模型上做一次全量 SpinQuant 校准使用单张 A100 大约要几个小时。收益确实有但要在“效果好”和“工程成本低”之间做取舍。3.4 动态激活派DVQuant、OmniQuant这派方法是针对一个更刁钻的问题权重是静态的旋转融合进去就完事了但激活是动态的每一层输入都在变离群值出现在哪个位置不固定。DVQuant的思路是对激活做动态采样和旋转。它先根据一个小的校准批次估计激活的分布特征然后动态调整旋转矩阵。在 TurboQuant 里的实现里DVQuant 的推理会多一步动态分支判断性能开销会比 QuaRot 高一些但在激活分布特别不规律的模型上效果好。OmniQuant做得更全面它同时优化权重缩放、激活缩放和旋转矩阵属于“全要素量化”。前期实验比较耗时但得到一个好的量化配置之后后续部署非常省心。如果你想省事可以直接跑 OmniQuant 的自动搜索它会告诉你哪些层适合旋转、哪些层不适合。3.5 离群值特殊对待派LLM.int8()、SqueezeLLMLLM.int8()的经典做法是检测到激活中超过某个阈值的离群值列就把这些列单独拎出来用 FP16 计算其余部分走 INT8 矩阵乘法。这个做法有效但内存开销和调度开销不小。如果把旋转加上去离群值被均匀化之后超过阈值的列会显著变少实际需要走 FP16 分支的元素数量也大幅下降推理延迟能得到可见改善。SqueezeLLM则走的是稀疏化路线它会把敏感权重挑出来单独保存不参与量化其余权重正常量化。旋转在这里起到“重新洗牌”的作用因为敏感权重往往是那些离群值所在的位置洗牌之后敏感权重的分布更集中稀疏化保存策略的效率更高。3.6 方法总览对照表方法量化目标旋转方式是否需要训练推荐场景GPTQ权重可选非必须校准经典通用量化AWQ权重可选组合使用校准需要保护敏感通道SmoothQuant权重激活可叠加校准激活分布恶劣的模型QuaRot权重激活固定 Hadamard无快速无损 4bitSpinQuant权重激活学习式旋转需要几百步优化对精度要求苛刻QuIP权重随机正交变换校准高精度 4bit 探索QuIP#权重随机正交变换格点码本校准高精度低 bit 极限LLM.int8()激活辅助离群值分解无规避离群值行SqueezeLLM权重稀疏化辅助校准内存紧张场景DVQuant权重激活动态旋转校准激活分布不稳定OmniQuant权重激活自动搜索较长校准全自动量化配置这张表是我在 TurboQuant 里跑过一遍之后按实际感受整理的不是论文之间的理论优劣对比。很多方法之间存在叠加关系比如 QuaRot AWQ 是可以同时开的效果不是非此即彼。4. TurboQuant 实操从 Python 脚本到结果复现4.1 安装与基础环境TurboQuant 目前的依赖主要就是 PyTorch 和 transformers安装不复杂pip install turboquant如果你要从源码跑最新实验分支建议先克隆仓库再本地安装git clone https://github.com/your/turboquant.git cd turboquant pip install -e .环境上我建议至少准备一张 24G 显存的显卡。7B 模型做 4bit 量化单张 24G 显卡是够用的但如果你要做 SpinQuant 这种带几百步反向传播的实验显存最好 40G 以上。4.2 校准数据集准备量化不是直接把模型权重丢进去压缩就行绝大多数方法需要一批校准数据来统计激活分布、计算缩放系数。我一般用 Pile 数据集的子集或者 WikiText-2量级在 128~512 条样本之间。TurboQuant 里提供了一个快速加载器from turboquant.data import load_calib_dataset calib_loader load_calib_dataset( namewikitext2, splittrain, max_samples128, seq_len2048 )这里有个关键提醒校准数据一定不能跟下游评测集重合。我在早期踩过一个大坑用模型的测试集样例做了校准结果量化后的模型看起来精度几乎没有下降换到真实业务数据上直接拉胯。校准数据是“给模型看过的数据”评测数据必须是它没见过的。4.3 一键量化与推理示例TurboQuant 的核心接口很简单先加载模型再初始化旋转配置然后跑量化from turboquant import load_model, quantize, prepare_rotation from turboquant.methods import quatot, spinquant model load_model(meta-llama/Llama-3.1-8B, torch_dtypefloat16) # 方式一用 QuaRot 风格固定旋转 rot_config prepare_rotation( methodquatot, block_size128, merge_modefull, seed42 ) # 方式二用 SpinQuant 学出来的旋转方向 # rot_config prepare_rotation( # methodspinquant, # block_size128, # train_steps500, # lr1e-3, # ) model quantize( model, methodawq, # 量化主体方法 rotationrot_config, # 旋转模块 bits4, calib_loadercalib_loader, group_size128 )量化完成后可以直接对比推理输出也可以用 perplexity 快速验收from turboquant.evaluate import evaluate_ppl ppl evaluate_ppl(model, wikitext2, seq_len2048) print(量化后 PPL:, ppl)4.4 我实测的一组对照数据为了写这篇笔记我在 7B 模型上用同一份校准集和同一批测试样本做了几组开关对照。结果不一定代表所有模型但至少能看出趋势配置位数PPL显存占用单token延迟FP16 原始166.3916.1 GB28 msGPTQ 无旋转47.148.6 GB19 msQuaRot 旋转 GPTQ46.728.7 GB18 msSpinQuant 旋转 GPTQ46.588.7 GB18 msQuIP#46.559.2 GB21 ms可以看到同样 4bit 量化加了旋转之后 PPL 从 7.14 拉回到 6.72SpinQuant 的 Givens 学习旋转更进一步降到 6.58离 FP16 的 6.39 只差不到 0.2。代价是 SpinQuant 的校准时间要多花一两个小时但推理延迟基本没变化因为旋转已经被融合进权重里了。5. 踩坑记录旋转量化落地的五个真实问题5.1 推理后端不认识你融合后的权重这是我自己和不少社区朋友遇到最多的问题。算法的“旋转融合”听起来很完美但落地到 TensorRT、ONNX Runtime、vLLM 这些推理框架时不一定每个算子都能正确处理融合后的权重布局。最典型的现象是在 PyTorch 环境下测试没问题一切换到 TensorRT engine某些矩阵乘法因为维度对不齐直接报错。解决思路有两个一个是在转 engine 之前设置merge_modeblock把旋转粒度放宽到后端可识别的 block 单位另一个是给 TensorRT 写一个自定义插件把融合后的权重还原成标准布局再计算。前者省事但精度回不到最好水平后者精度高但需要写 C要投入调试时间。5.2 block_size 跟量化精度强相关在 2.1 节提到 TurboQuant 默认用 block_size128 做局部旋转。这个参数不是越大越好也不是越小越好。block_size 太大局部离群值在块内无法被有效摊平旋转的效果趋近于零block_size 太小块与块之间的统计独立性丢失而且融合后的权重里会混入更多矩阵拼接开销。从我的实验数据看128 到 256 是大多数模型的甜点区间。低于 64 或高于 512PPL 都会明显恶化。比较稳妥的做法是先用 128 跑一版再用 256 跑一版取效果更好的配置。多开两轮实验的时间成本远低于上线后排查精度问题的时间成本。5.3 校准集随机种子导致的“伪复现”旋转量化里有很多随机采样环节尤其是随机正交变换。TurboQuant 在prepare_rotation里提供了 seed 参数但很多人默认不设或者每次跑脚本都忘了固定。不固定 seed 的后果是你前后跑两次量化得到的旋转矩阵完全是不同的两组正交方向。缩放系数、量化误差、最终 PPL 都会有可见差异。你以为换了某个方法精度提升其实只是随机种子变了。我现在的习惯是每个实验固定 seed42并且把 seed 记进实验配置文件。复现别人的结果时也要先确认对方用的什么 seed。量化这个方向因为是在非常平滑的精度曲面上做搜索随机性带来的波动有时候比方法本身的差异还大。5.4 CPU 部署时的反直觉变慢旋转量化在技术上不增加计算量但对 CPU 推理来说“融合后权重”的存储排布可能跟 CPU 的 SIMD 向量化布局不匹配。融合前权重是连续的 FP16 矩阵融合后由于旋转矩阵的 block 划分权重内部存在块与块之间的跳跃SIMD 的 cache 命中率下降最终延迟不降反升。所以如果你的目标部署平台是 CPU务必先跑一次完整 benchmark别直接套 GPU 那套结论。验证方法是在 TurboQuant 里对量化前后的模型分别统计单 token 延迟如果延迟差异不明显再继续往下做。5.5 小模型上旋转量化收益会明显变小旋转量化在 7B、13B 这种规模上效果显著因为大模型的激活分布里天然存在更多离群维度。但如果你拿一个 100M 参数的蒸馏小模型去做旋转量化效果往往很平淡。原因在于小模型的参数量少每一层承担的信息更密集离群值占比低旋转能带来的均匀化空间也小。更麻烦的是小模型本身精度就有限量化后的掉点即使只有 0.5 个 PPL占比也显得很大。TurboQuant 里做了一个启发式开关当模型 hidden_size 小于 1024 时默认不推荐开旋转。不是不能开是收益跟复杂度不成正比。6. 选型思路与我的个人偏好6.1 我的决策路径如果你现在手头需要一个量化方案我给你一条可以直接照抄的路径先跑 QuaRot 加 GPTQ 的基线这个方案成本最低、稳定性最高适合绝大多数场景。如果 PPL 达标直接用如果不达标先把旋转从 Hadamard 换成 SpinQuant 学出来的方向通常能再拉回 0.1~0.2 个点。这时候还不够再考虑 AWQ 的 channel scaling或者直接上 QuIP# 这种重方案。反过来如果你的核心诉求是“模型文件尽量小”那选择顺序会不同。QuIP# 虽然精度好但码本本身占了额外空间。SqueezeLLM 因为稀疏保存了部分关键权重文件体积会比纯量化大一些。4bit 体积最小的方案往往还是简单 GPTQ 配合旋转Step 少、干净。6.2 几个关键参数建议block_size默认 128隐藏维度不是 2 的幂次时可以调成 256 试一版。merge_mode部署到 PyTorch 类框架用full部署到 TensorRT 建议试block。seed固定 42除非你有特殊需求否则不要每次跑实验都换 seed。calib_samples128 条起步如果模型很大或领域很偏加到 512 条不会亏。group_size4bit 量化推荐 1288bit 量化推荐 64 或 128。最后再说一个容易忽略的小技巧在 TurboQuant 里旋转的 seed 和量化主体方法的 seed 是分开控制的。很多人只固定了量化的随机种子旋转的 seed 没固定结果就是直觉上“同一个配置”跑出来的效果每次都不一样。把这个 seed 也写进实验记录你复现出来的结果才真正算数。