NVIDIA Model Optimizer 量化落地：先看你的卡支持什么，再谈 FP8 / W4A8 / NVFP4 怎么选

NVIDIA Model Optimizer 量化落地先看你的卡支持什么再谈 FP8 / W4A8 / NVFP4 怎么选NVIDIA 在 2026-09-16 发布了 Qwen3.6-35B-A3B 的端到端教程W4A4 NVFP4 PTQ 量化感知蒸馏官方给出的数字是 vLLM 吞吐达到 BF16 的1.30×、checkpoint 缩小3.1×并声称把 W4A4 掉掉的精度找回来了来源见文末。但这些数字不是你在自己机器上会得到的数字。本文先讲最容易踩的坑——硬件门槛再给一套选型 → PTQ → 导出 → 部署 → 三相实测的可复现流程附一个实测脚本。说明本文数字分两类来自官方文档的均已标注来源其余需要你按第六节的脚本在自己环境测。作者本机是 12GB 的 Ada 卡没有跑 NVFP4硬件不支持这一点在第一节说明。一、先确认硬件门槛否则后面全是白费Model Optimizer 支持多种量化格式但它们的硬件要求不一样。官方《Best practices to choose the right quantization methods》给出的支持范围量化方法权重/激活模型体积校准耗时支持的 GPUFP8W8A8per-tensor压到 50%分钟级Ada、Hopper 及以后INT8 SmoothQuantW8A8压到 50%分钟级大多数 GPUINT4 AWQW4A16仅权重 4bit压到 25%数十分钟Ampere 及以后INT4-FP8 AWQW4A8权重 4bit 激活 FP8压到 25%数十分钟Ada、Hopper 及以后而 NVFP4 是更晚一代的格式官方 NVFP4 博客是随 BlackwellRTX 50 系发布的本机这类 Ada 卡不在支持范围内。所以第一步不是装库是查卡nvidia-smi --query-gpuname,memory.total,driver_version,compute_cap--formatcsv# 或者从 PyTorch 侧确认计算能力8.9 Ada12.0 ≈ Blackwell 消费级importtorchprint(torch.cuda.get_device_name(0),torch.cuda.get_device_capability(0))作者的实测输出作为对照说明消费级卡该走哪条路name,memory.total [MiB],driver_version,compute_cap NVIDIA GeForce RTX 4080 Laptop GPU, 12282 MiB, 616.64, 8.9compute_cap 8.9是 Ada可以做 FP8 和 W4A8做不了 NVFP4。这个判断必须在写代码之前完成——否则你会在导出后卡在kernel 不支持上而报错信息往往不指向根因。二、选型官方给的决策顺序官方建议归纳成三句话小 batch≤4是显存带宽瓶颈权重从显存搬到缓存的时间决定吞吐 →权重量化收益最大INT4 AWQ 或 INT4-FP8 AWQ。大 batch≥16是计算密度瓶颈权重和激活都要量化还需要低精度计算 kernel 才能提速。优先用 FP8精度损失极小、性能强FP8 不满足再考虑 INT4-FP8 AWQAmpere 或更早的卡用 INT4 AWQ 或 INT8 SmoothQuant。注意第四行表格里那个容易忽略的事实INT4 AWQW4A16在大 batch 下性能是 Low。它在小 batch 强、大 batch 反而拖后腿——如果你的服务 batch 会动态变化别只看小 batch 的漂亮数字。三、安装# 直接从 PyPI 装含全部可选依赖pipinstall-Unvidia-modelopt[all]# 或从源码装要用最新特性时gitclone gitgithub.com:NVIDIA/Model-Optimizer.gitcdModel-Optimizerpipinstall-e.[dev]官方也提供预装好的容器镜像省掉依赖地狱nvcr.io/nvidia/pytorch:version-py3 nvcr.io/nvidia/nemo:version nvcr.io/nvidia/tensorrt-llm/release:versionWindows 用户有单独的安装路径standalone toolkit / Olive 集成 / Windows on Arm见官方安装文档。四、PTQ量化 校准 导出官方 HF PTQ 示例examples/hf_ptq/的最小用法是载入 HF 模型 → 选择 quant config → 校准 → 导出。校准集的质量直接决定结果实践上注意三点校准集要覆盖你的真实输入分布官方示例用的是通用语料如果你的业务是代码或长文档换成语料内样本校准样本数不是越多越好几百条通常够关键是多样性max_seq_length要和实际推理对齐否则激活的量化范围会和线上不一致导出走统一 HF checkpoint 接口产物可直接给下游框架# 部署侧任选其一导出格式与框架对应# TensorRT-LLM / TensorRT / SGLang / vLLM这里有个容易忽略的点Model Optimizer 的量化是模拟量化simulated quantization。官方文档明确说明要在真实部署里拿到速度与显存收益必须把模型导出到 TensorRT / TensorRT-LLM / vLLM / SGLang 这些部署框架。只在 PyTorch 里量化的模型不会自动变快——很多量化了但没提速的疑问都出在这里。五、部署到 vLLM导出后的 checkpoint 用 vLLM 正常加载即可vLLM 会识别量化配置vllm serve ./Qwen3-8B-FP8 --max-model-len8192如果启动时报 kernel 相关错误先回到第一节核对格式与计算能力是否匹配而不是去调 vLLM 参数。六、三相实测吞吐 / 显存 / 输出一致性官方的 1.30× 是特定条件下的结果。要判断这个配置在我的卡上值不值必须自己量。我用 vLLM 的离线接口写了个对照组脚本bench_quant.py同一批 prompt、同一个 batch 列表、temperature0分别跑基线与量化版本。核心测量逻辑importtorchfromvllmimportLLM,SamplingParams llmLLM(modelmodel,trust_remote_codeTrue,dtypeauto)paramsSamplingParams(temperature0.0,max_tokens256)torch.cuda.empty_cache()torch.cuda.reset_peak_memory_stats()# 关键不重置就会拿到历史峰值t0time.perf_counter()outsllm.generate(prompts,params)walltime.perf_counter()-t0 out_tokenssum(len(o.outputs[0].token_ids)foroinouts)peaktorch.cuda.max_memory_allocated()/1024**3print(f{out_tokens/wall:.2f}tok/s 峰值显存{peak:.2f}GB)输出三张对比表指标怎么算判读加速比量化 tok/s ÷ 基线 tok/s 1 说明这个配置在你的卡/batch 上不划算小 batch 用 W4A8 时常见省显存基线峰值 − 量化峰值与模型体积压缩比例对不上 → 检查 KV cache 是否仍是 FP16输出一致性与基线输出的完全一致率 归一化编辑距离相似度 0.9 通常意味着掉精度明显换更保守的格式或上 QAD⚠️一致性不等于精度。它只回答输出偏了多少用来做第一道筛。正式精度评测请用lm_eval之类的任务集官方 PTQ 示例也是这么做的。用法python bench_quant.py--baseQwen/Qwen3-8B--quant./Qwen3-8B-FP8 --batch-sizes1832脚本只依赖vllm和torch不下载额外数据集内置固定 prompt 集保证两次运行面对完全相同的输入。七、精度掉了怎么办先想清楚代价官方给出的手段按代价从低到高换更保守的格式W4A4 掉了就退到 W4A8再不行退到 FP8 —— 成本为零先试这个。QAT / QAD量化感知训练/蒸馏官方 2026-09-16 的 Qwen3.6-35B-A3B 教程就是这条路线W4A4 NVFP4 PTQ 量化感知蒸馏官方称恢复到 BF16 的精度水平同时保持1.30× vLLM 吞吐、3.1× 更小的 checkpoint。代价是要训练需要训练侧资源。剪枝 蒸馏官方另有 Nemotron-3-Nano-30B-A3B 的端到端教程剪枝 两阶段蒸馏 FP8官方数据是2.6× vLLM 吞吐、2.6× 显存下降。注意这些数字都附带条件模型、卡型、batch、上下文长度都不同。不要把某一篇教程的数字直接当成自己项目的预期。八、常见错误现象根因修法量化后没有变快ModelOpt 是模拟量化没导出到部署框架导出到 TensorRT-LLM / vLLM / SGLang 再测导出后加载报 kernel 不支持格式与 GPU 计算能力不匹配例如 Ada 上 NVFP4先查compute_cap再选格式大 batch 反而比小 batch 提速差用了 W4A16官方表里大 batch 性能为 Low大 batch 场景用带激活量化的格式FP8 / W4A8显存节省远小于体积压缩比KV cache、激活没跟着量化检查 KV cache 配置与 max-model-len升级后 API 报废弃警告甚至不可用ModelOpt 仍是 pre-1.0官方给1 个版本约 1 个月的弃用迁移期锁版本 看 changelog别在生产环境追最新测出来的加速比和别人差很多校准集与线上分布不一致或 max_seq_length 不一致校准集换成语料内样本长度与线上对齐九、小结先查卡再选格式Ada/Hopper 用 FP8 与 W4A8Ampere 用 INT4 AWQ/INT8NVFP4 要 Blackwell 一代。按 batch 选方法小 batch 权重-only大 batch 要带激活量化官方建议先 FP8。量化必须导出到部署框架才有效模拟量化不会自己变快。三相自测吞吐/显存/一致性比抄别人的加速比可靠本文的bench_quant.py直接可用。精度不够时按换保守格式 → QAD → 剪枝蒸馏的顺序加投入。参考来源NVIDIA Model Optimizer 仓库含 2026-09-16 Qwen3.6-35B-A3B W4A4 NVFP4 QAD 教程https://github.com/NVIDIA/Model-Optimizer官方文档《Best practices to choose the right quantization methods》格式支持范围、batch 与选型建议https://nvidia.github.io/Model-Optimizer/guides/_choosing_quant_methods.html官方量化总览模拟量化与导出部署的说明https://nvidia.github.io/Model-Optimizer/guides/1_quantization.html官方安装文档https://nvidia.github.io/Model-Optimizer/getting_started/2_installation.html官方 NVFP4 介绍博客Blackwell 平台https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/官方 QAD 博客量化感知蒸馏如何恢复精度https://developer.nvidia.com/blog/developing-nemotron-3-5-lightning-nvfp4-with-qad-using-nvidia-model-optimizer/附bench_quant.py约 190 行依赖 vllm torch已随文提供语法与依赖检查路径均实测通过NVFP4 相关数字均为官方来源作者未在 Ada 硬件上复现。