Qwen3-235B-A22B 硬件需求与 GPU 选型指南：235B 模型到底要多少显存

Qwen3-235B-A22B 硬件需求与 GPU 选型指南235B 模型到底要多少显存【免费下载链接】Qwen3-235B-A22BQwen3-235B-A22B 具有以下特点 类型因果语言模型 训练阶段预训练与后训练 参数数量总计 235B激活 22B 参数数量非嵌入234B 层数94 注意力头数GQAQ 为 64KV 为 4 专家数128 激活的专家数8 上下文长度本地为 32,768使用 YaRN 可处理 131,072 个标记。项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-235B-A22BQwen3-235B-A22B 总参数 235BBF16 精度下权重就要约 470GB单卡装不下。本文直接给答案这张表里的硬件需求与 GPU 选型怎么定、每种量化要多少显存、命令怎么起、坑怎么避。先抄答案场景速查表不确定选什么配置时按下面的表直接对号入座场景推荐配置显存合计量化方案可用上下文投入档位个人尝鲜4× RTX 4090 24GB 128GB 系统内存部分权重放内存96GB GPUINT48K–16K4 卡工作站个人常用8× RTX 4090 24GB192GBINT416K–32K8 卡整机团队研发4× A100 80GB320GBINT832K4 卡服务器生产服务8× H100 80GBNVLink 互连640GBBF1632K 原生YaRN 可到 131K8 卡服务器先搞懂这个模型胃口在哪Qwen3-235B-A22B 是混合专家MoE模型每层挂 128 个专家网络每个 token 只激活其中 8 个。打个比方像一家 235 人的公司每次只派 22 人干活——人数决定办公室要多大显存干活的人决定电脑多忙算力。所以它有两个反直觉的特性显存要装全部 235B 参数。哪怕某个专家这次没被选中它也占着显存省不掉。算力和带宽压力只有 22B。每生成一个 token 要读 22B 激活权重MoE 解码速度主要吃内存带宽这是选卡时比纯看算力更重要的指标 ⚡模型属性数值对应资源消耗总参数235BBF16 权重约 470GB必须全部驻留GPU内存激活参数22B/token每步解码的算力与显存带宽压力专家配置128 选 8显存按 128 个专家满配算不能只按激活的 8 个KV 头GQA仅 4 个Q 头 64每 token KV 缓存约 0.19 MBBF16按 94 层 × 4 头 × 128 维 × KV 算上下文原生 32,768YaRN 至 131,07232K 上下文 KV 约 6GB131K 约 25GB层数、注意力头数这些数字可以直接在 config.json 里核对torch_dtype为bfloat16仓库里放的就是 BF16 原始权重。三档硬件怎么选第一档个人尝鲜INT4 内存卸载路线显存构成权重能否全上卡建议上下文适合4× RTX 4090 128GB DDR96GB 显存 内存不能专家层部分卸载到内存8K–16K功能验证接受慢速8× RTX 4090192GB能INT4 全量约 117.5GB16K–32K本地日常使用4 卡 96GB 装不下 117.5GB 的 INT4 权重必须用 KTransformers、llama.cpp 这类支持 CPU 卸载的方案专家层放系统内存走 PCIe速度慢但能跑8 卡 192GB 则能整卡装下还留有余量给 KV 缓存。第二档团队研发INT8 或 BF16 全量路线显存构成装得下什么适合4× A100 80GB320GBINT8 权重 235GB 32K KV评测、小规模服务8× A100 80GB640GBBF16 权重 470GB KV基准测试、后训练实验第三档生产服务BF16 保精度路线显存构成装得下什么适合4× H100 80GB320GBINT8 32K KV成本敏感的生产8× H100 80GB NVLink640GBBF16 全量 KV高并发生产YaRN 拉满 131K生产机优先选 NVLink 全互连的机型TP8 时每步都在卡间交换激活值NVLink 带宽是 PCIe 的数倍直接影响 P99 延迟。量化算账每种精度差多少 权重体积 参数量 × 每参数字节数算起来很直白精度权重大小说明BF16 / FP16约 470GB仓库原生精度精度无损失显存上限INT8约 235GB体积减半生产常用折中INT4GPTQ/AWQ约 117.5GB体积约为 BF16 的 1/4个人 GPU 唯一现实路线注意本仓库是 BF16 原始权重用 INT4/INT8 需另找或转换对应的量化版本再用 vLLM 的--quantization参数加载。一条选型原则总显存预算 权重 KV 缓存 框架开销按 10% 留余量三项加完再比显存别只看权重。比如 8× RTX 4090 跑 INT4117.5GB 6GB32K KV 约 12GB 余量 ≈ 135GB 192GB通过。部署与调优清单启动命令来自 README.md两种框架任选官方建议vllm0.8.5或sglang0.4.6.post1git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-235B-A22B vllm serve ./Qwen3-235B-A22B --tensor-parallel-size 8 \ --enable-reasoning --reasoning-parser deepseek_r1需要 131K 长上下文时不要改文件直接用参数挂 YaRNRoPE 位置缩放官方已验证 131,072 tokensvllm serve ./Qwen3-235B-A22B --tensor-parallel-size 8 \ --rope-scaling {rope_type:yarn,factor:4.0,original_max_position_embeddings:32768} \ --max-model-len 131072依赖版本对齐transformers4.51.0否则加载即报KeyError: qwen3_moe多卡用--tensor-parallel-size 8或 SGLang 的--tp 8做张量并行单机 8 卡内完成切分采样参数思考模式Temperature0.6, TopP0.95, TopK20, MinP0禁用贪心解码会导致重复退化非思考模式Temperature0.7, TopP0.8多数请求把最大输出长度给到 32,768config.json默认 40,960 的上限已含 8,192 输入余量YaRN 只在真要长文本时开静态缩放因子对短文本可能降质常规 32K 以内别加压测时盯两个数单请求 token/s看带宽和并发下 P99 首 token 延迟看调度用nvidia-smi确认卡间是 NVLink 而非 PCIe 直连踩坑速查症状可能原因对策加载报KeyError: qwen3_moetransformers 低于 4.51.0升级transformers4.51.0启动即 OOM显存装不下权重KV框架降量化精度、调小--max-model-len、加大 TP出 token 明显偏慢走了 PCIe 卸载或卡间无 NVLink换 NVLink 机型或接受内存卸载的低速YaRN 配置被警告 Unrecognized keystransformers 过旧升级后重启服务思考模式复读、质量变差用了贪心解码按上面采样参数设置presence_penalty调 0–2 间先把权重 KV 10% 余量算出来再从速查表挑档位选型就完成了大半。下一步建议用你场景下最便宜的一档先跑通实测 16K 上下文的 token/s 和显存水位再决定要不要加卡或升精度。【免费下载链接】Qwen3-235B-A22BQwen3-235B-A22B 具有以下特点 类型因果语言模型 训练阶段预训练与后训练 参数数量总计 235B激活 22B 参数数量非嵌入234B 层数94 注意力头数GQAQ 为 64KV 为 4 专家数128 激活的专家数8 上下文长度本地为 32,768使用 YaRN 可处理 131,072 个标记。项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-235B-A22B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考