vLLM 部署 Hy3 实战：开启 MTP 投机采样的推理加速完整教程

【免费下载链接】Hy3Hy3 (295B A21B), a leading reasoning and agent model in its size, with great cost efficiency.项目地址https://gitcode.com/gh_mirrors/hy3/Hy3点击查看免费下载本教程带你用vLLM 部署 Hy3——腾讯混元团队开源的 295B 参数 MoE 推理大模型并手把手开启MTP 投机采样实现推理加速。Hy3 总参数量 295B、激活参数仅 21B、支持 256K 上下文内置 3.8B 的 MTP 层天生适配投机采样。跟着本教程零基础也能跑起自己的 Hy3 推理服务并支持工具调用与深度思考。为什么选择 vLLM 部署 Hy3Hy3 是一款快慢思考融合的混合专家MoE模型192 个专家每次仅激活 top-8因此虽然总量 295B实际计算量只相当于一个 21B 模型成本效率很高。官方在 README_CN.md 中明确推荐使用vLLM或 SGLang 进行生产环境部署两者都为 Hy3 提供了专门配置。选择 vLLM 的理由️架构原生支持MoE 路由、GQA 注意力、256K 长上下文开箱即用⚡投机采样一等公民通过--speculative-config直接启用 Hy3 内置 MTP 层加速OpenAI 兼容 API支持工具调用解析器hy_v3与推理解析器方便接入各类 Agent 框架。Hy3 在 SWE-bench、BrowseComp、MCP Atlas 等生产力基准上与参数规模 2~5 倍的旗舰模型同台竞技Hy3 核心规格速览属性值架构混合专家MoE总参数量295B激活参数量21BMTP 层参数量3.8B共 1 层上下文长度256K专家数量192 个专家top-8 激活支持精度BF16另有 Hy3-FP8 量化版部署 Hy3 前的硬件与环境准备硬件要求Hy3 总参数量 295B建议使用 8 张 GPU并优先选择 H20-3e 或其他大显存卡型BF16 权重体积较大。如果你的显存吃紧可以改用官方开源的Hy3-FP8量化模型显存占用更低。环境搭建从源码构建 vLLMHy3 是较新的模型架构建议使用新版 vLLM 源码构建以拿到完整的 MTP 与hy_v3解析器支持。第一步克隆 vLLM 官方源码仓库vllm-project/vllm到本地并进入目录。第二步创建 Python 3.12 虚拟环境并安装uv venv --python 3.12 --seed --managed-python source .venv/bin/activate uv pip install --editable . --torch-backendauto 如果不用uv工具也可以用传统python -m venvpip install -e .方式构建Python 版本保持 3.12 即可。开启 MTP 投机采样启动 vLLM 服务什么是 MTP 投机采样普通自回归解码每生成 1 个 token 就要跑一次完整前向这是推理速度的瓶颈。投机采样Speculative Sampling的思路是先用一个草稿模型快速猜出接下来几个 token再由主模型一次性批量验证——猜对了就能一次吐出多个 token且输出质量与不开启投机采样完全一致。Hy3 的精妙之处在于它自带一个 3.8B 参数的 MTP 层天然就是为模型量身定制的草稿模型无需额外下载任何草稿模型在 vLLM 中一个参数即可启用。启动命令与参数详解# 切换到 trtllm 后端规避 mnnvl workspace size 问题 export VLLM_FLASHINFER_ALLREDUCE_BACKENDtrtllm vllm serve tencent/Hy3 \ --tensor-parallel-size 8 \ --speculative-config.method mtp \ --speculative-config.num_speculative_tokens 2 \ --tool-call-parser hy_v3 \ --reasoning-parser hy_v3 \ --enable-auto-tool-choice \ --port 8000 \ --served-model-name hy3各参数作用如下参数取值作用说明--tensor-parallel-size8张量并行度 8把 295B 模型切分到 8 张 GPU 上--speculative-config.methodmtp⭐ 核心参数启用 MTP 投机采样使用模型内置 MTP 层作草稿模型--speculative-config.num_speculative_tokens2每步由 MTP 层草稿并验证 2 个 token--tool-call-parserhy_v3解析 Hy3 格式的工具调用--reasoning-parserhy_v3解析深度思考模式下的思维链内容--enable-auto-tool-choice—开启自动工具选择能力--served-model-namehy3对外暴露的服务名调用 API 时使用⚠️两个容易踩坑的点VLLM_FLASHINFER_ALLREDUCE_BACKENDtrtllm环境变量是官方给出的 workaround用于解决多卡 allreduce 的 workspace 大小问题建议保留num_speculative_tokens设为 2 是官方推荐值。草稿 token 过多会拉高验证失败率反而可能减速建议保持 2。服务启动后http://127.0.0.1:8000就是一个标准的 OpenAI 兼容推理端点。验证部署调用 OpenAI 兼容 API服务起来后用几行 Python 代码即可验证 Hy3 MTP 加速推理是否正常工作from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8000/v1, api_keyEMPTY) response client.chat.completions.create( modelhy3, messages[ {role: user, content: 你好请简单介绍一下你自己。}, ], temperature0.9, top_p1.0, extra_body{chat_template_kwargs: {reasoning_effort: no_think}}, ) print(response.choices[0].message.content)推荐参数与思考模式✅ 采样参数temperature0.9top_p1.0✅ 思考模式reasoning_effort日常对话用默认no_think直接回复数学、编程、复杂推理任务设为high触发深度思维链。 开启 MTP 后你在客户端感知不到任何差异——输出结果完全一致只是 token 生成速度明显更快。可以用压测工具对比开/关--speculative-config的吞吐来直观感受加速效果。常见问题与延伸阅读Q1显存装不下 BF16 权重怎么办改用官方开源的Hy3-FP8量化模型显存需求显著下降部署方式不变。Q28 卡跑不满可以调并行度吗--tensor-parallel-size需与 GPU 数量匹配参考 rl/README_CN.md 中的说明H20 上单实例权重需要足够多的卡切分才放得下多机场景可结合数据/流水线并行扩展。Q3想继续训练 Hy3仓库提供了完整的微调与强化学习文档微调指南Deepspeed / LLaMA-Factory / ms-swift 多方案finetune/README_CN.mdGRPO 强化学习训练verl Megatron-LM vLLM rolloutrl/README_CN.md至此你已经完成了vLLM 部署 Hy3的全流程源码构建、8 卡张量并行、MTP 投机采样推理加速、工具调用与思考模式解析全部就绪。快去体验这个21B 激活成本、旗舰级能力的高性价比推理模型吧赞分享【免费下载链接】Hy3Hy3 (295B A21B), a leading reasoning and agent model in its size, with great cost efficiency.项目地址https://gitcode.com/gh_mirrors/hy3/Hy3点击查看免费下载相关推荐免客户端网盘直链下载9 个网盘直链解析6 种下载器接入免客户端网盘直链下载9 个网盘直链解析6 种下载器接入 网盘官网对普通用户只留一条下载路径客户端下载。装好、登录、排队速度也由客户端说了算。「网盘直链下前端生产级部署Qwen3.6-35B-A3B-MTP-GGUFSGLang与vLLM开启MTP加速实战生产级部署Qwen3.6 35B A3B MTP GGUFSGLang与vLLM开启MTP加速实战 Qwen3.6 35B A3B MTP GGUF 是 UnIQuest-Q1部署教程下vLLM部署指南与递归MTP投机解码启用实战IQuest Q1部署教程下vLLM部署指南与递归MTP投机解码启用实战 IQuest Q1 是由 IQuest 研发的 320B 总参数 MoE 大模型上一篇DMD为什么需要正确初始化Causal-Forcing的曝光偏差问题与ODE vs AR扩散对比全解下一篇BF16还是Q5_K_MConfucius4 GGUF三大量化版本对比与选型完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考