首页/新闻资讯/正文详情

Efficient Mixture‑of‑Experts with Speculative Decoding via Expert Coactivation 论文总结与翻译

发布时间:2026/11/2 9:09:04 来源:云帆数科 栏目:资讯中心
Efficient Mixture‑of‑Experts with Speculative Decoding via Expert Coactivation 论文总结与翻译
# Efficient Mixture‑of‑Experts with Speculative Decoding via Expert Coactivation 论文总结与翻译 论文arXiv地址:https://arxiv.org/abs/2609.22471## 一、文章主要内容MoE(混合专家模型)结合推测解码(Speculative Decoding, SD)是大模型推理加速的主流方案,但二者直接结合存在显著性能瓶颈。推测解码对稠密模型可以并行验证一批候选token实现提速;但在MoE模型上,验证窗口内的多个token会路由选择各不相同的专家,需要把大量专家权重从内存(DRAM)搬运到NPU/GPU,**内存带宽开销急剧上涨,抵消推测解码带来的加速收益**,甚至出现推理降速的情况。本文从**训练阶段的路由器(router)设计**入手,提出提升**专家共激活(expert coactivation)**,即让推测解码验证窗口内相邻token尽量复用同一批专家,减少需要搬运的独立专家数量。作者通过四组训练策略组合优化MoE路由器:全局负载均衡损失、共享专家、一致性损失、自回归专家选择机制。在十亿参数Transformer模型上开展实验,整套方案相比基线MoE实现**21%吞吐量提升,同时保持精度不下降**。该方法只修改训练流程,不改动推测解码推理算法,可以和推理侧各类优化技术互补使用。## 二、主要创新点1. **问题洞察**:指出MoE+推测解码的性能短板根源不是推测解码本身,而是验证窗口内token专家选择分散,造成DRAM‑NPU之间专家权重传输爆炸;提出核心优化目标:提升专家共激活程度。2. **一套面向专家共激活的训练优化组合**:- 用**全局负载

相关推荐

泊松-高斯噪声模型
泊松-高斯噪声模型

一、观测模型定义光子到数值的整个链路大致如下:图1 光子到数值转换流程图一般地,完整的电子域到数值域(ADU)的观测模型可以写为:.其中,表示观测到的信号值;为模拟增益系数;为带有散… · 2026/11/2 11:19:59

QML 自定义dial:实现具有分层交互的热水器旋钮
QML 自定义dial:实现具有分层交互的热水器旋钮

目录 交互设计 交互逻辑图 核心实现代码 页面状态与核心函数 外环拖动:增量累加 + 机械限位 中心按钮:圆形命中判定 旋转层与涟漪反馈 技术要点 1. 区域分层与命中判定 2. 状态映射机制 3. 渐变式颜色反馈 工程下载 热水器旋钮不仅需要支持连续的旋转调节(冷热水比例),还包… · 2026/11/2 11:20:42

具身智能超低延迟基座详解(3):基于 Token 化的多模态传感器动态融合算法研究
具身智能超低延迟基座详解(3):基于 Token 化的多模态传感器动态融合算法研究

前沿技术探索:FRA核心定义与设计理念 FRA(Factorized Robotic Agent, FRA,亦称:因式分解机器人智能体)是一套因式化数实融合一体化新型智能系统,核心设计理念是全链路系统解耦,将机器人作业的感知、推理、动作执行三大核心能力拆解为独立平行子模块,整合为统一、闭环、… · 2026/11/2 11:20:24

OpenClaw与LINE集成提升养虾业沟通效率
OpenClaw与LINE集成提升养虾业沟通效率

1. OpenClaw与LINE集成的核心价值OpenClaw作为一款多平台即时通讯聚合工具,其与LINE的深度整合为养虾行业带来了前所未有的沟通效率提升。传统养虾场管理中,技术人员、养殖工人、销售团队之间的信息传递往往存在滞后性,而通过OpenClaw接入LIN… · 2026/11/2 23:59:44

Java record 规范构造器能否被反序列化或反射绕过
Java record 规范构造器能否被反序列化或反射绕过

问题现象 record 类型通常靠规范构造器来把守不变式,比如禁止名字为空: public record User(String name) {public User {if (name == null || name · 2026/11/2 23:59:44

Unity Package Manager刷新错误排查与解决方案
Unity Package Manager刷新错误排查与解决方案

1. Unity Package Manager刷新资源报错问题解析最近在Unity开发过程中,Package Manager提示"Error Refreshing Asset"的问题困扰了不少开发者。作为Unity项目依赖管理的核心组件,Package Manager一旦出现问题,轻则影响资源加载&… · 2026/11/2 23:59:44

淘宝商品详情API开发实战与性能优化指南
淘宝商品详情API开发实战与性能优化指南

1. 淘宝商品详情API核心功能解析淘宝开放平台的taobao.item.get接口是电商开发者最常调用的核心接口之一,它提供了获取单个商品完整信息的能力。这个接口的独特之处在于它能返回商品的基础信息、SKU数据、促销信息等全维度数据,且响应速度控制在200ms以内… · 2026/11/2 23:59:44

JJencode编码解密工具:前端JS代码混淆与源码还原实操
JJencode编码解密工具:前端JS代码混淆与源码还原实操

做前端的人大概都遇到过这种场面:交付给客户的是一个纯前端跑的小工具,或者一个 H5 小游戏,代码打包压缩完往服务器一放,懂行的人按 F12 就能把逻辑看个七七八八,改个变量名、换个皮肤就成他自己的了。这时候就会有人翻… · 2026/11/2 23:57:44

Apache HttpAsyncClient选型指南:Default与Minimal对比
Apache HttpAsyncClient选型指南:Default与Minimal对比

1. 项目概述在构建高性能HTTP客户端时,Apache HttpAsyncClient提供了两个核心实现:DefaultHttpAsyncClient和MinimalHttpAsyncClient。这两个客户端的选择往往让开发者陷入纠结,特别是在生产环境部署时。作为在分布式系统领域深耕多年的架构师… · 2026/11/2 23:55:43

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码