首页/新闻资讯/正文详情

阿里:QUADS稳定MoE强化学习

发布时间:2026/11/12 16:09:47 来源:云帆数科 栏目:资讯中心
阿里:QUADS稳定MoE强化学习
标题QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides来源arXiv, 2607.15810v1️文章简介研究问题如何在使用NVFP4W4A4低精度加速推理时解决混合专家模型MoE强化学习中因训练与推理精度不匹配导致的训练崩溃问题主要贡献论文提出了QUADS框架通过双侧量化误差对齐策略在保持NVFP4高吞吐量的同时实现了与BF16全精度相当的强化学习训练稳定性与准确率。重点思路问题诊断与误差分析研究发现直接应用NVFP4进行MoE RL rollout会在约150步后崩溃。通过消融实验证明激活值Activation的量化误差而非权重误差是导致对数概率差距扩大和训练不稳定的主导因素因为激活值在线重计算且受粗糙的E2M1网格放大影响。训练侧非对称量化感知训练提出非对称QAT方案仅在训练端对权重进行FP4伪量化以对齐推理端的权重量化路径同时保持激活值为BF16。这避免了在训练端对激活值进行粗粒度伪量化从而加剧引擎漂移的问题。推理侧残差激活补偿针对推理端剩余的激活量化误差设计残差补偿机制。通过在线选择高残差通道对其进行二次FP4量化校正并加回结果中。该过程通过融合内核实现在保留原生W4A4 GEMM高效性的同时显著缩小对数概率差距。分析总结训练稳定性显著提升 naive NVFP4 RL在多个基准测试中迅速崩溃平均pass1仅为51.37%而QUADS成功避免了崩溃训练曲线平稳平均pass1达到72.86%与BF16基线73.15%和FP8基线72.88%相当。有效缩小精度差距实验显示QUADS将训练与推理间的最大对数概率差距从naive方法的约1.3降低至0.86接近BF16引擎间固有的漂移下限0.74证明了双侧对齐的有效性。吞吐量优势得以保留尽管引入了残差补偿QUADS的rollout吞吐量仍比FP8高出约16%仅比纯NVFP4慢5-9%证明了该方法在效率与精度之间的良好平衡。个人观点论文定位了FP4强化学习不稳定的根源是激活量化误差采用了“训练侧重权重、推理侧重激活”的非对称双侧对齐策略。

相关推荐

Goldberg模拟器:绕过Steam DRM实现单机游戏离线运行的原理与配置指南
Goldberg模拟器:绕过Steam DRM实现单机游戏离线运行的原理与配置指南

1. 项目概述:Goldberg Emulator是什么,以及为什么你需要它如果你是一个单机游戏爱好者,或者你的Steam库里躺着一堆因为网络问题、平台限制或者单纯想离线畅玩而无法启动的游戏,那么Goldberg Emulator(以下简称Goldberg… · 2026/10/26 7:51:20

迁移学习核心技术解析与工程实践指南
迁移学习核心技术解析与工程实践指南

1. 迁移学习的概念与价值迁移学习(Transfer Learning)是机器学习领域一项突破性技术,它让模型能够将已学到的知识迁移到新任务中。就像人类学会骑自行车后更容易掌握电动车驾驶一样,迁移学习让AI模型不再需要从零开始学习每个新任… · 2026/10/26 5:28:03

22-时序预测-电力负荷预测
22-时序预测-电力负荷预测

背景 重要性突出:电力工业是国民经济发展中的重要基础性能源产业,是保证国民经济和社会持续、稳定、健康的发展的关键。电力工业的发展建设对国家各行业起到至关重要的作用。随着改革开放后中国经济的高速发展,各领域的用电需求在不断激增,推动着电力系统向数字化、智能化… · 2026/10/25 12:49:08

伊春市电工证网上查询全流程详解:实操考试心里没底怕挂科?
伊春市电工证网上查询全流程详解:实操考试心里没底怕挂科?

伊春市电工证网上查询全流程详解:实操考试心里没底怕挂科? 实操考试心里没底怕挂科?伊春市电工证网上查询流程和备考技巧,这篇文章全给你讲明白了。很多人因为没了解清楚流程,耽误了报名或考试时间,甚至影响了职业发展。今天就从报考、培训、考试、审核… · 2026/11/12 16:09:39

选昆山电工证学校怕考不过白交培训费?通过率揭秘来了!
选昆山电工证学校怕考不过白交培训费?通过率揭秘来了!

选昆山电工证学校怕考不过白交培训费?通过率揭秘来了! 你是不是也担心花了钱去昆山电工证学校培训,最后考试还是过不了,钱白花了?别急,这篇文章就帮你把【昆山电工证学校】的 通过率揭秘 讲明白,告诉你怎么选学校、怎么备考,不走弯路。… · 2026/11/12 16:09:39

伊春市电工证2026河南最新政策下怎么考?工地太忙根本没时间复习考试
伊春市电工证2026河南最新政策下怎么考?工地太忙根本没时间复习考试

伊春市电工证2026河南最新政策下怎么考?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这几乎是每个建筑工人的共同痛点。尤其是像电工这样的特种作业,不仅需要实操经验,还得持证上岗,一证在手,才有资格参与各类工程项目。不过,随着… · 2026/11/12 16:09:39

旧电工证还能用吗 2026河南最新政策怎么说
旧电工证还能用吗 2026河南最新政策怎么说

旧电工证还能用吗 2026河南最新政策怎么说 不知道去哪报名怕被中介坑?2026河南最新政策明确,旧电工证还能用吗?答案其实不难,但很多人因为信息不对称,被中介骗钱、被单位拒收证书,甚至耽误了工作。今天就从开封在职建筑工人的角度,帮你理清楚… · 2026/11/12 16:09:39

保定满城办理电工证怎么考?2026河南最新政策下必须知道的3个关键点
保定满城办理电工证怎么考?2026河南最新政策下必须知道的3个关键点

保定满城办理电工证怎么考?2026河南最新政策下必须知道的3个关键点 急需特种作业证才能上岗找工作,这句话在建筑工地上天天能听到。特别是在河南,2026年最新政策出台后,像电工证这类特种作业操作证不仅成了“上岗通行证”,更是决定你能不能进工… · 2026/11/12 16:09:39

低压电工证叫啥怎么考?考前押题+避坑指南全在这儿
低压电工证叫啥怎么考?考前押题+避坑指南全在这儿

低压电工证叫啥怎么考?考前押题+避坑指南全在这儿 你是不是也这样,找遍了网上各种资料,还是搞不清低压电工证到底叫啥?报名的时候被各种中介绕得晕头转向,不知道该信谁?别急,这篇文章我从一个在一线干了七八年的项目经理角度,把低压电工证叫啥、怎么… · 2026/11/12 16:08:33

电工证丢失还能补吗?千万别踩坑,丢了证等于失业
电工证丢失还能补吗?千万别踩坑,丢了证等于失业

电工证丢失还能补吗?千万别踩坑,丢了证等于失业 你正在找工作,但手里的电工证突然丢了,这下怎么办?别急,先别慌, 电工证丢失还能补吗 ?答案是肯定的,但 千万别踩坑 ,补办流程如果不了解,可能会耽误你上岗、甚至影响到你的收入。… · 2026/11/12 14:09:01

电力电缆作业证直播报名入口与办理流程良心建议
电力电缆作业证直播报名入口与办理流程良心建议

电力电缆作业证直播报名入口与办理流程良心建议 你是不是也担心学历不高报不了名?别急,今天就给你讲讲 电力电缆作业证直播 的报名流程和那些你必须知道的干货, 良心建议 在这里,别错过。 电力电缆作业证直播报名需要什么条件?… · 2026/11/11 19:07:25

英德电工证报考费多少钱,怕考不过白交培训费?看完这篇别再踩坑
英德电工证报考费多少钱,怕考不过白交培训费?看完这篇别再踩坑

英德电工证报考费多少钱,怕考不过白交培训费?看完这篇别再踩坑 怕考不过白交培训费?英德电工证报考费多少钱,你真的了解吗?现在市面上培训机构五花八门,价格参差不齐,很多人一不小心就花了冤枉钱,结果还考不过。别急,今天就来给你说清楚英德电工证的… · 2026/11/11 17:14:54

电工证设年审有效期多久官方回应来了,工地太忙根本没时间复习考试
电工证设年审有效期多久官方回应来了,工地太忙根本没时间复习考试

电工证设年审有效期多久官方回应来了,工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线电工、焊工、高处作业人员的真实写照。尤其是像你这样刚毕业的鹤壁工程类毕业生,一边要找工作,一边要考证,时间紧张,复习效率低。但你可能不知… · 2026/11/12 0:00:56

新乡电工证实操怕挂科?电工作业动漫图+报考避坑全解析
新乡电工证实操怕挂科?电工作业动漫图+报考避坑全解析

新乡电工证实操怕挂科?电工作业动漫图+报考避坑全解析 实操考试心里没底怕挂科?你不是一个人。新乡的水利工程从业者,很多在报考电工证的时候都担心自己操作不熟练、考试不通过, 千万别踩坑 ,选对资料和方法真的能提高通过率。… · 2026/11/12 0:00:56

网电工证千万别踩坑:实操考试心里没底怕挂科怎么破?
网电工证千万别踩坑:实操考试心里没底怕挂科怎么破?

网电工证千万别踩坑:实操考试心里没底怕挂科怎么破? 实操考试心里没底怕挂科,这是很多准备报考【网电工证】的学员最真实的感受。尤其是在高压电工、低压电工等工种上,操作环节的容错率极低,一旦失误就可能直接被判定不合格。很多人因为担心挂科而放弃考… · 2026/11/12 0:00:56

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/12 4:35:34

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/12 4:36:01

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/11 17:15:20

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码