首页/新闻资讯/正文详情

VeRL-DAPO精度问题数值计算分析

发布时间:2026/9/26 15:00:10 来源:云帆数科 栏目:资讯中心
VeRL-DAPO精度问题数值计算分析
作者昇腾实战派知识地图https://blog.csdn.net/Lumos_Lovegood/article/details/1614551421 背景概述在强化学习策略梯度方法中近端策略优化PPO通过引入裁剪机制显著提升了训练稳定性。在实际应用过程中策略梯度损失pg_loss的计算直接影响模型收敛效果与最终性能。本文基于训练波动问题深入分析pg_loss的构成机制与影响因素重点剖析优势函数advantage的计算、策略更新比率ratio的作用以及奖励函数的设计为优化强化学习训练过程提供参考。2 pg_loss计算解析2.1 PPO 基础优化目标函数PPO算法通过限制策略更新的步长避免训练过程中的剧烈波动。其核心目标函数在保证策略持续改进的同时最大限度地减少更新过程中的方差。2.2 Dual-clip 机制为进一步增强训练稳定性我们引入了Dual-clip方法。该机制主要用于防止当优势函数值为负且当前策略与旧策略概率比的对数logp - old_logp较大时梯度更新量过小而导致训练崩溃。参考https://arxiv.org/pdf/1912.09729裁剪比值在实际应用中Dual-clip的触发率相对较低但在关键情况下对维持训练稳定性起到重要作用。3 pg_loss构成拆解grpo/dapo总体优化目标函数为pg_loss主要由两个因素构成3.1 优势函数advantage值优势函数计算公式如下过实验观察发现在奖励均值差异不大的情况下优势函数的计算结果可能出现显著差异。为进一步分析这一现象我们统计了每个训练步骤中优势函数的标准差。数据分析表明优势函数的标准差均值与其数值大小基本呈反比关系如下图所示3.2 策略更新比率ratio策略更新比率定义为当前策略与旧策略概率比的对数logp - old_logp。监测数据显示该比率值基本维持在1或0.999附近表明策略更新较为稳定对整体优势函数值没有产生显著影响。4 reward计算解析奖励计算主要由以下几个部分构成4.1 奖励模型输出本部分涉及奖励模型的具体实现在此不做详细讨论。4.2 规则奖励规则奖励基于最后300个token采用匹配机制进行计算答案正确奖励1答案错误奖励-1具体实现可参考相关工具模块中的数学奖励计算模块。4.3 生成长度奖励overlong_rewards此部分为超长惩罚机制直接添加到总奖励中在当前训练场景中奖励主要由推理打分和超长惩罚两部分构成其中推理评分结果占据主要部分。通过合理配置这些奖励组件可以有效引导模型学习目标行为提升训练效果。

相关推荐

Navicat密码解密工具:从加密到明文的救星
Navicat密码解密工具:从加密到明文的救星

Navicat密码解密工具:从加密到明文的救星 【免费下载链接】navicat_password_decrypt 忘记navicat密码时,此工具可以帮您查看密码 项目地址: https://gitcode.com/gh_mirrors/na/navicat_password_decrypt 凌晨3点,数据库服务器突然告警&#xff… · 2026/9/22 17:08:02

3步安装霞鹜文楷屏幕阅读版字体:告别眼睛疲劳的终极方案
3步安装霞鹜文楷屏幕阅读版字体:告别眼睛疲劳的终极方案

3步安装霞鹜文楷屏幕阅读版字体:告别眼睛疲劳的终极方案 【免费下载链接】LxgwWenKai-Screen LXGW WenKai for Screen Reading. 项目地址: https://gitcode.com/gh_mirrors/lx/LxgwWenKai-Screen 还在为长时间盯着屏幕阅读而感到眼睛疲劳吗?霞鹜文… · 2026/9/26 7:34:11

长文档分析不再卡,Strix Halo 挑战 128K 上下文极限测试
长文档分析不再卡,Strix Halo 挑战 128K 上下文极限测试

十万字长文一口气喂给 AI:Strix Halo 的 128K 上下文实战 处理长篇研报、法律合同或是几十万字的小说时,把文档切成碎片再丢给 AI,往往会让模型“断片”,丢失关键的上下文逻辑。最近入手了搭载 AMD Strix Halo 架构的新本&#xf… · 2026/9/25 17:58:19

大模型速通学习笔记(37):LangChain 接入智普大模型配置与验证
大模型速通学习笔记(37):LangChain 接入智普大模型配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 15:00:06

全国农产品成本收益资料汇编:从PDF到面板数据的清洗与计算全攻略
全国农产品成本收益资料汇编:从PDF到面板数据的清洗与计算全攻略

简介:全国农产品成本收益资料汇编(1953—2021年)是一套跨越近70年的农业经济数据库,面向高校研究人员、数据统计从业者及农业政策分析人员,可用于长期趋势比较、投入产出建模和AI预测训练。压缩包内含2000个文件&#… · 2026/9/26 15:00:06

腾讯开源WeKnora:企业级RAG知识框架与Wiki自进化实战解析
腾讯开源WeKnora:企业级RAG知识框架与Wiki自进化实战解析

1. WeKnora是什么:腾讯开源知识框架的定位与价值1.1 一个“开箱即用”的企业级知识中台如果你在企业里做过知识库项目,大概率遇到过这么个尴尬局面:用 LangChain 搭了个 RAG 系统,Demo 跑得飞快,一上生产就原形毕露——… · 2026/9/26 15:00:06

扫出tel:、sms:、wifi:后如何解析?QRCode4cj客户端结果解析完全指南
扫出tel:、sms:、wifi:后如何解析?QRCode4cj客户端结果解析完全指南

扫出tel:、sms:、wifi:后如何解析?QRCode4cj客户端结果解析完全指南 【免费下载链接】qrcode4cj 一维码/二维码扫描库。 项目地址: https://gitcode.com/Cangjie-TPC/qrcode4cj QRCode4cj 是一个解析/生成一维码、二维码的开源扫描库。扫码得到 tel:、sms:、… · 2026/9/26 15:00:06

用EvalScope在4090上跑DeepSeek性能测试:从config.toml到结果验证的完整配置
用EvalScope在4090上跑DeepSeek性能测试:从config.toml到结果验证的完整配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 15:00:00

深入 bb Provider Bridge 协议:thread/delta 语义语法与 Delta Assembler 的设计思想
深入 bb Provider Bridge 协议:thread/delta 语义语法与 Delta Assembler 的设计思想

深入 bb Provider Bridge 协议:thread/delta 语义语法与 Delta Assembler 的设计思想 【免费下载链接】bb The agent IDE that builds itself 项目地址: https://gitcode.com/gh_mirrors/bb14/bb bb 是"自我构建"的智能体 IDE,而它的多 AI 提供商接入能力,核心… · 2026/9/26 15:00:00

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码