首页/新闻资讯/正文详情

Not Every Token Is Worth Distilling: Selective Supervision for Direct‑OPD 论文总结与翻译

发布时间:2026/11/4 16:20:03 来源:云帆数科 栏目:资讯中心
Not Every Token Is Worth Distilling: Selective Supervision for Direct‑OPD 论文总结与翻译
# Not Every Token Is Worth Distilling: Selective Supervision for Direct‑OPD 论文总结与翻译 论文arXiv链接:https://arxiv.org/abs/2609.29142## 一、论文主要内容Direct‑OPD是一种**弱到强的在线策略蒸馏(OPD)**方案:先在小规模教师模型上执行强化学习RL,再将RL带来的策略变化,通过RL前后模型checkpoint的token级对数比值,作为稠密监督信号迁移给更大的学生模型,避免直接对大模型做昂贵的RL训练。但原Direct‑OPD存在缺陷:对数比值仅表征**相对变化**,即便教师前后模型分配给学生候选token的概率质量趋近于0,该对数比值奖励仍然可以保持不变;此时教师行为实际几乎没有改变,但算法依旧给予同等强度监督,引入无效甚至有害的梯度信号,损害蒸馏效果。本文从理论上构造例子证明:Direct‑OPD的奖励与更新可以保持不变,但教师RL前后模型之间JSD、双向KL散度会伴随概率质量一起消失。JSD可以衡量教师行为真实变化幅度。基于该发现,作者提出**S²D‑OPD(Selective Supervision for Direct‑OPD)**:根据教师‑参考模型的JSD对学生采样得到的状态排序,屏蔽低散度状态上的监督,每条响应仅保留JSD最高的10%状态参与训练,**不需要额外前向计算开销**。实验设置2组教师对、4个学生模型(参数量1.7B‑8B),在数学推理数据集AIME、HMMT上测试。8组实验中7组S²D‑OPD相比原始稠密Direct‑OPD提升测试集精度,剩余一组效果持平;同时训练后期验证曲线更加平滑稳定。进一步分析发现:低JSD状

相关推荐

MoM: Memory of Memory(arXiv:2609.25054)论文总结与翻译
MoM: Memory of Memory(arXiv:2609.25054)论文总结与翻译

# MoM: Memory of Memory(arXiv:2609.25054)论文总结与翻译> 论文链接:https://arxiv.org/abs/2609.25054> 作者:Bowen Qin, Yao Lu> 提交时间:2026‑09‑07 ## 一、论文主要内容本文针对**大模型智能体(LLM Agent)长时序记忆**问题展开研究。现有主流记忆分为… · 2026/11/4 16:20:03

Agensh: Scaling Organizational Intelligence to 1,024 Agents(arXiv:2609.26781)论文总结与翻译
Agensh: Scaling Organizational Intelligence to 1,024 Agents(arXiv:2609.26781)论文总结与翻译

# Agensh: Scaling Organizational Intelligence to 1,024 Agents(arXiv:2609.26781)论文总结与翻译> 作者:Zhihao Zhan, Ting Song, Li Dong, Shaohan Huang, Jianxun Lian, Yan Xia, Furu Wei> 论文链接:https://arxiv.org/abs/2609.26781 ## 一、文章主要内容本文… · 2026/11/4 16:20:03

Viggle-Animate sample.py参数全解:CLI命令行参考手册
Viggle-Animate sample.py参数全解:CLI命令行参考手册

人工智能媒体生成视频 【免费下载链接】Viggle-Animate 项目地址: https://ai.gitcode.com/hf_mirrors/Viggle/Viggle-Animate 点击查看 免费下载 Viggle-Animate 是一个基于 MiniMax-H3 的 AI 视频角色替换模型:只要一段驱动视频加一张重绘帧&#xff… · 2026/11/4 16:20:03

wxappUnpacker小程序反编译实战指南:解包原理与避坑技巧
wxappUnpacker小程序反编译实战指南:解包原理与避坑技巧

简介:这是一套面向小程序开发者与安全研究人员的微信小程序反编译工具集wxappUnpacker,专用于逆向解析小程序主包与分包,解决封闭环境下无法查看原始逻辑、调试业务流程及开展安全审计的痛点,适用于代码学习、漏洞分析、性能优化等… · 2026/11/4 17:05:58

经典算法实战:从八皇后到拓扑排序的深度解析
经典算法实战:从八皇后到拓扑排序的深度解析

1. 算法问题解析与实战:从八皇后到拓扑排序 今天我想分享几个经典的算法问题及其解决方案,这些问题涵盖了深度优先搜索、动态规划、字符串处理和拓扑排序等多个算法领域。作为一名算法工程师,我在日常刷题和面试准备过程中发现,这… · 2026/11/4 17:05:58

podofo-0.9.6 for VS2013:Windows C++ PDF底层开发开箱即用包
podofo-0.9.6 for VS2013:Windows C++ PDF底层开发开箱即用包

简介:本资源为PoDoFo 0.9.6 PDF开源库的VS2013完整编译成果包,面向C开发者、PDF文档处理工具开发者及Windows平台底层库集成工程师,解决PDF解析、生成、编辑等核心功能在Visual Studio环境下难以直接编译部署的痛点。压缩包共2000个文件&… · 2026/11/4 17:05:58

小龙虾养殖自动化系统配置与优化指南
小龙虾养殖自动化系统配置与优化指南

1. 小龙虾养殖系统概述小龙虾养殖作为近年来快速发展的水产养殖项目,其自动化控制系统配置直接关系到养殖效益。一套完整的小龙虾养殖系统通常包含水质监测、自动投喂、环境调控三大核心模块。我在江苏、湖北等地参与过多个规模化养殖场的系统部署,发现合… · 2026/11/4 17:05:58

GBase 8c数据库count函数使用详解与优化
GBase 8c数据库count函数使用详解与优化

1. GBase 8c数据库count函数深度解析 作为一名长期使用GBase 8c数据库的开发者,我发现count函数虽然简单,但很多同行在实际使用中仍然存在不少误区。今天我就结合自己多年的实战经验,详细剖析count(*)、count(1)和count(列名)这三种写法的异同… · 2026/11/4 17:05:58

鸿蒙OS金融App全栈优化:安全与性能实战
鸿蒙OS金融App全栈优化:安全与性能实战

1. 项目背景与核心价值 金融理财类App作为直接涉及用户资金安全的高敏感度应用,对系统稳定性、响应速度和数据安全有着近乎苛刻的要求。这个鸿蒙全栈项目正是针对金融行业特殊需求打造的解决方案,覆盖了从底层系统适配到上层业务逻辑的全链路优化。 在传… · 2026/11/4 17:04:57

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

AI辅助技术栈评估:提升研发决策效率60%
AI辅助技术栈评估:提升研发决策效率60%

1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进,技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里,先后经历了三次重大技术栈迁移,每次都需要投入大量人力进行技术评估和风险分析。直到去年… · 2026/11/4 0:00:17

从生成Token到直接决策:Jev如何重塑AI Agent工程实践
从生成Token到直接决策:Jev如何重塑AI Agent工程实践

1. 从"生成文字"到"拍板决策":Jev 到底在解决什么问题大多数人第一次接触大模型,脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样,它给你一段描述;你让它写个周报,它给你… · 2026/11/4 0:00:17

32G统一内存跑大模型:内存账、TPS实测与端云分流
32G统一内存跑大模型:内存账、TPS实测与端云分流

想在一台 32G 统一内存的小主机上把大模型跑成"日常可用",这件事我前后折腾了小半年。标题里说的这台 Mac mini M6,是我们这次讨论的目标平台,具体到手规格以实物为准;但下面这套推算方法和实测思路,对任何统… · 2026/11/4 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码