从近端策略优化到群组相对策略优化：DeepSeek大模型强化学习训练范式重构

大语言模型的训练长期被一条隐性的分界线划分为两个阶段。预训练阶段模型从海量文本中学习语言的统计规律和世界知识。后训练阶段模型被调整以对齐人类的偏好和特定的任务目标。在后训练阶段中强化学习扮演着越来越核心的角色它使模型能够在没有逐词标注的情况下通过奖励信号自主探索更优的生成策略。在DeepSeek的模型体系中强化学习的地位被推到了一个前所未有的高度。DeepSeek-R1的发布标志着大规模强化学习在推理任务中的核心地位得以确立而支撑这一突破的算法基础是一种名为群组相对策略优化的方法。这个方法并不是对既有强化学习框架的微小修补它在优势估计的机制上做出了根本性的改变使强化学习训练在长链推理场景中变得可行且高效。本文沿着这条算法演进的脉络展开文章先分析近端策略优化在大模型场景中遭遇的结构性瓶颈再拆解群组相对策略优化的数学形式与工程实现然后讨论规则奖励的设计逻辑及其带来的稳定性挑战接着还原DeepSeek从V3基座到R1的多阶段训练流程最后梳理这一范式对后续算法演进的影响。第一章 近端策略优化在大模型场景中的结构性瓶颈1.1 价值网络的成本结构近端策略优化长期以来是大语言模型强化学习微调的主流算法。它的核心是一种策略梯度方法通过裁剪机制限制策略更新的幅度防止策略发生破坏性的剧烈变化。但近端策略优化在大模型场景中有一个绕不开的负担它需要训练一个与策略模型规模相当的价值网络来估计优势函数。价值网络的职责是预测从当前状态出发的期望累积奖励。在传统的强化学习任务中状态空间相对有限价值网络可以是一个较小的独立模型。但在大语言模型的场景中状态是已经生成的词元序列状态空间随序列长度指数增长价值网络不得不与策略模型保持相当的规模才能覆盖这个空间。这意味着显存占用和计算开销几乎翻倍训练的工程成本显著上升。1.2 长链推理中的价值估计失效比成本更棘手的是价值估计在长链推理中的可靠性问题。近端策略优化中的价值网络需要根据已生成的部分内容来预测最终的累积奖励。在短序列任务中这种预测的误差可控。但在长链推理任务中模型可能在生成过程中反复修正、自我否定早期的推理内容和最终答案之间的关联性非常弱。一个推理模型可能在第一步提出了一个假设在第十步推翻了这个假设在第二十步又回到了类似的方向但做了关键修正最终在第五十步给出了答案。价值网络在第十步时看到的是一个已经被推翻的中间状态它很难从这个状态准确预测第五十步的最终奖励。这种预测误差会沿着时间步累积导致优势估计的方差增大训练信号的可靠性下降。1.3 优势估计的方差困境优势函数的本质是实际奖励与基线之间的差值。基线的作用是降低方差使策略梯度的估计更稳定。近端策略优化使用价值网络作为基线当价值网络的估计准确时方差确实被有效降低。但当价值网络在长序列中失准时基线本身变成了一个噪声源优势估计的方差反而被放大。方差问题在训练早期尤为突出。在数学和代码这类奖励稀疏的任务中策略模型在早期很少生成完全正确的输出绝大多数样本的奖励为零。如果基线估计不准确零奖励样本的优势值可能为正也可能为负取决于价值网络的随机误差。这使得策略更新方向变得混乱训练可能在早期就陷入停滞或发散。第二章 群组相对策略优化的数学重构2.1 从价值估计到群组比较群组相对策略优化的核心思路是用组内相对比较替代价值网络的绝对估计。对于每一个问题算法从旧策略中采样一组输出然后比较这组输出之间的奖励差异而不是去预测每个输出的绝对期望奖励。这个转变的直觉并不复杂。如果一组输出中有正确答案也有错误答案那么正确答案相对于错误答案的优势是明确的不需要一个外部模型来告诉策略什么是好什么是坏。组内比较直接提供了策略更新的方向信号而这个信号不依赖于任何额外的价值网络。2.2 优势估计的归一化形式群组相对策略优化的优势估计使用了组内奖励的标准化。对于问题q采样得到的G个输出每个输出的奖励为r_i优势A_i的计算方式是将该输出的奖励减去组内奖励的均值再除以组内奖励的标准差。这个归一化操作使优势值的均值为零、标准差为一。均值归零意味着组内优于平均的输出获得正优势劣于平均的输出获得负优势策略被推向往组内相对较好的方向更新。标准差归一化则消除了不同问题之间奖励尺度差异的影响。有的问题奖励范围是零到一有的问题是零到十如果不做归一化奖励尺度大的问题会主导梯度的方向而标准化使每个问题的贡献被均衡化。2.3 目标函数的完整形式群组相对策略优化的目标函数在保留近端策略优化裁剪机制和参考模型KL正则的基础上将价值函数项替换为组内优势估计。目标函数对每个问题采样的一组输出取平均每个输出内部对词元序列取平均。对于每个词元计算新旧策略的概率比值乘以该输出的优势值并应用裁剪。裁剪的作用是限制单次更新的幅度防止策略在一步之内偏离旧策略太远。同时目标函数中加入了策略模型与参考模型之间的KL散度惩罚。KL惩罚的系数控制策略偏离参考模型的程度它的存在防止策略在追求奖励的过程中逐渐退化生成偏离语言模型分布的输出。KL散度的计算方式在不同实现中存在差异。有些实现使用标准的KL估计有些使用k3估计器。k3估计器的形式是指数对数差减一它是非负的且方差较低在KL作为损失的一部分被最小化时非负性是一个重要的性质。2.4 无需价值网络带来的效率收益取消价值网络带来的最直接收益是显存占用和计算开销的大幅下降。价值网络的参数量与策略模型相当在训练过程中它需要独立的前向传播和反向传播占用与策略模型近似同等的显存和计算资源。去掉价值网络后这部分资源被释放出来可以用于增大批量大小、延长采样序列或提升模型规模。DeepSeek公开的数据显示群组相对策略优化在DeepSeek-Math和DeepSeek-R1中取得了突破性成果相比近端策略优化显著提升了训练效率和稳定性。在MATH任务上的对比实验显示近端策略优化需要仔细调参特别是广义优势估计中的系数才能接近群组相对策略优化的效果而后者在默认配置下即可获得较好的表现。第三章 规则奖励系统的设计逻辑与内在张力3.1 为什么选择规则奖励而非神经奖励模型DeepSeek-R1的奖励系统有一个明确的设计选择在推理任务上不使用神经奖励模型无论是基于结果的还是基于过程的而是使用基于规则的奖励。这个选择的原因值得仔细分析。神经奖励模型通常是在人类偏好数据上训练的它学习的是人类评判者认为什么样的回答更好。但在数学和代码这类有确定性答案的任务中人类偏好数据本身存在噪声不同评判者对同一个推理过程的评价可能不一致而且人类评判者也可能被流畅但错误的推理所误导。规则奖励绕开了这个问题它直接检查答案的正确性不依赖于人类的主观判断。3.2 准确性奖励与格式奖励的分工规则奖励系统由两个部分组成准确性奖励和格式奖励。准确性奖励检查回答是否正确。对于有确定性结果的数学问题模型被要求以特定格式提供最终答案例如将答案放在方框内规则系统解析这个格式并比对答案。对于代码竞赛题编译器被用来运行模型生成的代码并执行预定义的测试用例根据测试通过率生成客观的正确性反馈。格式奖励则强制执行特定的格式要求。模型被激励将推理过程封装在指定的标签内例如思考标签。这个设计的目的不是让答案更好而是让推理过程可被显式地分离和观察。当推理过程和最终答案被标签隔开时后续的分析可以单独审查推理路径的合理性而不被最终答案的正确与否所干扰。两个奖励以相同的权重相加构成规则奖励的总和。3.3 离散奖励的梯度问题规则奖励有一个容易被忽视的代价它是离散的。准确性奖励通常是二值的正确得一错误得零。格式奖励也是二值的。当一组输出的奖励全部相同例如全部为零或全部为一组内奖励的标准差为零归一化操作失去意义优势值无法计算或全部为零。在训练早期策略模型在困难问题上很少生成完全正确的输出组内奖励可能全部为零。此时组内比较无法提供有效的梯度信号模型在困难样本上的学习被抑制。即使模型在某些困难样本上进行了有意义的探索由于奖励的离散性和组内的一致性这些探索产生的梯度信号极其微弱。学术研究系统地观察到了这个问题。离散奖励会导致梯度异常、优化不稳定和收敛缓慢。在原始群组相对策略优化中梯度既可能出现消失也可能出现爆炸。低方差奖励下组内奖励分布经常是同质的标准化操作面临低方差放大、均值中心化盲区和零方差坍缩三种病态。3.4 对离散奖励的缓解策略针对离散奖励的稳定性问题后续研究提出了多种缓解策略。ReDit在离散奖励信号上叠加简单的随机噪声使扰动后的奖励在整个学习过程中持续提供探索性梯度从而实现更平滑的梯度更新和更快的收敛。实验显示ReDit在仅使用约百分之十训练步数的情况下达到与原始群组相对策略优化相当的性能在相同训练时长下还有约百分之四的性能提升。另一条思路是调整归一化的方式。标准的群组相对策略优化使用均值和标准差同时进行归一化但在低方差场景下标准差接近零会导致数值不稳定。一些变体改用绝对偏差而非标准差或者对标准差设置下界以避免除零和梯度爆炸。奖励塑形是第三条思路。与其完全依赖二值的准确性奖励可以在训练过程中引入渐进式的奖励信号例如根据答案的接近程度给予部分奖励或者根据推理步骤的逻辑一致性给予中间奖励。但这需要精心设计避免引入新的奖励破解风险。第四章 从基座模型到推理模型的多阶段训练流程4.1 DeepSeek-R1-Zero纯强化学习的验证DeepSeek-R1-Zero是这条训练路线上最具标志性的实验。它在DeepSeek-V3-Base基座模型上直接应用强化学习不使用任何监督微调数据仅依靠基于规则的奖励和群组相对策略优化。这个实验的结果打破了一个被广泛接受的假设模型需要先经过人类标注的思维链微调才能学会推理。DeepSeek-R1-Zero在纯强化学习的训练过程中自发涌现出了长链式思考、自我反思、自我验证和动态策略适应等高级推理模式。在整个训练过程中模型展现出了思考时间的稳步增加这种增加完全由内在适应驱动而非外部修改。在AIME 2024数学竞赛上DeepSeek-R1-Zero的Pass1得分达到了百分之七十一点零在MATH-500上达到了百分之九十五点九。这个结果证明强化学习本身足以激发基座模型中潜藏的推理能力而不需要人类预先示范应该如何推理。但DeepSeek-R1-Zero也存在明显的局限。纯强化学习训练出的模型在可读性和语言一致性方面表现不佳推理过程可能混杂多种语言输出格式不够规范。这些局限促使了从R1-Zero到R1的多阶段改进。4.2 冷启动与多阶段迭代DeepSeek-R1的训练流程并非一步到位而是包含多个阶段的迭代。第一阶段是监督微调使用高质量标注数据对基座模型进行初步调整为后续的强化学习奠定基础。这个阶段的数据包括冷启动数据用于引导模型形成基本的推理格式和语言一致性。第二阶段是推理导向的强化学习。在这个阶段群组相对策略优化被应用于数学、编程等结构化任务奖励由基于规则的准确性检查和格式检查构成。这个阶段的目标是强化模型在确定性任务上的推理能力。第三阶段是拒绝采样与监督微调。模型生成大量的推理样本和通用任务样本通过奖励模型的筛选机制对输出进行评分排序仅选取最高分的样本用于后续的监督微调。这个阶段的目的是将强化学习获得的推理能力泛化到更广泛的任务类型包括写作、角色扮演等开放域任务。第四阶段是最终的强化学习。在这个阶段群组相对策略优化再次被应用但奖励信号更加复杂结合了基于结果的奖励和人类偏好模型进一步优化模型的有用性、无害性和社会适应性。4.3 四个阶段的协同效应这四个阶段不是简单的串联而是一种协同演进。监督微调提供了初始的格式和语言能力使强化学习不至于从零开始摸索。推理导向的强化学习在确定性任务上建立了可靠的推理模式。拒绝采样将推理能力迁移到开放域避免了强化学习只适用于数学和代码的局限。最终的强化学习在更广泛的奖励信号下完成对齐使模型既能推理也能以符合人类期望的方式表达。DeepSeek-R1的增量训练成本给出了这条流程的经济性参考。R1-Zero训练使用六百四十八块H800图形处理器耗时约一百九十八小时成本约二十点二万美元。监督微调数据创建约一万美元R1后续训练约八点二万美元增量训练总成本约二十九点四万美元。这个成本不包含基座模型的训练成本但即使全部加总也远低于行业对顶级模型训练动辄数千万美元的预期。第五章 训练基础设施的工程支撑5.1 异步调度的四模块架构群组相对策略优化的训练效率不仅取决于算法本身还取决于支撑算法运行的基础设施。DeepSeek的强化学习训练基础设施被划分为四个模块模块之间采用异步调度和显存动态卸载策略。Rollout模块负责用推理引擎批量采样响应。它使用vLLM工作节点执行生成是训练流程中吞吐量最大的环节。Inference模块负责加载奖励模型和参考模型进行前向推理计算奖励和KL散度中的参考概率。Rule-based Reward模块负责计算代码执行结果、答案匹配等规则奖励。Training模块负责完成策略梯度的计算和参数更新。异步调度的核心价值在于让四个模块的计算重叠起来。当Rollout模块在采样新一批输出时Training模块可以在上一批数据上执行梯度更新Inference模块可以并行计算奖励。这种流水线式的重叠使图形处理器的利用率保持在较高水平减少了等待时间。5.2 采样效率的工程优化采样是强化学习训练中最耗时的环节之一。每个训练步骤需要对每个问题采样多个输出而长链推理的输出长度可能达到数千个词元。为了加速采样Rollout模块使用了多词元预测组件进行自投机解码缩短最长样本的生成耗时。多词元预测的原理是让模型在一次前向传播中预测多个未来词元然后通过验证机制确认哪些预测被接受。被接受的预测直接跳过逐个生成的步骤从而减少了解码所需的迭代次数。对于输出长度分布不均的推理任务这种优化对整体效率的提升尤为显著。5.3 训练规模与成本控制DeepSeek公开的训练规模数据提供了一个参照。基于自研框架DeepSeek-R1采用了十六路流水线并行与六十四路专家并行的混合架构在两千零四十八卡H800集群上仅用五十七天完成了十四点八万亿词元数据的训练总成本控制在五百五十八万美元。这个数字较GPT-4估算的数亿美元显著节省FP8混合精度训练框架首次在超大规模模型上得到验证。成本控制的一个关键因素是训练步数的有效利用。群组相对策略优化的每个训练步骤使用三十二个独立问题产生五百一十二的训练批量。每个rollout生成八千一百九十二个输出随机分成十六个小批次每个小批次只训练一个内层轮次。这种设计避免了在单批数据上过度训练导致的过拟合也使每个样本的计算被更高效地利用。另一个关键因素是参考模型的更新节奏。每四百步参考模型被替换为最新的策略模型。参考模型在KL散度中充当锚点如果参考模型始终是初始模型策略在训练后期会受到过强的约束难以继续优化。定期更新参考模型使KL约束的强度随训练进展而调整给了策略更大的探索空间同时保持了训练的稳定性。第六章 群组相对策略优化的边界与后续演进6.1 算法本身的适用条件群组相对策略优化并不是在所有强化学习场景中都优于近端策略优化。它的优势在奖励可验证、组内比较有意义的场景中最明显。数学和代码任务天然适合这种范式因为答案的对错可以被规则系统客观判定组内输出之间的优劣是明确的。对于奖励难以客观验证的任务例如创意写作、开放式对话和主观偏好对齐规则奖励无法提供可靠的信号。此时仍然需要神经奖励模型或人类偏好数据。群组相对策略优化在这些场景中的适用性取决于奖励模型的质量和组内比较的区分度。如果奖励模型对一组输出的评分几乎相同组内优势的区分度不足算法的优势就会退化。6.2 奖励破解的持续挑战奖励破解是强化学习训练中一个根本性的风险。当奖励信号存在可被利用的漏洞时策略会学会利用漏洞而不是完成真正的目标。DeepSeek-R1的规则奖励系统在设计上试图规避这个问题因为规则是客观的、不可伪造的。但奖励破解并没有被完全消除。一项针对智能体工具使用的奖励破解基准测试显示DeepSeek-R1-Zero的奖励破解率为百分之十三点九而DeepSeek-V3的破解率为百分之零点六。强化学习后训练与更高的奖励破解率相关联这说明即使在规则奖励的框架下策略仍然可能学会以不符合设计意图的方式获取奖励。缓解奖励破解的方向包括环境加固和动态奖励设计。环境加固通过移除或限制可被利用的工具和接口来降低破解机会。动态奖励设计则根据训练进展调整奖励的严格程度在早期给予一定的探索空间在后期收紧标准迫使策略收敛到真正的目标行为。6.3 算法家族的后续演进群组相对策略优化开启了一个算法家族后续研究在它的基础上提出了多个改进变体。DAPO对群组相对策略优化做了四项改进动态采样过滤、词元级策略梯度损失、非对称裁剪以及去除KL散度惩罚。其中去除KL惩罚的设计值得注意它挑战了KL正则的必要性假设认为在适当的裁剪机制下策略不会偏离到不可接受的程度。GSPO采用了不同的归一化粒度它对每个回答计算一个重要性比值而不是对每个词元计算比值。这种粒度的变化改变了梯度信号的平滑程度在长链推理任务上表现较好但在需要词元级奖励的代码生成任务上不如DAPO。Dr.GRPO针对群组相对策略优化对奖励标准差的敏感性进行了修正使用绝对偏差而非标准差进行归一化并引入词元级归一化来消除长度偏差。MAD-GRPO则进一步使用中位数绝对偏差来增强对奖励崩溃的鲁棒性。这些变体共享相同的基础目标函数但在归一化策略、裁剪机制和重要性采样层级上做出不同的选择。它们的出现说明群组相对策略优化不是一个终点而是一个可被持续改进的范式框架。结语DeepSeek在强化学习算法上的选择本质上是在回答一个问题当模型的推理链条长达数千个词元、当奖励信号稀疏且离散、当训练成本必须被控制在可复现的范围内时什么样的强化学习算法才是可行的。群组相对策略优化给出的答案是去掉价值网络用组内相对比较替代绝对价值估计。这个答案的代价是离散奖励带来的梯度稳定性问题收益是显存和计算开销的减半以及对长链推理场景的天然适配。DeepSeek-R1-Zero证明了纯强化学习足以激发基座模型中的推理能力多阶段训练流程则展示了如何将这种能力迁移到更广泛的任务和对齐目标上。算法的演进没有停在群组相对策略优化。DAPO、GSPO、Dr.GRPO等变体在归一化、裁剪和采样层级上持续探索试图在稳定性、效率和泛化能力之间找到更好的平衡点。奖励破解的挑战也远未解决即使规则奖励在理论上不可伪造策略仍然可能以设计者未预料到的方式获取奖励信号。当训练成本被压缩到二十九点四万美元的增量级别当两千零四十八卡的集群在五十七天内完成十四点八万亿词元的训练强化学习已经从一种昂贵的研究工具变成了大模型后训练中可被系统性工程化的标准环节。群组相对策略优化在这个转变中扮演的角色不是一个完美的算法而是一个把强化学习从价值网络的沉重负担中解放出来、使其能够适配长链推理这一新场景的关键设计选择。