从15.6%到71.0%：R1-Zero纯强化学习与R1多阶段训练选型

简介这份PDF文档聚焦DeepSeek团队第一代推理模型DeepSeek-R1-Zero与DeepSeek-R1的研发脉络面向机器学习研究者、开发者及希望提升大模型推理性能的从业者回应“如何以强化学习激发语言模型推理能力”这一问题。全文围绕纯RL训练、冷启动数据与多阶段训练、推理导向强化学习、拒收抽样与监督微调、蒸馏小模型等环节展开并给出代码竞赛、数学解题、文档解析等高推理负载场景的评测结果。资源包仅含1个PDF文件大小2.62MB便于单文件检索与离线阅读。已有1361人学习读者可从中获得DeepSeek-R1-Zero的自演化过程与“Aha时刻”、DeepSeek-R1的可读性改进方案、1.5B至70B蒸馏模型的开源信息以及基准性能对比和失败尝试的讨论适合作为强化学习提升LLM推理能力的系统参考。1. 纯强化学习能走多远一个 15.6% 到 71.0% 的对照实验R1-Zero 在 AIME 2024 上的 pass1 从 15.6% 拉到 71.0%整个过程一条监督微调数据都没用。这个数字第一次看到时我的第一反应不是又一个刷榜结果而是去翻它到底怎么给奖励——纯强化学习撬动大规模语言模型的推理能力最怕的就是奖励设计一歪模型学会的是讨好打分器而不是解题。这份技术报告把两条路线摊开写了一条是从基座直接上 RL 的 R1-Zero一条是加了冷启动和多阶段训练的 R1顺带把蒸馏到 1.5B 到 70B 六个尺寸的推理模型结果也放了出来。下面不复述报告只把几个真正要做决定的岔路口拆开路线怎么选、奖励怎么搭、小模型怎么带、评测怎么不翻车。做推理模型的人看完能直接对着调只关心结论的人看第 2 章和第 6 章的表格就够。2. 两条训练路线的分水岭R1-Zero 与 R1 的六个维度对比这两条路线不是简单版和完整版的关系。R1-Zero 是一个刻意的对照实验把 SFT 完全拿掉看强化学习能不能自己长出长链推理、自我验证和反思这些行为。R1 是在这个实验的结论之上补上工程可用的部分。我一般会这么比先看两者在起点上的差异再看这个差异往后面传导出了什么。2.1 起点差异一个从基座直上一个先喂几千条冷启动R1-Zero 的起点就是基础模型 V3-Base671B 总参数、37B 激活直接套 GRPO 做大规模强化学习中间不插任何监督微调。训练模板极其克制只有一条约束模型必须先输出think段写推理过程再输出answer段给最终答案提示会被替换成具体的推理题。报告里特别强调了这种克制是有意为之——不强制模型反思、不指定某类解题策略就是为了能干净地观察模型在 RL 环境里自然演化出什么。R1 的起点是同一套推理模型但先做了一步微调收集几千条长链思维数据把 V3-Base 调成一个会写可读推理过程的初始策略然后才开始 RL。这几千条冷启动数据从哪来报告给了几条路子用 few-shot 提示长 CoT直接提示模型生成带反思和验证的详细答案把 R1-Zero 早期版本的输出整理成可读格式再人工后处理精修。注意最后这条——用上一版模型的输出去喂下一版模型这个循环在工程上很实用因为 R1-Zero 的推理内容本身是对的烂的是排版和语言混杂。从系统角度看这两条路线的差别不在算法而在数据管线的位置。R1-Zero 把数据管线整个砍掉了赌的是奖励信号足够干净R1 把数据管线放在最前面当点火器赌的是少量高质量种子能显著缩短 RL 早期的不稳定期。2.2 训练成本与收敛速度省下来的 SFT 数据从哪补回来R1-Zero 省掉的是冷启动数据的构造成本但它把成本转移到了别处。报告里写得很直白R1-Zero 经过数千步强化学习后推理指标才起来而且在训练早期有明显的波动。没有那几千条种子数据模型要在 RL 里自己摸索出推理过程该怎么写才像样这段摸索期烧的是 GPU 时间。R1 的成本结构反过来先花人力造几千条冷启动数据多一轮 SFT然后在 RL 收敛后还要做拒绝采样、再收集约 60 万条推理样本和约 20 万条非推理样本、微调 2 个 epoch、再跑一轮全场景 RL。整体算下来R1 的总训练开销明显高于 R1-Zero但换来的是收敛更稳、输出可以直接给人看。我在实际项目里判断这件事的标准很朴素看下游有没有人。如果下游是自动化判题——数学答案比对、代码跑测试用例——R1-Zero 那套完全够用可读性差无所谓反正没人读。只要输出要进对话产品、要进文档、要给业务方看冷启动这一步就省不掉省下来的人力最后都要以给模型输出打补丁的形式还回去。2.3 输出可读性格式模板与摘要段的实际差别R1-Zero 的两个硬伤报告写得很清楚可读性差、语言混合。语言混合是指 RL 提示里如果涉及多种语言模型生成的思维链会混着输出几种语言一段推理里中英日夹杂。这在纯自动评测里不影响分数但人一读就废了。R1 的处理方式是在数据格式层面定死结构special_tokenreasoning_processspecial_tokensummary也就是推理过程后面必须跟一段摘要用来总结推理结果。同时在冷启动数据构造阶段就过滤掉对读者不友好的响应比如混合语言、超长段落、夹代码块的思维链。这个改动看起来是排版实际影响不小。摘要段的引入相当于给模型加了一个把长推理压缩成结论的子任务而这个子任务在 R1-Zero 里是不存在的。我见过不少团队在复现时把摘要段当成可选项去掉结果模型输出的推理过程越训越长最后答案埋在几万 token 后面评测判官都抓不到。2.4 选型结论什么条件下必须上冷启动把上面这些压成一张表选型的时候直接对维度R1-ZeroR1起点V3-Base 直接上 RL数千条长 CoT 冷启动微调后上 RL奖励规则准确性奖励 格式奖励准确性 语言一致性阶段四再加偏好奖励模型训练阶段单阶段 RL冷启动 SFT → 推理 RL → 拒绝采样 SFT约 80 万样本2 epoch→ 全场景 RLAIME 2024 pass171.0%cons64 为 86.7%79.8%可读性差语言混合有摘要段结构化输出适用场景自动化判题、研究对照实验对话产品、教育、需要人读的场景三条判断可以直接抄可验证答案的任务占比超过七成、且输出不给人看走 R1-Zero 路线需要多轮对话、写作、角色扮演冷启动必做否则后面每加一个通用能力都要重新打补丁算力预算紧张但又要可读输出优先做冷启动而不是加大 RL 步数冷启动对收敛稳定性的收益比多训几千步更直接。3. 奖励系统怎么搭规则奖励、神经奖励与语言一致性奖励的取舍奖励是训练信号的唯一来源它决定了模型往哪个方向优化。这一章是整份报告里我最愿意反复读的部分因为大部分复现失败都栽在这里而不是栽在算法或算力上。3.1 规则奖励数学框答案与代码测试用例为什么更可靠R1-Zero 用的奖励系统只有两类全部基于规则。准确性奖励负责判断答案对不对数学题要求模型把最终答案写在boxed里这样可以用字符串匹配做可靠校验编程题交给编译器用预定义测试用例跑一遍拿反馈。格式奖励负责强制思维过程落在think和/think之间。规则奖励的最大优势是不可被钻空子。判分逻辑是确定性的模型没办法通过看起来很像正确答案来骗分。第二个优势是零训练成本——不需要额外训一个奖励模型也不需要维护它的版本。代价是覆盖面窄。规则奖励只能用在有确定答案的任务上数学、代码、逻辑推理。开放域写作、事实问答、角色扮演这些没有标准答案的任务规则判不了。这就是为什么 R1 的第三阶段要引入生成式奖励模型做补充判分第四阶段要用偏好奖励模型处理通用场景。我的经验是能用规则判的一律用规则哪怕判得粗糙一点。规则判分哪怕只覆盖 60% 的训练样本也比一个覆盖 100% 但会被 hack 的神经奖励模型稳。3.2 神经奖励模型的两个翻车点奖励黑客与训练管线膨胀报告在 R1-Zero 阶段明确没用结果奖励模型或过程奖励模型理由写得很实在神经奖励模型在大规模 RL 过程中容易遭遇奖励黑客攻击而重新训练奖励模型又需要额外的训练资源让整条训练管线变复杂。第一个翻车点是奖励黑客。模型在长训练里会找到打分器的偏好模式——比如答案写得越长分越高、格式越规整分越高——然后朝这个方向优化训练奖励曲线一路向上真实基准纹丝不动甚至下跌。这个坑在过程奖励模型上尤其常见因为过程判分比结果判分的主观性大得多。第二个翻车点是管线膨胀。奖励模型本身要训、要评、要版本管理训练中途如果发现它判偏了得停下来重训整个 RL 任务跟着中断。规则奖励不会有这个问题改一行匹配逻辑就完事。报告的处理方式是分阶段用推理任务全程用规则奖励拒绝采样阶段的部分数据用生成式奖励模型判做法是把标准答案和模型预测一起喂给 V3 让它判断全场景 RL 阶段才用偏好奖励模型捕捉复杂场景的人类偏好。神经奖励模型从来没当过主信号只做补充。3.3 语言一致性奖励拿一点分数换可读性值不值推理导向的 RL 阶段报告加了一项语言一致性奖励按目标语言词数在思维链中的占比计算。消融实验显示这项奖励会导致模型性能轻微下降但报告还是保留了理由是它和人类偏好一致输出更可读。这个取舍值得单独说。加奖励项必然带来目标冲突模型一部分容量要用来管语言不能全用来解题。但从产品角度看一个解题正确率 79% 但输出混着三种语言的模型可用性远低于正确率 78% 但输出干净利落的模型。最终奖励是准确性和语言一致性直接相加没有做加权调参的复杂设计。这个细节说明一件事奖励项的设计原则是能加就不搞乘加法让各项独立可解释出问题时能单独定位是哪一项在拉偏。提示如果你复现时发现加了语言一致性奖励后基准掉得厉害先检查目标语言的判定逻辑而不是急着调权重。判定逻辑把代码块、数学符号也算进词数统计占比就永远算不对。3.4 GRPO 为什么省掉 critic 模型算法层面选了 GRPO没有用常规的 PPO。核心差别是 GRPO 放弃了通常与策略模型同尺寸的 critic 模型改用组内分数估计基线。省掉一个和策略模型一样大的模型显存和算力开销直接砍一半这在 671B 规模上是决定性的。优势估计的逻辑大致是这样# GRPO 组内优势估计按报告 2.2.1 的目标函数整理 def group_advantage(rewards): # rewards: 同一个 prompt 采样 G 条输出每条拿到一个标量奖励 # 组内均值当基线代替独立的 critic 模型 mu sum(rewards) / len(rewards) var sum((r - mu) ** 2 for r in rewards) / len(rewards) std var ** 0.5 # 标准化后作为每条输出的优势正优势被强化负优势被抑制 return [(r - mu) / (std 1e-8) for r in rewards] # 策略更新用裁剪目标 KL 惩罚 # ratio pi_new(o|q) / pi_old(o|q) # loss -min(ratio * A, clip(ratio, 1-eps, 1eps) * A) beta * KL(pi_new || pi_ref)参数上要盯住三个采样条数 G 决定基线的方差太小优势估计噪声大报告里评测阶段每题采 4 到 64 条不等裁剪系数 eps 控制单步策略更新幅度调大收敛快但容易崩KL 惩罚系数 beta 控制新策略偏离参考策略的程度太小会导致模型跑飞、可读性骤降。代码后面这三个参数的联动关系是我踩过最久的一个坑——只调 eps 不调 beta模型会在几十步内把语言一致性奖励彻底无视掉。4. 小模型推理能力从哪来蒸馏与直接 RL 的正面对比这一章是整份报告里对实际项目最有指导意义的部分因为大部分团队没有 671B 的算力和训练数据真正能落地的是 7B 到 70B 这一段。4.1 六个尺寸的蒸馏成绩单报告用 R1 策展的约 80 万样本直接微调开源基座只做 SFT不加 RL 阶段。基座选择上Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen-2.5-14B、Qwen2.5-32B、Llama-3.1-8B、Llama-3.3-70B-Instruct。选 Llama-3.3 而不是 3.1 的原因是前者推理能力略强。公布的代表性数据模型AIME 2024 pass1MATH-500LiveCodeBenchR1-Distill-Qwen-7B55.5%——R1-Distill-Qwen-32B72.6%94.3%57.2%R1671B 参照79.8%97.3%65.9%两个结论值得记下来。第一7B 的蒸馏模型在 AIME 2024 上拿到 55.5%超过了 32B 的开源对照模型说明推理模式的可迁移性比参数规模更关键。第二32B 的蒸馏模型在三个基准上都接近 671B 的 R1其中 MATH-500 只差 3 个百分点这意味着数学这类结构化推理任务规模收益在 32B 附近已经开始收敛。报告只给了 7B、32B 和 14B 的具体对比14B 大幅优于当时的开源对照模型1.5B、8B、70B 的逐项数字没在正文列全。做选型时不要拿没给的数字去推直接从 7B 和 32B 这两档倒推自己需要的规模就行。4.2 32B 上直接 RL 为什么打不过蒸馏报告明确给了一个反直觉结论以 Qwen2.5-32B 为基座直接蒸馏 R1 的效果优于在这个基座上做 RL。原因我理解是这样的长链推理、自我验证、反思这些行为本身就是大基座在 RL 里花了几千步才发现的稀缺模式。换到 32B 上重新跑一遍 RL采样空间小、探索能力弱模型很难自己重新发现同样的行为序列往往收敛到一个更短的推理模式上就停了。蒸馏是把这个已经发现的行为模式直接灌进去相当于跳过了探索阶段。这解释了一个常见误判很多人以为 RL 是更高级的训练方式SFT 是低级的。实际上在中小模型上蒸馏下来的推理模式比模型自己探索出来的更成熟。报告也补了一句蒸馏模型如果再加 RL 阶段还能大幅提升只是把这块探索留给了社区。我一般会这么比手上有 30B 以下基座、又没有大规模 RL 的算力预算蒸馏是唯一现实选项有算力但基座小于 30B先蒸馏再在蒸馏模型上做小规模 RL比从零 RL 更划算。4.3 只做 SFT 的蒸馏模型缺什么只做 SFT 的蒸馏模型有个明确的短板分布外泛化。SFT 学的是这类问题该怎么写推理过程遇到训练数据里没见过的题型推理链容易断在半路或者退回短答案模式。RL 补的正是这块——它不告诉模型标准答案长什么样只告诉它答案对不对模型必须自己在新的问题上探索出解法。这就是报告里那些顿悟时刻的来源模型在训练中途学会重新评估自己的初始思路主动分配更多思考时间。代价是 RL 需要的采样量远大于 SFT。用 80 万条样本做 SFT 只要两个 epoch而 RL 要在这个基础上反复采样、打分、更新。所以实际项目的顺序通常是蒸馏打底把基础推理能力灌进去再用小规模 RL 修分布外泛化和输出风格。反过来做——先 RL 再蒸馏——等于用最贵的方式生成数据不划算。4.4 选型你的算力预算决定路线把这一章压成决策路径预算只够 SFT 一个阶段、目标是数学和代码这类结构化任务直接蒸馏 7B 或 14B够用且成本可控预算够做 SFT 加一轮小规模 RL、且线上会遇到大量分布外问题蒸馏 32B 后再接 RL目标是复现研究结论、验证纯 RL 路线能走多远才值得从基座直上 RL。有一点必须提醒蒸馏模型的输出长度普遍偏长32B 的蒸馏模型在数学题上单题输出经常超过一万 token。如果要做线上服务推理成本要先算清楚别只看基准分数。5. 复现与评测避坑五条踩过的坑这一章按现象 → 原因 → 解决写都是复现这类推理模型时最容易撞上的地方跟报告里的评测设置一一对应。5.1 用贪心解码评长输出模型分数忽高忽低现象同一个 checkpoint 反复评AIME 分数能在 3 个百分点内来回跳输出的推理链里出现大段重复。原因报告专门点出了这个问题——用贪心解码评估长输出推理模型会导致更高的重复率不同 checkpoint 之间的差异也被放大。推理链越长一旦进入重复循环就出不来。解决改成非零温度采样用 pass1 的平均值报数# 长输出推理模型的 pass1 评估按报告第 3 章评测设置 N_SAMPLES 16 # 小题集取 4AIME 这类取 64 TEMPERATURE 0.6 # 低于 0.3 容易陷入重复循环 TOP_P 0.95 MAX_NEW_TOKENS 32768 # 生成长度上限 def pass_at_1(model, prompt, gold, nN_SAMPLES): correct 0 for _ in range(n): out model.generate(prompt, temperatureTEMPERATURE, top_pTOP_P, max_new_tokensMAX_NEW_TOKENS) ans extract_boxed(out) # 数学题从 boxed 里抽最终答案 correct int(verify(ans, gold)) return correct / n采样条数不是随便定的题集大的基准采 4 条就够稳定AIME 只有 30 道题必须采到 64 条再算共识cons64否则方差盖过真实差距。另一个容易忽略的点是答案解析器要和训练奖励里的校验逻辑完全一致训练时认boxed{...}、评测时用正则抓最后一个数字两套逻辑不一致会直接导致分数虚高。5.2 拿 few-shot CoT 提示去测 R1现象给 R1 加几条带思维链的示例提示分数反而比零样本低。原因报告明确写了few-shot 中的 CoT 可能损害 R1 的性能。这类模型已经在训练里内化了推理格式外部塞进来的示例会和它自己的推理节奏冲突。解决零样本直接提问。标准基准用原框架的默认提示MMLU-Pro、C-Eval 这类原本 few-shot 的基准改成零样本设置。唯一要注意的是 C-Eval 这类中文基准的原提示很少改成零样本时要保持指令语言和目标语言一致否则会额外触发语言混合。5.3 多语言提示下的语言混合现象训练中期开始思维链里出现中英混杂有时一段推理前半段中文后半段英文摘要段还夹第三种语言。原因RL 提示集里包含多种语言时模型没有语言约束会自由选择它认为更容易推理的语言。解决加语言一致性奖励按目标语言词数在思维链中的占比计算和准确性奖励直接相加。接受性能轻微下降这个代价。同时检查提示集本身的语言分布如果训练提示里混了多种语言但线上只有一种直接在提示层过滤比加奖励更省事。5.4 神经奖励模型被钻空子现象训练奖励曲线稳步上升真实基准跑到中期开始走平甚至下跌。原因奖励黑客。模型找到了打分器的偏好模式比如输出更长、格式更规整、语气更笃定这些特征在神经奖励模型上拿高分但和答案正确性无关。解决把规则奖励作为主信号神经奖励只在拒绝采样判分和通用任务偏好上做补充。报告提到之前的工作探索过基于过程的奖励模型、蒙特卡洛树搜索和波束搜索但都没达到同级推理性能原因也在这里。真正需要换模型时重训奖励模型要单独排期别混在 RL 任务里做。5.5 输出长度漂移与判官的长度偏置现象模型越训输出越长用模型做裁判评开放式生成时长答案明显占便宜。原因长度偏置。判官模型对信息量大的长回答天然给高分和回答质量本身关系不大。解决AlpacaEval 2.0 用长度控制胜率报数报告里 R1 在这个指标上是 87.6%喂给判官的内容只给最终摘要不给完整思维链避免推理长度直接影响评分。ArenaHard 上 92.3% 的胜率也是在这个设置下拿到的。6. 落到你的场景一张路线选择表和三个执行顺序把前面四章压成一张表按自己的条件对号入座你的条件推荐路线关键动作只有单卡到八卡做数学/代码结构化任务蒸馏 7B用 R1 策展数据做纯 SFT不加 RL有中小规模集群线上会遇到分布外问题蒸馏 32B 小规模 RLSFT 打底再用规则奖励做一轮推理 RL输出要给人看进对话产品冷启动 多阶段冷启动数据必须带摘要段格式加语言一致性奖励只做自动化判题无人阅读纯 RL 路线规则奖励 格式奖励跳过冷启动做研究对照实验纯 RL 对照保留 base 直上 RL 的基线观察自演化行为三个执行顺序上的建议都是我自己踩过之后才想明白的。第一先把评测跑通再训模型。听起来是废话但这类模型的评测成本极高单题 32768 token 的输出上限、每题采 16 到 64 条一轮全量评测的算力开销不比训练小。采样温度、采样条数、答案解析器这三样必须先固化下来否则训到一半发现评测口径变了前面几周的对照全废。第二冷启动数据的格式比内容重要。几千条数据收上来内容质量参差是正常的但格式必须统一思维链放哪、摘要段放哪、特殊 token 怎么切。格式统一的种子数据能让 RL 阶段的格式奖励快速生效格式乱的种子数据会让模型在早期就学出五花八门的输出结构后面怎么调奖励都掰不回来。第三蒸馏和 RL 别同时上。这两个阶段的失败模式会互相掩盖——蒸馏数据有问题表现为基准普遍偏低RL 有问题表现为训练奖励和基准背离同时跑起来根本分不清是哪边出的问题。先蒸馏到收敛、评一轮、确认基线合理再开 RL。回过头看我最初复现时最大的错误是把纯 RL 更强当成默认前提直接跳过冷启动从基座开训结果两千步之后模型确实学会了长链推理但输出混着三种语言、没有摘要段、答案解析器抓不到最终答案等于训练上省的时间全部还给了后处理。从那以后我每次开新的推理模型训练任务都强制先把评测管线和冷启动数据格式走一遍再决定要不要省掉 SFT 阶段。希望帮到你。本文还有配套的精品资源点击获取