DeepSeek-R1技术报告解读：GRPO强化学习训练与复现指南

简介DeepSeek-R1技术报告论文面向大模型研究者、算法工程师及对强化学习推理方向感兴趣的进阶学习者系统呈现了如何通过大规模强化学习激发大语言模型推理能力。报告围绕DeepSeek-R1-Zero与DeepSeek-R1两代模型展开前者在无监督微调前提下经RL训练自然涌现出推理行为却存在可读性差、语言混杂等问题后者引入多阶段训练与冷启动数据加以改进推理表现可与OpenAI-o1-1217媲美并开源了基于Qwen与Llama蒸馏的1.5B至70B六个密集模型。资源为单个PDF文件压缩包约1.27MB内容涵盖贡献总结、方法论、奖励建模、训练模板、蒸馏策略及Codeforces、GPQA Diamond、MATH-500、MMLU、SWE-bench等基准评测结果并讨论了蒸馏与强化学习的取舍及失败尝试。目前已有5205人学习下载适合希望深入理解推理模型训练路径与开源生态的读者研读参考。1. 从 DeepSeek-R1 技术报告看推理模型训练范式的转向DeepSeek-R1 技术报告论文之所以在发布后迅速成为讨论焦点不是因为它又刷新了某个榜单而是它把「纯强化学习能否激发出大模型的推理能力」这件事摆到了台面上。过去做数学推理、代码生成主流路径是监督微调加人工标注的思维链数据成本高、上限受标注质量约束。R1 的技术报告给出的结论是在基座模型上直接跑 RL不依赖 SFT 冷启动模型自己就能长出长链推理、自我验证和反思行为。这对做模型训练、做论文复现、做推理能力评测的从业者来说意味着训练流程和评测口径都要重新想一遍。这篇不逐段翻译报告而是把报告里真正能落地的那几条线——RL 训练目标、冷启动数据的作用、蒸馏到小模型的路径、以及复现时最容易踩的坑——按工程视角拆开讲。2. DeepSeek-R1 的 RL 训练目标与 GRPO 参数怎么设2.1 为什么 R1 用 GRPO 而不是 PPO技术报告里 R1-Zero 的训练核心是 GRPOGroup Relative Policy Optimization。它和 PPO 的关键差别在于优势估计方式PPO 需要一个和策略同规模的 critic 网络来估 value显存和训练稳定性都是负担GRPO 对同一个 prompt 采样一组group输出用组内奖励的均值和标准差做归一化直接得到相对优势。这样省掉 critic显存占用明显下降对长链推理这种输出长度动辄几千 token 的场景尤其重要。从工程角度看GRPO 的组内归一化天然适配「答案对错」这种可验证奖励同一道数学题采样 8 条或 16 条对的那几条优势为正错的为负模型被推向正确路径。报告里 R1-Zero 用的就是规则奖励——答案正确性加格式奖励没有奖励模型。2.2 GRPO 损失函数与关键参数下面是一段简化到能看懂的 GRPO 损失实现用于理解报告里的训练目标不是官方源码import torch def grpo_loss(log_probs, old_log_probs, rewards, group_size, clip_eps0.2, kl_coef0.001, ref_log_probsNone): # log_probs: [B*G] 当前策略对采样序列的 log 概率 # rewards: [B*G] 每条输出的标量奖励正确性 格式 # 按 group 做归一化得到相对优势 rewards rewards.view(-1, group_size) mean rewards.mean(dim1, keepdimTrue) std rewards.std(dim1, keepdimTrue) 1e-4 adv ((rewards - mean) / std).view(-1) # 组内标准化优势 ratio torch.exp(log_probs - old_log_probs) # 重要性采样比 unclipped ratio * adv clipped torch.clamp(ratio, 1 - clip_eps, 1 clip_eps) * adv policy_loss -torch.min(unclipped, clipped).mean() # KL 约束防止策略偏离参考模型太远 kl (log_probs - ref_log_probs).mean() if ref_log_probs is not None else 0.0 return policy_loss kl_coef * kl逻辑说明group_size就是每个 prompt 采样的输出条数报告里常见取值 8 到 16clip_eps控制策略更新幅度0.2 是 PPO 系惯用值kl_coef是 KL 惩罚系数R1 系列设得比较小因为规则奖励本身不容易被 reward hacking。参数上真正需要调的是 group_size 和采样温度group 太小优势估计噪声大太大则单步训练成本线性上升。2.3 规则奖励的设计与格式约束R1-Zero 的奖励只有两项准确性奖励和格式奖励。准确性靠规则校验数学题比对最终答案代码题跑单测。格式奖励要求模型把推理过程放在thinking...里最终答案放在指定标签内。这个设计看起来简单但它是 R1-Zero 能work的前提——如果奖励里混入神经奖励模型长链推理很容易退化成讨好奖励模型的套话。奖励项判定方式典型权重作用准确性奖励规则比对最终答案1.0驱动正确推理路径格式奖励正则匹配标签结构0.1~0.2稳定输出结构语言一致性检测中英混杂比例小权重减少语言漂移提示格式奖励权重不宜过高否则模型会为了凑格式牺牲推理深度表现为答案标签齐全但中间步骤空洞。3. 从 R1-Zero 到 R1冷启动数据与多阶段训练怎么落地3.1 为什么 R1-Zero 需要冷启动补救R1-Zero 证明了纯 RL 可行但报告也直说了它的问题可读性差、语言混杂、偶尔在简单题上绕远路。所以 R1 的完整流程加了冷启动 SFT 阶段。常见做法是先用少量高质量长链数据做 SFT让模型学会基本格式和语言习惯再进入 RL。这一步的数据量不大但质量要求高报告里强调的是「长链且可读」。3.2 四阶段训练流程与数据配比R1 的训练可以拆成四段冷启动 SFT、面向推理的 RL、拒绝采样加 SFT、全场景 RL。第二段 RL 和 R1-Zero 类似但加了语言一致性奖励第三段用 RL 模型自己生成大量候选筛掉错的留下对的做 SFT 数据第四段把奖励扩展到通用任务兼顾推理和写作、问答。# 复现时的数据准备伪流程按阶段组织 # 阶段1冷启动 SFT 数据几千条量级长链可读 python build_sft.py --src cold_start.jsonl --min_len 512 --lang_ratio 0.9 # 阶段2RL 训练规则奖励group_size16 python train_grpo.py --model base --reward rule --group_size 16 --kl_coef 0.001 # 阶段3拒绝采样用 RL 模型生成候选并过滤 python sample_reject.py --ckpt rl_stage2 --n 64 --filter correct --out sft_stage3.jsonl # 阶段4全场景 RL奖励混合推理与通用 python train_grpo.py --model sft_stage3 --reward mixed --group_size 8逻辑说明--min_len过滤掉太短的推理链保证冷启动数据质量--lang_ratio控制目标语言占比减少语言混杂拒绝采样的--n 64表示每题生成 64 条候选只保留答案正确的这是 R1 数据飞轮的关键。参数上阶段三的过滤阈值直接决定 SFT 数据规模太严会导致数据不够太松会引入噪声。3.3 蒸馏到小模型的路径报告里另一条被大量讨论的线是蒸馏用 R1 生成的数据去微调 Qwen、Llama 系列的小模型得到 R1-Distill。这里要注意蒸馏用的是 SFT不是把 RL 流程搬到小模型上。原因是小模型直接跑 RL 很难稳定而高质量推理数据做 SFT 的性价比更高。复现时如果算力有限蒸馏路线比从头 RL 现实得多。注意蒸馏数据要保留完整推理链只留最终答案的 SFT 数据会让小模型学不到推理过程评测时数学题得分会明显偏低。4. DeepSeek-R1 论文复现的评测口径与常见坑4.1 评测集选择与 passk 口径复现 R1 最容易出问题的地方是评测。报告里数学用 AIME、MATH-500代码用 LiveCodeBench这些集子本身有版本差异。pass1 和 passk 的差别也很大推理模型采样多条往往能碰对passk 会显著高于 pass1。如果复现时口径不一致很容易得出「复现失败」的错误结论。# passk 的无偏估计n 条采样里取 k 条 import math def pass_at_k(n, c, k): # n: 总采样数, c: 正确条数, k: 取前 k 条 if n - c k: return 1.0 return 1.0 - math.comb(n - c, k) / math.comb(n, k) # 例每题采样 16 条正确 4 条算 pass1 和 pass8 print(pass_at_k(16, 4, 1)) # 约 0.25 print(pass_at_k(16, 4, 8)) # 明显更高逻辑说明n是每题采样条数c是其中正确的条数k是评测取的条数。报告里通常同时报 pass1 和较高 k 的值复现时如果只报 pass1 会低估模型能力。参数上采样温度对 passk 影响很大温度太低多样性不足passk 上不去。4.2 训练不稳定的排查顺序RL 训练推理模型常见故障是奖励不涨或突然崩掉。排查顺序建议是先看格式奖励是否饱和再看 KL 是否爆炸最后看采样温度。格式奖励饱和表现为所有输出都带标签但准确率不动这时要降格式权重KL 爆炸表现为策略输出变得极短或重复这时要提 kl_coef 或降学习率。现象可能原因处理奖励长期不涨优势全为 0组内无差异提高采样温度增大 group_size输出突然变短KL 惩罚不足策略塌缩提高 kl_coef降学习率语言混杂缺语言一致性奖励加语言奖励项简单题绕远格式奖励过强降格式权重4.3 复现时的算力与框架选择R1 级别的 RL 训练对显存和通信要求高常见做法是用支持序列并行的训练框架把长序列切分到多卡。如果只是复现蒸馏或小规模 RL单机多卡加梯度检查点也能跑通。关键是先把 group_size 和序列长度压到能跑再逐步放大不要一上来就按报告的全量配置。提示复现论文时先固定随机种子和评测脚本再动训练超参否则无法判断改动是否有效。5. 用 R1 技术报告思路做推理能力迁移的进阶技巧把 R1 的思路迁移到自己的领域核心不是照搬 GRPO而是想清楚「你的任务有没有可验证奖励」。数学和代码天然有对错所以规则奖励能work如果是开放问答或写作就得设计可自动判定的代理指标比如引用准确性、格式合规率。一个实用技巧是先用强模型生成一批推理链人工抽检后做冷启动 SFT再上小规模 RL 微调这样比直接 RL 稳得多。另一个技巧是控制推理长度。R1 的长链是优势也是成本实际部署时可以在奖励里加长度惩罚或者用长度分桶采样让模型学会在简单题上短答、难题上长答。评测时除了准确率也记录平均输出 token 数避免用翻倍的成本换几个点的提升。# 长度感知的奖励组合示例 def shaped_reward(correct, fmt_ok, n_tokens, target1024): r 1.0 * correct 0.1 * fmt_ok # 超过目标长度开始惩罚鼓励简洁 if n_tokens target: r - 0.0005 * (n_tokens - target) return r逻辑说明target是期望的推理长度0.0005是长度惩罚系数需要按任务调。这个奖励让模型在保持正确率的同时压缩冗余推理对线上推理成本敏感的场景很实用。参数上惩罚系数太大会让模型不敢展开推理太小则起不到压缩作用建议从 0.0002 起步逐步加。本文还有配套的精品资源点击获取