算力拐点：强化学习、GRPO与蒸馏如何降低推理模型成本

简介这份PDF研究报告由甲子光年智库于2025年2月发布围绕DeepSeek引发的算法与算力效率变革展开面向关注AI技术走向的研究人员、工程师、政策制定者以及创业者与投资者。报告从人工智能由技术驱动转向需求驱动的战略拐点切入梳理算力效率拐点、模型参数量分化与算法创新循环三条主线并拆解DeepSeek-R1以少量冷启动数据加多轮强化学习含GRPO算法降低训练开销、提升推理能力的实现路径同时讨论低成本小模型在终端部署、普惠应用及产业政策层面的影响。资源包内含1个PDF文件约1.63MB图文并茂含技术革命周期、训练算力对比、参数规模走势等图表便于快速抓取关键结论用于汇报或选题参考。目前已有1613人学习。1. 算力拐点为什么“更少 GPU 跑出同样效果”值得刨根问底2025 年人工智能领域最反直觉的一个结论正在被反复验证模型的推理能力不再和 GPU 数量成正比。有一批团队把强化学习从“微调收尾”提到“训练主干”的位置用远少于同行的算力做出了在数学和代码上接近满分的推理模型。真正的冲击点不在榜单分数而在算力效率——当同样的卡能换来更多智能整个行业的成本曲线就被重画了一遍。这件事值得刨根问底是因为它既不靠硬件红利也不靠更多人工标注而是靠对训练流程和模型架构的重新设计算法创新的重心从“堆数据、堆参数”转回“改流程、改目标函数”。理解了这层设计你才能判断下一个“便宜又好用”的模型是怎么来的也才能在自家业务里分清哪些环节是真瓶颈、哪些只是惯性。2. 训练流程重构R1 为什么敢把监督微调从主流程里拿掉传统的三阶段训练预训练 → 监督微调 → 人类反馈强化学习里强化学习只干一件事让模型说话更讨人喜欢。而这一系列推理模型做的事情是把强化学习抬到“涨能力”的位置上让模型自己搜索解题路径。这个位置一换整条流水线的成本结构和数据依赖全变了。2.1 三阶段范式的成本结构以及它卡在哪先把老流水线的账算清楚。预训练吃掉绝大部分算力产出的是一个“会续写”的基座监督微调SFT用人类写的示范对话把基座掰成“会答题”的助手RLHF 再用偏好对比数据训一个奖励模型RM用 PPO 把策略往人类偏好的方向推。这条链上有两个隐性天花板。第一是示范数据的质量天花板SFT 只能模仿人类写出来的推理过程人类没想到的解法模型也学不到而且长链推理的标注成本极高一条高质量数学推理标注的边际成本远高于一条普通问答。第二是奖励模型的可欺骗性RM 是在有限偏好数据上拟合出来的打分器策略一旦开始优化它就会迅速找到打分的漏洞——输出更长、更客气、更“像好答案”但未必更正确。这就是强化学习里最经典的 reward hacking。提示判断一个训练方案是否真的“省钱”要看的不是 GPU 小时数而是“每提升一个点的能力需要多少条人工数据”。SFT 路线的边际成本是线性增长的RL 路线在奖励可自动验证时边际成本接近零。2.2 R1-Zero纯强化学习的自我进化与它的副作用R1-Zero 的思路很极端跳过 SFT直接从基座模型开始做强化学习奖励只有两条规则——答案对不对、格式合不合规。没有人类示范没有偏好模型模型在自我博弈里自己长出长链推理、自我检查、回溯重算这些行为。它能 work 的前提是“奖励可自动验证”。数学题有唯一答案代码题有测试用例这两类任务上正确性是可以用程序判定的不需要人来打分也就不存在 RM 被 hack 的问题。反过来说开放域写作、创意策划这类没有客观判据的任务这套方法直接失效。副作用也很明确输出可读性差、中英文混杂、格式散乱。原因不神秘——奖励函数里没有任何一条约束“说人话”。基座模型的预训练语料里中英都有在只追求得分的前提下模型自然会挑最省 token、最容易被判对的表达方式。这是一个纯粹的工程缺口不是能力缺口。2.3 冷启动数据回归用几千条样本换收敛速度R1 相对 R1-Zero 的改动是在强化学习之前塞进一小批高质量的冷启动数据做 SFT业内公开的技术报告给出的量级是几千条。这几千条的作用不是“教知识”而是给基座一个格式先验让它知道“思考过程应该放在哪个段落、结论应该怎么收尾”从而把强化学习的搜索空间收窄到正确的解空间里。后面还有两步关键动作。一是拒绝采样用训好的模型对大量题目生成多个回答只保留答案正确、推理链完整、格式合规的样本量级在几十万条用来做第二轮 SFT二是全场景强化学习推理类任务继续用规则奖励通用类任务换成偏好奖励模型把“会推理”和“会聊天”两个目标缝合起来。拒绝采样的过滤逻辑看起来简单但它决定了后面所有小模型的上限。常见的实现思路是四道闸门一起卡def keep_sample(prompt, reasoning, answer, gold, zh_ratio_threshold0.6): # 闸门一结果必须正确。normalize 负责去掉空格、单位、分数形式差异 if normalize(answer) ! normalize(gold): return False # 闸门二推理链不能太短。长度低于阈值的多半是猜对学它会污染策略 if len(reasoning) 200: return False # 闸门三语言一致性。中英混杂的样本蒸馏到小模型上会放大成语病 if zh_ratio(reasoning) zh_ratio_threshold: return False # 闸门四格式合规。必须有可解析的思考段与结论段否则下游没法切分 return has_think_block(reasoning) and has_answer_block(reasoning)四个参数的取舍值得单独说。normalize决定了“正确”的判定粒度判定过严会把等价答案误杀过松会把错答案放进来len(reasoning)阈值是防止模型学到“不推理直接蒙答案”的捷径zh_ratio_threshold是语言纯度的下限调高会让样本量骤减has_think_block这类结构检查是给下游蒸馏准备的因为小模型训练时要按段落切分计算损失。这套过滤器本质上是在给“什么样的推理值得被模仿”下定义定义偏一点后面蒸馏出来的小模型就偏一片。3. GRPO 机制拆解砍掉 Critic 之后优势函数怎么算强化学习要更新策略就得知道“这个动作比平均水平好多少”也就是优势advantage。PPO 的做法是训一个价值网络去估计基线GRPO 的做法是让同一道题生成一组答案用组内平均分当基线。这个替换看起来只是省了个模型实际上改的是整个显存账本和信用分配方式。3.1 PPO 的四份显存开销为什么先撑不住的是显存PPO 在训练时同时驻留四个模型策略模型Actor、价值模型Critic、奖励模型Reward、参考模型Reference。后两个只做前向、可以 offload前两个都要前向加反向而且要更新参数。按混合精度加 Adam 优化器的常见配置估算每个可训练参数大约要占 16 到 20 字节fp16 权重 2 字节、梯度 2 字节、fp32 主权重 4 字节、Adam 的一阶和二阶动量各 4 字节。Actor 和 Critic 规模相当等于把这份开销翻倍。一个 7B 级别的模型光优化器状态就是上百 GB 量级还没算激活值和 KV 缓存。这就是为什么长链推理场景下PPO 往往不是训不动是显存先爆。更麻烦的是 Critic 本身难训。价值网络要估计的是“当前这个中间状态最终能得多少分”而长链推理的中间状态分布极其稀疏——模型每一步的措辞都不同Critic 很难泛化到没见过的推理路径上估计偏差会直接传导成策略梯度的高方差。3.2 组内归一化用多次采样换掉一次价值估计GRPO 的核心公式只有一行对同一个 prompt 采样 G 个回答得到 G 个标量奖励然后用组内均值和标准差做标准化作为每个回答的优势。import torch def grpo_advantage(rewards: torch.Tensor, eps: float 1e-4) - torch.Tensor: rewards: [G] 同一个 prompt 下 G 个采样回答的最终奖励 返回: [G] 组内标准化后的优势均值为 0、标准差为 1 mean rewards.mean() std rewards.std(unbiasedFalse) # 用总体标准差G 通常很小无偏校正会放大噪声 return (rewards - mean) / (std eps) # eps 防止全对/全错时除零 def grpo_loss(logp, logp_old, adv, logp_ref, clip0.2, beta0.04): logp / logp_old / logp_ref: [B, T] 新策略、采样时策略、参考策略的逐 token 对数概率 adv: [B] 每个序列一个优势标量广播到 token 维 ratio torch.exp(logp - logp_old) # 新旧策略概率比 surr1 ratio * adv.unsqueeze(-1) surr2 torch.clamp(ratio, 1 - clip, 1 clip) * adv.unsqueeze(-1) policy_loss -torch.min(surr1, surr2).mean() # PPO 同款截断代理目标 # KL 用无偏估计k3 估计器直接加在 loss 上而不是逐 token 塞进奖励 delta logp_ref - logp kl (torch.exp(delta) - delta - 1).mean() # 恒非负方差比 log-ratio 小 return policy_loss beta * kl几个参数的实际含义G是组大小常见取值 8 到 64太小则组内均值噪声大、优势信号抖太大则采样成本线性上涨clip沿用 PPO 的 0.2作用是限制单次更新的策略漂移beta是 KL 惩罚系数控制新策略不要离参考策略太远长链推理任务上这个值通常要调小否则模型不敢探索新的推理路径eps是为了在整组全对或全错时兜底。组内归一化为什么能替代价值网络因为它把“绝对难度”消掉了。一道极难的题G 个回答可能全错标准化后优势全是 0梯度为 0这次采样白跑但不产生错误信号一道简单题全对也是同理。只有当组内出现对错分化时才有有效梯度——模型学到的是“在同一道题内部哪种推理方式更好”而不是“这道题的绝对价值是多少”。这恰好是 Critic 最难估准的那部分。3.3 奖励函数设计规则奖励在什么条件下才成立GRPO 省掉了 Critic但对奖励函数的要求反而更苛刻因为它必须能给出组内可区分的标量。R1 系列用的是两类规则奖励的加权和准确性奖励和格式奖励。准确性奖励的判定方式是解析最终答案再做精确匹配这要求答案必须可解析、可归一化。数学题相对好办代码题要靠测试用例通过率而一旦答案形式自由比如开放性证明这条路就走不通。格式奖励用正则表达式检查思考段和结论段的标签是否成对出现权重通常压得很低因为格式分一旦占比过高模型会学会“写一堆漂亮格式但推理胡来”。注意规则奖励最大的坑不是不准而是可被钻空子。只要答案解析逻辑有漏洞比如允许在答案段里塞多个候选答案模型很快就会发现“多写几个总有一个对”准确率指标看着涨实际能力没动。奖励函数上线前一定要拿模型自己生成的对抗样本来打一遍。组内标准差为 0 的情况也要提前想好。训练进入后期模型在简单题上稳定全对、在超难题上稳定全错这两类样本贡献的梯度都是零采样预算被白白烧掉。常见的做法是动态采样一批 prompt 先过一遍把全对和全错的组直接丢掉只保留有分化的组做反向传播或者做难度调度按当前模型的历史通过率分层采样让每个 batch 里都有一定比例的“跳一跳够得着”的题。4. 参数两极化小模型为什么突然“够用”了2024 年之前预训练模型的参数规模是一条单调上升的曲线2025 年开始分叉一头是几百 B 级的稀疏专家模型一头是 1.5B 到 32B 的稠密小模型。这个分叉不是审美问题是两条完全不同的技术账本。4.1 两条分叉曲线MoE 的显存账与算力账是分开的大模型那一头走的是混合专家MoE路线。公开资料里提到的量级是总参数六百多 B、每个 token 实际激活三十多 B。这个结构的关键在于显存占用按总参数算计算量按激活参数算。也就是说它可以同时拥有一个很大的知识容量和一个很小的单位推理成本。这一点颠覆了“参数大 贵”的直觉。传统稠密模型里参数量和计算量是绑死的涨一个必须涨另一个MoE 把这两件事解耦了代价是路由网络要训得准、专家之间的负载要均衡否则会出现“少数专家吃掉大部分 token”的塌缩。工程上还要处理专家并行带来的跨卡通信开销这是另一本账。小模型那一头走的是蒸馏路线参数从 1.5B 一直到 70B覆盖端侧到边缘服务器。这条路线的价值不在于“更小”而在于“在小规模上保留了多少推理能力”。4.2 蒸馏的本质把推理链当监督信号蒸馏听起来像是把大模型的输出喂给小模型做 SFT但关键在于喂什么。如果只喂最终答案小模型学到的是“结论的记忆”喂完整的推理链小模型学到的是“搜索的格式和策略”——先拆条件、再列式、中间自检、最后收敛。这解释了一个反直觉的现象经过蒸馏的 32B 模型在数学和代码上能逼近教师模型但在世界知识和冷门事实上差距明显。因为推理是一种可迁移的程序性能力而知识是不可迁移的查表。教师模型在强化学习阶段真正探索出来的是一套“怎么想”的流程蒸馏把这个流程变成了监督信号学生不需要自己再走一遍强化学习的探索过程省下的正是最贵的那部分算力。代价是天花板被锁死。学生只能学到教师已经发现的解法教师没想到的路径学生也不会想到。所以蒸馏版和强化学习版是互补关系不是替代关系。4.3 端侧部署的真实瓶颈内存带宽而不是算力很多人以为端侧跑不动大模型是因为手机算力不够实测下来最先撞墙的往往是带宽。自回归解码阶段每生成一个 token都要把当前参与计算的权重完整读一遍这个过程中矩阵乘法的算术强度极低GPU/NPU 的计算单元大部分时间在等数据。粗算公式很简单每秒 token 数 ≈ 有效带宽 ÷ 单个 token 需要搬运的字节数。模型规模激活参数量化位宽权重大小手机带宽 68GB/s桌面 200GB/s1.5Bint4约 0.75GB约 90 token/s约 260 token/s7Bint4约 3.5GB约 19 token/s约 57 token/s7Bfp16约 14GB装不下约 14 token/s32Bint4约 16GB装不下约 12 token/s671B 总参 / 37B 激活int8约 37GB装不下约 5 token/s表里是理论上限实际还要打对折因为要扣掉 KV 缓存读写、算子调度和内存碎片。这张表能解释三件事为什么端侧模型必须压到 10B 以下、为什么量化到 4bit 是刚需、为什么连 MoE 上端侧也不轻松——它省的是计算量省不了权重搬运的字节数除非把专家按需加载做成真正的分页换入换出。4.4 另一条路液态神经网络想解决的到底是什么只要还在注意力机制里KV 缓存就是绕不过去的账上下文越长缓存越大解码时搬运的数据越多显存和带宽被同时吃掉。这是架构层面的结构性成本量化只能缓解不能消除。液态神经网络LNN走的是另一条路。它的计算单元来自动态系统理论隐状态不是一堆被缓存的键值对而是一个随时间连续演化的向量权重本身由输入动态调制。推理时只需要维护一个定长的状态不需要随着上下文增长而扩张缓存——内存是常数级的这对流式处理、长时间在线的端侧场景非常对味。公开发表的对比结果显示同等级别的 LNN 小模型在部分评测上能追平参数量大它数倍的 Transformer 模型。代价同样明显。第一是训练并行性差状态演化本质是序列递推不像注意力那样能把整条序列摊平做并行矩阵乘长序列训练的效率会明显吃亏。第二是精确检索能力弱定长状态必然是有损压缩需要“从长文档里逐字找回某一句话”的任务它天生不占优。所以它更可能先落地在“手机上的文档摘要、语音流实时理解”这类场景而不是替代通用大模型。5. 避坑与排查复现这条路线时最容易翻车的五个地方纸面上的流程看起来顺真跑起来问题都出在细节里。下面五条是我在实际复现和评估过程中反复遇到的按“现象 → 原因 → 解决”整理。5.1 训练侧奖励与采样第一条输出长度失控。现象是训练到中后期平均输出长度从几百 token 一路涨到几千准确率却在原地踏步甚至下滑。原因是准确性奖励只看最终对错长度没有任何约束模型很快学会“多想一会儿总没坏处”把大量 token 花在无意义的反复验算上。解决方式是给长度加软约束组内对超长回答做长度惩罚或者在优势计算后对长度做归一化处理同时把格式奖励的判定收紧到“必须出现明确的结论段”堵住“只思考不下结论”的路径。第二条整组奖励相同导致训练停滞。现象是损失曲线早早变平采样日志里大量组的标准差为 0。原因是难度分布和模型当前能力不匹配一个 batch 里全是太简单或太难的题。解决方式是做动态采样过滤丢掉无分化的组并对 prompt 池按历史通过率分层保证每个 batch 里“能做对一部分”的题占多数同时把采样温度维持在能让组内产生差异的区间温度压得太低会让 G 个回答几乎一样。第三条奖励被钻空子。现象是训练指标漂亮人工抽查发现推理过程全是胡写但答案碰巧对。原因是答案解析太宽松比如允许在结论段里列出多个候选答案模型就学会“广撒网”。解决办法是把解析器写死只认唯一格式、只取第一个匹配、答案归一化后必须完全相等同时用模型自己生成的样本来回归测试解析器。这一条踩一次就够记一辈子。5.2 部署侧量化与上下文第四条量化后推理能力断崖下滑。现象是 4bit 量化后通用问答几乎无损数学推理准确率掉十几个点。原因是推理任务对数值精度更敏感尤其是长链中间步骤的误差累积加上激活值里存在少量幅度极大的离群通道用 per-tensor 粒度量化会把这些通道压平。解决办法是权重用分组量化group size 取 64 或 128、激活保留较高精度、KV 缓存单独做量化策略并且在量化后跑一遍推理任务的分项评测而不是只看困惑度。第五条首 token 延迟高得离谱。现象是解码速度正常但用户体感很慢。原因是首 token 属于预填充阶段是计算密集型的耗时随上下文长度超线性增长长系统提示词加上长文档预填充能吃掉大半总延迟。解决办法是压缩系统提示、对长文档做分块预填充、把可复用的前缀缓存下来做命中复用。这三招里前缀缓存收益最大因为大量请求共享同一段系统提示。提示排查端侧性能问题时先分清是预填充慢还是解码慢。前者看算力利用率和上下文长度后者看内存带宽和量化位宽两者的优化手段几乎不重叠。6. 设计取舍低成本是设计出来的不是省出来的把上面几条线索收在一起会发现这套方案没有一处是“免费的”纯强化学习换来了探索能力代价是可读性冷启动数据换来了输出质量代价是引入了人工依赖GRPO 换来了显存代价是采样成本翻 G 倍蒸馏换来了端侧可部署代价是天花板被教师锁死MoE 换来了“大而便宜”代价是路由训练和并行通信的复杂度。取舍点选了什么放弃了什么何时不该这么选训练范式强化学习为主干依赖海量人工示范奖励无法自动验证的开放域任务优势估计组内归一化替代 Critic采样的算力与时间采样成本远高于价值网络时模型形态MoE 稀疏激活显存仍按总参数计显存极度受限的端侧设备能力交付蒸馏到小模型学生的能力天花板需要教师未探索过的新解法时上下文处理定长状态的线性架构精确长文检索需要逐字定位原文的场景所以“低成本”这个词需要拆开看。它指的是在给定任务分布和给定质量目标下把算力花在了边际收益最高的地方——强化学习花在能自动判分的题上蒸馏花在已经被验证的推理链上端侧花在低比特量化和稀疏激活上。任何一环换个场景就不再成立。验证一个“低成本”说法是否可信我一般走三步。第一步拆定价把每百万 token 的价格拆成输入、输出、缓存命中三段看便宜是不是主要来自缓存复用而不是真降本。第二步做同题对照拿蒸馏版和原版在同一批分布外题目上跑看差距是稳定收敛还是随难度急剧扩大后者说明学生只是背下了格式。第三步看长度分布统计输出 token 的分布形态如果平均长度远高于同类模型且准确率没有相应提升那成本优势很可能被输出长度吃掉了。这三步不需要任何内部信息公开接口就能做完。从那以后我每次评估一个号称“性价比高”的模型都强制走一遍这三步踩过的坑告诉我便宜从来不是标价牌上那个数字而是“每单位有效智能花了多少钱”。希望帮到你。本文还有配套的精品资源点击获取