西北大学、亚马逊、高通联手攻克AI自我纠错难题：用REVES强化学习让大语言模型代码生成更可靠

1. 为什么大模型写代码总在同一个坑里反复摔你有没有遇到过这种情况让 AI 写一段 Python 脚本第一次跑报KeyError你让它改它改完又报TypeError再让它改结果绕了一圈回到最初的KeyError。明明每次都在修正但修正的方向完全是随机的甚至越改越离谱。这不是模型不够聪明而是它从来没被专门训练过如何从错误中恢复。我们平时用的 AI 代码助手训练目标基本是第一次就答对——给它一道题它输出一个答案对了给奖励错了给惩罚。至于答错之后怎么优雅地改回来训练数据里几乎没有这种样本。这就导致一个尴尬的局面模型在单轮生成上分数很高可一旦进入多轮纠错场景表现就断崖式下跌。西北大学、亚马逊 AGI、高通 AI 研究院和明尼苏达大学联合提出的 REVES 框架正是冲着这个错位来的。它的核心思路可以用一句话概括把模型答错的中间步骤单独拎出来变成专门的纠错练习题让模型在错误状态上反复练习单步恢复而不是把整条多轮轨迹当成一个整体去优化。论文编号 arXiv:2606.18910感兴趣可以自行查阅。这篇内容面向正在做 AI 代码助手、自动化编程 Agent 的开发者我会把 REVES 的训练配置骨架拆成可复制的步骤包括环境依赖、奖励函数怎么写、纠错效果怎么对比验证。你不需要有强化学习背景跟着配就能跑通一个最小可用的实验。2. 前置准备TaoToken 接入与实验环境搭建2.1 为什么实验里需要一个稳定的模型调用入口REVES 的训练流程里第一阶段要反复调用当前模型去生成多轮修正轨迹第二阶段又要用这些轨迹做单步强化学习。整个循环对模型推理的调用量非常大如果每次调用都要自己维护一套鉴权和重试逻辑实验还没跑起来人先累垮了。我试过用 TaoToken 作为统一的模型调用入口它把模型对话、API Key 管理、接入文档都放在一个控制台里省掉了自己搭转发层的麻烦。官网地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 端点是 https://taotoken.net/api 注意 API 地址不带 UTM 参数。2.2 拿到 API Key 并确认可用模型进入控制台后在 API Keys 页面创建一个新的 Key。建议给这个 Key 起个能区分的名字比如reves-stage1-gen因为后面 Stage I 和 Stage II 可能会用不同的 Key 做配额隔离。创建完成后你会拿到一串以sk-开头的密钥。把它写进环境变量不要硬编码在脚本里export TAOTOKEN_API_KEYsk-你的密钥 export TAOTOKEN_BASE_URLhttps://taotoken.net/api然后确认一下当前账号下有哪些模型可用。REVES 论文里用的是 Qwen 系列做基座你可以先用模型对话页面手动测一下目标模型的响应质量确认没问题再进代码。2.3 Python 环境与依赖实验环境建议 Python 3.10 以上核心依赖如下pip install openai1.30.0 pip install torch2.2.0 pip install transformers4.42.0 pip install datasets2.19.0 pip install numpy1.26.0如果你打算在本地跑小规模验证一张 24GB 显存的卡就够用 4B 级别的模型做推理和轻量训练。论文里 Stage II 的单步强化学习对显存要求不高因为每次只处理一个prompt, response对不需要保留整条多轮序列的 KV Cache。3. REVES 两阶段训练配置骨架3.1 整体流程拆解REVES 的循环可以拆成四个动作每轮迭代重复执行第一步用当前模型对一批问题做序列修正每个问题最多尝试 N 次记录整条轨迹。第二步只保留最终答对的轨迹把轨迹中间那些答错但后来被纠正的步骤提取出来。第三步把这些中间错误步骤转成两类训练样本——修正提示和验证提示。第四步把新样本混入原始数据做单步强化学习更新模型参数然后进入下一轮。关键点在于第二步的数据增强必须每轮重新做不能一次生成后反复用。原因后面排障部分会详细说。3.2 Stage I序列修正与错误步骤提取先定义一个调用模型生成代码的封装函数。这里用 OpenAI 兼容接口因为 TaoToken 的 API 就是这个格式import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], ) def generate_code(prompt: str, temperature: float 0.7) - str: resp client.chat.completions.create( modelqwen3-4b, messages[{role: user, content: prompt}], temperaturetemperature, max_tokens1024, ) return resp.choices[0].message.content然后是序列修正的主循环。对每道题反复生成代码、跑测试用例、把报错信息拼回 prompt 再让模型改def sequential_revision(problem: str, test_cases: list, max_turns: int 8): trajectory [] current_prompt problem for turn in range(max_turns): code generate_code(current_prompt) passed, error_msg run_tests(code, test_cases) trajectory.append({ turn: turn, prompt: current_prompt, code: code, passed: passed, error: error_msg, }) if passed: break current_prompt ( f{problem}\n\n上一次生成的代码\n{code}\n\n f运行报错{error_msg}\n请修正上面的代码。 ) return trajectory跑完一批问题后筛选出passedTrue的轨迹然后从这些轨迹里提取所有passedFalse的中间步骤。这些步骤就是宝贵的训练素材——它们是真实的错误而且已经被证明是可以从中恢复的。3.3 构造修正提示与验证提示对每个中间错误步骤构造两类样本。修正提示的格式是给定错误代码和报错信息输出正确代码def build_revision_sample(step: dict, final_code: str) - dict: return { prompt: ( f以下代码运行失败\n{step[code]}\n\n f报错信息{step[error]}\n\n f请输出修正后的完整代码。 ), response: final_code, type: revision, }验证提示的格式是给定代码判断它是否正确标签来自实际测试结果def build_verification_sample(step: dict) - dict: label 正确 if step[passed] else 错误 return { prompt: ( f以下代码是否正确\n{step[code]}\n\n f只回答正确或错误。 ), response: label, type: verification, }论文里的消融实验显示修正提示是提升纠错能力的核心验证提示主要改善模型对自身答案的置信度校准。两者结合效果最好所以建议都保留。3.4 Stage II单步强化学习与奖励函数Stage II 的训练目标是让模型在单步生成上做得更好。奖励函数设计得简单直接def compute_reward(sample: dict, model_output: str) - float: if sample[type] revision: passed, _ run_tests(model_output, sample[test_cases]) return 1.0 if passed else 0.0 elif sample[type] verification: correct model_output.strip() sample[response] return 1.0 if correct else 0.0 return 0.0训练循环用标准的策略梯度更新每个 batch 只包含单步样本不涉及多轮序列def stage2_train(model, optimizer, dataset, epochs: int 1): for epoch in range(epochs): for batch in dataset.iter_batches(batch_size8): losses [] for sample in batch: output model.generate(sample[prompt]) reward compute_reward(sample, output) loss -reward * model.log_prob(output) losses.append(loss) total_loss torch.stack(losses).mean() optimizer.zero_grad() total_loss.backward() optimizer.step() return model3.5 主循环把两阶段串起来def reves_train(model, problems, test_suite, rounds: int 3): for r in range(rounds): print(f Round {r1} ) trajectories [] for prob in problems: traj sequential_revision(prob, test_suite[prob[id]]) trajectories.append(traj) revision_samples [] verification_samples [] for traj in trajectories: if not traj[-1][passed]: continue final_code traj[-1][code] for step in traj[:-1]: if not step[passed]: revision_samples.append( build_revision_sample(step, final_code)) verification_samples.append( build_verification_sample(step)) print(f修正样本 {len(revision_samples)} 条 f验证样本 {len(verification_samples)} 条) mixed_dataset mix_with_original( revision_samples, verification_samples) model stage2_train(model, optimizer, mixed_dataset) return model4. 验证请求与纠错效果对比测试4.1 先跑一个最小验证请求在正式训练前先用一条请求确认 API 通路没问题resp client.chat.completions.create( modelqwen3-4b, messages[{role: user, content: 写一个 Python 函数判断字符串是否为回文。}], temperature0.2, ) print(resp.choices[0].message.content)如果返回了正常的代码说明 Key 和端点都配对了。如果报 401检查 Key 是否写进了环境变量如果报 404检查 base_url 是不是https://taotoken.net/api注意不要多加路径。4.2 纠错效果对比测试准备两组测试题一组是训练时见过的题型一组是没见过的。对每组分别测三个指标指标含义测量方式单轮通过率第一次生成就通过测试只跑一次 generate_code多轮修正率32 次尝试内最终通过跑 sequential_revisionmax_turns32平均修正轮数从错误到正确的平均步数统计轨迹中 passedFalse 的步数对比基线选普通强化学习只优化单轮和多轮对话训练。论文里在 LiveCodeBench 上REVES 比普通 RL 高 6.5 分比多轮对话训练高 4.0 分。你在自己的数据集上跑趋势应该类似。def evaluate(model, test_problems, test_suite): single_pass 0 multi_pass 0 total_turns [] for prob in test_problems: code generate_code(prob[prompt]) if run_tests(code, test_suite[prob[id]])[0]: single_pass 1 traj sequential_revision(prob[prompt], test_suite[prob[id]], max_turns32) if traj[-1][passed]: multi_pass 1 total_turns.append(len(traj)) n len(test_problems) return { single_pass_rate: single_pass / n, multi_pass_rate: multi_pass / n, avg_turns: sum(total_turns) / len(total_turns) if total_turns else 0, }4.3 置信度校准测试验证提示的作用是让模型更好地判断自己答对没有。测法是让模型对一批代码输出正确/错误的判断然后跟实际测试结果对比算 AUROC。论文里 REVES 把 AUROC 从 72.1% 提升到 74.1%别小看这两个点在实际使用中意味着模型更少地自信地给出错误答案。from sklearn.metrics import roc_auc_score def eval_calibration(model, samples): preds, labels [], [] for s in samples: out model.generate(s[prompt]) preds.append(1.0 if 正确 in out else 0.0) labels.append(1.0 if s[passed] else 0.0) return roc_auc_score(labels, preds)5. 本篇常见错排查5.1 数据增强只做一次后面几轮效果不涨这是最容易踩的坑。很多人图省事第一轮生成一批修正样本后后面几轮直接复用。结果第二轮开始 loss 就降不下去了多轮修正率原地踏步。原因在于模型每轮都在变它犯的错误类型也在变。第一轮时模型可能在变量作用域上出错训练一轮后这个弱点补上了但开始在边界条件上出错。你还在用第一轮的变量作用域样本训练等于让一个已经会解一元二次方程的学生反复做十以内加减法纯属浪费时间。论文里明确对比过每轮刷新数据比只做一次数据增强性能差距非常显著。5.2 奖励函数把整条轨迹的奖励摊到每一步如果你不小心把多轮轨迹的最终结果作为奖励然后平均分配给轨迹里的每一步就会重现论文里说的路径依赖的信用分配偏差。具体表现是模型学到这种答错方式是好的因为那次答错恰好出现在最终成功的轨迹里。修正方法很简单Stage II 的每个样本必须是单步的奖励只跟这一步的输出有关。修正样本看修正后的代码能不能过测试验证样本看判断对不对不要引入任何跨步的奖励。5.3 API 调用超时或限流Stage I 要跑大量多轮生成如果并发开太高容易触发限流。建议在客户端加一层重试和退避import time from openai import RateLimitError def safe_generate(prompt, max_retries5): for i in range(max_retries): try: return generate_code(prompt) except RateLimitError: wait 2 ** i print(f限流等待 {wait}s 后重试) time.sleep(wait) raise RuntimeError(重试次数耗尽)另外Stage I 和 Stage II 如果共用同一个 Key配额会互相挤占。建议在控制台里创建两个 Key分别给两个阶段用方便排查问题。5.4 测试用例执行环境不安全run_tests直接exec模型生成的代码是有风险的模型可能生成死循环或者文件操作。生产环境一定要用沙箱最简单的做法是限制执行时间和禁用危险模块import signal def run_tests(code: str, test_cases: list, timeout: int 5): def handler(signum, frame): raise TimeoutError(代码执行超时) signal.signal(signal.SIGALRM, handler) signal.alarm(timeout) try: namespace {} exec(code, namespace) for case in test_cases: result namespace[case[func]](*case[args]) if result ! case[expected]: return False, f用例失败期望 {case[expected]}实际 {result} return True, except Exception as e: return False, str(e) finally: signal.alarm(0)6. 把 REVES 接进你的代码助手工作流如果你正在做 AI 代码助手或者自动化编程 AgentREVES 的思路可以直接迁移。核心动作就三个让模型多轮尝试并记录轨迹、从成功轨迹里提取中间错误步骤、用这些步骤做单步训练。你不需要一次性把整个框架搭完可以先从数据增强这一步开始把提取出来的修正样本混进现有的 SFT 数据里看看多轮修正率有没有提升。实际接入时模型调用入口建议统一走 TaoToken 的 API这样 Stage I 和 Stage II 可以用同一套鉴权切换模型也不用改代码。API Key 在控制台的 API Keys 页面管理接入文档里有完整的参数说明和示例代码。如果你要跑长期训练任务Coding Plan 页面有更详细的配额和并发说明可以提前规划好调用量。最后提醒一句REVES 的训练数据增强一定要每轮重新生成这是整个框架里最容易被忽略但影响最大的细节。我见过太多人在这上面省事结果训练曲线从第二轮开始就平了还以为是模型容量不够。