agentic-rl-lab医疗OPD实战：SAR-OPD与IDT-OPD双方案，增强医疗能力同时保住通用能力

【免费下载链接】agentic-rl-labReproducing and studying RL algorithms for LLM agents, including GRPO, GSPO, DAPO, OPD, Search-R1, ReTool, ALFWorld and beyond.项目地址https://gitcode.com/gh_mirrors/ag/agentic-rl-lab点击查看免费下载本文基于开源项目 agentic-rl-lab 的 02-opd 模块完整拆解医疗 OPDOn-Policy Distillation在策略蒸馏实战以 Qwen3.5-4B 为底座先 Medical SFT 得到医疗教师模型再用 SAR-OPD 与 IDT-OPD 两套蒸馏方案训练 Student——最终 MedQA-zh 医疗准确率从 72.17% 提升到 84.33%C-Eval 通用能力不降反升到 84.67%。适合想给 LLM 增强垂直领域能力、又怕学了新本领、忘了老本事的新手读者。为什么做医疗OPD领域增强引发的能力遗忘难题直接用医疗数据做 SFT 会发生什么实测结果很典型CheckpointMedQA-zh600题C-Eval non-med300题Qwen3.5-4B Base72.17%81.67%Medical SFT epoch 379.00%69.33%⬇️医疗能力涨了 7 个百分点通用能力却掉了 12 个百分点——只看领域 benchmark很容易忽略这种能力交换。本实验真正要回答的问题是能不能让 Medical Teacher 教 Student 医疗能力同时让原始 Base Model 充当通用能力锚点得到一个两项能力都比 Base 更好的模型为此设计了两套方案均为 02-opd 中的实验命名非论文标准算法SAR-OPDStaged Anchor-Restoration先做 Medical OPD再用 Base Teacher 分阶段恢复通用能力IDT-OPDInterleaved Dual-Teacher同一训练循环里两个 Teacher 按 step 交替指导同一个 StudentOPD训练循环原理学生先作答老师后打分与 GRPO 等 reward 驱动的 RL 不同OPD 不需要标准答案也不需要写 reward functionGRPOadvantage 来自同一组回答的相对 rewardOPDadvantage 来自 Teacher 与 Student 的 token logprob 差一次最小训练循环Student 对医疗问题采样自己的回答 → Teacher 接收完全相同的 prompt completion逐 token 计算 logprobs → 构造 reverse-KL advantageStudent 比 Teacher 更偏爱的 token 被压低概率反之被提高 → 用 PPO 更新 Student。关键点Teacher 不重新回答问题只对 Student 真实走过的轨迹打分监督信号来自 Teacher 的分布而非数据集答案。核心实现见 02-opd/03-medical-opd-async.py。SAR-OPD训练步骤先学医疗再恢复通用能力SAR-OPD 把训练拆成三个阶段每个目标都清晰Stage 1Medical SFT用medical-o1-reasoning-SFT中文数据微调 Qwen3.5-4B得到冻结的 Medical Teacher02-opd/02-medical-sft.pyStage 2Medical OPD从 Base 创建 fresh LoRA Student由 Medical Teacher 做 300 step 的 on-policy 蒸馏医疗能力 72.17% → 80.00%Stage 3Base-anchor OPD恢复 Stage 2 的 Train state用原始 4B Base当 Teacher在 C-Eval 非医疗题目上再做 300 step 蒸馏02-opd/04-ceval-opd-async.py第三阶段的精妙之处学习率从4e-5降到5e-6只做能力恢复而不冲掉刚学到的医疗知识。C-Eval 从 73.00% 逐步拉回 84.67%更意外的是MedQA-zh 也从 80.00% 升到了84.33%——恢复通用分布与保持医疗能力并不是零和关系。IDT-OPD训练步骤双教师1:1交替调度SAR-OPD 流程较长IDT-OPD 则把两个 Teacher 放进同一个训练循环固定Medical → C-Eval → Medical → C-Eval ...的 1:1 调度共用同一个 LoRA Student、同一份 Adam 状态每个全局 step 结束后用最新权重继续。调度逻辑只有几行非常易读02-opd/05-interleaved-multi-teacher-opd.pydef build_task_schedule(args): return ( (medical,) * args.medical_steps_per_cycle (ceval,) * args.ceval_steps_per_cycle )600 step 下两类任务各 300 step。想偏向医疗只需把--medical-steps-per-cycle改为 2。另一个细节两类任务各自维护独立的 task stepbatch_for_task_step按自己的进度取 batch不会因交替而跳数据。结果很有意思IDT-OPD 没有越训越好的终点。step 100 偏医疗MedQA-zh 79.17%step 200 偏通用C-Eval 86.00%全实验最高继续训到 step 600 两项都回落。结论多 Teacher 蒸馏里checkpoint 选择和早停比跑满训练更重要step 100 与 step 200 是两个 Pareto 有效点。两套OPD方案怎么选对比项SAR-OPDIDT-OPD训练结构分阶段顺序训练双 Teacher 按 step 交替最佳 MedQA-zh84.33%79.17%最佳 C-Eval84.67%86.00%优点综合效果最好能力恢复过程清楚结构统一易扩展更多 Teacher 与调度比例难点需正确保存/恢复 Train state对调度比例、学习率、早停敏感适合场景追求最终综合性能多领域、多 Teacher 的 Pareto 探索 只根据这轮实验选最终模型SAR-OPD step 300 是综合最优 checkpoint若要多领域扩展代码、数学、Agent 等IDT-OPD 的结构更通用。医疗OPD快速启动如何运行这套实验完整教程见 02-opd/start.md核心步骤如下要求 Python ≥3.13全程成本约 200 元内只跑几十个 step 理解原理几元即可git clone https://gitcode.com/gh_mirrors/ag/agentic-rl-lab cd agentic-rl-lab uv sync trio login cp 02-opd/.env.example 02-opd/.env # 填入 PYTRIO_API_KEY① 下载数据Medical SFT MedQA-zh C-Eval 三类数据uv run python 02-opd/00-download-dataset.py② 训练 Medical SFT Teacheruv run python 02-opd/02-medical-sft.py \ --num-epochs 3 --batch-size 16 --max-length 2048 --swanlab-mode online③ 跑 Medical OPD把--teacher-model-path换成上一步的sampler_weights路径uv run python 02-opd/03-medical-opd-async.py \ --teacher-model-path trio://RUN_ID/sampler_weights/SFT_WEIGHTS_NAME \ --steps 300 --batch-size 4 --group-size 4 \ --max-tokens 2048 --learning-rate 4e-5④a SAR-OPD 第三阶段--student-state-path必须传 Train state不能传 sampler_weightsuv run python 02-opd/04-ceval-opd-async.py \ --student-state-path YOUR_MEDICAL_OPD_TRAIN_STATE_PATH \ --steps 300 --learning-rate 5e-6 --save-every-steps 50④b IDT-OPD 替代方案2:1 医疗偏置只需改--medical-steps-per-cycle 2uv run python 02-opd/05-interleaved-multi-teacher-opd.py \ --medical-teacher-model-path YOUR_SFT_SAMPLER_WEIGHTS_PATH \ --steps 600 --medical-steps-per-cycle 1 --ceval-steps-per-cycle 1 \ --learning-rate 1e-5 --save-every-steps 50⑤ 评测逐题 JSONL 与汇总指标写入02-opd/eval-results/uv run python 02-opd/01-eval-medical.py --model trio://RUN_ID/sampler_weights/OPD_WEIGHTS_NAME --max-tokens 1024 uv run python 02-opd/01-eval-ceval.py --model trio://RUN_ID/sampler_weights/OPD_WEIGHTS_NAME --max-tokens 8192⚠️ 比较不同 checkpoint 时务必保持数据文件、system prompt、temperature 和输出预算一致否则准确率不可比。训练指标观测与实验边界训练过程记录在 SwanLab重点盯这几个指标指标含义opd/reverse_kl_meanStudent 与 Teacher 在采样 token 上的平均 logprob 差data/datums、data/completion_tokens_mean每 step 进入训练的 completion 数与平均长度step/completion_tokens_per_second整步 OPD token 吞吐含采样打分更新medical/*与ceval/*IDT两类任务分别记录的 KL、吞吐与占比注意reverse KL 下降只说明 Student 更接近当前 Teacher不代表 benchmark 一定涨——尤其 IDT-OPD 有两个目标不同的 Teacher务必定期存 checkpoint、用独立评测集验证。边界也要说清楚每套方案只有一条训练轨迹无多随机种子方差两套方案学习率不同差异不能全归因于训练结构MedQA-zh 与 C-Eval 都是选择题不能代表真实临床问答安全性。小结医疗OPD实战的两条路SAR-OPD先专注学医疗再用 Base 锚点恢复通用当前实验综合最佳——MedQA-zh72.17% → 84.33%C-Eval81.67% → 84.67%双双超越原始 BaseIDT-OPD把能力调度做成训练结构1:1 交替不单调变好但给出 step 100/200 两个 Pareto 有效点checkpoint 选择是核心技能OPD 最有意思的地方在于只要 Teacher 和 Student 能在同一条 token 轨迹上对齐 logprobs就可以让不同 Teacher 代表不同能力再决定 Student 在什么时候、哪类 prompt 上向谁学习——这套思路在 agentic-rl-lab 的 02-opd 模块中已完整落地可直接复现。赞分享【免费下载链接】agentic-rl-labReproducing and studying RL algorithms for LLM agents, including GRPO, GSPO, DAPO, OPD, Search-R1, ReTool, ALFWorld and beyond.项目地址https://gitcode.com/gh_mirrors/ag/agentic-rl-lab点击查看免费下载相关推荐1/400的数据规模反超同行open-audio-opd实验结果与OPD论文深度解读1/400的数据规模反超同行open audio opd实验结果与OPD论文深度解读 open audio opd 是一套开源的工业级音频在线策略蒸馏OPDJasna 教程4 步跑通 JAV 马赛克修复Jasna 教程4 步跑通 JAV 马赛克修复 视频里只打了几秒马赛克手动逐帧抠图没人干得完。Jasna 是一款免费的 JAV 马赛克修复工具图形界面加命人工智能AI 应用计算机视觉视频处理图像处理深度学习brpc与医疗健康远程医疗系统的通信保障brpc与医疗健康远程医疗系统的通信保障 引言数字医疗时代的通信挑战 在当今数字化医疗时代远程医疗系统正成为医疗健康服务的重要支柱。从在线问诊、远程会诊到后端RPC框架微服务上一篇推荐使用Wayland Rust 库 - 完美的图形协议解决方案下一篇如何用 pykan 快速完成你的第一次 KAN 函数拟合完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考