OPD】OpenClaw-RL 源码阅读笔记 --- (6)--- Rollout 与 AsyncRolloutWorker 配置拆解

1. 从一次 Rollout 卡死说起AsyncRolloutWorker 到底在等谁如果你已经跟着前几篇读完了 OpenClaw-RL 的 Prompt 生成和 Reward 打分那么到 Rollout 这一层最容易踩的坑不是代码看不懂而是启动之后日志停在 “waiting for rollout batch” 不动。我第一次跑openclaw-rl的 combine 模式时GPU 4-5 的 SGLang 明明已经起来了/health也返回 200但训练侧就是不进入 forward。后来把AsyncRolloutWorker的日志级别调到 DEBUG 才发现它根本没在等模型而是在等_sample_queue里凑够rollout_batch_size个样本。这就是 OpenClaw-RL 和标准 RL 框架最大的差异。标准 RL 的 Rollout 是训练系统主动从数据集里抽 prompt让策略生成 N 条 response再打分而 OpenClaw-RL 的 Rollout 是被动收集——真实用户通过 FastAPI 发消息SGLang 生成回复PRM 异步打分最后把已经完成的轨迹塞进队列。AsyncRolloutWorker就是这条链路上连接“异步 Web 世界”和“同步训练世界”的那个渡口。这篇笔记聚焦三件事AsyncRolloutWorker的职责边界、Slime 框架下它怎么被调度、以及一份可以直接复制的config.toml骨架。目标很明确——你读完能自己把 Rollout 拉起来并且知道怎么验证 worker 真的在工作而不是假装在工作。2. TaoToken 前置统一 Key 通道在配置里的位置在动手写配置之前先把模型访问这一层理清楚。OpenClaw-RL 的 Rollout 阶段会调用两类模型服务一类是 SGLang 本地推理引擎Policy Serving另一类是 teacher 模型或 PRM 打分模型这部分通常走外部 API。如果你本地没有部署 teacher就需要一个稳定的 API 通道。我自己的做法是把所有外部模型调用统一走 TaoToken。它的定位是统一 Key/API 通道一个 Key 可以覆盖多种模型省得在config.toml里为每个模型维护一套 base_url 和 key。官网在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end API 入口是 https://taotoken.net/api 注意 API 地址不带 UTM 参数配置里直接写这个就行。在 OpenClaw-RL 的配置里TaoToken 主要出现在两个位置teacher 模型的base_url以及 PRM 打分服务的api_base。下面第 3 节的config.toml骨架里我会标出来。如果你只是先跑通 Rollout 流程、暂时不接 teacher可以把这两段注释掉不影响 worker 拉起。3. 可复制配置config.toml 骨架与 AsyncRolloutWorker 关键参数这一节是全文的核心。我按“能直接跑”的标准给一份骨架参数含义逐条说明。注意 OpenClaw-RL 的配置分两层Slime 训练框架层和 OpenClaw 业务层AsyncRolloutWorker的参数横跨这两层。3.1 完整 config.toml 骨架# Slime 训练框架层 [slime] rollout_batch_size 16 # 一次 rollout 收集多少样本才触发训练 rollout_fn openclaw_rollout.generate_rollout_openclaw disable_rollout_global_dataset true # 关键被动 rollout 必须为 true num_rollout_workers 1 # AsyncRolloutWorker 实例数通常 1 个够 rollout_timeout_sec 1800 # 单次 rollout 超时等用户时给足 [slime.rollout_worker] queue_poll_interval 0.05 # worker 轮询 _sample_queue 的间隔(秒) stall_warn_interval 30 # 30 秒无新样本打警告日志 resume_on_start true # 启动时自动 resume_submission # OpenClaw 业务层 [openclaw] mode combine # openclaw-rl / openclaw-opd / openclaw-combine api_host 0.0.0.0 api_port 8080 session_max_turns 8 # 单 session 最大轮数防止无限对话 [openclaw.sglang] engine_host 127.0.0.1 engine_port 30000 model_path /models/Qwen2.5-7B-Instruct gpu_ids [4, 5] # 对应架构图里的 Rollout Engine [openclaw.prm] enable true api_base https://taotoken.net/api # TaoToken 统一通道 api_key ${TAOTOKEN_API_KEY} # 从环境变量读别硬编码 model your-prm-model timeout_sec 60 [openclaw.teacher] enable true # OPD/combine 模式需要 api_base https://taotoken.net/api api_key ${TAOTOKEN_API_KEY} model your-teacher-model [openclaw.at_least_one] enable true # Binary RL 的零梯度修复3.2 AsyncRolloutWorker 关键参数拆解AsyncRolloutWorker本身不是一个独立配置文件它的行为由上面[slime.rollout_worker]和[slime]两段共同决定。逐个说rollout_batch_size是最容易设错的。它决定 worker 要收集多少个样本才放行一次训练。设太小训练频繁但 batch 内 reward 方差不够GRPO 归一化效果差设太大用户量不够时永远凑不齐日志一直卡在 waiting。我实测下来单机调试用 8-16 比较合适生产环境按 QPS 估。disable_rollout_global_dataset必须为true。这是被动 rollout 的开关。如果误设为falseSlime 会尝试从全局数据集主动生成而 OpenClaw 的generate_rollout_openclaw里根本没有生成逻辑结果就是 worker 空转。queue_poll_interval控制 worker 轮询队列的频率。源码里对应await asyncio.sleep(0.05)那一行。设太小会空耗 CPU设太大会增加样本入队到被消费的延迟。0.05 秒是源码默认值一般不用改。stall_warn_interval是排障利器。worker 超过这个时间没收到新样本就打警告。我第一次卡死就是靠这条日志定位到“不是 worker 挂了是压根没用户请求进来”。resume_on_start对应worker.resume_submission()。它打开submission_enabledEvent允许 FastAPI 侧提交样本。如果这个为falseAPI 服务器会对所有请求返回 503worker 永远等不到数据。3.3 启动命令配置写好后启动分两步。先起 SGLang 推理引擎python -m sglang.launch_server \ --model-path /models/Qwen2.5-7B-Instruct \ --port 30000 \ --tp 2再起训练侧Slime 会自动拉起AsyncRolloutWorker和 FastAPI Serverexport TAOTOKEN_API_KEYyour-key-here python -m openclaw_rl.train \ --config config.toml \ --mode combine4. 验证 Rollout怎么确认 worker 真的拉起来了启动之后别急着看 loss先确认 worker 状态。我总结了三个检查动作按顺序做。4.1 检查 worker 是否进入 resume 状态看训练侧日志正常应该出现类似[AsyncRolloutWorker] resume_submission called, submission_enabledTrue [AsyncRolloutWorker] waiting for samples, batch_size16, current0如果只看到第一行没有第二行说明 worker 卡在初始化阶段大概率是rollout_fn路径写错或者disable_rollout_global_dataset没设成true。4.2 检查 API 服务器是否接受请求worker 起来后FastAPI 应该监听在api_port。用一个最小请求验证curl -X POST http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: openclaw, messages: [{role: user, content: 11等于几}], stream: false }正常返回模型回复。如果返回 503说明submission_enabled是false检查resume_on_start配置或者看是不是 worker 在权重同步阶段主动暂停了提交。4.3 检查样本是否真的进了队列发几条请求后看 worker 日志的current计数有没有涨[AsyncRolloutWorker] waiting for samples, batch_size16, current3如果current一直是 0但 API 明明返回了回复问题出在 PRM 打分或_submit_turn_sample环节。这时候去看openclaw_api_server.py里_fire_prm_scoring的日志大概率是 PRM 调用超时或返回格式不对。5. 本篇常见错排查5.1 日志卡在 waiting for samples 不动最常见。分三种情况一是压根没用户请求worker 在正常等待这时候stall_warn_interval会打警告属于预期行为二是 API 返回 503submission_enabled没打开三是样本进了队列但被exclude逻辑过滤掉了比如所有 turn 的score0且at_least_one没开。5.2 PRM 打分一直 pendingOpenClaw 的 PRM 是异步触发的next_state要等下一个 HTTP 请求到达才可用。如果你只发了一轮对话就等打分结果那永远等不到——因为next_state还没来。这是设计如此不是 bug。要么发第二轮要么等 session 超时触发force_no_prm。5.3 worker 报 queue full 或样本积压output_queue是queue.Queue()默认无界一般不会 full。如果看到积压说明训练侧消费速度跟不上生产速度检查 GPU 利用率或者调大rollout_batch_size让每次训练多吃一点。5.4 TaoToken 调用返回 401检查TAOTOKEN_API_KEY环境变量有没有 export 成功以及config.toml里是不是写成了${TAOTOKEN_API_KEY}而不是硬编码。另外确认api_base写的是https://taotoken.net/api不要多加路径后缀。6. 继续往下走从 Rollout 到训练闭环Rollout 跑通之后下一步是看样本怎么进 GRPO 的 advantage 计算。这里有个容易忽略的点AsyncRolloutWorker只负责把样本从异步世界搬到同步世界它不关心样本的loss_mask和reward怎么组合。真正决定“哪些 turn 参与训练”的逻辑在_submit_turn_sample里也就是 at-least-one guarantee 那段。如果你想验证模型对话链路是否正常可以先用模型对话功能单独测一下 teacher 和 PRM 的返回格式确认没问题再接回训练。如果你打算长期跑编码类 Agent 的 RL 训练建议直接上 Coding Plan把 Key 和配额统一管理省得每次调参都要重新配一遍环境。接入文档里有完整的 API 参数说明配置阶段对着查比翻源码快。最后留一个我踩过的坑session_max_turns别设太大。我一开始设了 32结果有个用户 session 聊了 20 多轮还没结束worker 一直等这个 session 的最后一个 turn把整个 batch 卡住了。后来改成 8配合rollout_timeout_sec兜底稳定很多。