slime RL 训练框架 API 深度解析：基于 Megatron-LM 与 SGLang 的 LLM 后训练实战指南

AI 技能人工智能大模型深度学习【免费下载链接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.项目地址https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs点击查看免费下载本文以 slime API Reference 为骨架系统拆解 slime清华大学 THUDM 团队开源的 MegatronSGLang 强化学习后训练框架支撑 GLM-4.x 系列模型训练的核心数据结构、三类命令行参数体系、数据缓冲系统、自定义生成/奖励函数接口、异步训练与多任务评估等能力。读者读完可掌握 slime 的完整 API 面直接照抄配置启动 GRPO/PPO 等 RL 训练并能结合仓库中的 SKILL.md 与 troubleshooting.md 快速排障。一、架构总览Data Buffer、Megatron-LM 与 SGLang 三模块协作slime 采用由 Ray 编排的三模块架构训练侧由 Megatron-LM 承担采样Rollout侧由 SGLang 加 Router 承担二者之间由数据缓冲Data Buffer解耦┌─────────────────────────────────────────────────────────┐ │ Data Buffer │ │ - Prompt initialization and management │ │ - Custom data generation and filtering │ │ - Rollout sample storage │ └─────────────┬───────────────────────────┬───────────────┘ │ │ ┌─────────────▼───────────┐ ┌─────────────▼───────────────┐ │ Training (Megatron-LM) │ │ Rollout (SGLang Router) │ │ - Actor model training │ │ - Response generation │ │ - Critic (optional) │ │ - Reward/verifier output │ │ - Weight sync to rollout│ │ - Multi-turn support │ └─────────────────────────┘ └─────────────────────────────┘三个模块各司其职Data Buffer数据缓冲负责 prompt 的初始化与管理、自定义数据生成与过滤、以及 rollout 样本的存储是整个流水线的调度中枢也决定了 off-policy 训练能否成立。TrainingMegatron-LM负责 Actor 模型的训练可选 Critic如 PPO 场景并把最新权重同步给 rollout 侧weight sync。RolloutSGLang Router基于 SGLang 做高吞吐响应生成产出 reward/verifier 信号支持多轮multi-turn对话场景Router 负责在多张 SGLang 引擎之间分发请求。这一设计与仓库中 README.md 对 slime 的定位一致“THUDMs MegatronSGLang framework powering GLM-4.x models”训练与推理解耦各自按需横向扩展这正是它能在 GLM-4.5/4.6/4.7 这类大规模模型上做 RL 扩展的关键。二、核心数据结构Sample 对象与 Status 枚举2.1 Sample贯穿流水线的样本载体Sample是 slime 的核心数据结构定义于 slime 项目源码slime/utils/types.py注意该路径属于上游 slime 项目结构本仓库仅保存其文档快照。它几乎承载了 prompt、生成结果、奖励、损失掩码、多模态输入、MoE 路由信息等全部字段from slime.utils.types import Sample dataclass class Sample: # Core fields group_index: Optional[int] # Group index for batching index: Optional[int] # Sample index prompt: str | list[dict] # Input prompt or chat history tokens: list[int] field(default_factorylist) # Token IDs response: str # Generated response response_length: int 0 # Response length in tokens label: Optional[str] None # Ground truth label reward: Optional[float | dict] None # RL reward signal loss_mask: Optional[list[int]] None # 1compute loss, 0mask status: Status Status.PENDING # Sample status metadata: dict field(default_factorydict) # Custom data # Multimodal support multimodal_inputs: Optional[Any] None # Raw multimodal data (images, videos) multimodal_train_inputs: Optional[Any] None # Processed multimodal data (pixel_values) # Rollout tracking weight_versions: list[str] field(default_factorylist) rollout_log_probs: Optional[list[float]] None # Log probs from SGLang rollout_routed_experts: Optional[list[list[int]]] None # Expert routing (MoE) # Control fields remove_sample: bool False generate_function_path: Optional[str] None train_metadata: Optional[dict] None non_generation_time: float 0.0 # Speculative decoding info (nested dataclass) dataclass class SpecInfo: spec_accept_token_num: int 0 spec_draft_token_num: int 0 spec_verify_ct: int 0 completion_token_num: int 0几个关键字段的工程含义prompt既可以是字符串也可以是list[dict]形式的聊天历史[{role: user, content: ...}]这是多轮与 agentic 训练的基础。loss_mask逐 token 标记是否计算损失1计算0屏蔽。在多轮工具调用场景下工具返回内容应被屏蔽见后文自定义生成函数一节否则模型会学会“照抄工具输出”。reward可以是float或dict兼容单值奖励与多维度奖励如 rule-based verifier 组合。rollout_log_probs/rollout_routed_experts前者来自 SGLang 返回的逐 token 对数概率供重要性采样TIS等 off-policy 算法使用后者记录 MoE 模型的专家路由信息。SpecInfo嵌套类记录投机解码speculative decoding的接受 token 数、草稿 token 数、验证次数等信息用于观测解码效率。2.2 Status样本生命周期状态机class Status(Enum): PENDING pending # Not yet processed COMPLETED completed # Successfully generated TRUNCATED truncated # Hit max length ABORTED aborted # Failed generation FAILED failed # Generation failedStatus枚举描述样本在流水线中的流转PENDING未处理→COMPLETED成功生成→TRUNCATED触达最大长度被截断/ABORTED生成被中止/FAILED生成失败。remove_sample控制位与FAILED状态配合可让上层在数据清洗时剔除坏样本。三、配置系统三类命令行参数slime 的命令行参数分为三大类全部通过train.py/train_async.py传入3.1 Megatron 参数原样透传所有 Megatron-LM 参数都被直接支持例如并行策略与模型维度--tensor-model-parallel-size 2 --pipeline-model-parallel-size 1 --num-layers 32 --hidden-size 4096 --num-attention-heads 32 --seq-length 4096 --micro-batch-size 1 --global-batch-size 256这些参数决定模型的张量并行TP、流水线并行PP切分以及显存占用形态与标准 Megatron-LM 语义完全一致。--micro-batch-size 1通常是训练大模型时的默认起点便于配合梯度累积达到--global-batch-size。3.2 SGLang 参数--sglang-前缀SGLang 引擎参数统一以--sglang-前缀隔离避免与训练参数命名冲突--sglang-mem-fraction-static 0.8 # GPU memory for KV cache --sglang-context-length 8192 # Maximum context length --sglang-log-level INFO # Logging verbosity --sglang-tp-size 2 # Tensor parallelism --sglang-disable-cuda-graph # Disable CUDA graphs其中--sglang-mem-fraction-static控制分配给 KV cache 的显存比例是影响 rollout 吞吐与显存余量的核心旋钮--sglang-disable-cuda-graph常在调试阶段使用CUDA graph 会掩盖真实报错栈。3.3 slime 专属参数定义于slime/utils/arguments.py这是 slime 自己的参数族按功能可分为五组资源分配Resource Allocation--actor-num-nodes 1 # Training nodes --actor-num-gpus-per-node 8 # GPUs per training node --rollout-num-gpus 8 # Total rollout GPUs --rollout-num-gpus-per-engine 2 # GPUs per SGLang engine --colocate # Share GPUs for train/inference--rollout-num-gpus与--rollout-num-gpus-per-engine相除即得到 SGLang 引擎实例数如 8 卡 ÷ 2 卡/引擎 4 个引擎。--colocate让训练与推理共享同一批 GPU省去跨机权重传输但会与推理争抢显存通常需要调低--sglang-mem-fraction-static。数据配置Data Configuration--prompt-data /path/to/data.jsonl # Training data path --input-key prompt # Key for prompts in JSON --label-key label # Key for labels in JSON --apply-chat-template # Apply chat formatting--input-key/--label-key必须与 JSONL 数据中的字段名严格一致否则会触发 KeyError详见 troubleshooting.md 的数据格式排查一节。训练循环Training Loop--num-rollout 3000 # Total rollout iterations --rollout-batch-size 32 # Prompts per rollout --n-samples-per-prompt 8 # Responses per prompt --global-batch-size 256 # Training batch size --num-steps-per-rollout 1 # Training steps per rollout这四个参数并非独立受一个恒等式约束详见第六节rollout_batch_size × n_samples_per_prompt global_batch_size × num_steps_per_rollout。RL 算法RL Algorithm--advantage-estimator grpo # grpo, gspo, ppo, reinforce_plus_plus --use-kl-loss # Enable KL loss --kl-loss-coef 0.001 # KL coefficient --calculate-per-token-loss # Token-level loss--advantage-estimator支持grpo、gspo、ppo、reinforce_plus_plus四种估计器--use-kl-loss配合--kl-loss-coef控制对参考策略的 KL 约束强度是抑制 reward hacking 的关键。Off-Policy 选项Off-Policy Options--use-tis # Truncated Importance Sampling --tis-threshold 0.9 # TIS threshold --true-on-policy-mode # Force on-policy training--use-tis启用截断重要性采样允许复用旧策略产生的样本进行 off-policy 更新--true-on-policy-mode则强制回到严格 on-policy 语义。四、数据缓冲系统从 on-policy 到 off-policy数据缓冲系统是 slime 数据管理的核心抽象源码路径为slime/data文档中以from slime.data import ...引用。4.1 RolloutDataSource基类from slime.data import RolloutDataSource class RolloutDataSource: def __init__(self, dataset, args): self.dataset dataset self.args args def get_samples(self, num_samples: int) - list[Sample]: Fetch prompts from dataset. return [Sample(promptp) for p in self.dataset.sample(num_samples)] def add_samples(self, samples: list[Sample]) - None: Called after generation (no-op by default). passget_samples从数据集抽取num_samples条 prompt包装为Sample列表交给 rollout。add_samples在生成完成后回调默认 no-op——这意味着基类是纯 on-policy 的生成完即丢弃不进入任何缓冲。4.2 RolloutDataSourceWithBufferoff-policy 缓冲版from slime.data import RolloutDataSourceWithBuffer class RolloutDataSourceWithBuffer(RolloutDataSource): def __init__(self, dataset, args): super().__init__(dataset, args) self.buffer [] def add_samples(self, samples: list[Sample]) - None: Store generated samples for reuse. self.buffer.extend(samples) def buffer_filter(self, args, buffer, num_samples) - list[Sample]: Custom selection logic. # Example: prioritized sampling based on reward sorted_buffer sorted(buffer, keylambda s: s.reward, reverseTrue) return sorted_buffer[:num_samples]缓冲版把生成后的样本收进self.buffer实现样本复用这是 off-policy 训练配合--use-tis的数据前提。buffer_filter是自定义筛选钩子上例实现“按 reward 降序取前 N 条”的优先采样prioritized sampling你也可以替换为分层采样stratified、多样性过滤等任意逻辑。文档还提示可结合status如剔除FAILED与remove_sample位做质量清洗。五、自定义函数多轮生成与奖励计算slime 允许以“函数路径”方式注入自定义逻辑无需改动框架源码。5.1 自定义生成函数多轮 / 工具调用面向 multi-turn 或 tool-calling 场景把生成逻辑整体替换# custom_generate.py from slime.data import Sample async def custom_generate(args, samples: list[Sample], evaluation: bool False) - list[Sample]: Custom generation function for multi-turn interactions. Args: args: Training arguments samples: List of Sample objects with prompts evaluation: Whether this is an evaluation run Returns: List of Sample objects with responses and rewards for sample in samples: conversation sample.prompt if isinstance(sample.prompt, list) else [ {role: user, content: sample.prompt} ] for turn in range(args.max_turns): # Generate response response await generate_single(conversation) # Check for tool call tool_call extract_tool_call(response) if tool_call: # Execute tool tool_result await execute_tool(tool_call) conversation.append({role: assistant, content: response}) conversation.append({role: tool, content: tool_result}) else: # Final response sample.response response break # Compute reward sample.reward compute_reward(sample) # Set loss mask (1 for model tokens, 0 for tool responses) sample.loss_mask build_loss_mask(sample) return samples要点函数签名固定为async def custom_generate(args, samples, evaluationFalse)返回更新后的Sample列表。通过sample.prompt是否为list判断是否已有聊天历史每一轮判断响应是否包含工具调用命中则把assistant与tool轮次追加进对话并继续否则收尾。结尾必须自行设置sample.reward与sample.loss_mask——尤其是 loss mask它决定了工具返回内容是否进入损失计算1模型 token 参与损失0工具响应被屏蔽详见 troubleshooting.md 中“Tool Responses Included in Loss”一节。启动方式python train.py \ --custom-generate-function-path custom_generate.py \ --max-turns 5仓库 SKILL.md 补充了完整的多轮 agentic 训练工作流Workflow 3并指出可参考上游examples/search-r1/的完整多轮搜索示例。5.2 自定义奖励函数# custom_rm.py from slime.data import Sample async def reward_func(args, sample: Sample, **kwargs) - float: Compute reward for a single sample. Args: args: Training arguments sample: Sample object with response Returns: Reward score (float) response sample.response ground_truth sample.label or sample.metadata.get(answer, ) # Example: exact match reward if response.strip() ground_truth.strip(): return 1.0 return 0.0 # For batched processing (more efficient) async def batched_custom_rm(args, samples: list[Sample]) - list[float]: Batch reward computation. rewards [] for sample in samples: reward await reward_func(args, sample) rewards.append(reward) return rewards单样本接口reward_func接收(args, sample, **kwargs)返回 float。示例实现了 exact-match 奖励响应与 ground truthsample.label或sample.metadata[answer]逐字符相等得 1.0否则 0.0。批量接口batched_custom_rm接收样本列表返回奖励列表适合需要并发/向量化计算的奖励如调用外部 verifier吞吐更高。启动方式python train.py \ --custom-rm-path custom_rm.py \ --group-rm # Enable batched processing--group-rm开启批量处理模式让奖励函数按组group一次性计算配合 GRPO 的组内相对优势计算天然契合。调试阶段可参考 troubleshooting.md 的“Test Custom Functions Independently”一节用asyncio.run单独验证奖励函数输出是否合理。六、模型配置预配置脚本与批量大小恒等式6.1 scripts/models/ 预配置脚本slime 为常见模型提供了开箱即用的配置脚本位于scripts/models/目录# List available models ls scripts/models/ # glm4-9B.sh, qwen3-4B.sh, qwen3-30B-A3B.sh, deepseek-v3.sh, llama3-8B.sh # Source model configuration source scripts/models/qwen3-4B.sh # This sets MODEL_ARGS and CKPT_ARGS arrayssource之后脚本会导出MODEL_ARGS模型结构参数与CKPT_ARGS权重/检查点路径两个 bash 数组后续直接以${MODEL_ARGS[]} ${CKPT_ARGS[]}展开传给train.py。6.2 示例qwen3-4B.sh# scripts/models/qwen3-4B.sh export MODEL_ARGS( --num-layers 36 --hidden-size 2560 --num-attention-heads 20 --num-query-groups 4 --ffn-hidden-size 6912 --max-position-embeddings 32768 --rotary-percent 1.0 --rotary-base 1000000 --swiglu --untie-embeddings-and-output-weights --no-position-embedding --normalization RMSNorm --tokenizer-type HuggingFaceTokenizer --bf16 ) export CKPT_ARGS( --hf-checkpoint /path/to/qwen3-4b-hf --initial-megatron-checkpoint /path/to/megatron/ckpt )可以看到 Qwen3 系列的关键结构特征都被显式声明GQA--num-query-groups 4、长上下文 RoPE--rotary-base 1000000、SwiGLU 激活、RMSNorm、无绝对位置编码等。CKPT_ARGS支持两种权重来源HuggingFace 检查点--hf-checkpoint或已转换的 Megatron 检查点--initial-megatron-checkpoint如需从 HF 转换可使用上游 slime 的tools/convert_hf_to_megatron.py工具见 troubleshooting.md 的 Checkpoint 一节并注意检查点的 TP 切分必须与加载时一致。6.3 批量大小恒等式关键约束rollout_batch_size × n_samples_per_prompt global_batch_size × num_steps_per_rollout示例32 × 8 256 × 1。即每轮 rollout 生成的rollout_batch_size × n_samples_per_prompt个样本必须恰好被global_batch_size × num_steps_per_rollout的训练步数消费干净。修改任何一侧参数时务必同步校验等式否则会因样本与步数不匹配而报错或空转。七、异步训练重叠 rollout 与训练同步模式下训练与 rollout 串行执行train_async.py将二者重叠用更高的显存与复杂度换取吞吐。7.1 启动异步训练python train_async.py \ --actor-num-gpus-per-node 8 \ --rollout-num-gpus 8 \ --async-buffer-size 4 \ --update-weights-interval 2 \ ${MODEL_ARGS[]}7.2 异步专属参数--async-buffer-size 4 # Number of rollouts to buffer --update-weights-interval 2 # Sync weights every N rollouts--async-buffer-size允许在训练侧消费之前预取的 rollout 批次数值越大越能掩盖生成延迟但会引入更旧的策略权重。--update-weights-interval每隔 N 轮 rollout 才向推理侧同步一次最新权重。调大可减少同步开销对应 troubleshooting.md 中“Weight Sync Timeout”的解法调小可降低策略陈旧度对应“Stale Weights in Async Mode”的解法。重要限制异步模式不支持--colocate共用 GPU。这是因为 colocate 依赖训练与推理严格串行复用同一批显存与异步重叠的调度模型冲突。详见 troubleshooting.md 的“Async Training Not Supported with Colocate”一节。八、评估多任务与采样配置8.1 多任务评估--eval-prompt-data可多次指定注册多个评估任务--eval-prompt-data aime /path/to/aime.jsonl \ --eval-prompt-data gsm8k /path/to/gsm8k.jsonl \ --n-samples-per-eval-prompt 16 \ --eval-interval 508.2 评估配置项--eval-interval 50 # Evaluate every N rollouts --n-samples-per-eval-prompt 16 # Samples for evaluation --eval-temperature 0.0 # Greedy decoding for eval--eval-interval控制评估频率每 N 轮 rollout 评估一次。--n-samples-per-eval-prompt控制每个评估 prompt 的采样数可视为评估时的“beam 宽度”。--eval-temperature 0.0使用贪心解码保证评估结果的确定性与可复现性与训练期采样温度相互独立。九、支持的模型家族slime 为以下模型家族提供预配置脚本对应scripts/models/下的脚本文件Model FamilyConfigurationsGLMGLM-4.5, GLM-4.6, GLM-4.7, GLM-Z1-9BQwenQwen3 (4B, 8B, 30B-A3B), Qwen3-MoE, Qwen2.5DeepSeekV3, V3.1, R1LlamaLlama 3 (8B, 70B)OthersKimi K2, Moonlight-16B除表格所列外仓库 SKILL.md 还提到社区脚本中有glm4-9B.sh、qwen3-30B-A3B.sh、deepseek-v3.sh、llama3-8B.sh等配置GLM 系列由 THUDM 官方维护是 slime 的主打模型文档确认其曾支撑 GLM-4.5/4.6/4.7 的训练。十、在仓库中的延伸阅读路径slime SKILL.md完整技能入口含安装Docker 镜像slimerl/slime或源码安装、三个标准工作流GRPO 训练、异步训练、多轮 agentic 训练、co-location 模式与常见问题速查。api-reference.md本文的骨架文档覆盖 Sample/Status、三类参数、Data Buffer、自定义函数、模型脚本、异步训练、评估与支持模型。troubleshooting.md与本文配套的排障手册覆盖 SGLang 引擎崩溃、权重同步超时/多节点失败、OOM含 colocate 模式、数据加载慢、NaN/损失爆炸、reward collapse、异步陈旧权重、检查点加载失败等高频问题及其参数级解法。横向对比本仓库06-post-training/分类下还有同属 RL 后训练方向的 verl、milesslime 的企业版分支含 FP8/INT4 与 MoE 投机 RL、torchforge 与 grpo-rl-training 等技能文档可在选型时对照阅读。结语slime 的 API 面清晰而克制Megatron 参数原样透传、SGLang 参数前缀隔离、专属参数按资源/数据/循环/算法/off-policy 五组归位Sample作为唯一样本载体贯穿训练与推理Data Buffer 与buffer_filter钩子给出 off-policy 扩展点custom_generate与custom_rm以函数路径注入的方式覆盖多轮工具调用与自定义奖励。结合 troubleshooting.md 的参数级排障建议读者可以在此基础上快速搭建一套可投入实际训练的 MegatronSGLang RL 后训练流水线。赞分享AI 技能人工智能大模型深度学习【免费下载链接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.项目地址https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs点击查看免费下载相关推荐slime基于 Megatron SGLang 的 RL Scaling 后训练框架深度解析slime基于 Megatron SGLang 的 RL Scaling 后训练框架深度解析 slime 是一个面向 RL Scaling 的 LLM 后人工智能大模型强化学习RLHF分布式训练slime 框架技术总览面向 RL Scaling 的 Megatron SGLang 后训练架构解析slime 框架技术总览面向 RL Scaling 的 Megatron SGLang 后训练架构解析 slime 是一个面向 RL Scaling强化人工智能大模型强化学习RLHF分布式训练Megatron-LM Megatron RL 实战指南面向大规模 LLM 的强化学习后训练框架Megatron LM Megatron RL 实战指南面向大规模 LLM 的强化学习后训练框架 Megatron RL 是 Megatron LM 内置的原人工智能大模型预训练分布式训练深度学习强化学习上一篇IoT-For-Beginners 实战为 Seeed Wio Terminal 搭建 PlatformIO 开发环境并完成首个 Hello World下一篇Allure-pytest深度解析10个实用技巧提升测试报告质量创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考