LeIsaac × Cosmos video2action 数据管线：如何用 1 条演示扩出大规模合成机器人视频动作

【免费下载链接】leisaacLeIsaac provides teleoperation functionality in IsaacLab using the SO101Leader (LeRobot), including data collection, data conversion, and subsequent policy training.项目地址https://gitcode.com/gh_mirrors/le/leisaac点击查看免费下载LeIsaac是基于 IsaacLab 的机器人遥操作与数据采集框架搭配 SO101 机械臂LeRobot完成演示录制、HDF5/LeRobot 数据转换与策略训练。本文介绍它的 video2action 合成数据管线借助Cosmos-Predict2.5把少量真实演示扩散成大规模合成视频再用 IDM 逆动力学模型把视频转回可执行的机器人动作最终回到 LeIsaac 仿真中回放验证——一条从单条演示到大规模合成动作的完整数据管线。管线总览4 步把 1 条演示变成 N 条合成轨迹步骤做什么产出1️⃣ 数据采集用 LeIsaac 遥操作录制演示并转换为 LeRobot 数据集HDF5 数据集 LeRobot 数据集2️⃣ 视频生成Cosmos-Predict2.5 后训练 批量推理大规模合成 rollout 视频3️⃣ 动作推断GR00T-Dreams 的 IDM 微调后从视频中推断动作LeRobot 格式动作轨迹parquet4️⃣ 回放验证合并为可回放 HDF5在 Isaac Sim 中回放物理合理性验证核心思路Cosmos 只当视频生成器——它从你的 LeRobot 视频中学会该任务的视觉 rollout 分布以文本提示词 视频前几帧为条件生成新视频IDM 则负责把看起来对的视频翻译成真的可执行的关节动作。第一步LeIsaac 遥操作采集 转换 LeRobot 数据集先用 SO101 Leader 臂在 Isaac Sim 中遥操作录制演示如把红方块举起来得到 HDF5 文件如dataset.hdf5。这份 HDF5 是整个管线的source of truth既用于最终回放评测也是构建 LeRobot 数据集的源头。然后运行转换脚本把 HDF5 转成 LeRobot 格式videos meta parquetpython scripts/convert/isaaclab2lerobot.py --task_name 任务名 --hdf5_root ./datasets⚠️关键避坑点输出的视频编码必须是H.264避免使用 AV1否则 Cosmos 和 IDM 在解码时可能直接失败。转换时可将视频编码参数由av1改为h264见 isaaclab2lerobot.py。 相关文件isaaclab2lerobot.py第二步Cosmos-Predict2.5 后训练 批量生成视频准备训练数据按 Cosmos 约定组织目录——videos/下放重命名为1.mp4、2.mp4…的演示视频metas/下放与之一一对应的 prompt 文本从meta/tasks.jsonl中提取如Lift_the_red_cube_up。后训练在你的机器人本体 任务分布上后训练 Cosmos-Predict2.5得到一个懂你这条臂、这个任务的 checkpoint。批量推理生成 JSONL 批处理配置每条包含输入视频路径、任务 prompt、分辨率480,640、输出帧数等一次批量生成大量合成 rollout 视频。这一步的规模几乎只受 GPU 预算限制prompt 可以按 episode 区分任务视频以首帧 文本为条件自回归生成16 秒级别的 rollout 一次即可产出。第三步IDM 逆动力学模型把视频翻译成动作视频本身不能驱动机器人需要IDMInverse Dynamics ModelGR00T-Dreams把 Cosmos 生成的视频映射为关节动作序列配置模态为 SO101 编写modality.json6 自由度shoulder_pan / shoulder_lift / elbow_flex / wrist_flex / wrist_roll / gripper并注册对应的 DataConfig微调 IDM直接在第一步的 LeRobot 数据集上微调torchrun scripts/idm_training.py --dataset-path … --data-config so101批量推断将 Cosmos 输出mp4 json转换为 IDM 可处理的任务目录结构跑预处理 动作导出产出全新的、与原始格式完全兼容的LeRobot 动作数据集parquet。 注意IDM 需要的是 Cosmos-Predict2环境不是 2.5依赖安装时pytorch3d要用--no-build-isolationAPEX 可直接移除。第四步合并 在 LeIsaac 中回放评测IDM 产出的只是动作轨迹回放还需要初始状态等环境信息所以要把它填回原始 HDF5 模板# 1. LeRobot parquet → LeIsaac HDF5自动做反归一化与关节限位换算 python scripts/convert/lerobot2isaaclab.py \ --lerobot_dir idm输出目录 --output_hdf5 输出.hdf5 \ --column_keys action observation.state # 2. 将合成动作合并进源 HDF5 模板 python scripts/tutorials/cosmos_merge.py \ --lerobot_hdf5 合成动作.hdf5 \ --source_hdf5 遥操作录制的源.hdf5 \ --output_hdf5 最终可回放.hdf5合并时 cosmos_merge.py 会保留源数据集的结构、属性如 env_args和初始状态仅覆写actions / processed_actions / obs.actions并更新帧数元数据。最后用 LeIsaac 的 action replay 模式在 Isaac Sim 中回放直观验证合成动作的物理合理性python scripts/environments/teleoperation/replay.py \ --task 任务名 --replay_modeaction --dataset_file ./datasets/dataset.hdf5 相关文件lerobot2isaaclab.py、replay.py新手常踩的 3 个坑视频编码AV1 编码的视频会让 Cosmos/IDM 解码失败务必用 H.264prompt 与视频一一对应metas/下每个*.txt对应一个视频prompt 内容来自tasks.jsonl写错任务描述会生成跑偏的视频DCP checkpoint 格式Cosmos 后训练产出的是分布式 checkpoint推理前必须先转成 consolidated PyTorch 格式。总结这条 LeIsaac × Cosmos 的 video2action 管线用遥操作采集 → 世界模型扩视频 → 逆动力学还原动作 → 仿真回放验证四步把昂贵的单条人工演示放大成可规模化、可评测的合成动作数据集非常适合模仿学习数据增强的新手入门实践。完整步骤与全部脚本细节可参考官方教程文档 cosmos_tutorial.md。赞分享【免费下载链接】leisaacLeIsaac provides teleoperation functionality in IsaacLab using the SO101Leader (LeRobot), including data collection, data conversion, and subsequent policy training.项目地址https://gitcode.com/gh_mirrors/le/leisaac点击查看免费下载相关推荐用 LeIsaac 集成 MimicGen 增强数据从少量演示自动生成大规模训练集用 LeIsaac 集成 MimicGen 增强数据从少量演示自动生成大规模训练集 LeIsaac 是一个基于 IsaacLab 的机器人遥操作与数据采集工具Cosmos-H-Dreams 训练数据全解析Open-H-Embodiment 2.6 万条手术演示如何炼成 490 万帧动作视频数据Cosmos H Dreams 训练数据全解析Open H Embodiment 2.6 万条手术演示如何炼成 490 万帧动作视频数据 Cosmos H D人工智能媒体生成计算机视觉医疗健康具身智能基础模型LeIsaac 状态机数据生成不靠人工遥操作自动批量采集模仿学习演示数据LeIsaac 状态机数据生成不靠人工遥操作自动批量采集模仿学习演示数据 LeIsaac 的 状态机数据生成 State Machine Data Gen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考