首页/新闻资讯/正文详情

HuRo:将人类视频转化为机器人数据,实现可扩展的 VLA 预训练

发布时间:2026/9/25 20:11:22 来源:云帆数科 栏目:资讯中心
HuRo:将人类视频转化为机器人数据,实现可扩展的 VLA 预训练
26年8月来自韩国rlwrld.ai公司和延世大学的论文“HuRo: Robotizing Human Videos for Scalable VLA Pretraining”。本文研究如何将人类操作视频转换成机器人训练数据。它的重要贡献是建立并验证了一条大规模数据生产路线;实验支持其预训练价值,但尚不能说明生成的数据具有可靠的物理可执行性。一、论文概述机器人训练面临一个现实问题:真实机器人示范昂贵,人类操作视频却很丰富。但人类与机器人在外观、身体结构、关节和动作空间上存在差异,不能直接把人类视频当作机器人示范。HuRo 的做法是对视频进行“机器人化”:画面转换:擦除人的手臂,再叠加渲染的机器人。动作转换:恢复人手的三维运动,映射为机器人的手腕与手指运动。语言标注:生成描述操作内容的指令。最终得到“图像—语言—机器人状态—动作”配对数据,用于视觉—语言—动作模型(VLA)预训练,再用少量真实机器人示范微调。作者整合五个人类视频数据源,构建了约 63 万条片段、1.422 亿帧、1,317 小时的数据集。如图 1 所示面向现实世界操作任务的 HuRo 预训练概览。利用“视觉机器人叠加”(visual robot overlay)和“动作重定向”(motion retargeting)技术,将海量人类活动视频转化为机器人操作片段。由此生成的片段包含语言指令、机器人状态及动作数据,可用于 VLA 策略的预训练。在经过下游微调后,基于更大规模 HuRo 子集预训练的策略在现实世界操作任务中展现出了更优的性能。二、主要想法:同时对齐“看到的身体”和“要执行的动作”论文认为,仅从人类视频中学习视觉知识,或者只提取动作而保留人类画面,都没有充分解决人机差异。其方法可以概括为:人类视频 → 恢

相关推荐

10个事半功倍的IntelliJ IDEA插件:用TaoToken统一管理AI补全配置
10个事半功倍的IntelliJ IDEA插件:用TaoToken统一管理AI补全配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 20:10:44

读法学非全硕士,先想清楚你要进律所、企业还是体制内
读法学非全硕士,先想清楚你要进律所、企业还是体制内

法学非全硕士的就业,关键其实不在"法学"两个字,而在法考,以及你想去哪。同样是读法硕,进律所、进企业、进体制内,是三条完全不同的路,准备方式也完全不同。这篇按三条去向拆开讲,你对… · 2026/9/25 20:10:26

工作五年后想读研,先算清这三笔账
工作五年后想读研,先算清这三笔账

工作五年,是一个特别容易纠结的节点:想往上走,又怕读研耽误事。这个时候,"值不值"不是一句感觉能回答的,得算账。我把它拆成三笔:投入账、回报账、机会成本账。三笔算完,读不读自然有… · 2026/9/25 20:10:19

大数据架构深度解析—Flink CDC 实战:MySQL 到数据仓库的实时同步完整方案
大数据架构深度解析—Flink CDC 实战:MySQL 到数据仓库的实时同步完整方案

一、为什么是 Flink CDC 数据同步的老三样: 方案问题定时 sqoop 全量抽取T1,时效性差,大表慢Canal Kafka 手写消费链路长,要维护 MQ,代码多双写(业务代码同时写库和数仓)侵入业务&#xff0… · 2026/9/25 20:38:42

2026年精选最值得推荐的5款降AIGC工具
2026年精选最值得推荐的5款降AIGC工具

2026 年毕业季临近,各大高校对论文 AIGC 检测的审查标准愈发严格。面对市面上种类繁多的降 AI 工具,许多同学开始困惑:到底该选哪个才靠谱?我花了两周时间,对当前市面主流的 5 款降 AI 工具进行了全面测试,… · 2026/9/25 20:38:35

CARLA多服务器仿真部署指南:架构、调度与避坑实践
CARLA多服务器仿真部署指南:架构、调度与避坑实践

简介:毕业设计聚焦多服务器环境下CARLA仿真系统的搭建与调度,适合自动驾驶、智能网联方向的学生及需要完成期末大作业或毕设项目的开发者。资源共251个文件,涵盖Python核心脚本、txt说明文档、地图与路网相关的sumocfg/xodr配置文件、XML/YAM… · 2026/9/25 20:38:35

论文AI率0%黑科技!降AIGC网站留学生亲测:Turnitin查重从“高危红”秒变“安全蓝”
论文AI率0%黑科技!降AIGC网站留学生亲测:Turnitin查重从“高危红”秒变“安全蓝”

写论文用AI确实省心又高效,特别是面对海量资料和紧迫时间的时候,简直像开挂一样。但别高兴太早,现在越来越多高校开始严查AI痕迹,Turnitin之类的检测系统越来越灵敏,一旦被发现内容是AI生成的,轻则被打回重… · 2026/9/25 20:38:29

B树如何优化磁盘IO:从原理到工程实践全解析
B树如何优化磁盘IO:从原理到工程实践全解析

前几天处理一份数据库慢查询时,系统日志里蹦出一条磁盘IO重试记录:逻辑块地址0x11d40360处重试IO操作。那条查询走的是主键索引,理论上是三层B树,最多三次磁盘IO就能拿到数据,实际却卡了快两秒。问题最后查出来出在硬件… · 2026/9/25 20:38:29

2026年10款靠谱降AI率平台推荐:论文AIGC检测轻松过关
2026年10款靠谱降AI率平台推荐:论文AIGC检测轻松过关

随着知网、维普、万方等主流学术平台对AIGC检测标准不断升级,论文通过率面临严峻挑战。选择一款高效的降AI工具已成为关键突破口。本文将实测对比10款主流工具,为读者提供精准的解决方案参考。为什么需要降 AI 率工具? 2026 年,各… · 2026/9/25 20:38:29

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码