首页/新闻资讯/正文详情

π0VLA论文阅读

发布时间:2026/9/24 20:54:06 来源:云帆数科 栏目:资讯中心
π0VLA论文阅读
模型架构1、Π模型采用了预训练的VLM骨干模型结合了包含多任务的跨体数据集。2、添加了独立的动作专家通过流匹配生成连续动作从而实现精准连续的操作技能。流匹配是连续生成模型属于扩散模型的变体π₀用它来生成机器人连续动作序列。3、为了实现对各类多样化机器人数据源的利用采用了跨 embodiment 训练即将多种机器人类型的数据整合到同一模型中。4、精心设计的训练方案即先让模型在规模庞大、内容多样的语料库上进行预训练再在更细分、经过精心筛选的数据上进行微调以诱导出期望的行为模式。训练方式1、首先进行预训练使用了大规模的混合数据集不同机器人、不同任务其目的是训练一个具备广泛能力和泛化性的基础模型。2、针对复杂灵巧任务采用了两种后训练方式一是利用小到中等规模数据的高效后训练二是针对叠衣服、移动操作等复杂任务采用大规模数据集的高质量后训练。3、对数据内容进行的处理将机器人的关节角度状态q与预测动作设置为训练过程中维度最大的机器人一致实验中是18维机器人关节角度和预测动作的维度是相同的理论上机器人有多少关节就应预测多少个关节的动作。对于配置和空间维度低于18维度的机器人对训练数据进行0填充同样对于图像数量少于三个的机器人对缺失的图像进行掩码mask处理。掩码mask与空白图像的区别如果使用空白图像模型会将空白图像作为信息纳入注意力计算使用mask则直接屏蔽掉这个图像token不影响模型的注意力以及计算损失。为什么不对动作也进行mask?而是进行补零ai的回答是动作属于整个token不同的维度数据属于token内部的形态如果对token内部mask模型会学习到错误的输入输出维度导致损失计算时发生错误但是为了避免模型学习到维度数据为0的地方在计算loss的时候将这部分mask掉不参与计算。数据形式1、对输入模型的数据分布进行建模1机器人观测得到的多张RGB图像2文本语言3关节角度向量。其中图像与关节角度向量首先通过对应编码器进行编码再经过线性投影层映射到与语言标记相同的嵌入空间中。2、动作专家训练通过流匹配进行训练训练中得到50个未来动作块代表50HZ一秒的连续轨迹。

相关推荐

Wand-Enhancer 完全指南:免费解锁 Wand (WeMod) 高级功能与手机远程控制
Wand-Enhancer 完全指南:免费解锁 Wand (WeMod) 高级功能与手机远程控制

Wand-Enhancer 完全指南:免费解锁 Wand (WeMod) 高级功能与手机远程控制 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/GitHub_Trending/we/Wand-Enhancer Wand&#xff… · 2026/9/24 20:54:06

Windows下机械硬盘低级格式化实战:原理、工具与避坑指南
Windows下机械硬盘低级格式化实战:原理、工具与避坑指南

硬盘这玩意儿,平时大家接触最多的就是分区、格式化、重装系统,这些都属于高级格式化的范畴。但一提到低级格式化,很多人第一反应是"这不是工厂才干的事吗",或者"这操作是不是会把盘搞废"。我在实际维护老旧设… · 2026/9/24 20:54:06

从《归来的云》珠海见面会拆解老牌歌手巡演策划与执行全流程
从《归来的云》珠海见面会拆解老牌歌手巡演策划与执行全流程

“三金歌王”文章的《归来的云》珠海演唱会最近开了媒体见面会,消息一出来,我朋友圈里好几个做演出策划的老朋友都在转。大家聊的不是“又有演唱会了”,而是“这个项目从主题到节奏,都透着一股老派操盘手的讲究”。毕竟文章这个名… · 2026/9/24 20:54:06

衰减概念全解析:从信号处理到数据去噪的工程实践
衰减概念全解析:从信号处理到数据去噪的工程实践

1. 衰减到底是什么:从信号到数据的通用概念1.1 一个被低估的基础概念衰减(Attenuation)这个词,我在刚入行的时候以为它只跟硬件电路有关,后来做音频处理、做网络传输、做数据清洗,甚至做推荐系统&#xff0… · 2026/9/24 21:29:04

ThinkPHP+Laravel双框架网约车系统架构与调度算法实践
ThinkPHP+Laravel双框架网约车系统架构与调度算法实践

2月末接了个网约车管理系统的活,对方明确要求两套PHP框架共存:ThinkPHP跑调度和统计,Laravel跑业务接口和后台管理,最后还要上一块可视化大屏做实时分析。说实话,刚听到这个组合我第一反应是“这不是给自己找事吗”&am… · 2026/9/24 21:29:04

学术搜索实战指南:从关键词拆解到文献全文获取的完整方法
学术搜索实战指南:从关键词拆解到文献全文获取的完整方法

查文献这件事,我从研究生阶段一路做到现在带新人,最大的感受就是:很多人在“学术搜索入口”这块就卡住了。不是不会用搜索引擎,而是不知道怎么把一句研究想法,变成一套能高效查找学术资源的方法。市面上的数据库、学术… · 2026/9/24 21:29:04

ThinkPHP与Laravel双框架实战:小区团购平台从架构到踩坑全复盘
ThinkPHP与Laravel双框架实战:小区团购平台从架构到踩坑全复盘

项目上线第二周,我在办公室盯着线上监控面板发懵:用户在 Laravel 写的下单接口里支付成功了,订单状态也更新了,但运营在用 ThinkPHP 维系的旧后台里刷新半天,订单列表还是停留在“待支付”。两边明明连的是同一个 MySQ… · 2026/9/24 21:29:04

深度学习二手车价格预测:数据预处理到MLP模型训练实战解析
深度学习二手车价格预测:数据预处理到MLP模型训练实战解析

简介:面向二手车价格评估场景的深度学习预测工程,提供从数据处理到模型训练、预测输出的完整实现。压缩包共20个文件,以Python源码为核心,辅以CSV数据集、ZIP压缩数据、XML配置以及Git忽略规则、开源许可证等工程文件,… · 2026/9/24 21:29:04

Redis持久化全解析:RDB与AOF原理、配置及生产选型
Redis持久化全解析:RDB与AOF原理、配置及生产选型

我们平常用Redis,动不动就说是做缓存的,好像数据丢了也无所谓,只要数据库还在就能重建。但你真到了生产环境,Redis里存了用户的登录态、商品库存、分布式锁的锁信息,甚至还有直接当数据库用的场景,这时候进… · 2026/9/24 21:28:57

基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程
基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程

简介:这是一套面向计算机、人工智能、自动化等专业学生与教师的毕业设计级项目资源,围绕YOLOv8实现渔船作业监控系统,可用于毕设、课程设计、大作业或项目立项演示。压缩包共97个文件,约24.21MB,以70个Python源码文件为… · 2026/9/24 0:00:13

1D-CNN时间序列建模实战:从Conv1d原理到工业落地
1D-CNN时间序列建模实战:从Conv1d原理到工业落地

简介:面向时间序列数据建模的一维卷积神经网络完整实现,适合深度学习入门者及需要快速验证时序模型的研究者,能够从音频、文本、传感器或股价等序列中挖掘局部特征与时间依赖。压缩包体积很小,只有3KB,内含3个Python脚… · 2026/9/24 0:00:26

柔软的L:汉语语流中被忽视的舌肌张力控制
柔软的L:汉语语流中被忽视的舌肌张力控制

1. 这个“L”不是字母表里的L,而是舌尖上的L最近在几个方言群和语音教学社群里,反复看到有人发一句:“也说字母L:柔软的长舌”。初看以为是英语发音课笔记,点开才发现全是方言爱好者、播音系学生、语言康复师甚至戏曲演… · 2026/9/24 0:00:44

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码