首页/新闻资讯/正文详情

OpenVLA论文阅读

发布时间:2026/9/24 17:52:51 来源:云帆数科 栏目:资讯中心
OpenVLA论文阅读
首先是VLA模型的架构1、视觉编码器Dinov2、SigLIP通过MLP视觉投影层多层全连接层组成的基础神经网络与LLM进行连接将视觉特征直接转换为token embedding 向量输入大语言模型中。为什么要用两个视觉编码器与 CLIP或仅使用 SigLIP 等更常用的视觉编码器相比研究表明加入 DinoV2 特征有助于提升空间推理能力这对机器人控制尤为重要。2、Llama Tokenizer 是LLM的分词器负责把语言转换为token id实际上还要通过向量表转换为文本embedding 向量输入到大模型主干中。3、LLM网络主干一个拥有70亿参数的大语言模型。经过视觉编码器和分词器的视觉token与语言token进行拼接输入到主干中。4、Action De-Tokenizer 是动作解码器把模型输出的动作 token转换成机器人能直接运行的连续控制指令。训练过程1、对预训练的 Prismatic-7B VLM 骨干网络进行微调。2、将机械臂每一关节的连续动作离散化为256个token并分散到分词器词汇表中预训练的分词器词汇表中只有100个特殊标记无法满足需求于是进行简化使用频率最低的256个token。(使用的机械臂关节有七个做法是都进行离散化为256个token 类似将关节的可转动角度进行均分实际模型输出是七个这种离散化的token 根据[1 2 3 4 5 6 7]token 的位置来确定是哪个关节)3、数据处理方面1所有训练数据集的输入和输出空间保持一致2最终训练数据集中的主体、任务和场景实现均衡搭配。4、图像分辨率输入图像的分辨率对VLA训练的计算需求有显著影响因为更高分辨率的图像会产生更多图像块标记从而导致上下文长度更长训练计算量呈二次方增长。对比了输入为224×224像素和384×384像素的VLA但在评估中未发现性能差异而后者的训练时间是前者的3倍。因此最终的OpenVLA模型选择了224×224像素的分辨率。值得注意的是在许多VLM基准测试中提高分辨率确实能提升性能但尚未在VLA上观察到这一趋势。5、视觉编码器的微调发现在视觉语言行动模型VLA训练过程中对视觉编码器进行微调对于获得良好的视觉语言行动模型性能至关重要。推测预训练的视觉骨干网络可能无法捕捉到场景中重要部分足够的细粒度空间细节从而无法实现精准的机器人控制。6、训练VLA模型的过程中发现大幅增加数据集的遍历次数至关重要真实机器人的性能会持续提升。7、针对VLA训练在多个数量级范围内对学习率进行了扫描最终采用2e-5的固定学习率取得了最佳效果该学习率与VLM预训练阶段所用的学习率一致。发现学习率预热warmup并未带来增益。参数高效微调1、使用LoRA低秩适配进行微调指针对模型中的所有线性层进行微调并尝试了不同的秩实验显示使用 LoRA 微调的 OpenVLA 在下游任务上的成功率与全量微调几乎一致甚至在某些任务上略好但显存占用和计算需求大幅降低。 2、实验发现低秩适配的秩LoRA rank对策略性能的影响微乎其微因此建议使用默认秩为r32。量化推理1、量化操作会带来显卡的开销导致8bit量化会使大多数GPU的推理速度变慢而4bit的的推理能够实现更高的推理量因为 GPU 内存传输量的减少抵消了量化开销。2、4bit量化性能与16bit的量化性能相近但GPU内存占用更少。3、量化就是把模型里连续的高精度浮点数权重、激活值、KV 缓存映射成低比特离散整数用更少 bit 存储和计算降低显存占用、加速机器人端推理代价是引入少量数值误差VLA 最需要关注这个误差会不会在机器人闭环控制里累积导致动作漂移

相关推荐

【java】继承
【java】继承

继承继承的作用:抽取多个类的共性到父类,子类直接复用父类的属性和方法,减少重复代码,便于扩展维护继承概念父类(超类 / 基类):存放共性属性和方法子类(派生类)&#xff… · 2026/9/24 17:52:51

第 09 篇:重排——Rerank 与 RRF
第 09 篇:重排——Rerank 与 RRF

第 09 篇:重排——Rerank 与 RRF第 08 篇结尾把一件事按下了:“名单怎么从候选变成上下文,是拿到名单以后的事。” 这一篇就把它打开。夹在检索与生成之间的那一步叫重排, 它回答的是同一个问题的两半:几十条候选里&am… · 2026/9/24 17:52:51

第 08 篇:检索——相似度阈值、元数据过滤与混合检索
第 08 篇:检索——相似度阈值、元数据过滤与混合检索

第 08 篇:检索——相似度阈值、元数据过滤与混合检索第 07 篇收尾留了四个“换库前先自问”的问题:ID 形状、元数据类型、过滤语义、写入可见性。 其中“过滤语义”最悬——当时只证明了 ES 把 Filter.Expression 翻成查询串文本、 or 会翻出语义问题&am… · 2026/9/24 17:52:51

stm32, 9-3 : uart chuankou, 移植 printf ( ) 函数
stm32, 9-3 : uart chuankou, 移植 printf ( ) 函数

&#xff08;66&#xff09; #include <stdio.h> #include <stdarg.h>/*** 函 数&#xff1a;串口发送一个字节* 参 数&#xff1a;Byte 要发送的一个字节* 返 回 值&#xff1a;无*/ void Serial_SendByte(uint8_t Byte) {USART_SendData(USART1, Byte); /… · 2026/9/24 18:25:00

Java程序员,这些前端技术真没必要学!大学生必看!
Java程序员,这些前端技术真没必要学!大学生必看!

兄弟萌&#xff0c;姐妹萌&#xff0c;尤其是那些正在Java世界里吭哧吭哧刷怪升级的萌新和大学生们&#xff0c;今天咱们聊点掏心窝子的话。我见过太多这样的同学了&#xff1a;Java基础刚弄明白个大概&#xff0c;对象生命周期还云里雾里&#xff0c;就开始焦虑——“我是不是… · 2026/9/24 18:25:00

Java分块上传信创环境适配实践:从兼容性排查到代码改造
Java分块上传信创环境适配实践:从兼容性排查到代码改造

做老系统信创适配那阵子&#xff0c;最让我头疼的不是复杂的业务逻辑&#xff0c;而是那个看起来不起眼的分块上传功能。说它不起眼&#xff0c;是因为在传统的x86WindowsOracle这套环境下&#xff0c;它老老实实跑了五六年&#xff0c;从来没出过幺蛾子。可一旦把部署环境切到… · 2026/9/24 18:25:00

C#偶像社交后台实战:多语言、TCP监听与图片存储全解析
C#偶像社交后台实战:多语言、TCP监听与图片存储全解析

简介&#xff1a;这是一套面向C#开发者和SNH48粉丝的偶像社交动态监听与图片管理源码&#xff0c;主要解决粉丝手动刷平台、难以及时获取偶像新动态和整理图片的痛点。源码共七十六个文件&#xff0c;包含二十六个C#逻辑文件、八个TypeScript配置文件、四个Vue组件、JSON配置、… · 2026/9/24 18:25:00

SFML复刻桌游:C++状态机与规则引擎的七大奇迹双人版实战
SFML复刻桌游:C++状态机与规则引擎的七大奇迹双人版实战

简介&#xff1a;这是一份基于 SFML 引擎开发的“七大奇迹”双人卡牌桌游数字重制版工程&#xff0c;面向 C 游戏开发学习者、独立游戏开发者以及嵌入式平台实践者。项目中实现了卡牌动画、资源管理、战争点数计算、科技树系统和回合制策略玩法&#xff0c;并通过多胜利条件判定… · 2026/9/24 18:25:00

Python接入Aeternity链:aepp-sdk核心用法与实战避坑指南
Python接入Aeternity链:aepp-sdk核心用法与实战避坑指南

1. aepp-sdk 解决的是什么问题&#xff1a;Python 开发者接 Aeternity 链时的工具链缺口1.1 为什么会在 Python 生态里遇到 aepp-sdk我最初接触 aepp-sdk 是因为一个内部数据工具的迁移需求。项目方给了我们一套跑在浏览器里的 JavaScript 示例&#xff0c;要把它改成 Python 后… · 2026/9/24 18:24:48

基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程
基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程

简介&#xff1a;这是一套面向计算机、人工智能、自动化等专业学生与教师的毕业设计级项目资源&#xff0c;围绕YOLOv8实现渔船作业监控系统&#xff0c;可用于毕设、课程设计、大作业或项目立项演示。压缩包共97个文件&#xff0c;约24.21MB&#xff0c;以70个Python源码文件为… · 2026/9/24 0:00:13

1D-CNN时间序列建模实战:从Conv1d原理到工业落地
1D-CNN时间序列建模实战:从Conv1d原理到工业落地

简介&#xff1a;面向时间序列数据建模的一维卷积神经网络完整实现&#xff0c;适合深度学习入门者及需要快速验证时序模型的研究者&#xff0c;能够从音频、文本、传感器或股价等序列中挖掘局部特征与时间依赖。压缩包体积很小&#xff0c;只有3KB&#xff0c;内含3个Python脚… · 2026/9/24 0:00:26

柔软的L:汉语语流中被忽视的舌肌张力控制
柔软的L:汉语语流中被忽视的舌肌张力控制

1. 这个“L”不是字母表里的L&#xff0c;而是舌尖上的L最近在几个方言群和语音教学社群里&#xff0c;反复看到有人发一句&#xff1a;“也说字母L&#xff1a;柔软的长舌”。初看以为是英语发音课笔记&#xff0c;点开才发现全是方言爱好者、播音系学生、语言康复师甚至戏曲演… · 2026/9/24 0:00:44

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码