首页/新闻资讯/正文详情

让机器人真正“看懂“环境:基于Every-Embodied的SAM分割与深度估计快速入门

发布时间:2026/9/27 5:22:51 来源:云帆数科 栏目:资讯中心
让机器人真正“看懂“环境:基于Every-Embodied的SAM分割与深度估计快速入门
让机器人真正看懂环境基于Every-Embodied的SAM分割与深度估计快速入门【免费下载链接】every-embodied仅需Python基础从0构建自己的具身智能机器人从0逐步构建VLA/OpenVLA/SmolVLA/Pi0 深入理解具身智能项目地址: https://gitcode.com/gh_mirrors/ev/every-embodiedEvery-Embodied 是一个面向新手与零基础用户具身智能开源教程项目带你用 Python 从 0 构建自己的机器人。本文以其中的「SAM 分割与单目深度估计」实战章节为入口用最短篇幅讲清楚机器人如何把SAM 分割与深度估计组合起来实现从看清物体到理解空间的三维感知。一句话核心SAM 负责回答这是什么物体、边界在哪深度估计负责回答它离我有多远两者结合才是完整的三维物体感知。一、为什么机器人要同时做分割和深度只给机器人一张 RGB 照片是不够的它既要认识物体又要知道距离才能规划抓取和避障。感知方式机器人能获取的信息局限性仅 SAM 分割这里有一个杯子2D 区域无距离感不知道杯子在桌边还是房间另一头仅深度估计这块区域离我比较近无物体概念边缘模糊容易抓空SAM 深度这个轮廓清晰的杯子中心距离我 0.8 米互补增强实现 3D 物体感知下面这张通用机器人模型架构图可以帮助理解感知看、抓取、导航都建立在对环境的理解之上。二、SAM 分割点一下毫秒级抠出物体SAMSegment Anything Model是计算机视觉领域的瑞士军刀它的三段式结构非常适合新手理解图像编码器ViT-H对整张图做深度特征提取一张图只需运行一次提示编码器把你的点击点、框选Box等提示转成向量掩码解码器Mask Decoder极其轻量毫秒级生成分割掩码——这就是交互 Demo 能实时响应的原因。在 Every-Embodied 的交互式实战里体验非常简单加载一张测试图片模型预先算好深度图并初始化 SAM左键点击物体前景、右键点击排除区域背景实时生成红色半透明 Mask 白色轮廓并打印该物体的平均深度。下图是一个典型场景理解结果每个物体都被独立抠出并着色机器人由此知道房间里有哪些东西。三、单目深度估计只用一张照片猜出距离 硬件深度相机结构光/双目可以直接测距但成本不低激光雷达则靠光速 × 飞行时间换算距离擅长全局测距但难以描述哪个物体在哪个深度而单目深度估计只需要一个普通摄像头。教程选用 DPTDense Prediction Transformer它靠学习上下文线索推断远近遮挡关系A 挡住 B说明 A 更近透视关系道路远端汇聚成一点相对大小同样大小的车看着小的离得远。下面是原图与 DPT 深度估计结果的直观对比新手必知的反直觉现象深度图里越亮越近、越黑越远。因为模型输出的是逆深度1/距离天空距离无穷远1/∞≈0所以是黑色近处物体数值大呈高亮黄色。记住口诀即可不会踩坑。四、组合起来轮廓 距离 三维物体感知单独看深度图边缘是模糊的单独看分割又缺少距离。两者融合后SAM 给出像素级精确的物体轮廓修正深度图的边缘模糊用 Mask 圈出物体区域取该区域的平均深度值得到物体中心距离我 0.8 米这样的结构化信息机器人由此可以规划从哪里下手、走什么路径去抓取。下图展示了室内场景中深度估计的空间层次近处阳台栏杆呈亮黄色远处房间内部偏暗紫层次清晰。五、新手环境配置三步跑通 SAM 深度估计 完整命令与说明见项目教程 01-sam和深度估计.md这里只给最小步骤第 1 步获取仓库并进入项目目录git clone https://gitcode.com/gh_mirrors/ev/every-embodied第 2 步安装依赖核心依赖为 PyTorch、Transformers、OpenCV教程中一条pip install命令即可装齐SAM 库的安装命令也在同一小节照抄即可。第 3 步下载 SAM 权重并运行下载 SAM ViT-H 权重文件sam_vit_h_4b8939.pth约 2.4 GB下载地址写在教程第四节的wget命令中准备一张测试图片替换脚本中的IMAGE_PATH运行交互式脚本即可在窗口里指哪分哪、实时测距。⚠️ 单目深度估计输出的是相对深度如 0~1 的数值若需要真实米制距离需借助相机参数或一个已知参考点对齐尺度——这一点教程中有明确说明。六、新手常见问题 ❓问题快速回答深度图为什么亮的反而近输出的是逆深度1/距离越近数值越大越亮深度图边缘为什么模糊单目模型固有局限用 SAM 的精确 Mask 来修正SAM 为什么能做到实时图像特征只算一次Mask 解码器极轻毫秒级出结果没有 GPU 能跑吗可以脚本会自动回退到 CPU只是交互会变慢七、下一步从看懂到抓对 掌握 SAM 深度估计后感知链路已经打通。Every-Embodied 的同一章节还提供了三个进阶方向抓取注意力热图在分割基础上定位抓哪里见 02-抓取注意力热图.md视频流式三维重建从单帧感知扩展到动态场景见 03-LingBot-Map视频流式三维重建.md视觉语言定位用自然语言指物见 04-Locate-Anything视觉语言定位.md。下图是抓取目标热图的直观效果机器臂视野中的杯子被高亮锁定这正是分割 深度感知向抓取决策延伸的一步。如果想先把具身智能的全貌看一遍建议从项目入门章节 01具身智能概述.md 读起再回到本文动手实践。【免费下载链接】every-embodied仅需Python基础从0构建自己的具身智能机器人从0逐步构建VLA/OpenVLA/SmolVLA/Pi0 深入理解具身智能项目地址: https://gitcode.com/gh_mirrors/ev/every-embodied创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

Qwen3.8-LiveTranslate 同传时丢句 / 是音频缓冲还是切分参数的问题?
Qwen3.8-LiveTranslate 同传时丢句 / 是音频缓冲还是切分参数的问题?

Qwen3.8-LiveTranslate 同传里偶尔整句不见,通常不是模型翻译环节单独出问题,而是音频从采集到识别前的缓冲与切分,或译文输出后的合并,吞掉了内容。判断顺序建议固定为三层:先看输入侧缓冲是否被覆盖,再看… · 2026/9/27 5:22:45

SBOM国标正式实施
SBOM国标正式实施

GB/T 47020-2026正式实施:SBOM进入国标时代,DevSecOps应该怎么落地?关键词:SBOM、软件物料清单、GB/T 47020-2026、软件供应链、SCA、DevSecOps 政策状态:现行国家推荐性标准,2026年8月1日起实施 更新时间&… · 2026/9/27 5:22:38

3个免费工具教你让现在海外做的比较好一点的网站排名起飞
3个免费工具教你让现在海外做的比较好一点的网站排名起飞

3个免费工具教你让现在海外做的比较好一点的网站排名起飞 网站做好了没人访问,这是很多做外贸和出海业务的朋友最头疼的事。你花了大价钱找开发团队,页面做得很漂亮,动效也很炫酷,但上线一个月,后台流量全是爬虫,真实客户一个没来。别慌,问题通常不在… · 2026/9/27 5:22:20

焊接件表面缺陷检测数据集zip实战:从解压到YOLO训练避坑指南
焊接件表面缺陷检测数据集zip实战:从解压到YOLO训练避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:43:40

软考高级系统架构设计师:架构决策能力实战训练指南
软考高级系统架构设计师:架构决策能力实战训练指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:43:40

AutoSAR架构拆解:从分层设计到NvM与RTE实战避坑指南
AutoSAR架构拆解:从分层设计到NvM与RTE实战避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:43:34

Cortex-M7与芯骊DSP实时控制选型实战指南
Cortex-M7与芯骊DSP实时控制选型实战指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:43:34

ESP32与INMP441语音采集实战:I2S接线、配置与避坑指南
ESP32与INMP441语音采集实战:I2S接线、配置与避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:43:28

CCS使用教程:DSP工程导入、仿真器连接与Flash烧录全攻略
CCS使用教程:DSP工程导入、仿真器连接与Flash烧录全攻略

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:43:27

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码