一、检查ROS图像话题和软件环境1. 检查 ROS 图像话题source /opt/ros/noetic/setup.bash source ~/aubo_ws/devel/setup.bash echo 图像和相机内参话题 rostopic list | grep -E camera/.(image_raw|camera_info) echo 当前点云话题 rostopic info /camera/depth/color/points echo 彩色图像频率 rostopic hz /camera/color/image_raw echo 深度图像频率 rostopic hz /camera/aligned_depth_to_color/image_raw2. 检查当前软件环境python3 --version python3 -c import rospy, cv2, numpy, open3d; print(ROS Python OK); print(OpenCV:, cv2.__version__); print(NumPy:, numpy.__version__); print(Open3D:, open3d.__version__) nvidia-smi检查 PyTorch 是否已经安装、是否能调用 GPUpython3 -c import torch; print(PyTorch:, torch.__version__); print(CUDA available:, torch.cuda.is_available()); print(GPU:, torch.cuda.get_device_name(0) if torch.cuda.is_available() else 不可用)二、数据采集1.创建工作目录mkdir -p ~/aubo_ws/grape_project/{images_raw,models,results,scripts,dataset} mkdir -p ~/aubo_ws/grape_project/dataset/images/{train,val} mkdir -p ~/aubo_ws/grape_project/dataset/labels/{train,val}2.创建实时图像采集脚本用相机拍摄不同距离、光照和背景下的葡萄图片建议先收集至少200–500张有代表性的图片实时图像采集脚本capture_grapes.pynano ~/aubo_ws/grape_project/scripts/capture_grapes.py#!/usr/bin/env python3 import os import time import cv2 import rospy from cv_bridge import CvBridge from sensor_msgs.msg import Image OUT_DIR os.path.expanduser( ~/aubo_ws/grape_project/images_raw ) os.makedirs(OUT_DIR, exist_okTrue) rospy.init_node(grape_image_capture, anonymousTrue) bridge CvBridge() latest {image: None} count 0 def image_callback(msg): try: latest[image] bridge.imgmsg_to_cv2( msg, desired_encodingbgr8 ) except Exception as e: rospy.logwarn_throttle(2.0, 图像转换失败: %s, str(e)) sub rospy.Subscriber( /camera/color/image_raw, Image, image_callback, queue_size1, buff_size2**24 ) print(S: 保存当前图像 | Q: 退出) print(图像目录:, OUT_DIR) try: while not rospy.is_shutdown(): frame latest[image] if frame is None: cv2.waitKey(10) continue view frame.copy() cv2.putText( view, S: save image | Q: quit, (20, 35), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2 ) cv2.imshow(L515 Grape Dataset Capture, view) key cv2.waitKey(1) 0xFF if key ord(s): filename os.path.join( OUT_DIR, time.strftime(grape_%Y%m%d_%H%M%S_) f{time.time_ns() % 1000000:06d}.jpg ) if cv2.imwrite(filename, frame): count 1 print(f[已保存 {count}] {filename}) elif key ord(q): break finally: sub.unregister() cv2.destroyAllWindows() rospy.signal_shutdown(capture finished)运行source /opt/ros/noetic/setup.bash source ~/aubo_ws/devel/setup.bash source ~/aubo_ws/grape_project/grape_env/bin/activate python ~/aubo_ws/grape_project/scripts/capture_grapes.py三、标注葡萄轮廓推荐用 CVAT 或其他支持多边形实例分割的标注工具。对每串葡萄沿可见果实区域描绘轮廓并赋予以下类别grape0stem1leaf2Ultralytics 的实例分割标签采用每张图片对应一个.txt文件、每个目标一行、每行存储类别编号和归一化多边形坐标。按拍摄场景划分训练集和验证集例如训练集80%验证集20%标注导出后目录应当类似这样grape_project/ ├── images_raw/ ├── models/ ├── results/ ├── scripts/ └── dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── grape.yaml四、配置并训练分割模型1.创建配置文件nano ~/aubo_ws/grape_project/dataset/grape.yamlpath: /home/hql/aubo_ws/grape_project/dataset train: images/train val: images/val names: 0: purple_grape 1stem 2leaf2.训练模型yolo segment train \ modelyolo11n-seg.pt \ data~/aubo_ws/grape_project/dataset/grape.yaml \ imgsz640 \ epochs100 \ batch8 \ device0 \ workers4 \ project~/aubo_ws/grape_project/weights \ namegrape_seg3.验证训练权重将测试集的图片放入 aubo_ws/grape_project/dataset/images/test 中python - PY from pathlib import Path import cv2 import numpy as np import torch from ultralytics import YOLO root Path.home() / aubo_ws/grape_project weights root / weights/yolov11_seg5_best.pt source root / dataset/images/test out root / results (out / overlays).mkdir(parentsTrue, exist_okTrue) (out / masks).mkdir(parentsTrue, exist_okTrue) model YOLO(str(weights)) print(任务:, model.task) print(类别:, model.names) print(设备:, CUDA if torch.cuda.is_available() else CPU) for path in sorted(source.iterdir()): if path.suffix.lower() not in {.jpg, .jpeg, .png, .bmp}: continue result model.predict( sourcestr(path), conf0.25, iou0.5, imgsz640, device0 if torch.cuda.is_available() else cpu, classes[0], max_det100, retina_masksTrue, verboseFalse )[0] # 保存带分割轮廓的可视化图片 overlay result.plot() cv2.imwrite( str(out / overlays / f{path.stem}_fruit.jpg), overlay ) count 0 if result.masks is not None and result.boxes is not None: masks result.masks.data.cpu().numpy() classes result.boxes.cls.cpu().numpy().astype(int) scores result.boxes.conf.cpu().numpy() for i, (mask, cls, score) in enumerate( zip(masks, classes, scores), start1 ): if cls ! 0: continue binary (mask 0.5).astype(np.uint8) * 255 cv2.imwrite( str(out / masks / f{path.stem}_fruit_{i:03d}_{score:.2f}.png), binary ) count 1 print(f{path.name}: 葡萄果实实例{count}) print(结果目录:, out) PY可在文件 ~/aubo_ws/grape_project/results/overlays/里查看结果五、 RGB掩膜映射到深度图下面是完整程序。它订阅 ROS 彩色图、对齐深度图和相机内参调用训练好的分割模型将每个实例的掩膜映射为三维点云再通过 Open3D 实时显示。nano ~/aubo_ws/grape_project/scripts/grape_cloud_live.py#!/usr/bin/env python3 # -*- coding: utf-8 -*- import os import struct from pathlib import Path import cv2 import numpy as np import rospy import message_filters import torch import open3d as o3d from ultralytics import YOLO from cv_bridge import CvBridge from sensor_msgs.msg import Image, CameraInfo, PointCloud2, PointField from sensor_msgs import point_cloud2 class GrapeRGBDNode: def __init__(self): rospy.init_node(grape_rgbd_node, anonymousFalse) self.root Path.home() / aubo_ws/grape_project self.weights rospy.get_param( ~weights, str(self.root / weights/yolov11_seg5_best.pt) ) self.min_depth float(rospy.get_param(~min_depth, 0.15)) self.max_depth float(rospy.get_param(~max_depth, 2.0)) self.conf float(rospy.get_param(~conf, 0.25)) self.stride max(1, int(rospy.get_param(~stride, 1))) self.voxel_size float(rospy.get_param(~voxel_size, 0.003)) self.max_det int(rospy.get_param(~max_det, 100)) self.output_dir self.root / results_3d self.output_dir.mkdir(parentsTrue, exist_okTrue) self.bridge CvBridge() self.busy False self.frame_count 0 if not os.path.isfile(self.weights): raise FileNotFoundError( 找不到分割模型权重: {}.format(self.weights) ) rospy.loginfo(正在加载葡萄分割模型: %s, self.weights) self.model YOLO(self.weights) self.device 0 if torch.cuda.is_available() else cpu rospy.loginfo(推理设备: %s, self.device) rospy.loginfo(模型任务: %s, getattr(self.model, task, unknown)) rospy.loginfo(模型类别: %s, self.model.names) if getattr(self.model, task, None) ! segment: raise RuntimeError( 当前权重不是实例分割模型请检查 yolov11_seg5_best.pt ) names self.model.names self.fruit_class None for class_id, class_name in names.items(): if str(class_name).lower() in (fruit, grape, grapes): self.fruit_class int(class_id) break if self.fruit_class is None: raise RuntimeError( 模型中没有 fruit/grape 类别。当前类别为: {}.format(names) ) rospy.loginfo(只提取果实类别 ID: %d, self.fruit_class) self.cloud_pub rospy.Publisher( /grape/fruit_points, PointCloud2, queue_size1 ) color_sub message_filters.Subscriber( /camera/color/image_raw, Image ) depth_sub message_filters.Subscriber( /camera/aligned_depth_to_color/image_raw, Image ) info_sub message_filters.Subscriber( /camera/color/camera_info, CameraInfo ) sync message_filters.ApproximateTimeSynchronizer( [color_sub, depth_sub, info_sub], queue_size10, slop0.1 ) sync.registerCallback(self.callback) rospy.on_shutdown(self.shutdown) rospy.loginfo(葡萄 RGB-D 节点已启动) rospy.loginfo(点云话题: /grape/fruit_points) rospy.loginfo(按 s 保存点云按 q 退出) rospy.loginfo(等待相机图像...) def make_cloud(self, xyz, rgb, header): 将 XYZ 和 RGB 数据打包为 PointCloud2。 if len(xyz) 0: msg PointCloud2() msg.header header msg.header.frame_id camera_color_optical_frame msg.height 1 msg.width 0 msg.is_dense True msg.is_bigendian False msg.point_step 16 msg.row_step 0 msg.fields [ PointField(x, 0, PointField.FLOAT32, 1), PointField(y, 4, PointField.FLOAT32, 1), PointField(z, 8, PointField.FLOAT32, 1), PointField(rgb, 12, PointField.FLOAT32, 1), ] msg.data b return msg points [] for p, c in zip(xyz, rgb): r, g, b [int(v) for v in c] rgb_uint (r 16) | (g 8) | b rgb_float struct.unpack( f, struct.pack(I, rgb_uint) )[0] points.append(( float(p[0]), float(p[1]), float(p[2]), rgb_float )) fields [ PointField(x, 0, PointField.FLOAT32, 1), PointField(y, 4, PointField.FLOAT32, 1), PointField(z, 8, PointField.FLOAT32, 1), PointField(rgb, 12, PointField.FLOAT32, 1), ] header_copy header header_copy.frame_id camera_color_optical_frame return point_cloud2.create_cloud(header_copy, fields, points) def callback(self, color_msg, depth_msg, info_msg): if self.busy: return self.busy True try: # 1. 读取彩色图和深度图 color self.bridge.imgmsg_to_cv2( color_msg, desired_encodingbgr8 ) depth_raw self.bridge.imgmsg_to_cv2( depth_msg, desired_encodingpassthrough ) if color is None or color.size 0: rospy.logwarn_throttle(3, 收到空彩色图像) return if depth_raw.shape[:2] ! color.shape[:2]: rospy.logwarn_throttle( 3, 彩色图与对齐深度图尺寸不同: color%s depth%s, str(color.shape), str(depth_raw.shape) ) return # L515 对齐深度通常为 16UC1单位毫米 if depth_msg.encoding 16UC1: depth depth_raw.astype(np.float32) / 1000.0 elif depth_msg.encoding 32FC1: depth depth_raw.astype(np.float32) else: depth depth_raw.astype(np.float32) rospy.logwarn_throttle( 10, 未识别的深度编码 %s按米处理, depth_msg.encoding ) height, width color.shape[:2] # 2. 葡萄实例分割仅推理 fruit 类别 result self.model.predict( sourcecolor, confself.conf, iou0.5, imgsz640, deviceself.device, classes[self.fruit_class], max_detself.max_det, retina_masksTrue, verboseFalse )[0] # 3. 获取葡萄掩膜 fruit_mask np.zeros((height, width), dtypebool) instance_count 0 if result.masks is not None and result.masks.data is not None: masks result.masks.data.detach().cpu().numpy() for mask in masks: if mask.shape ! (height, width): mask cv2.resize( mask.astype(np.float32), (width, height), interpolationcv2.INTER_LINEAR ) fruit_mask | mask 0.5 instance_count 1 # 没检测到葡萄时也显示原始图方便排查 if instance_count 0: rospy.logwarn_throttle( 3, 当前帧没有检测到果实请检查模型、置信度和拍摄距离 ) # 4. 深度过滤 valid_depth ( np.isfinite(depth) (depth self.min_depth) (depth self.max_depth) ) valid_mask fruit_mask valid_depth # 降采样减轻实时处理负担 ys, xs np.where(valid_mask) if self.stride 1 and len(xs) 0: keep ( (ys % self.stride 0) (xs % self.stride 0) ) ys ys[keep] xs xs[keep] # 5. RGB-D 转三维点云 if len(xs) 0: z depth[ys, xs] K np.array(info_msg.K, dtypenp.float64).reshape(3, 3) fx K[0, 0] fy K[1, 1] cx K[0, 2] cy K[1, 2] x3 (xs.astype(np.float32) - cx) * z / fx y3 (ys.astype(np.float32) - cy) * z / fy xyz np.column_stack((x3, y3, z)).astype(np.float32) # OpenCV 彩色图是 BGR点云需要 RGB rgb color[ys, xs, ::-1].copy() else: xyz np.empty((0, 3), dtypenp.float32) rgb np.empty((0, 3), dtypenp.uint8) # 6. 发布实时葡萄点云 cloud_msg self.make_cloud(xyz, rgb, color_msg.header) self.cloud_pub.publish(cloud_msg) # 7. 手动叠加掩膜避免 result.plot() 导致的显示疑问 overlay color.copy() if fruit_mask.any(): green np.zeros_like(color) green[:, :] (0, 255, 0) blended cv2.addWeighted(color, 0.45, green, 0.55, 0) overlay[fruit_mask] blended[fruit_mask] # 画出掩膜轮廓 mask_u8 fruit_mask.astype(np.uint8) * 255 contours, _ cv2.findContours( mask_u8, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE ) cv2.drawContours(overlay, contours, -1, (0, 255, 255), 2) cv2.putText( overlay, Fruit instances: {}.format(instance_count), (20, 35), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2 ) cv2.putText( overlay, Cloud points: {}.format(len(xyz)), (20, 70), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2 ) cv2.putText( overlay, Press s to save, q to quit, (20, 105), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2 ) # 原图窗口用于确认 ROS 输入不是黑图 cv2.imshow(Debug Original, color) cv2.imshow(Grape Fruit Segmentation, overlay) key cv2.waitKey(1) 0xFF if key ord(s): self.save_cloud(xyz, rgb) elif key ord(q): rospy.signal_shutdown(User pressed q) self.frame_count 1 if self.frame_count % 30 0: rospy.loginfo( 帧%d实例数%d葡萄点云点数%d, self.frame_count, instance_count, len(xyz) ) except Exception as e: rospy.logerr(葡萄点云处理失败: %s, str(e)) import traceback rospy.logerr(traceback.format_exc()) finally: self.busy False def save_cloud(self, xyz, rgb): 保存降噪后的葡萄点云为 PLY 和 PCD。 if len(xyz) 0: rospy.logwarn(当前没有有效葡萄点无法保存) return cloud o3d.geometry.PointCloud() cloud.points o3d.utility.Vector3dVector(xyz.astype(np.float64)) cloud.colors o3d.utility.Vector3dVector( rgb.astype(np.float64) / 255.0 ) # 体素降采样 if self.voxel_size 0: cloud cloud.voxel_down_sample(self.voxel_size) # 统计离群点去噪 if len(cloud.points) 30: cloud, _ cloud.remove_statistical_outlier( nb_neighbors20, std_ratio1.5 ) if len(cloud.points) 0: rospy.logwarn(去噪后点云为空未保存) return stamp rospy.Time.now().to_sec() filename self.output_dir / grapes_{:.0f}.ply.format(stamp) pcd_filename self.output_dir / grapes_{:.0f}.pcd.format(stamp) ok_ply o3d.io.write_point_cloud(str(filename), cloud) ok_pcd o3d.io.write_point_cloud(str(pcd_filename), cloud) if ok_ply and ok_pcd: rospy.loginfo( 葡萄点云已保存: %s%d 个点, str(filename), len(cloud.points) ) rospy.loginfo(PCD 文件: %s, str(pcd_filename)) else: rospy.logerr(点云保存失败) def shutdown(self): cv2.destroyAllWindows() rospy.loginfo(葡萄 RGB-D 节点已关闭) if __name__ __main__: try: node GrapeRGBDNode() rospy.spin() except rospy.ROSInterruptException: pass except Exception as exc: rospy.logfatal(节点启动失败: %s, str(exc)) raise运行chmod x ~/aubo_ws/grape_project/scripts/grape_cloud_live.py source /opt/ros/noetic/setup.bash python3 ~/aubo_ws/grape_project/scripts/grape_cloud_live.py六、点云预处理七、实时显示与保存
企业数字化 ERP 产品动态
相关推荐
微信小程序 map 地图组件实战案例 一、前言微信小程序自带 map 地图组件,可以快速在页面渲染腾讯地图,支持标记点 marker、弹窗、选点、定位、导航等功能。 本次为课程作业案例:在地图上展示三个标记点位(我的位置、黑龙江东方学院南门、第一学生公寓)&… · 2026/11/18 10:45:42
资源清单问题:相对路径和绝对路径混用找不到文件?新手先统一根目录 大家好,我是 SiKi老师。资源清单里有的写成 assets/icons/hero.png,有的直接贴了本机绝对路径,工具一跑就报找不到文件;或者把绝对路径再拼到项目根后面,路径变成“根目录 又一段绝对路径”的怪物串。先别改资源文件本… · 2026/11/3 3:57:16
考电工证线下学时真实经历:学历不高也能考,关键看这几点 考电工证线下学时真实经历:学历不高也能考,关键看这几点 我以前是平顶山一家煤矿的采煤工,干了十多年,工资也就4000多块,干得再累也看不到希望。后来听说考个电工证,不仅能转岗还能加薪,我就动了心。但问题来了,我只有初中毕业,担心学历不够,报… · 2026/11/19 3:17:38
电工证的期限是几年多少钱报名别被中介坑 电工证的期限是几年多少钱报名别被中介坑 你是不是也遇到过这种情况:听说电工证很重要,但一打听,报名渠道五花八门,价格高低不一,还有人说“证办得快,三天就能拿”,结果一查,全是假的?别急,今天我就以南阳某应届工程类毕业生的真实经历为例,带你搞… · 2026/11/19 3:17:38
泰安电工证怎么收费?实操考试心里没底怕挂科?这份干货帮你拿证不踩坑 泰安电工证怎么收费?实操考试心里没底怕挂科?这份干货帮你拿证不踩坑 实操考试心里没底怕挂科,这是很多准备报考泰安电工证的朋友最真实的感受。尤其是一些刚开始接触电工工作的新人,面对高压、低压、焊接这些分类,光听名字就让人紧张。 多少钱… · 2026/11/19 3:17:38
电工作业操作证年审怎么报名?别怕考不过白交培训费 电工作业操作证年审怎么报名?别怕考不过白交培训费 怕考不过白交培训费?别急,电工作业操作证年审怎么报名,咱一步步来,教你避开这些坑。作为开封一家中小型施工企业的负责人,我深知电工证的重要性,不光是上岗必备,更是职业发展的“敲门砖”。很多人在… · 2026/11/19 3:17:38
电工证每年都要审核吗 内部消息透露这些细节 电工证每年都要审核吗 内部消息透露这些细节 怕考不过白交培训费,你不是一个人。前两天我刚帮一个信阳浉河区的工友处理了电工证复审问题,结果他一开口就问:“这证每年都要审核吗?万一过不了,培训费就白花了。”说实话,这话说得我心里一紧,因为我自己… · 2026/11/19 3:17:38
祁东县电工证哪里考良心建议:工地太忙根本没时间复习考试 祁东县电工证哪里考良心建议:工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这种话不是我瞎说,是很多一线工友的亲身经历。特别是在祁东县,很多电工岗位的工人,平时工作强度大,项目赶工期,连吃饭都得抢时间,哪还有空去翻教材、背题库?但问… · 2026/11/19 3:16:38
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/18 14:38:14
姑苏区哪里考电工证好考前押题怎么找 姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12
罗定能考电工证吗 电工证含金量到底有多少? 罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38