Halcon九点标定实战：眼在手外与眼在手上的仿射变换矩阵求解

1. 为什么九点标定在产线现场比标定板标定更常见刚接触Halcon手眼标定的人十有八九会先被各种标定板方案绕晕。棋盘格、圆点阵列、Halcon自带的标定助手文档里写得明明白白看起来一套流程走下来就能拿到结果。但真到了产线现场你会发现一个很现实的问题机械臂末端根本装不下标定板或者装了标定板之后相机的视野压根覆盖不全再或者产线节拍根本不允许你慢悠悠地采十几张不同位姿的标定板图像。这就是九点标定存在的意义。它不追求数学上的极致精度而是用最少的操作步骤在平面作业场景下快速建立相机像素坐标和机械臂物理坐标之间的映射关系。说白了九点标定解决的是一个二维仿射变换问题——你告诉它九个像素点对应的物理位置它给你算出一个变换矩阵之后相机看到任何像素坐标都能通过这个矩阵换算成机械臂该走的位置。九点标定和标定板标定的本质区别在于标定板标定同时求解相机内参和外参能处理镜头畸变、倾斜拍摄等复杂情况适合三维空间定位九点标定只求解一个平面上的仿射变换矩阵前提是相机光轴基本垂直于作业平面且镜头畸变已经通过其他方式校正过或者可以忽略。在贴片、点胶、锁螺丝、平面抓取这类场景里九点标定完全够用而且操作速度快、对现场环境要求低。我见过不少项目明明只需要平面定位非要上标定板方案结果光调试标定板位姿就花了两天最后精度也没比九点标定高多少。选方案这件事核心原则是匹配实际需求不是越复杂越好。1.1 眼在手外和眼在手上的核心差异“眼在手外”指的是相机固定在支架上不随机械臂运动从上方俯视作业平面。这种配置下相机坐标系和机械臂基座坐标系是固定的相对关系九点标定得到的变换矩阵直接就是像素坐标到基座坐标的映射。优点是相机稳定、视野固定、标定一次长期有效缺点是机械臂运动时可能遮挡相机视线而且相机视野必须覆盖整个作业区域。“眼在手上”则是相机安装在机械臂末端法兰上随机械臂一起运动。这种配置下相机和机械臂末端的相对关系是固定的但相机看到的物体位置会随机械臂位姿变化而变化。九点标定需要先建立相机坐标系到末端坐标系的变换再结合机械臂的正运动学算出物体在基座坐标系下的位置。优点是相机可以近距离拍摄、精度更高、不受遮挡影响缺点是标定流程更复杂每次机械臂位姿变化都需要重新计算。两者的标定逻辑可以用一个简单的类比来理解眼在手外就像你站在房间门口看桌子上的东西你只需要知道“从门口看过去的画面”和“桌子上实际位置”的对应关系眼在手上就像你拿着手机在房间里走动拍摄你需要知道“手机画面”和“手机当前朝向位置”以及“房间坐标系”三者之间的关系。1.2 九点标定的数学本质仿射变换矩阵求解九点标定求解的是一个2D仿射变换数学表达式如下X_robot a * x_pixel b * y_pixel c Y_robot d * x_pixel e * y_pixel f其中(x_pixel, y_pixel)是相机图像中的像素坐标(X_robot, Y_robot)是对应的机械臂物理坐标。六个未知数a、b、c、d、e、f理论上只需要三组对应点就能求解。但实际中为了抑制噪声和误差通常采集九个点甚至更多用最小二乘法求最优解。Halcon中实现这个求解的核心算子有两个vector_to_hom_mat2d和vector_to_hom_mat2d的变体。前者接受点对向量直接返回一个3x3的齐次变换矩阵。这个矩阵就是九点标定的最终产物后续用affine_trans_point_2d就能把任意像素坐标转换成物理坐标。为什么是九个点而不是三个点因为三个点求解的矩阵完全依赖于这三个点的精度任何一个点的像素提取误差都会直接传递到最终结果中。九个点均匀分布在作业区域最小二乘能有效平均掉随机误差让变换矩阵更稳定。而且九个点还能顺便验证标定质量——如果某个点的残差明显偏大说明该区域可能存在畸变或者标定过程中有操作失误。2. 眼在手外九点标定的完整操作链路眼在手外的九点标定是最基础也最常用的方案整个流程可以拆成四个阶段准备工作、采集九点、计算矩阵、验证精度。每个阶段都有一些容易被忽略的细节下面逐步展开。2.1 标定前的硬件与软件准备硬件方面你需要一台已经完成相机标定内参和畸变系数已知的工业相机、一个能精确移动的机械臂或运动平台、一个标记物通常用直径2-5mm的圆点或十字标记。标记物固定在机械臂末端或者吸嘴上能随机械臂精确移动到指定位置。软件方面Halcon需要能正常获取相机图像并且已经完成了相机内参标定。如果你用的是Halcon的calibrate_cameras算子做过标定那畸变校正这一步可以直接用change_radial_distortion_cam_off和change_radial_distortion_image处理。如果没做过内参标定九点标定的精度会受镜头畸变影响尤其是在图像边缘区域。注意很多人跳过相机内参标定直接做九点标定在视野中心区域可能看不出问题但一旦作业范围扩展到图像边缘误差会明显增大。建议至少用Halcon的标定板做一次内参标定把畸变系数拿到手。环境方面作业平面要尽量平整相机光轴要尽量垂直于平面。如果相机倾斜角度超过5度仿射变换的假设就不成立了标定出来的矩阵在远离标定点的地方会偏差很大。另外光照要稳定避免反光或阴影导致标记物提取不稳定。2.2 九个标定点的选取与采集策略九个点的分布直接决定了标定矩阵的适用范围。基本原则是九个点要均匀覆盖整个作业区域不能全部挤在中心。通常采用3x3的网格布局在作业区域的长宽方向上各取三个等分点。具体操作时让机械臂带着标记物依次移动到这九个物理位置每到一个位置用相机拍一张图提取标记物在图像中的像素坐标。这样就得到了九组对应点对。这里有几个实操细节值得注意标记物的物理坐标要记录机械臂末端的实际位置而不是你“以为”的位置。如果标记物没有精确安装在末端中心需要先测量偏移量并补偿。每个位置停留后要等机械臂完全稳定再拍照避免运动模糊。像素坐标提取建议用find_circle或find_shape_model前者适合圆形标记后者适合十字或自定义形状。提取时用亚像素精度能显著提升标定质量。九个点的物理坐标最好用同一坐标系下的绝对位置不要用相对偏移量避免累积误差。采集完成后你会得到两个向量一个是九个像素坐标点一个是九个物理坐标点。Halcon中可以用tuple或者vector类型存储。2.3 用vector_to_hom_mat2d求解变换矩阵拿到九组点对之后求解过程其实就一行代码的事vector_to_hom_mat2d (PixelRows, PixelCols, RobotX, RobotY, HomMat2D)这个算子内部做的就是最小二乘拟合返回一个3x3的齐次矩阵。矩阵的结构是| a b c | | d e f | | 0 0 1 |其中a、b、d、e控制旋转和缩放c、f控制平移。如果你需要把这个矩阵分解成旋转角度、缩放比例等参数可以用hom_mat2d_to_affine_par算子。求解完成后建议立刻用affine_trans_point_2d把九个像素点重新映射回物理坐标和原始物理坐标做对比计算每个点的残差。残差的计算方式很简单affine_trans_point_2d (HomMat2D, PixelRows, PixelCols, Qx, Qy) ErrorX : Qx - RobotX ErrorY : Qy - RobotY ErrorDist : sqrt(ErrorX*ErrorX ErrorY*ErrorY)如果最大残差超过你项目的精度要求比如0.1mm说明标定过程中有问题需要排查。2.4 标定精度验证与残差分析残差分析是九点标定中最容易被跳过但最重要的一步。九个点的残差分布能告诉你很多信息残差模式可能原因处理方式所有点残差都大且均匀相机内参不准或畸变未校正重新做内参标定边缘点残差大中心点小镜头畸变影响做畸变校正后再标定某个点残差特别大该点像素提取错误或物理坐标记录错误重新采集该点残差呈规律性方向偏移标记物安装偏移未补偿测量并补偿末端偏移残差随机分布且较小正常噪声可接受无需处理验证时不要只用标定的九个点最好在作业区域内随机选几个不在标定点上的位置让机械臂走过去用相机看实际偏差。这能检验矩阵的泛化能力。我通常会在九个标定点之外再取五到十个验证点如果验证点的误差和标定点残差在一个量级说明标定结果可靠。3. 眼在手上标定的坐标系变换拆解眼在手上的标定比眼在手外多了一层坐标变换理解这层变换是搞懂整个流程的关键。很多人在这一步卡住不是因为Halcon算子不会用而是因为没想清楚坐标系之间的链条关系。3.1 坐标系链条从像素到基座的完整推导眼在手上系统中存在四个坐标系像素坐标系、相机坐标系、末端坐标系、基座坐标系。它们的关系是这样的相机固定在末端上所以相机坐标系到末端坐标系的变换是固定的记作T_cam2end。末端坐标系到基座坐标系的变换由机械臂正运动学决定随位姿变化记作T_end2base。像素坐标系到相机坐标系的变换由相机内参决定记作T_pixel2cam。当相机看到作业平面上的一个标记物时标记物在基座坐标系下的位置可以表示为P_base T_end2base * T_cam2end * T_pixel2cam * P_pixel九点标定要解决的就是T_cam2end和T_pixel2cam的合并效果。实际操作中我们通常让机械臂带着相机移动到九个不同位姿每个位姿下拍摄同一个固定标记物记录机械臂位姿和标记物像素坐标然后求解。3.2 九点标定在眼在手上的变体操作眼在手上的九点标定操作和眼在手外有本质区别。眼在手外是标记物动、相机不动眼在手上是相机动、标记物不动。具体操作流程在作业平面上固定一个标记物位置要精确已知可以用机械臂末端去触碰标记物中心记录基座坐标。让机械臂带着相机移动到九个不同位姿每个位姿下相机都能看到标记物。记录每个位姿下机械臂的末端位姿从机械臂控制器读取和标记物的像素坐标。对每个位姿计算标记物在末端坐标系下的位置然后求解相机到末端的变换矩阵。Halcon中处理这个问题需要用到vector_to_hom_mat3d或者手写求解逻辑。因为涉及三维旋转不能简单用2D仿射变换。如果机械臂只在平面内运动Z轴不变只做XY平移和绕Z旋转可以退化成2D问题处理用vector_to_hom_mat2d也能凑合但精度和适用范围会受限。3.3 标定结果的实际使用方式眼在手上标定完成后实际使用时的计算链路是这样的相机拍照提取目标物体的像素坐标。用标定得到的变换矩阵把像素坐标转换到末端坐标系。结合当前机械臂位姿把末端坐标系下的坐标转换到基座坐标系。根据基座坐标系下的目标位置规划机械臂运动。这个链路中第3步的机械臂位姿必须是拍照瞬间的位姿不能是运动后的位姿。所以实际系统中通常是“拍照-计算-运动”的顺序拍照和运动之间机械臂不能动。提示眼在手上系统中如果机械臂重复定位精度不够高标定得再准也没用。因为每次拍照时机械臂的实际位姿和控制器读到的位姿可能有偏差这个偏差会直接传递到最终定位结果中。建议机械臂重复定位精度至少比你的作业精度要求高一个数量级。4. 标定过程中最容易踩的五个坑九点标定看起来简单但实际操作中踩坑的概率非常高。下面这五个坑是我和身边同行反复遇到过的每一个都可能导致标定结果完全不可用。4.1 标记物提取不稳定导致的随机误差标记物提取是九点标定的第一步也是最容易出问题的一步。常见问题包括光照变化导致阈值分割不稳定、标记物边缘模糊导致亚像素提取偏差、背景干扰导致误匹配。我遇到过一个案例产线上方有天窗下午阳光直射导致标记物区域过曝find_circle提取的圆心位置比实际偏了将近10个像素。标定完成后机械臂在上午工作正常下午就开始偏。排查了半天才发现是光照问题。解决办法用find_shape_model代替find_circle基于形状匹配对光照变化的鲁棒性更强或者在标记物周围加遮光罩保证光照稳定再或者用主动发光标记物比如LED灯珠不受环境光影响。4.2 机械臂末端标记物安装偏移未补偿标记物安装在机械臂末端时很难保证标记物中心正好在末端法兰中心。这个偏移量如果不补偿标定出来的矩阵会整体偏移一个固定值。补偿方法让机械臂末端以不同姿态触碰同一个固定点记录多个姿态下的末端坐标通过求解算出标记物相对于末端的偏移量。或者更简单的方法在标定前用机械臂末端去触碰一个已知位置的尖点记录末端坐标然后换上标记物让标记物中心对准同一个尖点记录末端坐标两者之差就是偏移量。4.3 标定点分布不合理导致外推区域误差放大九个点如果全部集中在作业区域中心的一小块区域标定矩阵在边缘区域的精度会急剧下降。因为仿射变换是线性的它假设整个平面的变换关系是一致的但如果标定点没有覆盖到边缘边缘区域的变换关系就没有被约束。正确的做法是让九个点尽可能分散覆盖整个作业区域。如果作业区域是矩形九个点应该分布在矩形的四个角、四条边的中点、以及中心。如果作业区域是不规则形状九个点要覆盖其外接矩形。4.4 相机畸变未校正对标定精度的影响工业镜头或多或少都有畸变尤其是短焦距镜头。如果相机内参标定没做或者做了但畸变系数没应用九点标定的残差会在图像边缘明显增大。我做过一个对比测试同一个相机同一套九点标定流程不做畸变校正时最大残差0.35mm做了畸变校正后最大残差0.08mm。差距非常明显。Halcon中应用畸变校正的流程是先用calibrate_cameras得到内参和畸变系数然后用change_radial_distortion_cam_off生成校正映射再用change_radial_distortion_image对图像做校正。校正后的图像再做九点标定精度会好很多。4.5 标定后未做独立验证直接上线这是最危险的坑。很多人标定完看到残差在可接受范围内就直接上线了结果实际运行时发现某些位置偏差很大。原因是标定点上的残差小不代表整个作业区域都准标定点之外的区域可能存在外推误差。独立验证的方法在作业区域内随机选10-20个不在标定点上的位置让机械臂带着标记物走过去用相机测量实际位置和理论位置的偏差。如果这些验证点的偏差都在可接受范围内才能放心上线。5. Halcon代码实现与关键算子详解理论讲完了下面直接上代码。这段代码是眼在手外九点标定的完整实现包含图像采集、标记物提取、矩阵求解、残差验证四个部分。5.1 标记物提取与坐标记录* 假设已经获取了九张图像存储在ImageFiles数组中 * 以及对应的九个机械臂物理坐标RobotX, RobotY PixelRows : [] PixelCols : [] for Index : 0 to 8 by 1 read_image (Image, ImageFiles[Index]) * 用形状匹配提取标记物 * 假设已经提前创建好了ShapeModel find_shape_model (Image, ShapeModel, 0, rad(360), 0.5, 1, 0.5, \ least_squares, 0, 0.9, Row, Column, Angle, Score) * 如果标记物是圆形也可以用find_circle * 这里用形状匹配的亚像素结果 PixelRows : [PixelRows, Row] PixelCols : [PixelCols, Column] endfor这段代码的关键点是find_shape_model的参数设置。least_squares亚像素模式能提供更高的定位精度Score阈值设0.5以上可以过滤掉误匹配。如果标记物是圆形find_circle配合edges_sub_pix也能达到类似精度。5.2 矩阵求解与残差计算* 九点标定求解 vector_to_hom_mat2d (PixelRows, PixelCols, RobotX, RobotY, HomMat2D) * 残差验证 affine_trans_point_2d (HomMat2D, PixelRows, PixelCols, Qx, Qy) ErrorX : Qx - RobotX ErrorY : Qy - RobotY ErrorDist : sqrt(ErrorX*ErrorX ErrorY*ErrorY) * 输出最大残差 MaxError : max(ErrorDist) disp_message (3600, Max Error: MaxError$.3f mm, \ window, 12, 12, black, true)vector_to_hom_mat2d的输入是四个tuple像素行坐标、像素列坐标、物理X坐标、物理Y坐标。输出是一个3x3的齐次矩阵。这个矩阵可以直接用于后续的坐标转换。残差计算中affine_trans_point_2d把像素坐标重新映射回物理坐标然后和原始物理坐标做差。ErrorDist是欧氏距离能综合反映X和Y方向的误差。5.3 实际使用时的坐标转换* 实际使用时相机拍到目标物体 find_shape_model (Image, TargetModel, 0, rad(360), 0.5, 1, 0.5, \ least_squares, 0, 0.9, TargetRow, TargetCol, Angle, Score) * 转换到机械臂坐标 affine_trans_point_2d (HomMat2D, TargetRow, TargetCol, RobotTargetX, RobotTargetY) * 机械臂运动到目标位置 * 这里调用机械臂运动接口传入RobotTargetX, RobotTargetY这段代码就是九点标定的最终价值体现相机看到什么机械臂就能走到对应位置。整个转换过程就是一次矩阵乘法计算量极小完全满足产线实时性要求。5.4 标定文件的保存与加载标定矩阵算出来之后需要保存下来供后续使用。Halcon中可以用write_tuple保存矩阵或者用serialize_hom_mat2d序列化后保存。* 保存标定矩阵 write_tuple (HomMat2D, calibration_matrix.tup) * 加载标定矩阵 read_tuple (calibration_matrix.tup, HomMat2DLoaded)如果标定矩阵需要跨平台使用比如从Halcon传到其他系统可以把矩阵的九个元素读出来用文本格式保存。hom_mat2d_to_affine_par可以把矩阵分解成更直观的参数形式。6. 标定精度提升的进阶技巧基础流程跑通之后如果精度还达不到要求可以尝试下面这些进阶技巧。这些方法在普通教程里很少提到但实际项目中非常有效。6.1 增加标定点数量与加权拟合九个点是理论最低要求实际中如果精度要求高可以采集16个甚至25个点。更多的点能让最小二乘拟合更稳定尤其是当某些点存在噪声时。Halcon的vector_to_hom_mat2d支持任意数量的点对不限于九个。如果你想让某些区域的点权重更高可以手动实现加权最小二乘给不同点赋予不同的权重。比如作业区域中心的点权重设为1.0边缘的点权重设为0.8这样拟合结果会更偏向中心区域。6.2 分区域标定与插值如果作业区域很大单个仿射变换矩阵在整个区域内的精度可能不均匀。这时候可以把作业区域分成几个子区域每个子区域单独做九点标定得到多个变换矩阵。实际使用时根据目标位置落在哪个子区域选择对应的矩阵。这种方法的代价是标定工作量增加但精度提升明显。我做过一个测试在600mm x 400mm的作业区域上单矩阵最大误差0.15mm分成四个子区域后最大误差降到0.06mm。6.3 温度漂移补偿与定期复标工业现场的温度变化会导致机械臂热胀冷缩相机支架也可能因为温度变化产生微小位移。这些因素会让标定矩阵随时间漂移。如果项目精度要求高建议定期复标比如每班次开始前用一两个验证点检查标定是否漂移。更高级的做法是安装温度传感器建立温度-漂移模型实时补偿。不过这对大多数项目来说过于复杂定期复标是更实际的选择。6.4 与深度图结合的3D扩展思路九点标定本质上是2D的如果作业场景需要Z轴定位就需要结合深度图。Halcon中可以用xyz_to_object_model_3d把深度图转成点云然后在点云上做3D匹配和定位。2D九点标定和3D点云结合的方式是用九点标定得到XY平面的精确映射用深度图得到Z轴信息两者结合实现3D定位。这种方案在拆垛、无序抓取等场景中很常见。7. 常见问题排查与现场调试经验最后这部分整理一些现场调试中经常遇到的问题和排查思路。这些问题在文档里通常找不到答案但实际项目中几乎都会遇到。7.1 标定残差正常但实际定位偏差大这种情况通常是因为标定点覆盖范围不够或者验证点落在了标定区域之外。排查方法是把验证点的位置画在作业区域图上看看是否超出了九个标定点的覆盖范围。如果是需要扩大标定点分布或者增加标定点数量。另一个可能原因是机械臂的重复定位精度不够。标定时机械臂走到位置A实际到了A但控制器读到的还是A。这个偏差在标定过程中被“学”进了矩阵里实际使用时就会表现出来。排查方法是让机械臂反复走同一个位置用千分表测量实际位置波动。7.2 不同光照条件下标定结果不一致这是标记物提取不稳定导致的。排查方法是在不同光照条件下分别采集同一位置的图像提取标记物坐标看波动范围。如果波动超过1个像素就需要改进标记物提取方案。改进方向包括使用主动发光标记物、增加遮光措施、改用对光照不敏感的形状匹配算法、或者用多个特征点取平均。7.3 机械臂运动后相机视野变化导致标定失效眼在手外系统中相机是固定的理论上视野不会变。但如果相机支架刚性不够机械臂运动时的振动可能导致相机微小位移。这种位移虽然肉眼看不出来但足以让标定失效。排查方法是在相机支架上安装千分表让机械臂做几次急停运动观察千分表读数变化。如果变化超过0.05mm就需要加固支架。7.4 Halcon版本差异导致的算子行为变化Halcon不同版本之间某些算子的默认参数和行为可能有细微变化。比如find_shape_model的亚像素模式在不同版本中的实现可能不同导致提取精度有差异。建议在项目开始时锁定Halcon版本不要随意升级。如果必须升级升级后要重新验证标定流程和精度。7.5 标定矩阵数值异常时的排查顺序如果vector_to_hom_mat2d返回的矩阵数值明显异常比如缩放系数接近零或者极大说明输入点对有问题。排查顺序是检查像素坐标和物理坐标的数量是否一致。检查是否有重复点或共线点。仿射变换要求至少三个不共线的点如果所有点都在一条直线上求解会失败。检查物理坐标的单位是否统一。如果有的点是毫米有的点是米矩阵数值会完全错乱。检查像素坐标是否在图像范围内。如果提取到了图像外的点说明标记物提取有问题。现场调试时我习惯把九个点的像素坐标和物理坐标打印出来肉眼检查一遍。很多时候问题一眼就能看出来比如某个点的像素坐标明显偏离其他点那就是提取错误。整个九点标定流程走下来核心其实就是三件事采集准确的对应点对、用最小二乘求解变换矩阵、验证精度是否满足要求。眼在手外和眼在上的区别在于坐标系变换的链条长度但底层逻辑是一致的。实际项目中标定只是第一步后续的稳定性维护和定期复标同样重要。我在多个产线项目中的体会是标定方案的选择要匹配实际精度需求和现场条件不要盲目追求复杂方案也不要在该做畸变校正的时候偷懒。把基础流程做扎实比什么都强。