相机标定全链路：内参、畸变、重投影误差与实测验证

调相机标定这件事我最早是抱着跑个函数就完事的心态去的。十几张棋盘格照片喂进去重投影误差 0.08 像素看起来漂亮得不行。结果把标定板挪到两米外一测测出来的距离比卷尺量出来的少了 15 毫米。那次之后我才明白相机标定camera calibration不是一个调用 API 拿参数的动作而是一条从物理世界到像素坐标的可信链路链路上任何一环松了最后那个重投影误差都只是自欺欺人的数字。这篇内容想讲清楚的就是这条链路内参和畸变系数到底在描述什么、采集环节哪些细节决定结果上限、参数拿到手之后怎么验证它真的能用、以及为什么重投影误差很小但实际测量还是不准。适合刚接触视觉测量和机器人定位的开发者也适合已经用过几次标定函数、但对结果始终不太放心的朋友。1. 相机标定真正要解决的三个映射问题1.1 从三维世界到像素的那条链路很多人把标定理解成求一个矩阵这个理解偏了。标定本质上是在建立一套坐标变换关系世界坐标系里的一个点 (X, Y, Z)先经过外参旋转 R 和平移 t变到相机坐标系再经过内参矩阵投影到归一化平面最后加上畸变修正落到像素坐标 (u, v)。这条链路上外参描述的是相机装在哪里、朝向如何内参描述的是这台相机的光学和传感器本身长什么样。区分这两者的意义在于外参是会变的相机挪个位置就失效内参在镜头、焦距、分辨率、对焦状态不变的前提下是稳定的标一次可以用很久。我在项目里见过不少人每次开机都重新标定理由是怕不准结果反而引入了采集随机性带来的抖动。正确的做法是内参离线标定、稳定存档外参用标定板或已知靶标在线求解两者分开管理。还有一个容易被忽略的点标定得到的参数永远是针对某一个特定成像配置的。同一台相机换镜头、改分辨率、切 ROI、开 binning、动对焦环这四件事里任意一件发生内参就必须重新标定或者做等效换算。我把这条写在团队文档的第一行因为它是后续所有为什么测不准问题的源头。1.2 内参矩阵里 fx、fy、cx、cy 各管什么内参矩阵长这样K [[fx, 0, cx], [ 0, fy, cy], [ 0, 0, 1]]fx和fy是把物理焦距折算到像素尺度后的结果量纲是像素。折算方式很朴素fx f / dx其中 f 是镜头焦距毫米dx 是传感器单个像元的物理尺寸毫米。举个例子8 mm 焦距配 3.45 μm 像元fx 8 / 0.00345 ≈ 2319像素。这也是为什么同样焦距的镜头装在不同相机上fx 差别会很大——像元尺寸不一样。正常情况下 fx 和 fy 应该非常接近比值偏离 1 超过 1% 就要怀疑是不是像元不是正方形或者标定过程有问题。cx和cy是主点也就是光轴与像平面的交点理想情况下在图像正中心实际会偏几十个像素这属于正常装配公差。主点的精度对普通成像影响不大但对单目测距和三维重建影响相当直接——主点偏 20 像素在远距离上换算成物理偏差可能就是厘米级。有个实操细节值得说如果你后续要换分辨率使用内参是可以换算的不必重标。整幅图缩放 k 倍比如从 2448×2048 降到 1224×1024k 0.5则fx k·fx、fy k·fy、cx k·(cx 0.5) - 0.5、cy k·(cy 0.5) - 0.5。那个 ±0.5 是像素中心约定带来的漏掉它在大分辨率下会带来接近一个像素的系统偏差。如果只是裁剪 ROI则是cx cx - x0、cy cy - y0fx、fy 完全不变。1.3 畸变模型k1 k2 p1 p2 该不该全放开畸变系数是标定里最容易过度配置的地方。OpenCV 的calibrateCamera默认返回 5 个系数 (k1, k2, p1, p2, k3)也支持 8 个、12 个、14 个的扩展模型。系数越多模型对训练数据的拟合能力越强但泛化能力可能反而下降——这是典型的过拟合。径向畸变 k1、k2、k3 描述的是越靠画面边缘直线越弯的现象广角镜头尤其明显。切向畸变 p1、p2 来自镜头与传感器平面不严格平行正常情况下数值应该很小量级在 1e-4 到 1e-3。如果标出来 p1、p2 明显偏大先别急着用去检查镜头是不是没拧紧、传感器是不是歪了——这是装配问题的信号不是靠标定能修好的。我的经验做法是普通工业镜头、视场角小于 60 度用默认 5 参数足够广角、短焦、有明显桶形畸变先试 5 参数看边缘区域残差是否偏大再考虑打开 k3 或用 rational 模型只有在鱼眼、超大广角场景下才值得上 8 参数以上的复杂模型而且必须用足够多的边缘样本支撑。注意打开高阶畸变项之后务必用未参与标定的独立图片做验证。训练集上的重投影误差下降不代表模型变好了很可能只是多出来的自由度把噪声也拟合进去了。2. 采集环节就决定了结果上限标定板与拍摄姿态2.1 棋盘格、圆点阵列板与编码板的取舍算法再精细也救不回一组质量糟糕的采集数据。标定板的选择是第一道分水岭我按实际使用体验整理了一下标定板类型优点短板适用场景棋盘格角点定位精度高工具链最成熟对模糊、过曝敏感大畸变下检测易失败常规镜头、实验室标定圆点阵列板抗模糊、抗噪声能力强检测鲁棒存在透视偏心误差需专门处理工业现场、光照不稳定环境非对称圆点板可自动确定方向无需人工确认板面制作精度要求高自动化产线编码标志板支持单张图求解适合大视场制作成本高需要专门算法大尺寸、多相机系统棋盘格的角点是两条边缘的交点数学定义清晰亚像素细化之后精度可以做到 0.02 像素级别这是它的核心优势。但它的短板也很致命图像一模糊角点检测就开始漂。圆点板用的是重心或椭圆拟合对模糊的容忍度高得多代价是圆心在图像上的投影并不等于圆心的投影——这个透视偏心误差在标定板倾斜角度大时会达到零点几像素必须用专门的聚类检测模式来抑制。我现在的默认选择是实验室环境用棋盘格现场环境用圆点板。如果标定板要做得比较大比如 1 米以上优先考虑编码板或者拼接方案因为大尺寸的平整度很难保证。2.2 姿态覆盖比照片张数更重要新手最常见的误区是拍 50 张总比拍 20 张准。实际上 50 张姿态雷同的图效果远不如 15 张覆盖充分的图。原因在于标定的求解过程本质上是在约束一个超定方程组每个姿态提供的是不同方向的约束姿态单一意味着某些参数方向上根本没有信息。采集时我会刻意保证这几件事倾斜角度覆盖至少有一半的图标定板与像平面夹角在 30 度到 45 度之间。完全正对拍摄的图对内参约束很弱尤其是焦距。位置覆盖标定板要出现在画面的四个角、四条边、中心不能只在中间晃。畸变参数的估计完全依赖边缘区域的样本中间拍一百张也约束不了 k1。尺度覆盖既有占满画面 80% 的近景也有占 20% 的远景帮助解耦焦距和主点。姿态多样性绕三个轴都要有旋转不要只在一个平面内平移。数量上15 到 25 张是一个比较稳妥的区间。少于 10 张参数估计的方差会明显变大多于 40 张边际收益迅速递减而且采集时间拉长反而容易引入手抖、光照变化等干扰。2.3 现场最容易忽略的几个采集细节有几个细节文档里基本不写但每一个都能让标定结果偏掉标定板打印后的实际尺寸必须量。打印或曝光制版时缩放误差是普遍存在的标称 25 mm 的方格实际可能是 24.7 mm。如果你直接把 25 写进代码标定出来的 fx、fy 就会整体偏大约 1.2%最后所有测距结果都系统性偏小。正确做法是用卡尺量十个格子的总长度再除以十把这个实际值写进objectPoints。标定板必须足够平。A4 纸打印出来贴在硬纸板上稍微有点翘曲平面假设就不成立了。我用过一个土办法检验把标定板贴到玻璃上从侧面看有没有透光缝隙。有条件的话用亚克力或者铝基板平整度能控制在 0.05 mm 以内。关闭自动曝光、自动增益、自动白平衡。这些功能会让每一帧的成像特性发生微小变化等于在给标定引入额外的噪声源。锁定对焦。自动对焦在拍摄过程中反复动作焦距会变内参直接失效。手动对焦到工作距离上然后用胶带把对焦环固定住——这招听着糙现场非常管用。避免运动模糊。手持拍摄时快门速度不够角点会被拉成一条短线检测出来的位置是模糊区域的某种加权中心偏差可能超过 0.5 像素。用固定支架或者提高快门速度。3. 把标定跑通代码骨架、参数配置与结果解读3.1 一份可直接复用的标定脚本下面这段是基于 OpenCV 的最小可用流程我把几个关键参数的取值和理由都标了出来import cv2 import numpy as np import glob # 棋盘格内角点数量列, 行注意是内角点不是格子数 PATTERN (9, 6) # 实测的单格边长单位与后续测量保持一致这里用毫米 SQUARE_MM 24.72 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp np.zeros((PATTERN[0] * PATTERN[1], 3), np.float32) objp[:, :2] np.mgrid[0:PATTERN[0], 0:PATTERN[1]].T.reshape(-1, 2) * SQUARE_MM obj_points, img_points [], [] files sorted(glob.glob(images/*.png)) for f in files: img cv2.imread(f, cv2.IMREAD_GRAYSCALE) ok, corners cv2.findChessboardCorners( img, PATTERN, flagscv2.CALIB_CB_ADAPTIVE_THRESH | cv2.CALIB_CB_NORMALIZE_IMAGE ) if not ok: print(detect failed:, f) continue # 亚像素细化窗口 11x11 是经验值太小收敛不稳太大容易受邻域干扰 corners cv2.cornerSubPix(img, corners, (11, 11), (-1, -1), criteria) obj_points.append(objp) img_points.append(corners) h, w img.shape[:2] rms, K, dist, rvecs, tvecs cv2.calibrateCamera( obj_points, img_points, (w, h), None, None, flagscv2.CALIB_FIX_K3, # 先固定 k3数据不足时避免过拟合 criteriacriteria ) print(RMS reprojection error:, rms) print(K \n, K) print(dist , dist.ravel())几个参数的取舍理由CALIB_FIX_K3在样本数量不够、边缘覆盖不足时很有必要它能把高阶项的抖动压住cornerSubPix的窗口设成 11×11 是平衡了收敛速度和稳健性的经验值如果图像噪声大可以放大到 15×15但迭代次数要相应增加。如果要保存结果供生产环境使用建议同时存下 K、dist、图像尺寸、标定日期和标定板实际尺寸这几个字段。少存任何一项半年后回来看这堆参数就是天书。3.2 重投影误差这个数字到底怎么读calibrateCamera返回的 rms 是所有图片、所有角点的重投影误差均方根单位是像素。这个数字的解读需要分层RMS 范围含义建议 0.1 px拟合非常好警惕过拟合必须做独立验证0.1 ~ 0.3 px正常水平大多数测量应用可用0.3 ~ 0.5 px偏大检查采集质量看误差分布 0.5 px明显异常不要使用回到采集环节排查关键点在于不要只看总数要看分布。我习惯把每张图、每个角点的误差都算出来然后画两张图——一张按图片编号一张按图像位置。如果误差集中出现在某几张图上说明那几张采集有问题模糊、过曝、姿态极端如果误差集中在画面边缘说明畸变模型不合适需要放开 k3 或者换模型如果误差在画面里呈现明显的方向性梯度那多半是标定板不平或者主点估计偏了。还有一个反直觉的结论RMS 太小反而要警惕。理论上限是角点检测的亚像素精度一般在 0.05~0.1 像素量级。如果你标出来 0.01 像素那基本可以确定是过拟合——模型自由度太多把噪声也吃进去了。这种情况下拿去测实际物体误差会大得让你怀疑人生。3.3 标定完必须做的三项验证参数拿到手别急着上线先做三件事第一留出验证集。从采集的图片里随机抽出 3 到 5 张不参与标定用标定结果计算这几张图的重投影误差。如果验证集误差是训练集的 3 倍以上说明泛化能力不行模型或者数据有问题。这一步几乎零成本但我见过太多人跳过。第二畸变校正后的直线检测。找一个有明显直线的场景比如实验室的墙角、网格板拍一张用undistort校正后检查直线是否笔直。可以用霍夫直线拟合看同一条直线的点偏离拟合线的距离是否小于 0.5 像素。这个检验直观、快速而且直接对应畸变参数对不对这个核心问题。第三物理尺寸实测。这是最有说服力的一步。用标定后的内参和已知的外参去测一个已知尺寸的物体比如一块量块、一段标准间距对比测量值和真实值。我一般会测三个位置近端、中段、远端如果三个位置的相对误差都在 0.5% 以内这套参数才算能用。如果近端准、远端偏问题多半在焦距如果整体偏一个固定比例问题在标定板尺寸或者单位。# 用校正后的图像验证直线度 undist cv2.undistort(img, K, dist, None, newK) # 再配合 cv2.HoughLinesP 或 cv2.fitLine 统计偏离量4. 误差很小但测距不准一条完整的排查链路4.1 先判断是内参偏还是使用方式偏这是我遇到最多的一类问题标定 RMS 明明 0.1 像素做测量却差出去好几毫米。排查的第一步不是怀疑标定而是把使用链路拆开。整个链路是像素坐标 → 去畸变 → 归一化坐标 → 乘深度 → 世界坐标任何一步的处理方式和标定的假设不一致结果就错。我按顺序查这几件事一是图像是否做了和标定时一致的预处理有些人标定用原始图使用的时候先做了裁剪或者缩放那内参当然不对二是去畸变的调用方式undistort和initUndistortRectifyMap remap在边界处理和插值上有细微差别混合使用会引入亚像素偏差三是外参的坐标系定义OpenCV 的相机坐标系是 Z 轴向前、X 向右、Y 向下和很多机器人坐标系的约定不同符号搞反了会出现左右颠倒或上下颠倒的诡异现象。一个具体的排查手段把标定板放在工作距离上用solvePnP求出它的位姿然后计算标定板上两个已知间距的角点在三维空间里的距离和真实值对比。这一步能直接告诉你误差是来自内参还是来自外参。4.2 标定板本身的物理误差如果上面那步就发现有偏差八成是标定板的问题。我遇到过三种情况第一种是打印缩放前面提过标称值和实际值差 1%~2%导致所有结果的尺度整体偏移。这种误差的特点是比例性——测什么都按同一个比例偏很容易识别也很容易修正把实际尺寸量准重新标定。第二种是板面不平。亚克力板在温度和应力作用下会翘曲尤其是大面积板。翘曲导致的误差不是比例性的而是位置相关的标定板上某些区域的点会系统性偏离平面重投影误差在这些点上会略高但整体 RMS 可能被稀释得不明显。判断方法很简单单独看每个角点的残差如果残差在板面上呈现明显的平滑梯度就是不平。第三种是图案精度。喷墨打印的边缘会有毛刺激光打标会有热影响区这些都会让角点的真实位置和理论位置产生零点几毫米的偏差。标定板越小、格子越密这个问题越突出。4.3 角点检测的亚像素偏差与偏心误差即使板子完美、图像清晰角点检测本身也有系统偏差。棋盘格的角点在理想模型里是一个数学点但在实际图像里由于镜头的光学传递函数、传感器的采样、图像的插值角点附近会形成一个宽度约 2 到 3 像素的过渡带。cornerSubPix是在这个过渡带上做迭代优化收敛到的是灰度对称中心不完全等于几何交点。这个偏差通常在 0.02 到 0.1 像素看起来很小但在大视场、长工作距离的场景下会被放大。举个例子fx 2000 像素工作距离 2 米0.1 像素的角点偏差对应的横向误差是 0.1 × 2000 / 2000 0.1 毫米。单点误差不大但如果偏差在整幅图上有一致性比如总是偏向同一侧累积起来就是系统误差。圆点板的偏心误差更明显。一个圆在透视投影下变成椭圆椭圆的几何中心不等于圆心投影的位置偏差量在标定板倾斜 40 度时可以达到 0.3 像素以上。解决办法是用CALIB_CB_CLUSTERING标志让算法改用基于轮廓聚类的方式定位而不是简单拟合椭圆中心。5. 特殊成像条件下的分支广角、双目与手眼5.1 大畸变镜头的模型选择与标定策略视场角超过 100 度的镜头用常规的 5 参数模型基本压不住。这时候有两条路一是 OpenCV 的 rational 模型打开CALIB_RATIONAL_MODEL用 8 参数二是鱼眼模型cv2.fisheye模块。rational 模型适合畸变剧烈但仍属于径向畸变主导的镜头模型是多项式的有理分式拟合能力强代价是需要更多的边缘样本。鱼眼模型则是专门为等距投影、等立体角投影这类成像方式设计的它不用全局多项式而用角度映射对超广角的表现更稳。选型的判断依据我一般用一条把校正后的图像拿来看边缘。如果边缘的直线明显还弯或者画面四角被拉伸得不成样子说明模型不够或者标定样本边缘覆盖不足。这时候与其堆参数不如先补采集——在画面四角各拍几张倾斜的标定板往往比换模型更有效。鱼眼标定的调用方式和常规不同参数是分开的K np.zeros((3, 3)) D np.zeros((4, 1)) rms, K, D, rvecs, tvecs cv2.fisheye.calibrate( obj_points, img_points, (w, h), K, D, flagscv2.fisheye.CALIB_RECOMPUTE_EXTRINSIC | cv2.fisheye.CALIB_FIX_SKEW, criteria(cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 100, 1e-6) )注意鱼眼模块要求输入点集的形状是 (1, N, 3) 和 (1, N, 2)和常规标定的 (N, 3) 不同这个细节坑过不少人。5.2 双目标定多出来的那部分约束双目系统的标定不只是把两个相机分别标一遍。分别标定只能得到各自的内参还需要stereoCalibrate来求解两个相机之间的旋转和平移也就是基线。这个基线的精度直接决定深度精度影响关系大致是深度误差 ≈ Z² / (f · B) · 视差误差。基线 B 越大同样视差误差下的深度误差越小工作距离 Z 越远误差按平方增长。一个常见的错误做法是先用stereoCalibrate联合优化然后把结果里的内参单独拿出来用。这样做的问题是联合优化时内参和基线是耦合优化的如果某个相机的图像质量差会拖累整体。我的建议是先分别标定两个相机的内参并固定用CALIB_FIX_INTRINSIC再单独优化外参。这样内参的物理意义清晰出问题也好定位。采集方面双目标定的同步性要求很高。两个相机如果不是硬件同步运动中的标定板会在两幅图里处于不同位置联合优化时会被当成外参不一致直接把基线算歪。静态拍摄可以规避这个问题但如果现场必须动态采集同步触发是硬要求。5.3 手眼标定的两种构型与采集要求手眼标定解决的是相机和机械臂之间的位姿关系本质是求解 AX XB 这个方程。它分两种构型eye-in-hand相机装在机械臂末端跟着动eye-to-hand相机固定在外部看着机械臂动。前者的 X 是末端到相机的变换后者是基座到相机的变换方程形式略有不同cv2.calibrateHandEye通过参数区分。采集的核心要求是运动要有足够的旋转多样性。如果机械臂只在平面内平移或者所有运动的旋转轴都是同一个方向方程会退化解出来的结果在某个方向上完全没有约束。我一般要求至少 15 组位姿且绕至少两个不同方向的轴都有明显旋转单次旋转角度在 20 度以上。还有一个容易忽略的点标定板在末端上的安装必须刚性。用胶带、用夹子稍微有点松动标定出来的残差就会忽大忽小。我吃过这个亏——标定板用双面胶粘在末端法兰上采集到一半翘起来一点结果整组数据作废重新来了一遍。6. 项目现场积累的几条经验6.1 分辨率、ROI 与 binning 变化后的内参换算生产环境里经常出现这种情况标定的时候用全分辨率实际运行时为了帧率切到 ROI 或者开了 binning。这时候不是重标一遍而是做等效换算。ROI 裁剪的换算最简单主点平移即可def adjust_intrinsics_roi(K, x0, y0): K2 K.copy() K2[0, 2] - x0 K2[1, 2] - y0 return K2 def adjust_intrinsics_scale(K, scale): K2 K.copy() K2[0, 0] * scale K2[1, 1] * scale K2[0, 2] scale * (K[0, 2] 0.5) - 0.5 K2[1, 2] scale * (K[1, 2] 0.5) - 0.5 return K2换算之后一定要验证。方法很简单用换算后的参数去undistort一张 ROI 图看直线还直不直看主点是不是还在图像的合理位置。我用过一次 binning 2×2 的换算忘了那个 0.5 的偏移结果主点偏了半个像素在 5 米工作距离上表现为 2 毫米的系统偏差查了大半天。注意换算只对同一光学配置下的数字变化成立。如果换镜头、动对焦、改光圈必须重新标定没有捷径。6.2 对焦、变焦和温度带来的参数漂移内参不是永恒不变的。最直接的影响来自对焦——对焦环一动镜头的等效焦距和主点都会变。有研究数据显示普通工业镜头在对焦行程上走一圈fx 的变化可以达到 1%~3%。这个量级在精密测量里是致命的。变焦镜头更不用说每一个焦段都是一套独立的内参。如果项目里必须用变焦我的做法是按常用焦段分段标定做成一个查找表用的时候根据当前焦距索引。温度的影响更隐蔽。镜头筒、镜片、传感器封装的热胀冷缩会导致焦距和后截距变化典型量级是每摄氏度几十个 ppm。这意味着在 20℃ 标定的参数拿到 45℃ 的车间里用可能会有 0.1% 左右的偏差。对于要求高的场景要么做温度补偿在不同温度点标定插值查表要么在设备内部维持恒温。一个实用的自检手段在设备上固定一个参考靶标每次开机拍一张用当前内参反算靶标上已知点的间距和标准值对比。偏差超过阈值就触发重新标定提醒。这套机制成本很低但能挡住绝大多数参数悄悄漂了但没人发现的事故。6.3 一套可维护的标定记录习惯最后说说工程化管理。标定参数这种东西最怕的是当时标了、当时能用、半年后没人知道这堆数字是怎么来的。我现在强制要求每条标定记录包含这些字段字段内容作用设备编号相机与镜头的唯一标识追溯硬件配置分辨率与 ROI标定时的实际成像尺寸判断参数是否可直接用标定板规格图案类型、角点数、实测格距复现标定过程图像数量与位姿分布张数、倾斜角范围评估参数可信度RMS 与验证集误差两组数字判断是否过拟合环境条件温度、对焦位置评估漂移风险标定日期与操作人时间戳建立维护周期这套表格看起来繁琐但它救过我一次——某批设备的测量结果集体偏了 0.8%查了一周才发现是其中一个批次的镜头供应商换了镀膜焦距有微小差异而标定参数还是按老配置下发的。有了记录表一比对就定位到了问题批次。说到底相机标定这件事的门槛不在算法算法都是现成的门槛在于对物理世界的敬畏——你得相信镜头会热胀冷缩、标定板会翘、角点检测会有偏差然后在这些不完美的缝隙里用一次次验证把结果钉在可信的范围内。我现在的习惯是任何一套标定参数上线前必须过一遍物理尺寸实测那一关哪怕 RMS 再漂亮。因为漂亮的重投影误差只说明模型拟合得好不说明它描述的这台相机真的长成那样。