基于主动视觉的相机标定法核心知识整理

## 相机标定内参和外参 在图像测量以及机器视觉领域，想要确定空间物体表面某点的三维位置，和它在图像中对应点的关联，就必须建立相机成像的几何模型。这些几何模型参数，就是所谓的相机参数。大多数情况下，这些参数需要通过实验和计算才能获得，而求解参数的过程，就是相机标定（或者叫摄像机标定）。无论是图像测量还是机器视觉应用，相机参数的标定都是非常关键的一环。标定结果的精度，以及算法的稳定性，直接影响最终输出的质量。可以说，把标定做好、把精度提上去，是后续一切工作的基础。 那么，在相机标定中，需要确定哪些几何模型参数呢？主要分为两大类：内参和外参。内参负责决定相机如何把三维空间投影到二维图像上；外参则负责描述相机坐标系与世界坐标系之间的相对位置关系。 先聊聊**相机内参**，它一共有六个参数：f, κ, Sx, Sy, Cx, Cy。这六个参数到底管什么？ * **f** 是焦距。 * **κ** 表示径向畸变的量级。如果κ为负值，畸变表现为桶型畸变；如果为正值，则是枕型畸变。 * **Sx, Sy** 是缩放比例因子。实际上，相机成像单元不一定是严格的矩形，它在水平和垂直方向上的大小可能不一致。这就导致X和Y方向的缩放因子不同，所以需要分别定义。对于针孔相机来说，它们表示图像传感器上，水平与垂直方向相邻像素之间的距离。 * **Cx, Cy** 是图像的主点，也就是镜头光轴垂直于成像平面的交点。对于针孔相机，这个点就是投影中心在成像平面上的垂直投影，同时也是径向畸变的中心。 再看**摄像机外参**，也有六个参数：α, β, γ, Tx, Ty, Tz。相机坐标与世界坐标之间的关系可以用一个公式表达： Pc = R * Pw + T 其中Pw是世界坐标，Pc是摄像机坐标。T = (Tx, Ty, Tz)是平移向量，而R = R(α, β, γ)是旋转矩阵，分别对应绕摄像机坐标系z轴旋转γ、绕y轴旋转β、绕x轴旋转α。这六个参数组合起来，就是摄像机外参。 通常情况下，通过镜头，三维空间中的物体会被映射成一个倒立缩小的像，然后被成像传感器感知。不过，理想与现实总是有差距。 * 理想情况下，镜头光轴应该穿过图像正中间。但实际安装精度有限，总会有误差，导致光轴偏移。这种误差就需要用内参来描述。 * 理想情况下，相机对x和y方向的尺寸放大/缩小比例是一样的。但如果镜头不是完美的圆，或者传感器上的像素不是完美的正方形，就会导致两个方向的缩放比例不一致。内参中的两个参数，恰好可以描述这两个方向的缩放比例，既能实现像素长度到实际长度（比如米）的转换，也能体现x和y方向的不一致性。 * 理想情况下，镜头会把三维空间的直线映射成直线（射影变换）。但现实中的镜头没那么完美，直线经过映射后会变弯，所以需要畸变参数来描述这种变形。常见的畸变有枕形畸变、桶形畸变和线性畸变。 ## 相机标定的方法 相机标定的方法主要有三种：传统相机标定法、相机自标定法、主动视觉相机标定方法。 **传统相机标定法**使用尺寸已知的标定物，通过建立标定物上已知坐标点与其图像点之间的对应关系，利用特定算法求解内外参数。标定物分为三维标定物和平面型标定物。三维标定物只需单幅图像就能标定，精度较高，但高精密三维标定物加工和维护都很困难。平面型标定物制作简单，精度也容易保证，但标定时需要两幅或更多图像。传统方法始终依赖标定物，标定物的制作精度直接影响结果。而且，有些场合不方便放置标定物，这也大大限制了它的应用。 传统方法的优点是能适用于任意相机模型，标定精度高。缺点则是标定过程复杂，需要高精度的标定模板，在某些情况下无法使用。 **相机自标定算法**主要利用相机运动的约束。但约束条件往往过于苛刻，导致实际中并不实用。另一种思路是利用场景约束，比如场景中的平行或正交信息。其中，空间平行线在相机图像平面上的交点，被称为消失点，这是射影几何中一个非常重要的特征。因此，很多学者研究了基于消失点的自标定方法。自标定方法灵活性强，可以在线标定。不过，由于它基于绝对二次曲线或曲面，算法鲁棒性较差。它只需要建立图像之间的对应关系，灵活性高，潜在应用范围广，但缺点是非线性标定，鲁棒性不高。 **基于主动视觉的相机标定法**，是指已知相机的某些运动信息来进行标定。它不需要标定物，但需要控制相机做特定的特殊运动，利用运动的特殊性计算内参。这种方法算法简单，通常能得到线性解，鲁棒性较高。缺点是系统成本高，实验设备昂贵，条件要求苛刻，并且不适合运动参数未知或无法控制的场合。 ## 标定模板 标定模板，也叫标定板（Calibration Target），在机器视觉、图像测量、摄影测量、三维重建等领域中，它的作用是校正镜头畸变；确定物理尺寸和像素的换算关系；以及确定空间物体某点的三维几何位置与其图像点之间的对应关系。通过拍摄带有固定间距图案阵列的平板，再经过标定算法计算，就能得出相机的几何模型，实现高精度的测量和重建。而这块带有固定间距图案阵列的平板，就是标定模板。 ## 常见标定模板种类 常见的标定模板有这么几种类型： 1. **等间距实心圆阵列图案**，比如 Ti-times CG-100-D 2. **国际象棋盘图案**，比如 Ti-times CG-076-T 通常来说，拍摄20张图片就够了。但这只是一个经验值，太多或太少都不理想。单纯从统计上看，图片多也许更好，但实际上，图片太多可能反而让参数优化结果变差。因为棋盘格角点坐标的确定本身存在误差，而且这种误差往往不符合高斯分布。标定过程中的非线性迭代优化算法，也不能保证总找到最优解，更多的图片反而可能增加算法陷入局部最优的风险。 拍照时，标定板的位置和朝向要多样化，这样内参的估计会更准确。一个准确的内参，能较好地对整个图像的畸变进行矫正。但如果标定板总放在同一个位置，比如都在图像左上角，那么优化得到的内参可能只擅长矫正左上角的畸变。推荐找个畸变较大的镜头亲自试试，感受会更直观。 ## 世界坐标系、相机坐标系、图像坐标系 **世界坐标系（Xw、Yw、Zw）** 这是由用户定义的空间三维坐标系，描述三维空间中物体和相机之间的坐标位置，遵循右手法则。世界坐标系是物理世界中反映物体位置的真实坐标。 **相机坐标系（Xc、Yc、Zc）** 以相机的光心为原点，Zc轴与光轴重合，并垂直于成像平面，取摄影方向为正方向。Xc、Yc轴则与图像物理坐标系中的x、y轴平行。 **图像坐标系（u、v）或（x、y）** 以图像左上角为原点，是一个以像素为单位的坐标系。 ## 张正友标定方法 张正友标定法是一个经典的解决方案。在图像上的二维点m=[u, t]后加一个1的向量，在相机坐标系中的3D点M=[X, Y, Z]后也加一个1的向量。在针孔模型中，3D点M与其图像投影m的关系如下： 其中内参A为： 如果定义H = A[R, t]，有 s*m = H*M，那么H就是通常所说的单应性矩阵。它描述的是空间中平面三维点与相机平面二维点之间的关系。相机平面中的坐标点可以通过图像处理寻找角点来获取，而空间平面三维点可以通过尺寸已知的标定板获得。所以说，针对每张图片，都可以计算出一个对应的H矩阵。 转动标定模板，从不同角度拍摄棋盘标定模板的多幅图像（比如10到20张），然后求解内参矩阵和外参矩阵。一旦得到相机坐标与图像坐标的投射矩阵，就能将空间中的某一点映射到图片上的对应位置： ## 张正友相机标定流程 整个标定流程可以概括为以下几个步骤： 1. 打印一张棋盘标定纸，并将其贴在一个平坦的表面上。 2. 通过移动相机或移动标定板，拍摄不同角度的标定板图片，一般建议拍摄20张左右。 3. 检测图片中的特征点，即棋盘格的角点。 4. 计算5个内部参数和所有的外部参数。 5. 通过最小二乘法，先行求解径向畸变系数。 6. 通过最小化参数值，优化所有参数，得到最终结果。 张正友的平面标定方法，介于传统标定方法和自标定方法之间。它既避免了传统方法对设备要求高、操作繁琐的缺点，又比自标定方法精度更高，非常符合通用桌面视觉系统（DVS）的标定要求。当然，这个方法也有一个短板：需要确定模板上点阵的物理坐标，以及实现图像与模板之间的点匹配，这对操作者的专业性要求比较高。