一分钟详解鱼眼镜头标定基本原理及实现
原文首发于微信公众号——3D视觉工坊：一分钟详解鱼眼镜头标定基本原理及实现
前言
在VSLAM中，经常会使用鱼眼镜头或者广角镜头。本文主要分为理论部分与鱼眼镜头标定实践两部分，其中理论部分，主要参考《A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses》，作者为Juho Kannala和Sami S. Brandt，写于2006年，同时这篇文章的作者在2004年也写了一篇与鱼眼镜头标定相关的论文《A Generic Camera Calibration Method for Fish-Eye Lenses》，同样值得参考。
一 理论部分
对于大多数具有窄角甚至广角镜头的传统相机，针孔相机模型伴随着镜头畸变是一个比较不错的近似。但是针孔模型不太适用于鱼眼镜头。鱼眼镜头一般被设计用来覆盖相机前方的整个半球形视场，视角非常大，约180°。然而，不可能通过透视投影在有限的图像平面上投射半球形视场。因而，鱼眼镜头服从某些其他投影模型。这就是为什么鱼眼镜头本身固有的畸变不应该仅被认为是与针孔模型的偏差。
很多作者对鱼眼镜头的适合的可能模型进行了研究。许多方法的思想是将原始鱼眼镜头成像为遵循针孔模型，畸变参数是通过变换后强制按直线来估计的，但问题是这些方法并不能完全校准。最近，鱼眼镜头相机的第一种自动校准方法也出现了，Claus 和Fitzgibbon[1]提出了一种畸变模型，它同样允许相机运动和镜头几何的同时线性估计，而Thirthala和Pollefeys[2]使用径向一维摄像机的多视图几何来估计非参数相机模型。此外，Barreto和Daniilidis最近的工作引入了径向基本矩阵来纠正广角镜头的失真[3]。然而，这些方法的重点更多的是在于自动校准技术，而不是真实镜头的精确建模。
由于透视投影模型不适用于鱼眼镜头，我们使用更灵活的径向对称投影模型。
image
image
image
不失一般性，甚至权重都被取消了。这是因为我们可以将r作为奇函数扩展到负数一侧，而奇数幂跨越连续奇函数集。对于计算，我们需要确定（6）中的各项。
为了使得本文不那么枯燥，关于鱼眼镜头标定的理论部分我们仅介绍到这里，如果感兴趣的读者，可以去仔细研读论文《A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses》。
二 实践部分
在上述论文作者的主页，作者提供的Matlab标定代码：Camera Calibration Toolbox for Generic Lenses：http://www.ee.oulu.fi/~jkannala/calibration/calibration.html。
此处，笔者简单为大家介绍一下OpenCV中关于鱼眼标定的流程。
首先，可以参考OpenCV Documentation中提供的鱼眼镜头标定相关函数：
https://docs.opencv.org/3.2.0/db/d58/group__calib3d__fisheye.html
具体鱼眼镜头标定步骤如下：
本次实验，使用小觅相机（标准版）进行实验，小觅相机的镜头视角较大，大约在140°左右。小觅相机实物如下图2所示。
image
图2 小觅相机（标准版）实物图
Step-1: 制作标定板。可以是圆，也可以是棋盘格，当然也可以是圆环。此处我们选择4*11的OpenCV提供的圆形标定板。为了使得标定结果趋于收敛，在工作距离附近，在不同姿态下，采集近20~30张标定图片，如下图3所示。
image
图3 标定板采集样图
Step-2：进行形态学处理。此处是由于在采集图片过程中，难免会在图片中引入环境光带来的噪声。
Step-3：检测每一张图片中的圆心角点坐标,并排序。（OpenCV中findCirclesGrid函数同时解决了这个问题）。
Step-4: 进行标定。（cv::fisheye:calibrate）
Step-5: 计算重投影误差。在Step-3中，cv::fisheye::calibrate返回值为总重投影误差，当然也可以进一步计算x和y方向的重投影误差值。
Step-6：（此步非必须）进行去畸变，进一步验证标定参数的正确性。
组合使用函数：
<pre style="background-color: rgb(255, 255, 255); color: rgb(0, 0, 0); font-size: 11.3pt;">1)fisheye::estimateNewCameraMatrixForUndistortRectify
2)cv::fisheye::initUndistortRectifyMap
3)remap
</pre>
即可获得畸变矫正后的效果图。
经过鱼眼标定后，使用标定好的参数进行去畸变后效果图（使用函数
void estimateNewCameraMatrixForUndistortRectify(InputArray K, InputArray D, const Size &image_size, InputArray R,
OutputArray P, double balance = 0.0, const Size& new_size = Size(), double fov_scale = 1.0）
进行估计新的相机矩阵用于畸变矫正或者校正时，图4为参数balance设为0时的畸变矫正效果图，图5为参数balance设为1时的效果图）。
image
图4 鱼眼模型标定后，畸变矫正，balance=0时
image
图5 鱼眼模型标定后，畸变矫正效果图，balance=1.0时
如果选用针孔模型来进行标定，去畸变后的效果图如下所示。
使用针孔模型进行标定后，同样对图3进行去畸变效果图如下（图6为balance=0,图7为balance=1时）：
image
图6 针孔模型标定后，畸变矫正效果图，balance=0时
image
图7 针孔模型标定后，畸变矫正效果图，balance=1时
由图可见，使用针孔模型去畸变后，整个画幅的图像的畸变不符合「枕形」或者「桶形」，因而使用针孔模型来进行标定鱼眼镜头是不太适合的。
三 跋
最后，留个大家一个问题可以去思考，作者在文章中提到，对于圆形的中心在经过透视变换后，由于较大的畸变存在，椭圆的中心已经不再对应圆形的中心。那么，对于椭圆的中心构象偏差，又该如何去矫正呢？
image
福利：对于文章中提到的小觅相机，如有购买需求，可前往天猫【mynt小觅旗舰店】，联系客服说出暗号——「3D视觉工坊」，120元专属优惠券即刻收入囊中。PS：建议大家9月1日再行购买，会有开学季促销活动，部分优惠可与本号专属优惠券叠加使用。
上述内容，如有侵犯版权，请联系作者，会自行删文。
星球成员，可免费提问，并邀进讨论群
image
三天内如退出，可无条件退款
参考文献：
[1] Kannala J, Brandt S S. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses[J]. IEEE transactions on pattern analysis and machine intelligence, 2006, 28(8): 1335-1340.
[2] Claus, D. and Fitzgibbon, A. W.: “A rational function lens distortion model for general cameras”, Proc. CVPR, pp. 213-219, 2005
[3] Thirthala, S. and Pollefeys, M.: “Multi-view geometry of 1D radial cameras and its application to omnidirectional camera calibration”, Proc. ICCV, pp. 1539-1546, 2005.
[4] Barreto, J. P. and Daniilidis, K.: “Fundamental matrix for cameras with radial distortion”,Proc. ICCV, pp. 625-632, 2005.
