深度相机-介绍

奥比中光竟然上市了，主打产品就是深度相机，目前深度相机在应用上越来越广泛。

一、深度相机的分类：

1、结构光

• 介绍

• 原理

• 应用
  结构光主要的：iPhone的前置摄像头（面部识别的），奥比中光的Astra+，Astra Mini S 3D摄像头模组，OPPO旗舰手机Find X，英特尔的RealSense SR300

2、 飞行时间法ToF

• 介绍
  光雷达系统，可从发射极向对象发射光脉冲，接收器则可通过计算光脉冲从发射器到对象，再以像素格式返回到接收器的运行时间来确定被测量对象的距离

• 原理

• 应用
  IToF主要应用在：Kinect2.0，魅族旗舰手机17Pro、18Pro，无人驾驶中常用的激光雷达

3、 双目立体成像 - Active Stereo

• 介绍
  如同人的双眼，通过左右相机的拍摄图像的差异（视差）来确定距离。通过三角定位原理以视差的方式来计算被测物距离。
• 原理
  由于是通过两幅画面进行立体成像，因此需要提前标定，即左右相机的参数和两者之间的相对几何位置，通过标定可以得到畸变参数，从而输出无畸变的左右相机图像，再通过调整摄像机间的角度和距离，输出行对准的校正图像，匹配左右摄像机间视场中的相同特征，计算匹配特征在左右图像上的列坐标的差值，输出视差图，将视差图通过三角测量的方法转换成距离，输出深度图。深度图是图像每个像素的一组 Z 坐标值，单位为毫米。
  大致来讲：就是立体标定，畸变矫正，立体校正（主要就是行对准），立体匹配（速度快：block matching、精准性：semi-global block matching），重投影。
  校正，取自Learning OpenCV
• 应用

双目立体成像：zspace的桌面一体机， intel的RealSense主动双目系列，未来立体的桌面一体机。

二、深度相机参数

1、技术参数

• 视场角
• 密度
• 分辨率（Resolution）：视场角和密度的乘积
• 距离精确度（Depth accuracy）： 距离精确度能够反映测量距离和实际距离的偏差 （要与分辨率区分），它是传感器的一个重要参数。分辨率很高的传感器可以分辨细节特征，即使距离有一些偏差。传感器可以有高的分辨率但距离精确度一般
• 分辨率（Depth resolution）： 沿着测量坐标轴下的可测量距离
• 最大最小探测距离（Minimum and maximum range）： 传感器的可感知距离
• 帧率（Frame Rate）： 每秒的帧数

2、其他参数

尺寸、成本、封装，温度，通信接口（以太网、USB、法尔接口、CAN总线、串口），硬件、软件（广播触发、网路定时）、无同步，软件接口，

三、优缺点

结构光的刷新率很高；主动双目能实现更高的图像分辨率；TOF精度高，抗干扰性更好。

双目视觉三维重建，相机标定如果用matlab标定的话校正后图像是行对准的，而直接用opencv校正的话图像都不能行对准，后面匹配用的是SGBM算法，生成的深度图

立体校正是为了使得左右相机的图像坐标系行对准，主要分两个步骤：
1、根据立体标定得到的旋转矩阵R对两个坐标系进行旋转使两者共面。
注意，此时两个图像坐标系共面但不一定行对准，即两者的x坐标轴并不共线，因为两个坐2、标系之间还存在偏移。
利用立体标定得到的平移矩阵T对两个坐标系进行变换使两者行对准
Bouguet's算法实现立体校正