F矩阵，E矩阵，H矩阵有什么关联性

• E矩阵即本质矩阵，它表示了一对图像的对极约束关系且只与相机外参(角度、位移)有关，对极约束的成立与场景无关(不要求待匹配点在同一个平面)，对极约束的成立要求相机位姿既有角度变化(R)又有平移变化(T)，对极约束反映了一张图片上的一点和另一张图片上一条对极线的映射关系，它是点和线的映射，所以通过对极约束无法求得带匹配点在另一张图片上的确切匹配位置（E矩阵中的坐标是相机坐标）
• F矩阵即基础矩阵，它与相机的外参和内参都有关系， E矩阵中的坐标为相机坐标，那么想要得到两张图片上像素点的约束关系就必须将相机坐标转换到像素坐标，E矩阵经过仿射变化可以转化为对应的F矩阵，或者将图像的像素坐标归一化后E矩阵即是F矩阵
• H矩阵即单应矩阵，他是射影几何中的概念，又称为射影变换，把一个射影平面的点映射到另一个射影平面上，具有保线性，也就是可以通过单应矩阵将图片2变化为图片1，和对极约束的区别是：平面间的单应对场景结构有要求，要求场景点必须在同平面上，也就说，三维点如果不是在同一个平面上，可以使用F来计算图像上像点在另一幅图像上对应的对极线，而不能使用单应矩阵H得到对应点的确切位置。

总结

参考博客

• 使用场景
  基础矩阵表示的是两视图的对极约束，和三维场景的结构无关，只依赖于相机的内参数以及外参数，需要两个相机的位置有旋转和平移
  单应矩阵对场景的三维结构有了更多的要求，需要场景中的点在同一个平面上，如果场景点不在一个平面上，利用单应矩阵匹配的前提是相机只有角度变化无位移变化。
• 约束关系
  基础矩阵表示的像点和另一幅图像上的对极线的映射关系，使用基础矩阵无法得到像点对应点在另一幅图像上的确切位置。
  单应矩阵则是点和点的映射，使用单应矩阵可以找到像点在另一幅图像上对应点的确切位置。
• 使用单应矩阵而不是基础矩阵
  相机只有旋转而无平移的时候，两视图的对极约束不成立，基础矩阵F为零矩阵，这时候需要使用单应矩阵H
  场景中的点都在同一个平面上，可以使用单应矩阵计算像点的匹配点。
  场景中的点不在同一个平面上，相机的平移距离相对于场景的深度较小的时候，也可以使用单应矩阵H。