1 物体深度
问题描述：从不同的位置拍摄相同物体的两张图片，恢复其深度
这里假设摄像机的镜头平行
由相似三角形：
由上面第一、二等式可得：
深度与视差成反比
2 如何配对左右图片的点
问题描述：已知两张图像，由不同的照相机拍下，在左图中选一点，
如何在右图中找到对应的点。
由上图可知，
左图中点 x 对应在右图中的点位于线段 l' 上
右图中点 x‘ 对应在左图中的点位于线段 l 上
2.1 极线几何（epipolar geometry）的基本概念
- 基线（baseline）: 连接两个照相机中心点的线段，如图中的OO'。
- 极平面（epipolar plane）: 由两个相机中心点, 和物体X组成的平面，如图中的OO'X。
- 极点（epipoles）: 基线与两张图像的交点，如图中的e, e'。
- 极线（epipolar lines）: 极平面与两张图像的交线，如图中的 l ，l'。
2.2 极线约束（epipolar constraint）
2.2.1 calibrated case
这种情况，相机的内参和外参已知，极线几何工作在一对归一化相机（normalized camera）.
归一化相机（normalized camera）使形成的归一化图像平面位于Z=1处。
图像归一化（ image normalization）是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程。
归一化的图像可以减少几何变换的影响，加快梯度下降求最优解的速度。
在世界坐标系中，如果把一个相机位于原点，另一个相机的位置可以通过旋转和平移得到。
两者关系如下图所示，右边相机的位置可以通过旋转（R）和平移（T）得到。
从上图可知： 向量Rx， 位移 t 和 点 x' 共面，所以：
其中矩阵 E 为本征矩阵（essential matrix）
由于 矩阵 [ tx] 的秩为2， 矩阵R的秩为3，所以 E 的秩为2.
E有5个未知数（2个平移，3个旋转）。
在向量的叉乘运算中，把第一个向量写成矩阵的形式：
其中矩阵 [ax] 的秩为2.
假设右边图像上点x'=（u', v'）
穿过点 x' 的 直线 l' 可以表示为：au’+bv'+c=0;
其中沿直线 l' 的向量可以表示为：
所以 或
，即左图中点 x 对应的右图中的点 x' 位于线段 l' 上
- 同理，
,即右图中点 x‘ 对应的左图中的点 x 位于线段 l 上
2.2.2 Uncalibrated case
在这种情况下，两个相机的内参矩阵 K 和 K’ 未知。
从相机坐标系到像素坐标系的对应关系：
其中 为像素点坐标，
为相机坐标系的坐标，
为内参矩阵。
代入上式：
化简：
令
则：
F 称为基本矩阵（fundamental matrix）
与calibrated case 类似，uncalibrated case也有类似的结论：
, 即左图中像素点 x 对应的右图中的像素点 x' 位于线段 l' 上
, 即右图中像素点 x‘ 对应的左图中的像素点 x 位于线段 l 上
如果觉得上面的推论有跳跃性，下面链接的博客推导非常详细：
计算机视觉基础4——对极几何(Epipolar Geometry)
计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)
3 求解基本矩阵（fundamental matrix）
已知两对点：
转化为凸优化问题：
其解为：的最小特征值的特征向量。
