在 上一篇 博客中，景深与视差成反比，其公式为：

为焦距， 为左右相机的距离，分别为两张图像的点距离各自中心点的距离。

对于左图像的每一个像素点  ，求图像景深可以分为以下几步，

• 在右图中，找到左图像的像素点对应的极线
• 扫描极线，找到最匹配的点 
• 计算视差 , 并根据公式求取景深

 

1 平行图像（parallel images）

由极线约束：

因为图像平行，所以

 

如果两张图像不平行，把不平行的图像投影到一个平面上，这个过程被称为（ image rectification）。

其原理如下图所示：

两个投影，两个图像变换，每个为3*3的变换矩阵。

 

2 滑动窗口

如果在左图中找到一个点，并且找到右图中对应的极线。

选定一个窗口，沿着极线滑动，与左图窗口比较，计算matching cost, 确定相似度（比如SSD）

窗口越小，细节越多，同时噪音也越多。

Matching windows 有很多种，列举如下：

有些图像对无法求得景深：

• 两张一样的图像
• Nor-Lambertian 表面
• Textureless surfaces

 

3 其它的立体约束（stereo constraints）

• 唯一性（uniqueness）：一张图像中的任意一点，在另一张图像中至多只存在一个对应点。
• 顺序性（ordering）: 从两张图像的视角，对应点的顺序是一样的，如下图。
• 平滑性（smoothness）: 视差值变化慢

4 如何评判好的立体匹配

• 匹配质量（match quality）要好
• 平滑（smoothness）

一张图像中两个邻近的点，在另外一张图中距离一般不会出现巨变。

 

5 立体重建管道（Stereo reconstruction pipeline）

• 校准相机（calibrate cameras）：求得内参矩阵和外参矩阵
• 纠正图像（Rectify images）
• 计算视差（Compute disparity）
• 计算景深（depth）