计算机视觉之三维重建（5）---双目立体视觉

文章目录

一、平行视图
- 1.1 示意图
- 1.2 平行视图的基础矩阵
- 1.3 平行视图的极几何
- 1.4 平行视图的三角测量
二、图像校正
三、对应点问题
- 3.1 相关匹配法
- 3.2 归一化相关匹配法
- 3.3 窗口问题
- 3.4 相关法存在的问题
- 3.5 约束问题

一、平行视图

1.1 示意图

如下图即是一个平行视图。特点：(1) 两个平面平行。 (2) 基线平行于图像平面，极点 $e$ 和 $e^{'}$ 位于无穷远处。

在这里插入图片描述

1.2 平行视图的基础矩阵

1. 对于基础矩阵我们有另一个表达式： $F=e'×K'RK^{−1}$ ，推导过程如下所示。

在这里插入图片描述

2. 在平行视图情况下，极点交于无穷远处，所以我们可以假定极点 $e'=[1,0,0]^T$ ，平行视图下， $K = K^{'}$ ， $R = I$ ，那么对于平行视图有：

在这里插入图片描述

1.3 平行视图的极几何

1. 极线是水平的，平行于 $u$ 轴。

2. 平行视图下， $p$ 和 $p^{'}$ 在 $v$ 轴方向坐标相同，即垂直方向没有变换。

3. 极点位于无穷远处。

4. 已知 $p$ 和 $F$ 的情况下， $p^{'}$ 只需要按着扫描线寻找即可，扫描线指的是过 $p$ 且平行于 $u$ 轴的线。

在这里插入图片描述

1.4 平行视图的三角测量

1. 俯视这个平行视图，两个摄像机平面就会变成线。 $P$ 到 $O_1$ 和 $O_2$ 的距离表示为深度 $z$ ， $O_1$ 和 $O_2$ 的距离为 $B$ ，焦距为 $f$ 。利用相似三角形底比高可得视差与深度 $z$ 成反比。

在这里插入图片描述

2. (1) 平行视图中的视差图：根据两台平行摄像机在不同角度观察同一物体或场景时，由于视角差异造成的图像的差异进而推断出物体的深度和距离，得到一幅信息图，可以用于对物体或场景的三维重建和识别。 (2) 3D电影通过用两个摄像头同时模拟拍摄同一场景，模拟人眼双眼视觉，再将两个平行视图分别投影到屏幕上，由于使用特殊的偏振式眼睛，通过人眼的立体视觉原理，会给观众感知到一种立体的深度效果。

在这里插入图片描述

二、图像校正

1. 图像校正：使一组非平行视图通过校正构建成平行视图。

2. 图像校正有五步：
(1) 在两幅图像 $l$ 和 $l^{'}$ 上找到一组匹配点 $p_i↔p'_i$ ，不少于 $8$ 个。

(2) 计算基础矩阵 $F$ （八点法），求解两幅图像中的极点 $e$ 和 $e^{'}$ 。
在这里插入图片描述

(3) 选择透视变换 $H^{'}$ 将 $e^{'}$ 映射到无穷远点 $(f, 0, 0)$ ，变换公式： $H=T^{-1}GRT$ 。
① 先将图像的中心点从左下角移到中心。② 构造 $R$ 。③ 构造 $G$ 。

在这里插入图片描述

(4) 对透视变换矩阵 $H$ 进行变换，使得经过 $H$ 和 $H^{'}$ 变换后的两个像平面满足平行视图要求： $Σd(Hp_i,H'p_i')$ 。

(5) 分别利用新的矩阵 $H$ 和 $H^{'}$ ，对左右两幅图像 $l$ 和 $l^{'}$ 进行重采样，得到一组平行视图。

在这里插入图片描述

三、对应点问题

对应点搜索问题，即根据 $p$ 点寻找对应 $p^{'}$ 点的问题，我们根据平行视图极几何关系可知， $p^{'}$ 点一定在扫描线上，这样可以进一步缩小的检索范围。

3.1 相关匹配法

通过点与点之间 $3 * 3$ 窗口的相关性来进行判断。作为相关性标准，该方法可行依据在于，一般情况下一个图像上像素颜色或灰度的变化是平滑的，这样近似相同点平方的最大值的和在理论上大于高偏差点平方的最大值的和。

在这里插入图片描述

3.2 归一化相关匹配法

1. 对于一个图像上存在像素颜色或灰度变化突变的情况，上一种方法会出现计算误差较大，所以需要进行归一化。

2. 归一化相关匹配法：改变原来的相似性度量，通过每个窗口向窗口均值进行归一化，达到平滑的效果。

在这里插入图片描述

3.3 窗口问题

对于较小的窗口：会引入更多的噪声，更容易受到噪声影响，但反之也会在没有噪声影响的地方提供更精确的信息。对于较大的窗口：通过归一化操作可以平滑更多的噪声，但也会丢失一部分细节。

在这里插入图片描述

3.4 相关法存在的问题

1. 透视缩短和遮挡问题：

在这里插入图片描述

2. 当遇到不规则物体在视角上存在遮挡时，可能由于 $B / z$ 的过大，两个像平面无法得到更多的信息交互，导致信息丢失，所以可以适当减小 $B / z$ 。但当 $B / z$ 过小时，由于双目视觉上遮挡的信息只能尽量的去弱化，不能去消除，所以当 $B / z$ 过小时，物体的突出部会造成过大的深度误差，从而在三维重建过程中存在视觉上的明显错误。