09 光流法实践

光流法需要提取关键点，而不需要计算描述子；直接法直接利用像素信息，无需特征点。

9.1 光流法

光流法基于 灰度不变假设，即第一帧中的关键点的灰度与其在第二帧中的像素灰度相同。假设该关键点在第一帧 $(x,y)$ 处，表示为 $I(x,y)$（这个值是已知的），我们希望找出 $(\Delta x,\Delta y)$，从而求出该关键点在第二帧中的像素坐标 $I(x+\Delta x,y+\Delta y)$。（这样根据灰度就直接找到了关键点的位置，省去了匹配的过程，速度更快。）

• 单层光流

采用优化的方法：

$$\underset{\Delta x,\Delta y}{\min }\Vert \mathbf{I}(x,y)-\mathbf{I}(\mathbf{x}+\mathbf{\Delta }\mathbf{x},\mathbf{y}+\mathbf{\Delta }\mathbf{y}{\Vert }_2^2$$

找出使像素灰度误差最小的位置坐标，即为关键点的位置。雅可比矩阵为第二张图像在 $(\Delta x,\Delta y)$ 处的梯度。

步骤：

（1）第一帧提取关键点（不需要描述子）；
（2）后一帧在前一帧的基础上跟踪，得到关键点的位置坐标；
（3）根据关键点匹配关系，对极几何恢复位姿

• 多层光流

当相机运动较快，两张图像差异较大时，单层光流容易陷入局部最优，这时提出图像金字塔。

我们以原始图像为金字塔的底，以一定的倍率（如0.5）进行缩小（相当于与物体距离越来越远），假设原始图像特征点运动了 20 个像素，那么在缩小的图像里可能只运动了 5 个像素，搜索范围更小，优化结果可能就更好。

计算金字塔时从下往上，跟踪光流时从上往下，即由 粗至精。

具体步骤：

（1）构建图像金字塔（一层层缩放，最小的在顶层，原始图像在底层）；
（2）从顶层开始，在第一帧中提取描述子，在第二帧得到对应点坐标；
（3）将跟踪成功的关键点坐标乘以缩放系数，得到下一层中的像素坐标，继续追踪；
（4）循环以上步骤，最终得到原始图像的关键点对，进而恢复位姿。

9.2 直接法

假设有一空间点 $\mathbf{P}$，他在图一中的位置 ${\mathbf{p}}_1$ 是已知的，我们的目的是找到他在图二中的特征点 ${\mathbf{p}}_2$。基于灰度不变假设，${\mathbf{p}}_2$ 和 ${\mathbf{p}}_1$ 的灰度值是一致的，也就是说我们希望在图二中找到和 ${\mathbf{p}}_1$ 灰度值相同的像素点。 定义误差函数：

$$e={\mathbf{I}}_1({\mathbf{p}}_1)-{\mathbf{I}}_2({\mathbf{p}}_2)$$

其中，

$${\mathbf{p}}_1={\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]}_1=\frac{1}{Z_1}\mathbf{KP}$$
$${\mathbf{p}}_2={\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]}_2=\frac{1}{Z_2}\mathbf{K}(\mathbf{RP}+\mathbf{t})=\frac{1}{Z_2}\mathbf{K}(\mathbf{TP}{)}_{1:3}\text{\hspace{1em}(7-8)}$$

${\mathbf{p}}_1$ ，$\mathbf{P}$ 是已知的，那么要想光度误差最小，只需要不断优化迭代位姿 $\mathbf{T}$ 即可。

那么，$\mathbf{P}$ 是哪里来的呢？

一是 RGB-D 相机可以直接得到三维点坐标，二是双目相机根据视差计算像素深度，三是单目相机恢复三维点坐标。

9.3 总结

相比于特征点法，直接法完全依靠优化来求解相机位姿。

（1）直接法优点

• 可以省去计算特征点、描述子的时间；

• 只需要像素梯度即可，不需要特征点，因此可以在缺失特征点的场合下使用；

• 可构件半稠密乃至稠密地图，这是特征点法做不到的。

（2）直接法缺点

• 非凸性：优化时容易进入极小，只有在运动很小的时候直接法才能成功，引入金字塔在一定程度上可减小非凸性影响。

• 单个像素没有区分度：选点少时效果较差，一般用 500 个点以上；

• 灰度不变假设是很强的假设，相机会自动调整曝光参数、或者光照变化，都会使得图像整体亮度发生变化。