计算机视觉（本科） 北京邮电大学 鲁鹏

---

Motivation：panorama stitching全景图拼接

首先提取图像的特征：

对特征点进行匹配：局部特征的匹配。可以认为两幅图中存在仿射变换矩阵。

最后进行图像对齐：

提取良好特征

Characteristics of good features良好特征的特点：

• Repeatability可重复性：The same feature can be found in several images despite geometric and photometric transformations尽管进行了几何和光度变换，但相同的特征在一些图像中可以被发现。也就是左图检测到的特征，右图也能检测到。
• Saliency显著性：Each feature is distinctive每个特征都是独特的。
• Compactness and efficiency紧凑和高效：Many fewer features than image pixels比图像像素少得多的特征。提取的特征质量高，提高提取特征、匹配特征效率。
• Locality局部性：A feature occupies a relatively small area of the image; robust to clutter and occlusion特征占据图像中相对较小的区域;抗杂波和遮挡。特征只与局部有关系。

Feature points applications特征点应用

Finding Corners找角点

角点Corners：

Key property关键属性：in the region around a corner, image gradient has two or more dominant directions在一个角点附近的区域， 图像有两个或多个方向的梯度。

Corner Detection：Basic Idea角点检测基本思想

We should easily recognize the point by looking through a small window通过小窗口，我们可以很容易地认出这一点。

Shifting a window in any direction should give a large change in intensity在任何方向移动一个窗口都应该在强度上产生巨大的变化。

• “flat” region: no change in all directions所有方向上移动窗口中强度不会发生改变。

• “edge”: no change along the edge direction沿着边的方向移动窗口强度不会发生改变

• “corner”: significant change in all directions各方面都有重大变化

Corner Detection：Mathematics

Change in appearance of window w(x,y) for the shift [u,v]
对于平移量 $[u,v]$ ，窗口 $w(x,y)$ 外观的变化：
$$E(u,v)=\sum _{x,y}w(x,y)[I(x+u,y+v)-I(x,y){]}^2$$

$w(x,y)$ ：Windows funciton，可以取Gaussian窗口

$I(x+u,y+v)$：Shifted intensity平移后强度

$I(x,y)$：原来的强度

例如下面对于红框所在的窗口 $w(x,y)$ ，平移 $[u,v]$ 后到绿色框，对应位置强度差值的平方加权和即为 $E(u,v)$ ，即为红色框和绿色框中的差异。

也就是说 $E(u,v)$ 为挪动新的坐标时，新的窗口与原窗口的差异值，反映挪动 $[u,v]$ 之后的响应结果。所以有 $E(0,0)=0$：

• 挪动 $[u,v]$ 之后窗口差异有没有变化，可以转换为 $[u,v]$ 和 $E(u,v)$ 之间的关系，通过分析 $[u,v]$ 对 $E(u,v)$ 的响应结果，来确定当前点是否是角点。

We want to find out how this function behaves for small shifts我们想知道这个函数在小位移时的表现。

• 通过泰勒展开给出 $[u,v]$ 和 $E(u,v)$ 之间的关系

Local quadratic approximation of E(u,v) in the neighborhood of (0,0) is given by the second-order Taylor expansion $E(u,v)$ 在 (0,0)附近的局部二次逼近由二阶泰勒展开给出：

$$E(u,v)\approx E(0,0)+\left[\begin{array}{cc}u& v\end{array}\right]\left[\begin{array}{c}{E}_u(0,0)\\ E_v(0,0)\end{array}\right]+\left[\begin{array}{cc}u& v\end{array}\right]\left[\begin{array}{cc}{E}_{uu}(0,0)& E_{uv}(0,0)\\ E_{uv}(0,0)& E_{vv}(0,0)\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]$$

由 $E(u,v)={\sum }_{x,y}w(x,y)[I(x+u,y+v)-I(x,y){]}^2$ 可得下面的偏导：

$$\begin{array}{rl}{E}_u(u,v)& =\sum _{x,y}2w(x,y)[I(x+u,y+v)-I(x,y)]I_x(x+u,y+v)\\ E_{uu}(u,v)& =\sum _{x,y}2w(x,y)I_x(x+u,y+v)I_x(x+u,y+v)+\sum _{x,y}2w(x,y)[I(x+u,y+v)-I(x,y)]I_{xx}(x+u,y+v)\\ E_{uv}(u,v)& =\sum _{x,y}2w(x,y)I_y(x+u,y+v)I_x(x+u,y+v)+\sum _{x,y}2w(x,y)[I(x+u,y+v)-I(x,y)]I_{xy}(x+u,y+v)\end{array}$$
又有：
$$\begin{array}{rl}E(0,0)& =0\\ E_u(0,0)& =0\\ E_v(0,0)& =0\\ E_{uu}(0,0)& =\sum _{x,y}2w(x,y)I_x(x,y)I_x(x,y)\\ E_{vv}(0,0)& =\sum _{x,y}2w(x,y)I_y(x,y)I_y(x,y)\\ E_{uv}(0,0)& =\sum _{x,y}2w(x,y)I_x(x,y)I_y(x,y)\end{array}$$

• The quadratic approximation simplifies to二次逼近化简为：

$$E(u,v)\approx \left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$$

where M is a second moment matrix computed from image derivatives其中M是由图像导数计算的二阶矩矩阵：

$$M=\sum _{x,y}w(x,y)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$$

忽略权重 $w(x,y)$ ：

$$M=\left[\begin{array}{cc}\sum I_x{I}_x& \sum I_x{I}_y\\ \sum I_x{I}_y& \sum I_y{I}_y\end{array}\right]=\sum \left[\begin{array}{c}{I}_x\\ I_y\end{array}\right]\left[\begin{array}{cc}{I}_x& I_y\end{array}\right]=\sum \nabla I(\nabla I{)}^T$$

类似于决定直线 $y=ax+b$ 的参数为 $(a,b)$ ，决定 $E(u,v)$ 变换的是矩阵 $M$ 。

所以最初的问题，分析 $[u,v]$ 和 $E(u,v)$ 之间的关系，变转换为分析矩阵 $M$ 的特性。

Interpreting the second moment matrix解释二阶矩矩阵

• consider the axis-aligned case (gradients are either horizontal or vertical)考虑轴对齐情况（梯度是水平或垂直）

$$M=\sum _{x,y}w(x,y)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$$

对于垂直方向的边，梯度是水平的，也就是 $I_y=0$ ，此时 $E(u,v)=I_x^2{u}^2$。
对于水平方向的边，梯度是垂直的，也就是 $I_x=0$ ，此时 $E(u,v)=I_y^2{v}^2$。

• 背景知识

$$E(u,v)\approx \left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$$

由上面的形式可知，$E(u,v)$ 的近似值是一个二次型 $E(u,v)=X^{T}MX$。对应一个二次曲面：

现在考虑将其化为标准型 $E(u,v)=d_1{u}^2+d_2{v}^2$。

定理：对任一实对称矩阵 $A$ ，均存在正交矩阵 $C$ ，使得：
$$C^{T}AC=C^{-1}AC=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]$$

• 二阶矩矩阵 $M$ 是实对称矩阵，一定可以相似对角化：Diagonalization of M

$$M=R^{-1}\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]R$$

$$M=\sum _{x,y}w(x,y)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]=\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]$$

从而使得：标准型 $E(u,v)={\lambda }_1{u}^2+{\lambda }_2{v}^2$。

• 再回头看梯度是水平或垂直的情况：

If either $\lambda$ is close to 0, then this is not a corner, so look for locations where both are large.如果任意一个 $\lambda$ 都接近于0，那么这就不是角点，所以寻找两个 $\lambda$ 大的位置。

• Consider a horizontal “slice” of E(u, v)考虑E(u, v)的水平“切片”

$$E(u,v)=\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]={\lambda }_1{u}^2+{\lambda }_2{v}^2=const$$

This is the equation of an ellipse. ${\lambda }_1{u}^2+{\lambda }_2{v}^2=const$

Diagonalization of M：

$$M=R^{-1}\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]R$$

The axis lengths of the ellipse are determined by the eigenvalues and the orientation is determined by R 椭圆的轴线长度由特征值决定，方向由R决定

$\lambda$ 越大（梯度变换越大），对应的轴长越短。
$\lambda$ 大，对应短轴，梯度变换快。$\lambda$ 小，对应长轴，梯度变换慢。

• Visualization of second moment matrices可视化二阶矩矩阵

下面每个椭圆对应着对应位置的二阶矩矩阵，可以发现，椭圆的短轴对应梯度变化快的方向，对应的矩阵的特征值小。

Interpreting the eigenvalues解释特征值

由上面可知根据对角化的二阶矩矩阵 $M$：
$$M=R^{-1}\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]R$$
椭圆的轴线长度由特征值决定，方向由R决定。

因此最初的问题，分析 $[u,v]$ 和 $E(u,v)$ 之间的关系，变转换为分析矩阵 $M$ 的特性，再次转变为分析二阶矩矩阵 $M$ 的特征值 ${\lambda }_1$ 和 ${\lambda }_2$ 。

Classification of image points using eigenvalues of M:利用M的特征值对图像点进行分类：

使用 ${\lambda }_1$ 和 ${\lambda }_2$ 对门限阈值进行比较比较麻烦，便提出下面 参数$R$ 比较阈值：
$$R=\text{det}(M)-\alpha [\text{trace}(M){]}^2={\lambda }_1{\lambda }_2-\alpha ({\lambda }_1+{\lambda }_2{)}^2$$
其中 $\alpha$ 为 0.04 到 0.06 的常量。

Harris detector：Steps Harris角点检测步骤

• 1.Compute Gaussian derivatives at each pixel计算每个像素点处的高斯偏导，得到 $I_x$ 和 $I_y$ 。
• 2.Compute second moment matrix M in a Gaussian window around each pixel在每个像素周围的高斯窗口中计算二阶矩矩阵M。
• 3.Compute corner response function R计算角点响应函数R。
• 4.Threshold R对R进行阈值处理。
• 5.Find local maxima of response function (nonmaximum suppression) 求响应函数的局部最大值（非最大化抑制）。

原图：

计算角点响应值R：

找出角点响应大的点：R>threshold

Take only the points of local maxima of R只取R的局部最大值的点

放在原图中：

Invariance and covariance

We want corner locations to be invariant to photometric transformations and covariant to geometric transformations我们希望角点的位置对光度变换是不变的，对几何变换是协变的

• Invariance: image is transformed and corner locations do not change 不变性:图像变换后，角点位置不变。
• Covariance: if we have two transformed versions of the same image, features should be detected in corresponding locations 协变:如果我们有同一图像的两个变换版本，应该在相应的位置检测特征。

设 $I$ 是原图，$F$ 是提取角点的函数，$T$ 是光照变换，$R$ 是位置的仿射变换，则有 $F(T(I))=F(I)$ 和 $F(R(I))=R^{\prime }(F(I))$ ，其中 $R^{\prime }$ 也是一个位置的仿射变换。

总之，我们希望光照改变对应不变性，仿射变换等对应协变性。

---

Affine intensity change仿射强度变换： 光照改变对应invariance。

• 计算 $R$ 时使用二阶矩矩阵 $M$ 的特征值计算，而 $M$ 仅使用图像的梯度进行计算，因此对于invariance to intensity shift强度平移的不变性：$I\to I+b$。
• Intensity scaling强度缩放：$I\to aI$。导数也会对应的增大 $a$ 倍，在threshold不变的情况下，原来的 $R$ 在 threshold 下的，可能会超过阈值。

Partially invariant to affine intensity change对仿射强度变化部分不变。指的是上图中的三个红点，在进行变换前后部分角点同样被检测出来。

---

Image translation/rotation：图像平移和旋转

• Corner location is covariant w.r.t. translation角点位置是协变的关于平移。

Derivatives and window function are shift-invariant导数和窗口函数是平移不变的

• Corner location is covariant w.r.t. rotation角点位置是协变的关于旋转。

Second moment ellipse rotates but its shape (i.e. eigenvalues) remains the same第二矩椭圆旋转，但其形状 (即特征值)保持不变

w.r.t：with respect to，关于、谈到、涉及。

i.e.：id est的缩写，等同于、即、换句话说。

a.k.a.：also known as，又叫做，亦称为，也就是。

---

• Corner location is not covariant to scaling角点的位置不随缩放而协变