DLT 直接线性变换

对于单应变换$x_i^{\prime }=H{x}_i$，易知两图中对应的特征点，如何找出所需要的$H$​，为了解决这个问题，可以采用DLT算法

原理

其中采用Least Squares Error去拟合

其中目标是获得最佳参数：使得误差平方最小的参数
$$\hat{\mathbf{p}}=\arg \underset{\mathbf{p}}{\min }\sum _i\Vert \mathbf{f}({\mathbf{x}}_i;\mathbf{p})-{\mathbf{x}}_i^{\prime }{\Vert }^2$$
单应变换
$$f(x;p)=H\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
即
$$\begin{array}{rl}\left[\begin{array}{c}{x}_i^{\prime }\\ y_i^{\prime }\\ 1\end{array}\right]& =\lambda \left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]\\ x_i^{\prime }& =\lambda (h_{11}{x}_i+h_{12}{y}_i+h_{13})\\ y_i^{\prime }& =\lambda (h_{21}{x}_i+h_{22}{y}_i+h_{23})\\ 1& =\lambda (h_{31}{x}_i+h_{32}{y}_i+h_{33})\end{array}$$
其中$\lambda$为缩放因子，消去可得
$$\begin{gathered} x_i^{\prime }(h_{31}{x}_i+h_{32}{y}_i+h_{33})=h_{11}{x}_i+h_{12}{y}_i+h_{13} \\ {y}_i^{\prime }(h_{31}{x}_i+h_{32}{y}_i+h_{33})=h_{21}{x}_i+h_{22}{y}_i+h_{23} \end{gathered}$$
即
$$\left[\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -x_i^{\prime }{x}_i& -x_i^{\prime }{y}_i& -x_i^{\prime }\\ 0& 0& 0& x_i& y_i& 1& -y_i^{\prime }{x}_i& -y_i^{\prime }{y}_i& -y_i^{\prime }\end{array}\right]\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$
这只是一个匹配点，扩展到多个匹配点
$$\left[\begin{array}{ccccccccc}{x}_1& y_1& 1& 0& 0& 0& -x_1^{\prime }{x}_1& -x_1^{\prime }{y}_1& -x_1^{\prime }\\ 0& 0& 0& x_1& y_1& 1& -y_1^{\prime }{x}_1& -y_1^{\prime }{y}_1& -y_1^{\prime }\\ & & & & ⋮& & & & \\ x_n& y_n& 1& 0& 0& 0& -x_n^{\prime }{x}_n& -x_n^{\prime }{y}_n& -x_n^{\prime }\\ 0& 0& 0& x_n& y_n& 1& -y_n^{\prime }{x}_n& -y_n^{\prime }{y}_n& -y_n^{\prime }\end{array}\right]\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\\ h_{33}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$
其中将矩阵$\left[\begin{array}{ccccccccc}{x}_1& y_1& 1& 0& 0& 0& -x_1^{\prime }{x}_1& -x_1^{\prime }{y}_1& -x_1^{\prime }\\ 0& 0& 0& x_1& y_1& 1& -y_1^{\prime }{x}_1& -y_1^{\prime }{y}_1& -y_1^{\prime }\\ & & & & ⋮& & & & \\ x_n& y_n& 1& 0& 0& 0& -x_n^{\prime }{x}_n& -x_n^{\prime }{y}_n& -x_n^{\prime }\\ 0& 0& 0& x_n& y_n& 1& -y_n^{\prime }{x}_n& -y_n^{\prime }{y}_n& -y_n^{\prime }\end{array}\right]$记为A，矩阵$\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\\ h_{33}\end{array}\right]$记为h。

定义最小二乘问题：最小$\Vert Ah{\Vert }^2$

• 由于$h$差一个缩放因子，因此增加约束$\Vert h\Vert =1$
• 解：$\hat{h}$ 为$A^{\mathrm{T}}A$的最小特征值对应的特征向量
• 需要4对以上的对应点 $(n\ge 4$,任意3点不共线)

最小$\Vert Ah{\Vert }^2$,满足约束：$\Vert h\Vert =1$ 采用拉格朗日乘子法，拉格朗日函数为：
$$L(h,\lambda )=h^{\mathrm{T}}{A}^{\mathrm{T}}Ah-\lambda (h^{\mathrm{T}}h-1)$$
$L(h,\lambda )$求偏导并等于0

$\frac{\partial L(h,\lambda )}{\partial h}=(A^{\mathrm{T}}Ah+A{A}^{\mathrm{T}})h-2\lambda h=2A^{\mathrm{T}}Ah-2\lambda h=0$

得到：$A^{\mathrm{T}}Ah=\lambda h$

所以，$h$为矩阵$A^{\mathrm{T}}A$的特征值，亦为A的SVD中$U\Sigma V^{\mathrm{T}}$的$V$

步骤

给定两幅图像中特征点对的齐次坐标$x_i=(x_i,y_i,1)$、 $x_i^{\prime }=(x_i^{\prime },y_i^{\prime },1)$, 计算$H$, 使得$x_i^{\prime }=H{x}_i$

1. 计算矩阵A
2. 计算$A$的特征值分解：$A=UD{V}^{\mathrm{T}}$
3. 保留$A$最小的特征值对应的特征向量$\upsilon$至 $h$
4. 将$h$写成矩阵形式$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]$

DLT只对线性变换有效。

归一化的DLT

因为DLT算法不具备相似不变性

证明：

设第一次单应矩阵估计的结果为：$x_{dst}=H{x}_{src}$
对两张图像分别进行相似变换$T$并重新进行单应性估计
$$\begin{array}{rl}& T_{dst}{x}_{dst}=H^{\prime }(T_{src}{x}_{src})\\ & \Rightarrow x_{dst}=T_{dst}^{-1}H{T}_{src}{x}_{src}\end{array}$$

一般情况下，$H\ne T_{dst}^{-1}H{T}_{src}$

DLT算法无法抵抗相似变换的干扰

为了解决这个问题，所以提出了归一化的DLT算法，其思想是：计算一个只包含平移和带缩放的相似变换$T$, 使得归一化后的原点位于(0,0),所有点到原点的平均距离为$\sqrt{2}$
$$\tilde{\mathbf{x}}=\left[\begin{array}{c}{\tilde{x}}_i\\ {\tilde{y}}_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}s& 0& t_x\\ 0& s& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$$
其中满足
$$\{\begin{array}{l}\frac{1}{N}{\sum }_{i=1}^N{\tilde{x}}_i=\frac{1}{N}{\sum }_{i=1}^N(s{x}_i+t_x)=0\\ \frac{1}{N}{\sum }_{i=1}^N{\tilde{y}}_i=\frac{1}{N}{\sum }_{i=1}^N(s{y}_i+t_y)=0\\ \frac{1}{N}{\sum }_{i=1}^N({\tilde{x}}_i^2+{\tilde{y}}_i^2)=2\end{array}⟹\{\begin{array}{l}{t}_x=-\frac{s}{N}{\sum }_{i=1}^N{x}_i=-s\bar{x}\\ t_y=-\frac{s}{N}{\sum }_{i=1}^N{y}_i=-s\bar{y}\\ s=\frac{1}{N}{\sum }_{i=1}^N({\tilde{x}}_i^2+{\tilde{y}}_i^2)=\frac{1}{N}{\sum }_{i=1}^N((x_i-\bar{x}{)}^2+(y_i-\bar{y}{)}^2)\end{array}$$
反归一：
$$\begin{array}{rl}& H=T^{\prime -1}\tilde{H}T,\\ & x_i^{\prime }=H{x}_i\\ & \tilde{x}=Tx,{\tilde{x}}_i^{\prime }=T^{\prime }{x}_i^{\prime }\end{array}$$