照相机的成像变换

1 变换过程

照相机的成像变换过程可以分为3步：世界坐标系——>相机坐标系——>图像坐标系——>像素坐标系

2 世界坐标系——>相机坐标系

景物从世界坐标系转换到相机坐标系需要使用到刚体变换（物体不发生变形，对一个几何物体做旋转或平移）

刚体变换如下图所示：

变换的数学表达式为：

简化：

其中， $\mathbf{X_c, Y_c, Z_c}$ 代表相机坐标系， $\mathbf{X, Y, Z}$ 代表世界坐标系，

矩阵 $\mathbf{R}$ 代表旋转变换，向量 $\mathbf{t}$ 代表平移。 $\mathbf{R, t}$ 称为相机的外参数，与相机无关。

旋转变换由3种变换组成：绕 x 轴旋转，绕 y 轴旋转和绕 z 轴旋转，用公式表示为：

$\mathbf{R}=\mathbf{r_1*r_2*r_3}$

其中 $\mathbf{r_1, r_2, r_3}$ 分别表示绕 x 轴旋转，绕 y 轴旋转和绕 z 轴旋转的旋转矩阵。

3 相机坐标系——>图像坐标

此变换通过小孔成像实现，其原理如下图所示：

简化其投影过程，

已知位于相机坐标系的一个点 $P=(x, y, z)$ , 投影到图像的点 $P'=(x', y')$ ，由相似三角形：

可得：

用矩阵表示：

$z\begin{bmatrix} x'\\ y' \\ \end{bmatrix}=\begin{bmatrix} f & 0& 0&0 \\ 0& f& 0& 0\\ 0& 0& 1& 0 \end{bmatrix}\begin{bmatrix} x\\ y \\ z \\ 1 \end{bmatrix}$

4 图像坐标系——>像素坐标系

下方图像标注了两种坐标系：

$O_1-xy$ 表示图像坐标系，其坐标是连续的；

$O_0-uv$ 代表像素坐标系，其坐标只能是大于零的整数，中心像素点的坐标为 $(u_0, v_0)$ ，

每一个像素点的长宽为：dx, dy，即为感光芯片上像素的实际大小。

从图像坐标系到像素坐标系的变换公式为：

用矩阵表示：

5 相机坐标系——>像素坐标系

综合3和4两部分，隐去图像坐标系，直接求取从相机坐标系到像素坐标系的变换矩阵

$z\begin{bmatrix} u\\ v \\ 1 \end{bmatrix}=\begin{bmatrix} \frac{1}{dx} & 0 & u_0 \\ 0& \frac{1}{dy} & v_0 \\ 0& 0 & 1 \end{bmatrix}\begin{bmatrix} f & 0& 0 &0 \\ 0& f& 0& 0\\ 0& 0& 1& 0 \end{bmatrix}\begin{bmatrix} x\\y \\ z \\ 1 \end{bmatrix}$

为了去掉z,转换为其次矩阵

$\begin{bmatrix} u\\ v \\ z \end{bmatrix}=\begin{bmatrix} \frac{1}{dx} & 0 & u_0 \\ 0& \frac{1}{dy} & v_0 \\ 0& 0 & 1 \end{bmatrix}\begin{bmatrix} f & 0& 0 &0 \\ 0& f& 0& 0\\ 0& 0& 1& 0 \end{bmatrix}\begin{bmatrix} x\\y \\ z \\ 1 \end{bmatrix}\\$

简化：

$P'=\begin{bmatrix} u\\ v \\ z \end{bmatrix}=\begin{bmatrix}\alpha & 0 & u_0&0 \\ 0& \beta & v_0&0 \\ 0& 0 & 1&0 \end{bmatrix}\begin{bmatrix} x\\y \\ z \\ 1 \end{bmatrix}\\=MP=\begin{bmatrix}\alpha & 0 & u_0 \\ 0& \beta & v_0\\ 0& 0 & 1 \end{bmatrix}\begin{bmatrix} \mathbf{I} & \mathbf{0} \end{bmatrix}P=\mathbf{K}\begin{bmatrix} \mathbf{I} & \mathbf{0} \end{bmatrix}P$