成像

成像过程：三维空间坐标到二维图像坐标的变换

相机矩阵：建立三维到二维的投影关系

相机的使用步骤（模型-视图变换）：

（1）视图变换

（2）模型变换

（3）投影变换

（4）视口变换

相机的参数：含内参(intrinsics)、外参(extrinsics)、畸变系数(distortion coefficients)

相机内参矩阵

【1】针孔成像

障碍物滤除大多数的辐射线后，通过小孔成像。

即通过光圈孔径成像。

【2】相机模型基础

•针孔成像模型（Pinhole camera model）

•正射投影(Orthographic projection)

•缩放投影(Scaled orthographic projection)

•平行透视(Paraperspective projection)

•透视投影(Perspective projection)

【3】相机内参推演

内参矩阵：将3D相机坐标变换到2D齐次图像坐标

【4】相机内参矩阵计算

（1）焦距：从像素到世界单元

内参矩阵只关心相机坐标和图像坐标之间的关系，与相机的绝对尺寸无关

（2）2D变换中的相机内参的计算

方式一：将内参矩阵分解分别对应焦距、主点偏移、轴倾斜

方式二：将内参矩阵分解分别对应主点偏移、轴倾斜、焦距

内参不影响可见性——阻隔对象

在图像空间中无法通过简单的2D变换显示出来

相机外参矩阵

【1】相机外参导论

透视投影或立体投影

相机外参矩阵：世界坐标系到相机坐标系的刚体变换

旋转和平移来描述物体相对于相机坐标系统的相对姿态

世界坐标系与相机坐标系之间的关系可以用旋转矩阵 R 和平移向量 t 来描述

（1）平移矩阵

（2）旋转矩阵

外参矩阵以刚体变换矩阵的形式：旋转矩阵 + 平移列向量

【2】相机外参求解

相机姿态的变换矩阵 (Rc |C)

        描述相机中心在世界坐标系中的位置的 向量 C 

        相机在世界坐标系旋转到当前姿态需要的 旋转矩阵 Rc

外参矩阵 是 相机姿态矩阵的逆

结合相机内参+外参：

镜头畸变

镜头畸变：透镜由于制造精度以及组装工艺的偏差会引入畸变，导致原始图像的失真

分类：径向畸变和切向畸变

        一共有5个畸变参数：k1、k2、k3、p1、p2

（1）径向畸变

沿着透镜半径方向分布的畸变

主要包括：枕形畸变和桶形畸变

调节公式：

（2）切向畸变

透镜本身与相机传感器平面（成像平面）或 图像平面不平行

相机模型参数归纳

相机中四个坐标系：{world}，{camera}，{image}，{pixel}

【1】从{world}到{camera}

【2】从{camera}到{image}

【3】从{image}到{pixel}

【4】从{world}到{pixel}四个坐标系的变换过程

镜头畸变：

16个单目相机的参数：

（1）10个内部参数

（2）6个外部参数