SLAM PnP问题以及相关基础知识

目标泛函

目标泛函是在优化问题中使用的一种数学工具，目标泛函是一个函数，它将一个或多个函数映射到一个实数。它常用于描述需要最小化或最大化的函数。在优化问题中，我们通常希望找到使得某个特定函数取得最大值或最小值的变量值。目标泛函可以帮助我们形式化地表达这些优化目标，并通过数学方法来寻找最优解。

例如，在最小二乘法中，目标泛函是一个关于模型参数的函数，我们希望通过调整参数来最小化目标泛函。在变分问题中，目标泛函是一个关于函数的函数，我们希望找到一个函数，使得目标泛函取得最小值。

图像的向下采样

图像的向下采样是指将图像在水平和垂直方向上按照一定的比例进行缩小。这可以通过减少图像中的像素来实现。

特征点提取与检测步骤

SLAM（Simultaneous Localization and Mapping）的特征点提取与检测步骤通常包括以下几个关键步骤：

图像获取：首先，需要从传感器（如摄像头、激光雷达）中获取图像数据。这些图像将用于后续的特征点提取和SLAM过程。
预处理：对图像进行必要的预处理，如去畸变、降噪等，以便更好地提取特征点。
特征点提取：利用特定的算法（如Harris角点检测、SIFT、SURF、ORB等）从图像中提取出具有显著特征的点。这些特征点通常具有旋转不变性和尺度不变性。
特征点描述：对提取出的特征点进行描述，通常使用特征描述子（如SIFT描述子、SURF描述子、ORB描述子等）来描述特征点的局部外观特征。
特征点匹配：在不同帧之间或者在同一帧的不同时间点之间，进行特征点匹配，以确定它们的对应关系。常用的匹配算法有基于光流的方法、基于特征描述子的方法等

SLAM中的求解PnP问题的特殊情况（P3P）

PnP问题：求解3D点到2D点对运动的情况，他描述了知道n个3D空间点及其投影位置如何估计相机的位姿。

P3P（高翔SLAM183页）最终目的：估计出相机的运动姿态（R，t）

大致流程图如下：

问题：SLAM中李群与李代数的具体用途？

答：将相机的位姿表示成变换矩阵T，那么在假设的世界坐标系中的一个空间点P，通过相机产生对应于该空间点的一个观测数据Z，Z=T*P+noise，e = Z-T*P,其中e是T的函数，即e=f(T),通过建立整体误差最小化

求解此问题，就是求目标函数J对于变换矩阵T的导数。但是旋转矩阵加法不封闭使得变换矩阵T对于加法不封闭，所以需要将变换矩阵T在SE(3)空间中的映射转换成李代数se(3)，转换后的李代数是一个向量对加法封闭，最终通过对李代数求导间接得到对于变换矩阵T的求导结果。

问题：李群如何理解？

答：群就是一种几何加上一种算法的代数结构。群的性质包括：封闭性、结合律、幺元、逆。
群的举例：旋转矩阵与乘法就构成了一种旋转矩阵群（满足封闭性）。但是旋转矩阵和加法就不能构成群。
因为旋转矩阵满足约束：

但是如果两个旋转矩阵R1+R2的结果就不能满足上述约束，但是R1*R2满足，因此（R1*R2,*）满足群。幺元是单位矩阵I，也有逆矩阵满足R乘以R的逆等于幺元（单位阵）。
特殊正交群SO(3)是旋转矩阵群，特殊欧式群SE(3)是变换矩阵群。
李群的定义是连续光滑的群，如SO(3)，其可以绕着空间某个点连续旋转，所以SO(3)是李群。
同样，对于某个点，可以一边连续旋转一边移动，同样也是连续光滑的运动，因此变换矩阵SE(3)也是李群

问题：李代数和李群的关系？

答：相机在三维空间中做连续旋转变换，SLAM使我们优化求解相机的最佳位姿（变换矩阵T），优化的方法一般采用迭代优化的方法，每次迭代更新一个位姿的增量，使得目标函数最小化，这个增量就是通过对e=J(T)的误差函数对T(变换矩阵)求微分得到的。
最重要的一点：李代数对应于李群的正切空间，描述了李群局部的导数。（因此可以用李代数代表李群的局部导数）

将φ在原点t=0附近一阶泰勒展开，我们看到这个向量φ=（φ1，φ2，φ3）反应了R的导数性质，故称它在SO(3)上的原点 φ0 附近的正切空间上。李代数so(3)是三维向量φ的集合，每个向量φi的反对称矩阵都可以表达李群(大SO(3))上旋转矩阵R的导数，R和φ是一个指数映射关系。
因此可以有这层关系：在李群空间的任意一个旋转矩阵R都可以利用李代数空间的一个向量φ的反对称矩阵的指数来近似。

小so(3)的李代数空间就是由旋转向量组成的的空间，其物体意义就是旋转向量。而前面结论二中的指数映射关系就是罗德里格斯公式，他们在数学上本质是一样的。

罗德里格斯公式是表示从旋转向量到旋转矩阵的转换过程的。