opencv projectPoints函数 computeCorrespondEpilines函数 undistortPoints函数

opencv projectPoints函数

cv::projectPoints 是 OpenCV 中用于将三维点投影到二维图像平面的函数。它通常用于计算在相机坐标系下的三维点在图像坐标系中的位置，考虑了相机的内参和外参。

函数原型

void cv::projectPoints(InputArray objectPoints,InputArray rvec,InputArray tvec,InputArray cameraMatrix,InputArray distCoeffs,OutputArray imagePoints,OutputArray jacobian = noArray()
);

参数说明

objectPoints: 输入的三维点集合，通常是一个 nx3 的矩阵，表示 n 个三维点。
rvec: 旋转向量，描述相机的旋转。可以使用 Rodrigues 变换来从旋转矩阵转换为旋转向量。
tvec: 平移向量，描述相机的位置。
cameraMatrix: 相机内参矩阵，包含焦距和主点位置。
distCoeffs: 相机的畸变系数，通常是一个长度为 5 或 8 的向量。
imagePoints: 输出的二维点集合，函数将计算的图像坐标保存在这个参数中。
jacobian: 可选的输出参数，保存雅可比矩阵。

使用示例

以下是一个简单的示例，展示如何使用 cv::projectPoints 函数：

#include <opencv2/opencv.hpp>
#include <iostream>int main() {// 定义三维点std::vector<cv::Point3f> objectPoints = {{0.0f, 0.0f, 0.0f},{1.0f, 0.0f, 0.0f},{0.0f, 1.0f, 0.0f},{1.0f, 1.0f, 0.0f}};// 定义相机内参矩阵cv::Mat cameraMatrix = (cv::Mat_<double>(3, 3) << 800, 0, 320,0, 800, 240,0, 0, 1);// 定义相机畸变系数cv::Mat distCoeffs = (cv::Mat_<double>(5, 1) << 0, 0, 0, 0, 0);// 定义旋转向量和位移向量cv::Mat rvec = (cv::Mat_<double>(3, 1) << 0, 0, 0); // 无旋转cv::Mat tvec = (cv::Mat_<double>(3, 1) << 0, 0, 5); // 向前移动5个单位// 输出二维点std::vector<cv::Point2f> imagePoints;// 使用 projectPoints 函数cv::projectPoints(objectPoints, rvec, tvec, cameraMatrix, distCoeffs, imagePoints);// 输出结果for (size_t i = 0; i < imagePoints.size(); ++i) {std::cout << "3D Point: " << objectPoints[i] << " -> 2D Point: " << imagePoints[i] << std::endl;}return 0;
}

代码说明

定义三维点：创建一个包含多个三维点的向量。
设置相机内参和畸变系数：定义一个相机内参矩阵和畸变系数。
定义旋转和位移向量：设置相机的旋转和位移。
调用 projectPoints：将三维点投影到图像平面，计算出对应的二维点。
输出结果：打印出每个三维点及其对应的二维投影。

总结

cv::projectPoints 是一个强大的工具，可以用于各种计算机视觉应用，如相机标定、三维重建等。通过正确设置相机参数和三维点，可以方便地将三维信息映射到二维图像中。

computeCorrespondEpilines函数

cv::computeCorrespondEpilines 函数在 OpenCV 中用于计算对应点的极线。这在立体视觉中非常重要，因为它可以帮助我们确定一对立体图像中对应点的匹配关系。

函数原型

void cv::computeCorrespondEpilines(InputArray points,int mode,InputArray F,OutputArray lines
);

参数说明

points: 输入的点集，可以是 2D 点的集合。对于单个图像中的点，格式应为 (N \times 1 \times 2) 或 (N \times 2)。
mode: 模式参数，指定输入点的来源。可以是以下值：
- 1: 表示输入点来自第一幅图像。
- 2: 表示输入点来自第二幅图像。
F: 基本矩阵（Fundamental Matrix），用于描述两个相机视图之间的几何关系。
lines: 输出的极线，每个点对应一条极线。格式是 (N \times 1 \times 3) 或 (N \times 3)。

示例代码

以下是一个使用 computeCorrespondEpilines 的示例：

#include <opencv2/opencv.hpp>
#include <iostream>int main() {// 定义一组点，假设这些点来自第一幅图像std::vector<cv::Point2f> points1 = { {100, 150}, {200, 250}, {300, 350} };// 基本矩阵 F，假设已知cv::Mat F = (cv::Mat_<double>(3, 3) << 0, 0, -0.1, 0, 0, -0.2, 0.1, 0.2, 1);// 计算对应的极线cv::Mat lines1;cv::computeCorrespondEpilines(points1, 1, F, lines1);// 打印极线for (int i = 0; i < lines1.rows; ++i) {double a = lines1.at<double>(i, 0);double b = lines1.at<double>(i, 1);double c = lines1.at<double>(i, 2);std::cout << "Line " << i + 1 << ": " << a << "x + " << b << "y + " << c << " = 0" << std::endl;}return 0;
}

代码解析

输入点: 定义一组点，这些点通常是从第一幅图像中提取的。
基本矩阵: 定义已知的基本矩阵 (F)。
计算极线: 使用 computeCorrespondEpilines 函数计算极线，将结果存储在 lines1 中。
输出极线: 打印计算出的极线方程。

注意事项

基本矩阵: 基本矩阵 (F) 可以通过立体标定过程获得，通常需要在相机标定和特征匹配之后计算。
点的格式: 确保输入点的格式正确，符合函数要求。
模式参数: 根据输入点的来源设置适当的模式参数（1 或 2）。

总结

computeCorrespondEpilines 是一个非常有用的函数，它可以帮助在立体视觉中确定点对应的极线，从而在后续的匹配和重建过程中发挥重要作用。通过正确使用基本矩阵和输入点，可以有效地计算出所需的极线。

极线

在立体视觉和计算机视觉中，极线（epipolar lines）是一个重要的概念，主要用于描述两个相机视图之间的几何关系。以下是极线的含义和作用：

极线的定义

极点和极线:
- 在立体视觉中，两个相机的视点分别称为左视点和右视点。如果你在左视图中选择一个点，则在右视图中，该点的对应点必定位于一条特定的直线上，这条直线称为极线。
- 对于左视图中的每个点，都有一条与之对应的极线在右视图中；反之亦然。
极线的几何意义:
- 极线是由相机的视点（即相机的光心）和对应点在另一幅图像中的位置共同决定的。极线的方程可以用基本矩阵（Fundamental Matrix）来表示。

极线的作用

简化匹配:
- 由于对应点必须位于极线上的特性，极线大大简化了点匹配的过程。在进行立体匹配时，只需在极线上查找可能的对应点，而不需要在整幅图像中搜索，从而提高计算效率。
约束条件:
- 极线提供了几何约束，允许我们在立体图像中进行更精确的点匹配。这种约束有助于减少误匹配的可能性，提高深度估计的准确性。
三维重建:
- 通过找到图像中的对应点并计算其极线，可以实现三维重建。通过三角测量，利用两个相机的视点和对应点的位置，可以计算出物体在三维空间中的位置。

总结

在立体视觉中，极线是相机视图之间的几何关系的关键，它简化了对应点的匹配问题，提供了约束条件，并在三维重建中发挥重要作用。理解极线的概念是进行立体视觉分析和应用的基础。

opencv undistortPoints函数

在 OpenCV 中，undistortPoints 函数用于将畸变的图像点转换为未畸变的点。这个函数特别有用在相机标定后，校正图像中的点以消除镜头畸变。

函数原型

void cv::undistortPoints(InputArray src, OutputArray dst, InputArray cameraMatrix, InputArray distCoeffs, InputArray R = noArray(), InputArray P = noArray()
);

参数说明

src: 输入的畸变点，通常是一个 (N \times 1 \times 2) 或 (N \times 2) 的矩阵，表示图像中的点。
dst: 输出的未畸变点，格式与 src 相同。
cameraMatrix: 相机内参矩阵，包含焦距和主点坐标。
distCoeffs: 畸变系数，包括径向和切向畸变系数。
R: 可选参数，表示旋转矩阵。如果没有提供，默认为单位矩阵。
P: 可选参数，表示新的相机内参矩阵。如果没有提供，默认为与 cameraMatrix 相同的矩阵。

示例代码

以下是一个使用 undistortPoints 的示例：

#include <opencv2/opencv.hpp>
#include <vector>int main() {// 相机内参矩阵cv::Mat cameraMatrix = (cv::Mat_<double>(3, 3) << 1000, 0, 320,0, 1000, 240,0, 0, 1);// 畸变系数cv::Mat distCoeffs = (cv::Mat_<double>(5, 1) << 0.1, -0.05, 0, 0, 0);// 输入的畸变点std::vector<cv::Point2f> distortedPoints = { {100, 100}, {150, 150}, {200, 200} };// 输出的未畸变点std::vector<cv::Point2f> undistortedPoints;// 使用 undistortPoints 函数cv::undistortPoints(distortedPoints, undistortedPoints, cameraMatrix, distCoeffs);// 打印未畸变的点for (const auto& point : undistortedPoints) {std::cout << "Undistorted Point: (" << point.x << ", " << point.y << ")\n";}return 0;
}