相机标定学习记录

相机标定是计算机视觉和机器视觉领域中的一项基本技术,它的主要目的是通过获取相机的内部参数(内参)和外部参数(外参),以及镜头畸变参数,建立起现实世界中的点与相机成像平面上对应像素点之间准确的位置关系。

基本原理

相机标定的基本原理是通过一系列的数学变换和几何模型,将现实世界中的三维坐标点(世界坐标系)转换为相机成像平面上的二维坐标点(图像坐标系)。

坐标系转换
  1. 世界坐标系:现实世界中的点用三维坐标表示。
  2. 相机坐标系:以相机光心为原点的三维坐标系。
  3. 成像平面坐标系(图像坐标系):在相机坐标系中,通过成像平面上的点来表示图像中的点。
  4. 像素坐标系:在成像平面坐标系的基础上,进一步考虑像素的尺寸,以像素为单位。
数学模型

相机标定的数学模型通常基于小孔成像模型。该模型假设光线是直线,且相机内没有畸变。

一个典型的相机标定过程包括以下步骤:

  1. 建立几何关系:使用一个已知尺寸的标定板(如棋盘格)放置在相机前不同的位置和角度,获取多个视角的图像。
  2. 特征提取:从每个图像中提取出标定板的角点,这些角点在标定板上的位置是已知的(世界坐标系)
  3. 坐标转换:利用相机的内参(焦距、主点等)和外参(相机相对于标定板的位置和方向),以及畸变参数,将世界坐标系中的点转换为像素坐标系中的点
  4. 参数估计:通过最小化重投影误差实际图像点与通过模型计算得到的图像点之间的差异),使用优化算法(如最小二乘法)来求解相机参数。

相机参数

  • 内参:焦距(f)、主点(c_x, c_y)、成像平面与相机坐标系之间的比例因子(s)。
  • 外参:描述相机在世界坐标系中的位置和方向,由旋转矩阵(R)和平移向量(t)组成。
  • 畸变参数:由于镜头制造和安装的原因,实际成像与理想成像存在偏差,这包括径向畸变(k_1, k_2, k_3)和切向畸变(p_1, p_2)。

标定的目的

  • 畸变校正:通过校正镜头畸变,生成更接近真实世界的图像。
  • 三维重建:在已知相机参数的情况下,可以从多个图像中重构出物体的三维结构。

步骤

1. 准备标定板
  • 标定板:通常使用具有明显特征的图案,如黑白相间的棋盘格或圆点图案。
  • 尺寸:标定板的实际尺寸需要已知,以便于后续转换计算。
2. 拍摄标定图像
  • 使用相机拍摄多张标定板在不同角度和位置的照片。确保标定板在每张照片中至少有一部分是可见的。
3. 特征提取
  • 从每个图像中提取标定板的特征点(如棋盘格的角点)。
4. 建立世界坐标系与图像坐标系的关系
  • 世界坐标系:假设标定板平面为世界坐标系的XOY平面,标定板上的点可以精确测量。
举例

假设我们有一个10x7的棋盘格,每个格子的大小是1cm x 1cm。

  • 世界坐标系:以棋盘格的左上角为原点(0,0,0),每个格子的角点可以按照厘米给出坐标。
5. 相机参数初始化
  • 首先需要估计相机参数的初始值,这可以通过一些基本假设来完成,例如假设相机的焦距、主点位于图像中心等。
6. 参数优化
  • 使用最小化重投影误差的方法(如张氏标定法、Levenberg-Marquardt算法等)来优化相机参数。
  • 重投影误差是指实际观察到的图像点与通过当前相机参数计算得到的图像点之间的差异。
7. 畸变校正
  • 一旦获得了相机的内参和畸变参数,就可以对图像进行畸变校正。
举例
  • 假设相机由于镜头原因产生了径向畸变,我们可以通过畸变参数来校正图像,使得图像中的直线看起来更加直线。

张氏标定法

张氏标定法(Zhang's Method)是由张正友博士在1998年提出的一种高效且实用的相机标定方法。该方法使用一个平面棋盘格作为标定图案,通过从不同角度拍摄多张图像来标定相机的内参和外参。以下是张氏标定法的基本步骤:

  1. 准备标定板:使用一个平面棋盘格作为标定图案,棋盘格上的角点坐标是已知的。

  2. 拍摄标定图像:从不同角度和位置拍摄多张标定板的图像。确保标定板在每张图像中至少有一部分是可见的。

  3. 提取角点坐标:从每个图像中提取标定板的角点坐标。这些坐标是图像坐标。

  4. 建立世界坐标系与图像坐标系的关系:假设标定板平面为世界坐标系的XOY平面,标定板上的点可以精确测量。因此,可以建立标定板上的点在世界坐标系和图像坐标系之间的对应关系。

  5. 初始化相机参数:首先估计相机的内参(焦距、主点等)和外参(相机在世界坐标系中的位置和方向)的初始值。

  6. 优化相机参数:使用优化算法(如Levenberg-Marquardt算法)最小化重投影误差,即实际观测到的图像点与通过当前相机参数计算得到的图像点之间的差异。通过多次迭代优化,不断调整相机参数,直到重投影误差最小。

  7. 畸变校正:一旦获得了相机的内参和畸变参数,就可以对图像进行畸变校正。

张氏标定法具有以下优点:

  • 高效:只需使用一个平面棋盘格作为标定图案,拍摄多张图像即可。
  • 实用:不需要精确知道相机与标定板之间的位姿关系,只需从不同角度拍摄图像即可。
  • 精度高:通过优化算法可以精确估计相机的内参和畸变参数。
  • 鲁棒性:对于图像质量、光照条件等变化具有较强的鲁棒性。

因此,张氏标定法被广泛应用于相机标定领域,成为计算机视觉和机器人导航等领域的重要技术。

具体步骤详述

a. 特征提取
  • 使用OpenCV等计算机视觉库,可以检测出棋盘格的角点。
  • 例如,使用OpenCV的findChessboardCorners()函数。
b. 构建映射关系
  • 对于每一张标定图像,提取出的角点在世界坐标系中的位置是已知的。
  • 使用相机内参和外参将这些点映射到图像坐标系。
c. 参数优化
  • 使用优化算法(如OpenCV中的calibrateCamera()函数)来计算相机参数。
  • 这个过程会最小化所有标定图像上的重投影误差。
d. 畸变校正
  • 使用undistort()函数和计算出的内参、畸变参数来校正图像。

通过以上步骤,我们可以获得一个准确的相机模型,这个模型可以用于后续的视觉任务,如三维重建、机器人导航等。相机标定是一个精确且系统的过程,它要求在标定过程中尽可能减少误差,以确保标定结果的准确性。

为什么至少两张图才能测量内参?

相机内参的测量需要至少两张图的原因在于,单个视角的图像无法提供足够的信息来唯一确定相机的内参。以下是详细解释:

  1. 单一视角的局限性:单张图像只能提供一个视角下的信息,无法提供关于相机内参的完整信息。例如,无法确定焦距、主点位置等参数。

  2. 缺乏深度信息单张图像无法提供深度信息,因为缺乏其他视角的比较。这使得无法准确判断图像中点的真实位置和大小。

  3. 几何约束不足:为了准确估计内参,需要多个视角下的图像点来建立几何约束。这些约束有助于确定相机内参,如焦距和主点位置。

  4. 重投影误差最小化:内参的估计通常涉及最小化重投影误差,即实际观测到的图像点与通过内参计算得到的理论图像点之间的差异。这需要多个视角下的图像点来提供足够的数据点。

  5. 非线性优化:内参的估计通常涉及非线性优化过程,这个过程需要多个数据点来稳定和收敛到全局最小值。

  6. 畸变参数估计:畸变参数的估计也需要多个视角,因为畸变会随着图像中的位置变化而变化。

因此,为了准确估计相机的内参,通常需要至少两张图像,从不同视角捕捉同一标定板。这些图像提供了多个视角下的信息,有助于建立几何约束,并最小化重投影误差,从而估计出相机的内参。

为什么一般建议拍很多张来进行标定?

在相机内参标定中,一般建议拍摄多张标定板图像,原因如下:

  1. 提高准确性:更多的图像意味着更多的数据点,这有助于提高内参估计的准确性。每个图像提供了独特的视角,有助于更好地约束内参的估计

  2. 减少噪声影响:单张图像可能受到噪声、光照变化等因素的影响。通过拍摄多张图像,可以从多个视角观察标定板,从而平均这些随机误差,提高标定结果的稳定性。

  3. 增加覆盖范围:多张图像可以提供更全面的覆盖范围,包括标定板的不同部分和不同方向。这有助于捕捉相机的内参在不同条件下的表现。

  4. 改善优化过程:在最小化重投影误差的优化过程中,更多的数据点有助于算法更好地收敛到全局最优解,并减少陷入局部最优解的风险。

  5. 畸变估计:畸变参数的估计尤其需要多张图像,因为畸变会随着图像中的位置变化而变化。多张图像可以提供更多关于畸变的分布信息。

  6. 验证和交叉检验:多张图像可以用来验证和交叉检验标定结果。通过比较不同图像中的标定板点,可以确保内参估计的一致性和准确性。

  7. 鲁棒性:在实际应用中,相机可能会遇到各种不同的场景和光照条件。拍摄多张图像有助于提高标定结果的鲁棒性,使其在各种条件下都能保持准确性。

因此,为了获得更准确、更稳定的相机内参估计,通常建议拍摄多张标定板图像,最好涵盖不同的视角、位置和光照条件。这样可以确保标定结果在实际应用中的有效性和可

从棋盘格--》像素坐标,需要左乘相机外参和内参。

单应性(Homography)变换。可以简单的理解为它用来描述物体在世界坐标系和像素坐标系之间的位置映射关系。对应的变换矩阵称为单应性矩阵。

单应矩阵=相机内参*外参

假设两张图像中的对应点对齐次坐标为(x',y',1)和(x,y,1),单应矩阵H定义为:

由于单应矩阵H包含了||H||=1约束,因此根据线性方程组,8自由度的H我们至少需要4对对应的点才能计算出单应矩阵。 这也回答了前面图像校正中提到的为何至少需要4个点对的根本原因。

但是,以上只是理论推导,在真实的应用场景中,我们计算的点对中都会包含噪声。比如点的位置偏差几个像素,甚至出现特征点对误匹配的现象,如果只使用4个点对来计算单应矩阵,那会出现很大的误差。因此,为了使得计算更精确,一般都会使用远大于4个点对来计算单应矩阵。另外上述方程组采用直接线性解法通常很难得到最优解,所以实际使用中一般会用其他优化方法,如奇异值分解、Levenberg-Marquarat(LM)算法等进行求解。

因为棋盘标定图纸中所有角点的空间坐标是已知的,这些角点对应在拍摄的标定图片中的角点的像素坐标也是已知的,如果我们得到这样的N>=4个匹配点对(越多计算结果越鲁棒),就可以根据LM等优化方法得到其单应矩阵H。

本质上:已经知道多组2D-3D对应点的关系,计算单应矩阵H解从而获取相机内参K,通过最小化重投影误差来获取相机最佳内参。当最后迭代出一个内参K后,不同的2D-3D对应点的重投影误差是不一样的,去掉大的,保留小的,然后继续拍照,重复循环。

参考:

张正友标定法-完整学习笔记-从原理到实战 - 知乎 (zhihu.com)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/782397.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习算法概念介绍

前言 深度学习算法是一类基于人工神经网络的机器学习方法,其核心思想是通过多层次的非线性变换,从数据中学习表示层次特征,从而实现对复杂模式的建模和学习。深度学习算法在图像识别、语音识别、自然语言处理等领域取得了巨大的成功&#xf…

【STM32 HAL库SPI/QSPI协议学习,基于外部Flash读取。】

1、SPI协议 简介 SPI 协议是由摩托罗拉公司提出的通讯协议 (Serial Peripheral Interface),即串行外围设备接口,是 一种高速全双工的通信总线。它被广泛地使用在 ADC、LCD 等设备与 MCU 间,要求通讯速率 较高的场合。 SPI 物理层 SPI 通讯…

Nginx(Docker 安装的nginx)配置域名SSL证书

1.首先确保Linux环境上已经安装了docker(可参考Linux安装Docker-CSDN博客) 2.通过docker 安装nginx(可参考Linux 环境安装Nginx—源码和Dokcer两种安装方式-CSDN博客) 3.安装SSL证书 3.1 在宿主机中创建证书目录并上传证书&…

【数据结构与算法篇】动态顺序表及相关OJ算法题

【数据结构与算法篇】动态顺序表及相关OJ算法题 🥕个人主页:开敲🍉 🔥所属专栏:数据结构与算法🍅 目录 【数据结构与算法篇】动态顺序表及相关OJ算法题 1. 动态顺序表的实现 1.1 SeqList.h 头文件声明 1.…

基于LSB(最低有效位)的图像水印算法,Matlab实现

博主简介: 专注、专一于Matlab图像处理学习、交流,matlab图像代码代做/项目合作可以联系(QQ:3249726188) 个人主页:Matlab_ImagePro-CSDN博客 原则:代码均由本人编写完成,非中介,提供…

php将网页用wkhtmltoimage内容生成为图片

php架构ThinkPHP6 1. 安装 knp-snappy架构 composer require knplabs/knp-snappy use Knp\Snappy\Image; use Illuminate\Support\Facades\Storage;// 生成图片 /user/local/bin/wkhtmltoimage为你的wkhtmltoimage的位置。 $snappy new Image(/usr/local/bin/wkhtmltoimage…

智慧城市数字孪生,综合治理一屏统览

现代城市作为一个复杂系统,牵一发而动全身,城市化进程中产生新的矛盾和社会问题都会影响整个城市系统的正常运转。智慧城市是应对这些问题的策略之一。城市工作要树立系统思维,从构成城市诸多要素、结构、功能等方面入手,系统推进…

算法学习——LeetCode力扣单调栈篇

算法学习——LeetCode力扣单调栈篇 739. 每日温度 739. 每日温度 - 力扣(LeetCode) 描述 给定一个整数数组 temperatures ,表示每天的温度,返回一个数组 answer ,其中 answer[i] 是指对于第 i 天,下一个…

关系型数据库mysql(7)sql高级语句①

目录 一.MySQL常用查询 1.按关键字(字段)进行升降排序 按分数排序 (默认为升序) 按分数升序显示 按分数降序显示 根据条件进行排序(加上where) 根据多个字段进行排序 ​编辑 2.用或(or&…

ESP8266 控制 LED 亮灭

一、引脚对应 二、按键控制 LED 亮灭 2.1样例1 #include <ESP8266WiFi.h>const int ledPin D2; // LED 连接到 D2 引脚 const int keyPin D4; // 按键连接到 D4 引脚volatile bool flag false; // 记录 LED 状态的标志// 外部中断处理函数 ICACHE_RAM_ATTR void han…

重新温习广软puthon爬虫技术。

下面是我不断试错的一个过程&#xff0c;好多知识点全忘记了&#xff0c;只能不断调实例&#xff0c;不断优化&#xff0c;重构&#xff0c;实现自己的需求。下面是我的运行截图。还是导包的问题。 个人感觉关键的还是这几部&#xff0c;被划了下划线的&#xff0c;存在问题&a…

【智能算法】猎人猎物算法(HPO)原理及实现

目录 1.背景2.算法原理2.1算法思想2.2算法过程 3.结果展示4.参考文献 1.背景 2022年&#xff0c;Naruei等人受到自然界动物猎食过程启发&#xff0c;提出了猎人猎物算法&#xff08;Hunter-Prey Optimization&#xff0c; HPO&#xff09;。 2.算法原理 2.1算法思想 HPO模拟…

输出1到10的阶乘--C语言

#include<stdio.h> int fac(int n){if(n<1){return 1;}elsereturn fac(n-1)*n; } int main(){int i, result;for(i1;i<10;i){resultfac(i);printf("%d!%d\n",i,result);}} 输出结果&#xff1a;

Java并发编程基础_Thread类

线程 Thread.class 1. 线程的六种状态 NEW 尚未启动的线程处于此状态。RUNNABLE 在Java虚拟机中执行的线程处于此状态。BLOCKED 被阻塞等待监视器锁定的线程处于此状态。WAITING 正在等待另一个线程执行特定动作的线程处于此状态。TIMED_WAITING 正在等待另一个线程执行动作达到…

C++中浅拷贝和深拷贝对象复制概念

1.浅拷贝&#xff08;Shallow Copy&#xff09;&#xff1a; 浅拷贝是指在对象复制时&#xff0c;只是复制对象的值&#xff0c;而不会复制对象指向的资源。这意味着对象和其副本会指向同一块内存空间&#xff0c;当一个对象改变时&#xff0c;另一个对象也会受到影响。 #inclu…

回溯算法|216.组合总和III

力扣题目链接 class Solution { private:vector<vector<int>> result; // 存放结果集vector<int> path; // 符合条件的结果// targetSum&#xff1a;目标和&#xff0c;也就是题目中的n。// k&#xff1a;题目中要求k个数的集合。// sum&#xff1a;已经收集…

OpenKylin安装Kafka

一、操作系统 openKylin 1.0.1 X86 二、下载安装包 # 安装依赖jdk sudo apt-get update sudo apt-get install default-jdk # 下载kafka mkdir -p /data/software/kafka wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.13-2.4.1.tgz三、解压安装 # 解压缩Kafka…

springboot项目学习-瑞吉外卖(4)续

1.任务 菜品的添加功能(涉及到两张表的数据添加) 2.菜品添加 功能页面如上&#xff0c;该页面有两个注意点 菜品分类&#xff1a;点击菜品分类后&#xff0c;会展示当前已有菜品&#xff1a;这个功能的实现要从category表里查询数据&#xff0c;然后再做展示口味做法配置&#…

算法题->移动零的C语言和JAVA的双指针解法

使用C语言和JAVA代码通过双指针进行解题 题目描述:给定一个数组 nums&#xff0c;编写一个函数将所有 0 移动到数组的末尾&#xff0c;同时保持非零元素的相对顺序。 理解题意:不改变数组中非零元素的顺序,并把0元素放在非零元素后面. 链接: https://leetcode.cn/problems/m…

Linux——将云服务器作为跳板机,frp实现内网穿透

文章目录 操作步骤1. 准备工作&#xff1a;2. 配置frp服务器端&#xff1a;3. 配置frp客户端&#xff1a;4. 启动frp客户端&#xff1a;5. 测试连接&#xff1a;6. 安全注意事项&#xff1a; 云服务器性能分析阿里云具体操作步骤1. 购买&#xff1a;2. 登录&#xff1a;3. 首次…