python相机校准

文章目录

    • 张正友标定法
    • 角点检测
    • 标定
    • 去畸变

张正友标定法

相片是三维世界在二维平面上的投射,故而其深度信息是损失掉了的。但是,如果把拍照看作理想的小孔成像过程,那么相片中的每个像素,都将通过一个锥体与世界中真实的点一一对应,这时如果再来一条参考光线,那么理论上就可以实现二维图像的三维重构了。

然而,实际相机并不理想,从真实世界到图片的映射过程,实则是四个坐标系之间的变换过程,即世界坐标系、相机坐标系、图像坐标系以及像素坐标系,这些坐标系之间的关系,可以通过矩阵来表示,相机校准,目的就是求解出这些矩阵。

一个非常直观是思路是,用相机拍下一组平面,并根据平面之间点的变换关系,来拟合相机矩阵。所以,一个比较关键的问题是,如何提取平面中一一对应的点,换言之,平面中什么样的点最好提取?

答案是棋盘格的黑白交界处,这便是大名鼎鼎的张正友棋盘格标定法。

opencv提供了一系列函数以实现这个方法,其标定流程和用到的主要函数为

  1. 角点检测 findChessboardCorners
  2. 相机校准 calibrateCamera
  3. 参数优化 getOptimalNewCameraMatrix
  4. 去畸变 cv_undistort

【opencv】内置了张正友的棋盘格标定法,通过一些姿态各异的棋盘格图像,就能标定相机的内外参数。

角点检测

角点检测的目的,就是获取棋盘格上黑白相交的点的位置,直观一点,就是实现下面的结果。

在这里插入图片描述

为了得到上面的图像,需分三步走,第一步自然是准备好棋盘格数据。

import numpy as np
import cv2
import os#  数据准备,path是图像文件夹的路径
path = 'imgs'
fs = os.listdir(path)
grays = []
for f in fs:fName = os.path.join(path, f)img = cv2.imread(fName)gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)grays.append(gray)

第二步是核心步骤,即完成亚像素角点检测。opencv提供了【findChessboardCorners】函数用于角点检测,其输入参数包括棋盘格图像、角点个数以及标志位。在提取角点之后,可通过【cornerSubPix】函数来进一步进行亚像素角点检测,以提高精度。

# 角点检测
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
pImgs = []
for g in grays:ret, cs = cv2.findChessboardCorners(g, (11, 8), None)# 亚像素角点检测pImg = cv2.cornerSubPix(g, cs.astype(np.float32), (5, 5), (-1,   -1), criteria)pImgs.append(np.squeeze(pImg))

其中,pImg用于存放像素坐标中的二维点。

最后一步,画图,opencv自带的工具就像下面这样就可以,

cv2.drawChessboardCorners(grays[0], (w, h), pImgs[0], None)
cv2.imshow('findCorners', grays[0])
cv2.waitKey(1000)

考虑到此前已经学习过【matplotlib】模块,下面是【plt】的绘制流程。

import matplotlib.pyplot as pltpts = pImgs[0].squeeze().reshape(-1,2).T
plt.imshow(grays[0])
plt.scatter(pts[0], pts[1], marker='*', c='red')
plt.show()

标定

【calibrateCamera】函数可用于图像标定,只需将现实世界的点和相机坐标系中的角点的一一对应关系输入,便能得到相应的相机矩阵。其中,现实世界中的三维点,一般成为对象点,由于棋盘格中每个方块都是等距的,故可直接建立为类似 ( 1 , 0 , 0 ) , ( 2 , 0 , 0 ) ⋯ (1,0,0), (2,0,0)\cdots (1,0,0),(2,0,0)即可

objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)pObj = np.zeros((w*h, 3), np.float32)
pObj[:,:2] = np.mgrid[0:w, 0:h].T.reshape(-1,2)
pObjs = [pObj for _ in range(len(pImgs))]ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(pObjs, pImgs, grays[0].shape[::-1], None, None)

其中,rec为成功标志,为True时表示标定成功。

mtx为内参矩阵,差不多是

[ f x 0 c x 0 f y c y 0 0 1 ] = [ 5572.47 0 1314.18 0 5573.04 1008.16 0 0 1 ] \begin{bmatrix}f_x&0&c_x\\0&f_y&c_y\\0&0&1\end{bmatrix} =\begin{bmatrix} 5572.47&0&1314.18\\0&5573.04&1008.16\\0&0&1 \end{bmatrix} fx000fy0cxcy1 = 5572.470005573.0401314.181008.161

dist为畸变参数,最多有8个,分别表示 k 1 , k 2 , p 1 , p 2 , k 3 , k 4 , k 5 , k 6 k_1,k_2,p_1,p_2,k_3,k_4,k_5,k_6 k1,k2,p1,p2,k3,k4,k5,k6,本次标定得到的结果为

>>> print(dist)
[[-8.36577030e-02 -1.68977185e-01 -1.12233478e-03  9.45685802e-04-2.04246147e+01]]

这些畸变参数的物理意义如下

x ′ = x z , y ′ = y z , r = x ′ 2 + y ′ 2 K = 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 x ′ ′ = K x ′ + 2 p 1 x ′ y ′ + p 2 ( r 2 + 2 x ′ 2 ) u = f x x ′ ′ + c x v = f y y ′ ′ + c y \begin{aligned} x'&=\frac{x}{z},\quad y'=\frac{y}{z},\quad r=\sqrt{x'^2+y'^2}\\ K& = \frac{1+k_1r^2+k2_r^4+k_3r^6}{1+k_4r^2+k_5r^4+k_6r^6}\\ x'' &= Kx'+2p_1x'y'+p_2(r^2+2x'^2)\\ u&=f_xx''+c_x\\ v&=f_yy''+c_y\\ \end{aligned} xKx′′uv=zx,y=zy,r=x′2+y′2 =1+k4r2+k5r4+k6r61+k1r2+k2r4+k3r6=Kx+2p1xy+p2(r2+2x′2)=fxx′′+cx=fyy′′+cy

rvecstvecs分别表示每个标定板对应的旋转和平移向量。

去畸变

【getOptimalNewCameraMatrix】函数可以进一步优化相机参数,然后通过【undistort】函数可以修正图像畸变。

mat, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, size, 0, size)
dst = cv2.undistort(grays[0], mtx, dist, None, mat)fig = plt.figure()
ax = fig.add_subplot(121)
ax.imshow(grays[0])
ax = fig.add_subplot(122)
ax.imshow(dst)
plt.show()

对比效果如下

在这里插入图片描述

最后,可通过对比反投影误差,来评估标定结果

errs = []
for i in range(len(pObjs)):pIm2, _ = cv2.projectPoints(pObjs[i], rvecs[i], tvecs[i], mtx, dist)err = cv2.norm(pImgs[i], pIm2, cv2.NORM_L2) / len(pIm2)errs.append(err)plt.bar(np.arange(len(errs)), errs)
plt.show()

结果如下

在这里插入图片描述

# 去畸变
img2 = cv2.imread('03.jpg')
h, w = img2.shape[:2]# 反投影误差
# 通过反投影误差,我们可以来评估结果的好坏。越接近0,说明结果越理想。
total_error = 0
for i in range(len(pObjs)):pIm2, _ = cv2.projectPoints(pObjs[i], rvecs[i], tvecs[i], mtx, dist)error = cv2.norm(pImgs[i], pIm2, cv2.NORM_L2) / len(pIm2)total_error += errorprint("total error: ", total_error / len(pObjs))

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/795048.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MongoDB聚合运算符:$median

文章目录 语法参数字段使用类型操作计算注意事项数组处理窗口函数 举例$median作为累加器在 p r o j e c t 阶段使用 project阶段使用 project阶段使用median在$setWindowField阶段使用$median $median聚合运算符以标量值返回中位数的近似值,即第50百分位数。$media…

常见的常见免费开源绘图工具对比 draw.io/Excalidraw/Lucidchart/yEd Graph Editor/Dia/

拓展阅读 常见免费开源绘图工具 OmniGraffle 创建精确、美观图形的工具 UML-架构图入门介绍 starUML UML 绘制工具 starUML 入门介绍 PlantUML 是绘制 uml 的一个开源项目 UML 等常见图绘制工具 绘图工具 draw.io / diagrams.net 免费在线图表编辑器 绘图工具 excalidr…

spa、vue、elementUi

spa (single page application). 动态重写当前页面而非从服务器重新加载整个新页面。使应用程序更像一个桌面应用程序。所有的html、javascript、css通过单个页面检索加载资源。前端页面使用ajax与后端通信。一个项目只有一个html页面。所有的页面跳转都通过路由导航。 vue可用…

【OpenCV进阶】图像中添加中文字幕

OpenCV中的putText函数可以在图像上添加一些你想要的信息,但是该函数只能添加英文字母或数字,无法添加中文字幕。函数原型如下: CV_EXPORTS_W void putText( InputOutputArray img, const String& text, Point org,int fontFace, double…

XSS分类

简介 XSS全称为Cross Site Scripting,为了和CSS分开简写为XSS,中文名为跨站脚本。该漏洞发生在用户端,是指在渲染过程中发生了不在预期过程中的JavaScript代码执行。XSS通常被用于获取Cookie、以受攻击者的身份进行操作等行为。 反射型XSS …

云数据库AWS Aurora(一)

背景 Amazon Aurora 是Amazon Web Services (AWS) 提供的一种关系数据库服务,它兼容并提供与MySQL和PostgreSQL相同的API。Aurora设计为云环境中的商业数据库,具备高性能、高可用性、低成本等特性。 AWS一些组件定义 首先介绍下AWS一些组件。 EC2&am…

Swift:在 Win10 上编程入门

访问 https://swift.org/download/ 找到 Windows 10:x86_64 下载 swift-5.10-RELEASE-windows10.exe 大约490MB 建议安装在 D:\Swift\ ,安装后大约占2.56GB 官网文档:https://www.swift.org/documentation/ 中文教程:The swift…

C++之双向链表与哈希链表用法区别实例(二百六十八)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏:多媒…

Unity常用性能优化

DrawCall:CPU向GPU发送渲染命令的过程。 批次:批次是指在一次渲染帧中提交的DrawCall数量。 合批:即批量渲染,合批是一种优化技术,通过将多个需要渲染的物体合并为一个或少数几个DrawCall。 静态合批:对…

Streamlit 构建大语言模型 (LLM) web 界面

文章目录 Streamlit 构建大语言模型 (LLM) web 界面选择Streamlit的原因原理流程streamlit布局示例代码聊天机器人示例代码(简化版) Streamlit在ChatGLM3-6B中的应用 Streamlit 构建大语言模型 (LLM) web 界面 选择Streamlit的原因 易用性:S…

Cisco Unified Communications Manager (CallManager) 15.0 SU1 - 统一通信与协作

Cisco Unified Communications Manager (CallManager) 15.0 SU1 - 统一通信与协作 思科统一通信管理器 (CallManager) 请访问原文链接:https://sysin.org/blog/cisco-ucm-15/,查看最新版。原创作品,转载请保留出处。 作者主页:…

基于开源软件构建存储解决方案的思考

近来看了一些IBM的存储产品的资料,有一些收获。 依据存储软件和搭配硬件,IBM存储产品的组合,大致分类如下: 自研存储软件,搭配自研专有硬件自研存储软件,搭配通用服务器硬件,比如IBM Storage S…

需求分析及设计定义

背景 经过不断的折腾,一切过程都是为了呈现输出,这个阶段就是要交付需求和方案的环节了,很多失败的项目就是上来就到这个环节,倒着捣鼓,先写个文档,做个原型,甚至提出方案,然后再和…

Redis 未授权访问漏洞

出现以下函数 eval函数:因为脚本内容必须通过eval来执行 2.luaopen_io函数:因为此攻击必须通过执行luaopen_io函数来获取 io库 3、.popen函数:恶意命令必须通过io库中的popen函数来执行,为什么拦截规则不是io.popen&#xff0…

状态优先级

文章目录 状态优先级1. 进程状态1.1 进程状态查看1.2 僵尸进程1.3 孤儿进程 2.进程优先级2.1 基本概念2.2 查看系统进程2.3 PRI and NI2.4 PRI vs NI 3. 查看进程优先级的命令3.1 top命令更改nice3.2 其他概念 状态优先级 1. 进程状态 看看Linux内核源代码怎么说 为了弄明白…

深入浅出 -- 系统架构之分布式系统底层的一致性

在分布式领域里,一致性成为了炙手可热的名词,缓存、数据库、消息中间件、文件系统、业务系统……,各类分布式场景中都有它的身影,因此,想要更好的理解分布式系统,必须要理解“一致性”这个概念。 其实关于…

Java NIO Selector选择器简介

文章目录 前言一、IO多路复用二、Selector如何确保多个通道的操作协调一致三、NIO中怎样实现通道的非阻塞IO操作四、网络服务器和客户端简单代码示例服务器端代码客户端端代码 前言 Selector是Java NIO(New I/O)中的核心组件之一,用于检查一…

云原生架构(微服务、容器云、DevOps、不可变基础设施、声明式API、Serverless、Service Mesh)

前言 读完本文,你将对云原生下的核心概念微服务、容器云、DevOps、Immutable Infrastructure、Declarative-API、Serverless、Service Mesh 等有一个相对详细的了解,帮助你快速掌握云原生的核心和要点。 因题主资源有限, 这里会选用部分云服务商的组件进…

LeetCode:1026. 节点与其祖先之间的最大差值(DFS Java)

目录 1026. 节点与其祖先之间的最大差值 题目描述: 实现代码与解析: DFS 原理思路: 1026. 节点与其祖先之间的最大差值 题目描述: 给定二叉树的根节点 root,找出存在于 不同 节点 A 和 B 之间的最大值 V&#xff…

【面经】3月29日 美团/美团平台/后端/一面/1h

面试官先介绍自己部门的业务:存储中心,涉及到大量数据的离线处理(亿级别)。 手撕(删除链表倒数第k个节点) 自我介绍 项目介绍(还没说完被打断了,面试官说你这个感觉就是把功能说了一…