《opencv实用探索·十八》Camshift进行目标追踪流程

CamShift(Continuously Adaptive Mean Shift)是一种用于目标跟踪的方法,它是均值漂移(Mean Shift)的扩展,支持对目标的旋转跟踪,能够对目标的大小和形状进行自适应调整。

cv::CamShift和cv::meanShift区别:
cv::meanShift: 这是一种用于均值漂移目标跟踪的算法。它基于颜色直方图的均值漂移,寻找输入图像中与模板颜色直方图最相似的区域。在这个算法中,窗口的位置根据均值漂移进行调整,直到找到目标对象。cv::meanShift 返回找到的目标的矩形区域。但它的不足之处在于检测窗口的大小是固定的,而目标是不断变化的比如由近到远,各种旋转,固定的窗口是不合适的。

cv::CamShift: 这是 cv::meanShift 的扩展,用于在图像中寻找旋转目标的位置。cv::CamShift 在 cv::meanShift 的基础上引入了旋转矩形,使得它能够更好地适应旋转目标的情况。实际上,cv::CamShift 返回的是一个旋转矩形(cv::RotatedRect),而不仅仅是矩形。同时,能够对目标的大小和形状进行自适应调整,适用于目标尺寸和形状变化较大的情况下。

下面左图是meanShift,右图是CamShift追踪效果对比,可以看到随着目标有近到远变小,meanShfit追踪窗口始终固定不变,而CamShift能实时变化。
在这里插入图片描述

meanShift原理:
在这里插入图片描述
图中一堆点集,任意位置有个圆形窗口(黑色圆),可以看到窗口的圆心(点1位置)和窗口的质心(点2位置)并不重合,那么这个窗口的圆心便会向质心的方向移动,当圆心1与质心2大致重合时圆的位置大概在红色圆的位置,此时在被红色圆覆盖的点集中3的位置为点集最密集的地方,此时红色圆的质心又被更新到3的位置,那么圆便会继续从2的位置向3的位置移动。
不断执行上面的过程直到圆心最终和质心大致重合。每次迭代移动的矢量即meanShift。

meanShift算法的基本思路:
先设置一个感兴趣窗口(通常为矩形),计算窗口内像素的颜色直方图作为目标对象,根据目标对象的颜色分布,通过不断迭代计算窗口的平均漂移来更新窗口的位置和大小,从而实现目标的实时跟踪。
camShift算法原理是在meanShift基础上加入了自适应调整目标窗口大小和旋转方向实现目标的实时跟踪。

利用opencv的camShift算法来追踪目标:

RotatedRect CamShift( InputArray probImage, CV_IN_OUT Rect& window,TermCriteria criteria );

probImage:表示概率图像,通常是反向投影的结果。反向投影是基于目标的颜色直方图,用于估计在图像中的可能位置。
window:输入时表示追踪的初始窗口,输出时表示找到的新窗口。这是一个矩形,也就是目标区域的初始位置。
criteria:指定迭代的停止条件,通常是一个 cv::TermCriteria 类型的对象。它定义了迭代的最大次数、最小精度,或两者的组合。
cv::CamShift 函数返回一个 cv::RotatedRect 对象,它表示找到的目标的位置、方向和大小。

camShift追踪流程:
(1)首先在图像上选定一个目标区域(通常为矩形)
(2)计算选定区域的直方图分布,一般是HSV色彩空间的直方图。
(3)对下一帧图像B同样计算直方图分布。
(4)计算图像B当中与选定区域直方图分布最为相似的区域,即比较图像B的直方图和目标对象的直方图,生成一个反向投影图像。这个反向投影图像的每个像素值表示图像B该位置的像素值与目标对象直方图的相似程度。(反向投影图像可以将图像中与给定模式(目标对象)具有相似颜色分布的区域显著地突出显示)
(5)使用camshift算法将选定区域沿着最为相似的部分进行移动,直到找到最相似的区域,便完成了在图像b中的目标追踪。
(6)重复3到5的过程,就完成整个视频目标追踪。

下面是代码示例:

#include <opencv2/opencv.hpp>
#include <iostream>
using namespace cv;
using namespace std;
//-----------------------------------【全局变量声明】-----------------------------------------
//		描述:声明全局变量
//-------------------------------------------------------------------------------------------------
Mat image;
bool selectObject = false;
Point origin;
Rect selection;
int vmin = 10, vmax = 255, smin = 30;
bool isSelectRoi = false;
bool targetTrackingEnable = false;
Mat roi_hist;
int channels[] = { 0 };
int histSize = 180;  //bin分为180份
float range[] = { 0, 180 };
const float* histRange = { range };
TermCriteria term_crit_; //--------------------------------【onMouse( )回调函数】------------------------------------
//		描述:鼠标操作回调
//-------------------------------------------------------------------------------------------------
static void onMouse(int event, int x, int y, int, void*)
{if (selectObject){selection.x = MIN(x, origin.x);selection.y = MIN(y, origin.y);selection.width = std::abs(x - origin.x);selection.height = std::abs(y - origin.y);selection &= Rect(0, 0, image.cols, image.rows);}switch (event){case EVENT_LBUTTONDOWN:origin = Point(x, y);selection = Rect(x, y, 0, 0);selectObject = true;targetTrackingEnable = false;break;case EVENT_LBUTTONUP:selectObject = false;if (selection.width > 0 && selection.height > 0)isSelectRoi = true;break;}
}int main(int argc, const char** argv)
{VideoCapture cap;Rect trackWindow;int hsize = 16;float hranges[] = { 0,180 };const float* phranges = hranges;cap.open(0);if (!cap.isOpened()){cout << "不能初始化摄像头\n";}namedWindow("Histogram", 0);namedWindow("CamShift Demo", 0);setMouseCallback("CamShift Demo", onMouse, 0);//设置滚动条可以在二值化图像时实时改变阈值createTrackbar("Vmin", "CamShift Demo", &vmin, 256, 0);createTrackbar("Vmax", "CamShift Demo", &vmax, 256, 0);createTrackbar("Smin", "CamShift Demo", &smin, 256, 0);Mat frame;for (;;){cap >> frame;if (frame.empty())break;frame.copyTo(image);if (isSelectRoi){//获取第一帧图像并指定ROI区域Mat roi_hsv;Mat roi = image(selection); //截取鼠标绘制的roicvtColor(roi, roi_hsv, COLOR_BGR2HSV);  //把roi图像转为hsv色彩图像//去除低亮度值,二值化图像,低亮度置0,高亮度置1Mat mask;int _vmin = vmin, _vmax = vmax;inRange(roi_hsv, Scalar(0, smin, MIN(_vmin, _vmax)),Scalar(180, 255, MAX(_vmin, _vmax)), mask);//计算直方图/*在HSV颜色空间中,H(色相)的取值范围是[0, 360),而在OpenCV中,H通道的取值范围被映射到[0, 180)。这是因为OpenCV中对H通道的取值范围进行了缩放,将360度映射到了180度。所以,在使用 calcHist 函数计算直方图时,range[] 参数用于指定每个通道的取值范围。对于HSV颜色空间中的H通道,这里使用的是[0, 180)。这确保了直方图的统计考虑了整个H通道的取值范围。如果你的颜色空间是RGB,而不是HSV,那么在计算直方图时,range[] 参数应该是[0, 256)。这样就能覆盖RGB图像中每个通道的所有可能取值。*/calcHist(&roi_hsv, 1, channels, mask, roi_hist, 1, &histSize, &histRange);// 归一化normalize(roi_hist, roi_hist, 0, 255, NORM_MINMAX);// 4. 目标追踪// 4.1 设置窗口搜索终止条件:最大迭代次数,窗口中心漂移最小值TermCriteria term_crit(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);term_crit_ = term_crit;waitKey(30);isSelectRoi = false;targetTrackingEnable = true;}else if (targetTrackingEnable){// 4.2 计算直方图的反向投影Mat hsv;cvtColor(image, hsv, COLOR_BGR2HSV);  //把输入图像转为hsv色彩图像Mat backProject;cv::calcBackProject(&hsv, 1, channels, roi_hist, backProject, &histRange);// 4.3	进行meanshift追踪RotatedRect track_box = cv::CamShift(backProject, selection, term_crit_);// 4.4 将追踪的位置绘制在视频上,并进行显示ellipse(image, track_box, Scalar(0, 0, 255), 2);imshow("CamShift Demo", image);if (waitKey(30) == 'q')break;}if (selectObject && selection.width > 0 && selection.height > 0){Mat roi(image, selection);bitwise_not(roi, roi);}imshow("CamShift Demo", image);if (waitKey(30) == 'q')break;}// 5. 资源释放cap.release();destroyAllWindows();return 0;
}

效果展示:
在这里插入图片描述

Camshift的优点:简单,计算量较少,因为Camshift的本质就局部检测,在局部里检测“密度”最大的位置。
Camshift的缺点:Camshift的优点有时候也正是其缺点,因为其简单,所以对于复杂背景或者纹理丰富的物体跟踪效果较差。因为Camshift是对直方图反投影所形成的二值图像进行处理的,如果背景较为复杂或者物体的纹理较为丰富,那么此二值图像的噪声就很多(具体原因可参考直方图反投影的原理),这将直接干扰Camshift对物体位置的判断。
所以对Camshift的总结为:Camshift适用于物体表面颜色较为单一,且和背景颜色差距较大

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/216471.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

焦炭冶金工艺3D可视化仿真展示更直观、形象

冶金行业作为重要的工业领域&#xff0c;其岗位实践培训一直面临着诸多挑战&#xff0c;随着web3d开发和VR虚拟仿真技术的不断创新和应用&#xff0c;冶金3D虚拟仿真实践教学平台应运而生&#xff0c;为钢铁生产培训带来了崭新的变革。 冶金3D虚拟仿真实践教学平台采用了先进的…

【CANN训练营】高阶笔记

Ascend C Tilling计算 Tilling基本概念介绍 大多数情况下&#xff0c;Local Memory的存储&#xff0c;无法完全容纳算子的输入与输出的所有数据&#xff0c;需要每次搬运一部分输入数柜进行计算然后搬出&#xff0c;再敲运下一部分输入数据进行计算&#xff0c;直到得到完愁的…

GoEasy使用手册

GoEasy官网 登录 - GoEasy 即时通讯聊天案例 GoEasy - GoEasy (gitee.com) 注意事项 接口使用人数上限为15&#xff0c;超出之后会请求超时返回408状态码&#xff0c;可以新建一个应用用来更换common Key 创建应用 ​ 添加应用名称&#xff0c;其余默认&#xff0c;点击…

算法通关村第十三关—数学与数学基础问题(青铜)

数学与数学基础问题 一、统计专题 1.1 符号统计 LeetCode1822给定一个数组&#xff0c;求所有元素的乘积的符号&#xff0c;如果最终答案是负的返回-1&#xff0c;如果最终答案是正的返回1&#xff0c;如果答案是0返回0。  题目比较简单&#xff0c;正数对结果完全没影响&…

CVE-2021-4145:类型混淆导致释放任意 file 结构体

前言 影响版本&#xff1a; v5.13.4 之前 测试版本&#xff1a;v5.13.3 &#xff08;感谢 bsauce 大佬提供的测试环境&#xff09; 漏洞发生在 fsconfig 处理时调用的cgroup1_parse_param 函数中&#xff0c;patch&#xff1a; diff --git a/kernel/cgroup/cgroup-v1.c b/k…

软路由R4S+iStoreOS如何实现公网远程桌面本地电脑

&#x1f308;个人主页&#xff1a;聆风吟 &#x1f525;系列专栏&#xff1a;数据结构、Cpolar杂谈 &#x1f516;少年有梦不应止于心动&#xff0c;更要付诸行动。 文章目录 一. 简介1.1 软路由的定义1.2 使用软路由的好处1.3 常用组网 二. 配置远程桌面公网地址三. 家中使用…

mysql原理--B+树索引的使用

1.索引的代价 在介绍如何更好的使用索引之前先要了解一下使用这玩意儿的代价&#xff0c;它在空间和时间上都会拖后腿&#xff1a; (1). 空间上的代价 这个是显而易见的&#xff0c;每建立一个索引都要为它建立一棵 B 树&#xff0c;每一棵 B 树的每一个节点都是一个数据页&…

抖去推--短视频剪辑、矩阵无人直播saas营销工具一站式开发

抖去推是一款短视频剪辑和矩阵无人直播SAAS营销工具一站式开发平台。它提供了以下功能和特点&#xff1a; 1. 短视频剪辑&#xff1a;抖去推提供了一系列的剪辑工具&#xff0c;包括自动剪辑、特效制作、配音配乐等&#xff0c;可以帮助用户轻松制作出高质量的短视频。 2. 矩阵…

日志审计在网络安全中的重要性

日志审计是一种通过分析、识别和验证各种日志信息&#xff0c;以帮助企业了解其网络和系统的安全状态和活动的过程。这些日志信息可能来自各种来源&#xff0c;包括服务器、网络设备、应用程序、操作系统等。 日志审计的主要功能包括&#xff1a; 1.识别潜在的安全威胁&#…

创建第一个Vue2项目-----HelloWorld

创建第一个Vue项目 第一步先去安装Vue&#xff0c;一共有两种安装方式&#xff0c;这里使用 点击这里下载&#xff1a;Vue.js 添加到自己的项目中 在使用的页面引入<script src"../js/vue.js"></script> 2. 准备好一个容器 <div id"root&qu…

阿里云大数据工程师ACP认证,今天终于搞定了,87分

为啥我得去考个阿里云大数据工程ACP证书&#xff1f; 首先得声明&#xff0c;这不是因为我对阿里有多痴迷&#xff0c;也不是因为我想把我的简历装饰得花里胡哨。实际上&#xff0c;这更像是一场自我挑战的游戏。我就是一根筋&#xff0c;当时公司要求考阿里云大数据工程师认证…

Redis部署-集群

目录 集群 数据分片算法 哈希求余 一致性哈希算法 哈希槽分区算法 redis集群搭建 1.创建目录和配置. 2.将上述redis节点.构建成集群 3.使用客户端连接集群 集群模式下的故障转移流程 1.故障判定 2.故障迁移 集群扩容 集群 广义上的集群,只要是多个机器,构成了分布…

[IDEA] 写代码时没有类型推断的解决方法

本示例使用scala, 其他语言同理 使用 .var 时会自动生成变量 使用快捷键 CtrlAtlv 一样 val abc "abc"但是这个变量没有显式表现类型 期望 val abc: String "abc" 解决方法

【带头学C++】----- 九、类和对象 ---- 9.13 运算符重载——(9.13.1-9.13.4)

❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️创做不易&#xff0c;麻烦点个关注❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️ ❤️❤️❤️❤️❤️❤️❤️❤️❤️文末有惊喜&#xff01;献舞一支&#xff01;❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️ 目录 9.13…

Linux安装MySQL数据库系统

1、MySQL的编译安装。 1.1、准备工作 &#xff08;1&#xff09;为了避免发生端口冲突、程序冲突等现象&#xff0c;建议先查询MySQL软件的安装情况&#xff0c;确认没有使用以RPM方式安装的mysql-server、mysql软件包&#xff0c;否则建议将其卸载。 [rootlocalhost ~]# rp…

微信社群机器人开发

简要描述&#xff1a; 删除朋友圈 请求URL&#xff1a; http://域名地址/deleteSns 请求方式&#xff1a; POST 请求头Headers&#xff1a; Content-Type&#xff1a;application/jsonAuthorization&#xff1a;login接口返回 参数&#xff1a; 参数名必选类型说明wId…

蚂蚁集团20篇论文入选AI顶会NeurlPS,7成论文聚焦生成式AI

人工智能新浪潮如火如荼&#xff0c;中国互联网企业奋力逐浪并行。 当地时间12月10日&#xff0c;为期六天的全球AI顶级会议NeurlPS在美国路易斯安那州新奥尔良市举办。NeurlPS披露的数据显示&#xff0c;本届会议共有12343篇有效论文投稿&#xff0c;接收率仅为26.1%。蚂蚁集…

FastAPI之响应模型

前言 响应模型我认为最主要的作用就是在自动化文档的显示时&#xff0c;可以直接给查看文档的小伙伴显示返回的数据格式。对于后端开发的伙伴来说&#xff0c;其编码的实际意义不大&#xff0c;但是为了可以不用再额外的提供文档&#xff0c;我们只需要添加一个 response_mod…

单片双向马达驱动芯片D6208的芯片描述

D6208 是一块单片双向马达驱动电路&#xff0c;它使用TTL电平的逻辑信号就能控制卡式录音机和其它电子设备中的双向马达。该电路由一个逻辑部分和一个功率输出部分组成。逻辑部分控制马达正、反转向及制动&#xff0c;功率输出部分根据逻辑控制能提供100mA&#xff08;典型值&a…

[PyTorch][chapter 6][李宏毅深度学习][Logistic Regression]

前言&#xff1a; logistic回归又称logistic回归分析&#xff0c;是一种广义的线性回归分析模型&#xff0c;常用于数据挖掘&#xff0c;疾病自动诊断&#xff0c;经济预测等领域。 逻辑回归根据给定的自变量数据集来估计事件的发生概率&#xff0c;由于结果是一个概率&#xf…