OpenCV-Python(39):Meanshift和Camshift算法

目标

  • 学习了解Meanshift 和Camshift 算法
  • 在视频中找到并跟踪目标

Meanshift

原理

        Meanshift算法是一种基于密度的聚类算法,用于将数据点划分为不同的类别。它的原理是通过数据点的密度分布来确定聚类中心,然后将数据点移动到离其最近的聚类中心,并不断迭代这个过程,直到收敛为止。假设我们有一堆点(比如直方图反向投影得到的点)和一个小的圆形窗口,我们要完成的任务就是将这个窗口移动到最大灰度密度处(或者是点最多的地方)。如下图所示:

        初始窗口是蓝色的"C1",它的圆心为蓝色方框“C1_o”,而窗口中所有点质心却是“C1_r”(小的蓝色圆圈),很明显圆心和点的质心没有重合。所以移动圆心C1_o 到质心C1_r,这样我们就得到了一个新的窗口。此时又可以找到新窗口内所有点的质心,大多数情况下还是不重合的,所以重复上述的操作:将新窗口的中心移动到新的质量心。就这样不停跌代操作直到窗口的中心和其所包含点的质心重合为止或者有一点小的误差。按照这样的操作我们的窗口最终会落在像素值(和)最大的地方。如上图所示:C2是窗口的最后位址,我们可以看出来这个窗口中的像素点最多。整个过程如下图所示:

        通常情况下我们要使用直方图方向投影得到的图像和目标对象的起始位置。目标对像的移动会反映到直方图反向投影图中。就这样meanshift 算法就把我们的窗口移动到图像中灰度密度最大的区域了。 

步骤

下面是Meanshift算法的步骤:

1.初始化每个数据点的聚类中心为其自身的位置。
2.对于每个数据点,计算它与其他数据点的距离,并根据距离确定一个窗口大小。
3.在窗口内计算数据点的质心(即所有数据点的平均位置),作为新的聚类中心。
4.将数据点移动到离其最近的聚类中心,并更新聚类中心的位置。
5.重复步骤3和步骤4,直到聚类中心的位置不再改变或达到最大迭代次数。

优缺点及结论

        Meanshift算法的优点是不需要预先指定聚类的个数,而是通过数据点的密度分布自动确定聚类中心。它在处理非线性、非凸的数据分布时表现良好,并且对初始聚类中心的选择不敏感。然而,Meanshift算法也有一些限制。首先,它对大规模数据集的处理效率较低。其次,算法的收敛速度较慢,可能需要较多的迭代次数才能收敛。此外,Meanshift算法对窗口大小的选择比较敏感,不同的窗口大小可能导致不同的聚类结果。总的来说,Meanshift算法是一种简单而有效的聚类算法,适用于处理中等规模的数据集和非线性、非凸的数据分布。它在计算机视觉、图像分割等领域有广泛的应用。

OpenCV中的Meanshift

        在OpenCV 中使用Meanshift 算法首先我们要对目标对象进行设置,计算目标对象的直方图。这样在执行 meanshift 算法时我们就可以将目标对象反向投影到每一帧中去了。另外我们还需要提供窗口的起始位置。在这里我们计算H(Hue)通道的直方图,同样为了避免低亮度造成的影响,我们使用函数cv2.inRange() 将低亮度的值忽略掉。

import numpy as np
import cv2
cap = cv2.VideoCapture('slow.flv')
# take first frame of the video
ret,frame = cap.read()
# setup initial location of window
r,h,c,w = 250,90,400,125 # simply hardcoded the values
track_window = (c,r,w,h)
# set up the ROI for tracking
roi = frame[r:r+h, c:c+w]
hsv_roi = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)
# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )
while(1):ret ,frame = cap.read()if ret == True:hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)# apply meanshift to get the new locationret, track_window = cv2.meanShift(dst, track_window, term_crit)# Draw it on imagex,y,w,h = track_windowimg2 = cv2.rectangle(frame, (x,y), (x+w,y+h), 255,2)cv2.imshow('img2',img2)k = cv2.waitKey(60) & 0xffif k == 27:breakelse:cv2.imwrite(chr(k)+".jpg",img2)else:break
cv2.destroyAllWindows()
cap.release()

下面是我使用meanshift 算法对一个视频前三帧分析的结果:

 Camshift

原理

        你认真看上面的结果了吗?这里面还有一个问题。我们的窗口的大小是固定的,而汽车由远及近在(视觉上)是一个逐渐变大的过程,固定的窗口是不合适的。所以我们需要根据目标的大小和角度来对窗口的大小和角度进行修订。OpenCVLabs 为我们带来的(解决方案)1988 年提出一个叫做CAMshift 的算法。

        Camshift算法是一种基于Meanshift算法的目标跟踪算法,用于实时跟踪视频中的运动目标。它在Meanshift算法的基础上做了一些改进,可以自适应地调整窗口大小,并且可以处理目标的尺度变化和旋转。这个算法首先使用meanshift算法找到(并覆盖)目标之后,再去调整窗口的大小,

它还会计算目标对象的最佳外接椭圆的角度并以此调节窗口角度。然后使用更新后的窗口大小和角度来在原来的位置继续meanshift。重复这个过程直到达到徐亚的精度。

步骤 

Camshift算法的步骤如下:

1.初始化目标区域。首先,选择一个初始的目标区域作为跟踪目标,可以是手动选择或者通过其他目标检测算法获得。
2.计算目标的颜色直方图。在目标区域内,计算目标的颜色直方图作为目标的特征表示。
3.在每一帧中,计算目标区域的颜色直方图。根据上一帧的目标位置和窗口大小,计算当前帧中目标区域的颜色直方图。
4.计算当前帧中目标区域的质心。根据窗口大小和颜色直方图,使用Meanshift算法计算当前帧中目标区域的质心,并将其作为新的目标位置。
5.更新窗口大小。根据目标区域的质心和颜色直方图,计算新的窗口大小,并进行缩放和旋转。
6.重复步骤3到步骤5,直到目标区域的位置不再改变或达到最大迭代次数。

优缺点及结论

       Camshift算法的核心是通过颜色直方图计算目标区域的质心,并通过Meanshift算法不断迭代来跟踪目标。它优点是可以自适应地调整窗口大小,适应目标的尺度变化和旋转。此外,Camshift算法对初始目标区域选择相对不敏感,可在一定程度上处理目标遮挡和背景干扰。然而,Camshift算法也有一些限制。首先,它对目标的颜色敏感,当目标的颜色变化较大时可能会导致跟踪失败。其次,算法对目标的形状变化不敏感,难以跟踪形状变化较大的目标。总的来说,Camshift算法是一种简单而有效的目标跟踪算法,适用于处理实时视频中的目标跟踪任务。它在计算机视觉、机器人导航、交通监控等领域有广泛的应用。

OpenCV中的Camshift

        与Meanshift 基本一样,但是返回的结果是一个带旋转角度的矩形(这是我们的结果)以及这个矩形的参数(被用到下一次迭代过程中)。下面是代码:

import numpy as np
import cv2cap = cv2.VideoCapture('slow.flv')# take first frame of the video
ret,frame = cap.read()# setup initial location of window
r,h,c,w = 250,90,400,125 # simply hardcoded the values
track_window = (c,r,w,h)# set up the ROI for tracking
roi = frame[r:r+h, c:c+w]
hsv_roi = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )while(1):ret ,frame = cap.read()if ret == True:hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)# apply meanshift to get the new locationret, track_window = cv2.CamShift(dst, track_window, term_crit)# Draw it on imagepts = cv2.boxPoints(ret)pts = np.int0(pts)img2 = cv2.polylines(frame,[pts],True, 255,2)cv2.imshow('img2',img2)k = cv2.waitKey(60) & 0xffif k == 27:breakelse:cv2.imwrite(chr(k)+".jpg",img2)else:break
cv2.destroyAllWindows()
cap.release()

 对三帧图像分析的结果如下:

camshift的交互式演示

        OpenCV官方提供了一个交互式演示代码来展示Camshift算法的效果。以下是示例代码的主要步骤:

1.导入必要的库和模块:

import numpy as np
import cv2

2.定义鼠标事件的回调函数:

def mouse_callback(event, x, y, flags, param):# 处理鼠标事件

3.创建窗口和摄像头对象:

cv2.namedWindow("CamShift Demo")
capture = cv2.VideoCapture(0)

4.初始化一些变量:

# 设置初始目标区域
selection = None
drag_start = None
tracking_state = 0

5.定义鼠标事件回调函数的具体实现:

def mouse_callback(event, x, y, flags, param):global selection, drag_start, tracking_stateif event == cv2.EVENT_LBUTTONDOWN:drag_start = (x, y)tracking_state = 0if drag_start:if flags & cv2.EVENT_FLAG_LBUTTON:h, w = frame.shape[:2]xo, yo = drag_startx0, y0 = np.minimum(xo, x), np.minimum(yo, y)x1, y1 = np.maximum(xo, x), np.maximum(yo, y)x0, y0 = np.maximum(0, x0), np.maximum(0, y0)x1, y1 = np.minimum(w, x1), np.minimum(h, y1)selection = Noneif x1-x0 > 0 and y1-y0 > 0:selection = (x0, y0, x1, y1)else:drag_start = Noneif selection is not None:tracking_state = 1

6.在循环中处理每一帧图像并进行Camshift跟踪:

while True:# 读取一帧图像ret, frame = capture.read()if not ret:break# 复制一份原始图像vis = frame.copy()# 转换为HSV颜色空间hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)# 如果已经选择了目标区域,则进行Camshift跟踪if selection is not None:# 提取目标区域的颜色直方图x0, y0, x1, y1 = selectionhsv_roi = hsv[y0:y1, x0:x1]mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))roi_hist = cv2.calcHist([hsv_roi], [0], mask, [16], [0, 180])cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)# 使用Camshift算法进行跟踪term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)hsv_backproj = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)ret, track_window = cv2.CamShift(hsv_backproj, (x0, y0, x1-x0, y1-y0), term_crit)# 绘制跟踪结果pts = cv2.boxPoints(ret)pts = np.int0(pts)cv2.polylines(vis, [pts], True, (0, 255, 0), 2)# 如果正在拖动选择目标区域,则绘制选择框if drag_start:x, y = drag_startcv2.rectangle(vis, (x, y), (x1, y1), (0, 255, 0), 2)cv2.imshow("CamShift Demo", vis)# 显示图像并等待按键cv2.imshow("CamShift Demo", vis)if cv2.waitKey(1) == 27:break

        这个示例代码展示了如何使用Camshift算法进行目标跟踪,并通过鼠标事件实现了交互式的目标选择和跟踪。你可以在这个基础上进行修改和扩展,以适应你的具体应用场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/631910.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【代码随想录07】344.反转字符串 541. 反转字符串II 05.替换空格 151.翻转字符串里的单词 55. 右旋转字符串

目录 344. 反转字符串题目描述做题思路参考代码 541. 反转字符串 II题目描述参考代码 05. 替换数字题目描述参考代码 151. 反转字符串中的单词题目描述参考代码 55. 右旋转字符串题目描述参考代码 344. 反转字符串 题目描述 编写一个函数,其作用是将输入的字符串反…

OOM分析与解决

一、分类 OOM:java.lang.OutOfMemoryError 1.1 堆内存溢出 堆内存(Heap Space)没有足够空间存放新创建的对象 java.lang.OutOfMemoryError:Javaheap space原因: 请求创建一个超大对象,通常是一个大数组。 超出预期的访问量/数…

C语言从入门到实战——动态内存管理

动态内存管理 前言一、 为什么要有动态内存分配二、 malloc和free2.1 malloc2.2 free 三、calloc和realloc3.1 calloc3.2 realloc 四、常见的动态内存的错误4.1 对NULL指针的解引用操作4.2 对动态开辟空间的越界访问4.3 对非动态开辟内存使用free释放4.4 使用free释放一块动态开…

用于自动驾驶最优间距选择和速度规划的多配置二次规划(MPQP) 论文阅读

论文链接:https://arxiv.org/pdf/2401.06305.pdf 论文题目:用于自动驾驶最优间距选择和速度规划的多配置二次规划(MPQP) 1 摘要 本文介绍了用于自动驾驶最优间距选择和速度规划的多配置二次规划(MPQP)。…

黑马程序员JavaWeb开发|案例:tlias智能学习辅助系统(6)解散部门

指路(1)(2)(3)(4)(5)👇 黑马程序员JavaWeb开发|案例:tlias智能学习辅助系统(1)准备工作、部门管理_tlias智能…

MATLAB对话框与菜单设计实验

本文MATLAB源码,下载后直接打开运行即可[点击跳转下载]-附实验报告https://download.csdn.net/download/Coin_Collecter/88740733 一、实验目的 1.掌握建立控件对象的方法。 2.掌握对话框设计方法。 3.掌握菜单设计方法。 二、实验内容 建立如下图所示的菜单。菜单…

15.云原生之k8s容灾与恢复实战

云原生专栏大纲 文章目录 Velero与etcd介绍Velero与etcd备份应用场景Velero与etcd在k8s备份上的区别 Velero备份恢复流程备份工作流程Velero备份时,若k8s集群发送变化,会发发生情况?Velero 备份pv,pv中数据变化,会发发…

C# System.MissingMethodException

C#应用程序工程调用C#类库工程生成的动态链接库调试时报错: System.MissingMethodException HResult0xFFFFFFFF Message找不到方法…… 软件结构如下: using System; using System.Collections.Generic; using System.Linq; using System.Text; usi…

uniapp实现微信小程序富文本之mp-html插件详解

uniapp实现微信小程序富文本之mp-html插件 1 文章背景1.1 正则表达式1.2 mp-html插件1.3 uniapp 2 过程详解2.1 下载mp-html插件2.2 项目中引入mp-html2.3 引入正则规范图片自适应2.4 效果展示 3 全部代码 1 文章背景 1.1 正则表达式 正则表达式,又称规则表达式,&…

算法刷题——删除排序链表中的重复元素(力扣)

文章目录 题目描述我的解法思路结果分析 官方题解分析 查漏补缺更新日期参考来源 题目描述 传送门 删除排序链表中的重复元素:给定一个已排序的链表的头 head , 删除所有重复的元素,使每个元素只出现一次 。返回 已排序的链表 。 示例 1&…

【CA】《Coordinate Attention for Efficient Mobile Network Design》

CVPR-2021 github:https://github.com/Andrew-Qibin/CoordAttention 文章目录 1 Background and Motivation2 Related Work3 Advantages / Contributions4 Method5 Experiments5.1 Datasets and Metrics5.2 Ablation Studies5.3 Comparison with Other Methods5.4 …

Python的流程控制语句,while循环和嵌套、for循环、break和continue、冒泡排序

流程控制语句是用于控制程序的执行顺序的语句。在Python中,主要有while循环和嵌套、for循环、break和continue语句、冒泡排序等。 while循环和嵌套: while循环用于多次执行一段代码,直到条件不再满足为止。嵌套是将一个while循环放在另一个wh…

【华为 ICT HCIA eNSP 习题汇总】——题目集2

1、交换机某个端口配置信息如下,则此端口的PVID为()。 A、100 B、2 C、4 D、1 # interface GigabitEthernet0/0/1 port hybrid tagged vlan 2 to 3 100 port hybrid unatgged vlan 4 6 #考点:VLAN(虚拟局域网&#xff…

josef约瑟 三相电压继电器 WY-35A4 100V DC220V 导轨安装

三相 WY-35A4电压继电器;WY-35B4电压继电器;WY-35C4电压继电器;WY-31A4电压继电器;WY-31B4电压继电器; WY-31C4电压继电器;JY-45A4电压继电器;JY-45B4电压继电器;JY-45C4电压继电器…

Tortoise-orm 使用 (一) 创建表

项目基于Vue3.0, FastAPI的模板管理系统,从网上找了各种资源去实践,现在将总结发出来,分享给大家,希望帮助大家少走些弯路。 准备工作 # tortoise-orm pip install tortoise-orm # MySQL pip install tortoise-orm[asyncmy] # 迁…

Python实现自动化办公(使用第三方库操作Excel)

1 使用 xlrd 读取Excel数据 1.1 获取具体单元格的数据 import xlrd# 1. 打开工作簿 workbook xlrd.open_workbook("D:/Python_study_projects/Python自动化办公/Excel/test1.xlsx") # 2. 打开工作表 sheet1 workbook.sheets()[0] # 选择所有工作表中的第一个 # …

多文件转二维码的两种方式,有兴趣的了解一下

多个文件能一键生成二维码吗?二维码是现在很多人用来展示文件内容的一种手段,在制作二维码图片之后,其他人扫码就可以查看文件或者下载文件,有效的提升文件获取的效率。一般情况下,文件二维码分为多个文件生成一个二维…

Flutter:跨平台移动应用开发的未来

Flutter:跨平台移动应用开发的未来 引言 Flutter的背景和概述 Flutter是由Google开发的一个开源UI工具包,用于构建漂亮、快速且高度可定制的移动应用程序。它于2017年首次发布,并迅速引起了开发者们的关注。Flutter采用了一种全新的方法来…

【vue3项目初始化配置】vue3 + element plus

项目初始化是开发过程中很重要的一个环节,本篇博客带大家从零开始创建并初始化一个vue3项目,文章详细介绍了每个步骤,希望能帮助刚接触开发的小伙伴。 目录 一.创建项目 二.安装插件 ​编辑 ​编辑三.安装依赖 ​编辑 ​编辑四.配置项目 …

【leetcode100-037】【二叉树/dfs/bfs】二叉树的最大深度

【题干】 给定一个二叉树 root ,返回其最大深度。 二叉树的 最大深度 是指从根节点到最远叶子节点的最长路径上的节点数。 【思路】 还是二叉树经典题,今天写两个解法。 dfs递归:对任意节点,其树高左右子树中更高的那个树高1…