【目标跟踪】光流跟踪(python、c++代码)

文章目录

    • 前言
    • 一、代码流程与思路
    • 二、python 代码
      • 2.1 代码详解
      • 2.2 完整代码
    • 三、c++ 代码
    • 四、结果展示

前言

  1. 流利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。
  2. 本文主要展示代码以及代码解释,对于相对应的原理,以后有机会再写(下次一定)。
  3. 本文所用数据源于网上开源数据。找不到数据的小伙伴可以私我拿数据。
  4. 文章提供 python、c++ 代码。python 代码可以直接跑通。c++ 代码集成一个 class ,可以在自己工程中使用。
  5. 效果图:
    在这里插入图片描述

一、代码流程与思路

  1. 输入:上一帧图片、preImage 上一帧图片检测框、image 当前帧图片。 输出:当前帧光流预测框
  2. 特征点提取。对上一帧图片 preImage 提取目标框里的特征点,这里采取的是 fast 角点检测。
  3. preImage、image 光流跟踪、在 image 中找出对应的特征点。
  4. 由特征点对应关系可以得出当前帧的目标框。

二、python 代码

2.1 代码详解

(1) fast 角点检测

fast = cv2.FastFeatureDetector_create(threshold=9, nonmaxSuppression=True, type=cv2.FastFeatureDetector_TYPE_9_16)
  1. threshold:边缘轨迹点和中心点的差值阈值。
  2. nonmaxSuppression:是否进行非极大值抑制
  3. type:提供轨迹范围。我们这里是从圆周轨迹16个点,当9个满足条件,此判定圆心像素点为特征点

我们这里只对检测框里的像素做特征点检测

def SelectPointByBox(img, det):top_x, top_y, bottom_x, bottom_y = [int(_) for _ in det[:4]]cutimg = img[max(0, top_y - 2):min(bottom_y + 2, 1080), max(0, top_x - 2):min(1920, bottom_x + 2)]fast = cv2.FastFeatureDetector_create(threshold=9, nonmaxSuppression=True, type=cv2.FastFeatureDetector_TYPE_9_16)kps = fast.detect(cutimg, 10)  # Ip-t < Ip < Ip+tkp = []for p in kps:t = []t.append(np.float32(p.pt[0] + top_x))t.append(np.float32(p.pt[1] + top_y))kp.append(np.array(t).reshape(1, 2))return np.array(kp)

(2) 追踪稀疏特征点

cv2.calcOpticalFlowPyrLK(preImgGray, gray, prePt, pt, **lkParms)
  1. preImgGray:前一帧图片灰度图。
  2. gray:当前帧图片灰度图
  3. prePt:前一帧图片的特征点
  4. pt:None
lkParms = dict(winSize=(15, 15), maxLevel=2, criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))
  1. winSize: 每个金字塔级别上搜索窗口的大小
  2. maxLevel: 最大金字塔层数
  3. criteria:指定迭代搜索算法的终止条件,在指定的最大迭代次数 10 之后或搜索窗口移动小于 0.03
def OpticalFlowLk(preImg, curImg, prePt, pt):lkParms = dict(winSize=(15, 15), maxLevel=2, criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))gray = cv2.cvtColor(curImg, cv2.COLOR_BGR2GRAY)preImgGray = cv2.cvtColor(preImg, cv2.COLOR_BGR2GRAY)# nextPts:前一帧图像的特征点跟踪后的点  st:特征点是否找到,找到状态为1,否则为0  err:每个特征点的误差,即前一帧和当前帧中特征点的位置差异nextPts, st, err = cv2.calcOpticalFlowPyrLK(preImgGray, gray, prePt, pt, **lkParms)# print("p1", nextPts, "st", st, "err", err)goodNewPt = nextPts[st == 1]  # 光流跟踪后特征点goodOldPt = prePt[st == 1]  # 上一帧特征点return goodOldPt, goodNewPt

(3) 预测当前帧目标检测框

  1. 现在我们获取到了 prePt curPt pre_detect_box
  2. 由像素对应关系,我们可以求出 cur_detect_box
def CalculateShift(prePt, curPt):x = curPt[:, 0] - prePt[:, 0]y = curPt[:, 1] - prePt[:, 1]avgX = np.mean(x)avgY = np.mean(y)return avgX, avgYdef get_box(ditection, prePt, curPt):d_x, d_y = CalculateShift(prePt, curPt)  # 计算偏移量box = [0] * 4box[0], box[2], box[1], box[3] = ditection[0] + d_x, ditection[2] + d_x, ditection[1] + d_y, ditection[3] + d_yreturn box

2.2 完整代码

代码可直接跑通

import cv2
import os
import numpy as npdef GetImg(path, num):fn = os.path.join(path, 'img', '%06d.jpg' % (num))im = cv2.imread(fn)return imdef GetDetFrameRes(seq_dets, frame):detects = seq_dets[seq_dets[:, 0] == frame, 2:7]detects[:, 2:4] += detects[:, 0:2]  # convert to [x1,y1,w,h] to [x1,y1,x2,y2]return detectsdef SelectPointByBox(img, det):top_x, top_y, bottom_x, bottom_y = [int(_) for _ in det[:4]]cutimg = img[max(0, top_y - 2):min(bottom_y + 2, 1080), max(0, top_x - 2):min(1920, bottom_x + 2)]fast = cv2.FastFeatureDetector_create(threshold=9, nonmaxSuppression=True, type=cv2.FastFeatureDetector_TYPE_9_16)kps = fast.detect(cutimg, 10)  # Ip-t < Ip < Ip+tkp = []for p in kps:t = []t.append(np.float32(p.pt[0] + top_x))t.append(np.float32(p.pt[1] + top_y))kp.append(np.array(t).reshape(1, 2))return np.array(kp)def OpticalFlowLk(preImg, curImg, prePt, pt):lkParms = dict(winSize=(15, 15), maxLevel=2, criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))gray = cv2.cvtColor(curImg, cv2.COLOR_BGR2GRAY)preImgGray = cv2.cvtColor(preImg, cv2.COLOR_BGR2GRAY)# nextPts:前一帧图像的特征点跟踪后的点    st:特征点是否找到,找到状态为1,否则为0     err:每个特征点的误差,即前一帧和当前帧中特征点的位置差异nextPts, st, err = cv2.calcOpticalFlowPyrLK(preImgGray, gray, prePt, pt, **lkParms)# print("p1", nextPts, "st", st, "err", err)goodNewPt = nextPts[st == 1]  # 光流跟踪后特征点goodOldPt = prePt[st == 1]  # 上一帧特征点return goodOldPt, goodNewPtdef CalculateShift(prePt, curPt):x = curPt[:, 0] - prePt[:, 0]y = curPt[:, 1] - prePt[:, 1]avgX = np.mean(x)avgY = np.mean(y)return avgX, avgYdef get_box(ditection, prePt, curPt):d_x, d_y = CalculateShift(prePt, curPt)  # 计算偏移量box = [0] * 4box[0], box[2], box[1], box[3] = ditection[0] + d_x, ditection[2] + d_x, ditection[1] + d_y, ditection[3] + d_yreturn boxdef Test():pathroot = ".\\"resPath = pathroot + "det.txt"video_path = pathroot + "video.mp4"video = cv2.VideoWriter(video_path, cv2.VideoWriter_fourcc('m', 'p', '4', 'v'), 10, (1920, 1080))detRes = np.loadtxt(resPath, delimiter=',')preImg = GetImg(pathroot, 1)  # 初始化为000001.jpg   preImg:上一帧图片for num in range(2, int(max(detRes[:, 0]))):print(num)img = GetImg(pathroot, num)  # img:当前帧图片dets = GetDetFrameRes(detRes, num - 1)  # 上一帧图片的检测框drawImg = img.copy()for i in range(len(dets)):detect = dets[i]  # 上一帧图片的单个框boxKeyPt = SelectPointByBox(preImg, detect)  # 找在框里的关键点if (len(boxKeyPt) < 3):continue  # 框里关键点少于3 不做跟踪prePt, curPt = OpticalFlowLk(preImg, img, boxKeyPt, None)bbox = get_box(detect, prePt, curPt)if np.isnan(bbox[0]): continuefor i in range(curPt.shape[0] - 1, -1, -1):c, d = curPt[i].ravel()if not (max(0, bbox[0] - 2) <= c <= min(1920, bbox[2] + 2) andmax(0, bbox[1] - 2) <= d <= min(1080, bbox[3] + 2)):prePt = np.delete(prePt, i, 0)curPt = np.delete(curPt, i, 0)new_b = get_box(detect, prePt, curPt)  # 最终框if np.isnan(new_b[0]): continuecv2.rectangle(drawImg, (int(new_b[0]), int(new_b[1])), (int(new_b[2]), int(new_b[3])), (96, 48, 176), 2)mask = np.zeros_like(preImg)color = np.random.randint(0, 255, (20000, 3))for i, (new, old) in enumerate(zip(prePt, curPt)):a, b = new.ravel()c, d = old.ravel()mask = cv2.line(mask, (int(a), int(b)), (int(c), int(d)), color[i].tolist(), 2)drawImg = cv2.circle(drawImg, (int(a), int(b)), 1, color[i].tolist(), -1)drawImg = cv2.add(drawImg, mask)cv2.imshow("img", drawImg)cv2.waitKey(10)preImg = img.copy()video.write(drawImg)video.release()if __name__ == "__main__":Test()

三、c++ 代码

  1. Optical(std::vector<cv::Rect_> boxes, cv::Mat preImg, cv::Mat curImg) 构造函数
  2. void OpticalDeal(); 处理计算
  3. std::vector<cv::Rect_> GetBoxResult(); 获取结果

Optical.h 文件

#include <vector>
#include "opencv2/opencv.hpp"
#include "opencv2/features2d.hpp"class Optical
{
public:Optical(std::vector<cv::Rect_<float>> boxes, cv::Mat preImg, cv::Mat curImg){mBoxes = boxes;mCurImg = curImg;mPreImg = preImg;}   void OpticalDeal();                                     // 计算std::vector<cv::Rect_<float>> GetBoxResult();           // 获取光流跟踪后得到的结果框 private:std::vector<cv::Point2f> GetCornorPoint();              // fast检测关键点坐标cv::Rect_<float> GetExpBox(cv::Rect_<float> box);       // 获取比检测框大pixeParam像素的框void OpticalFlowLk(std::vector<cv::Point2f> prePt);     // 光流跟踪cv::Rect_<float> GetUpdateBox(cv::Rect_<float> box, std::vector<cv::Point2f> prePoints, std::vector<cv::Point2f> curPoints);    // 修正框void SelectPt(cv::Rect_<float> box, std::vector<cv::Point2f> &prePoints, std::vector<cv::Point2f> &curPoints);                  // 选取合适的关键点 过滤一部分关键点cv::Rect_<float> CorrectBox(cv::Rect_<float> box); private:int pixeParam = 2;                      // 关键点选取像素参数 多截取pixeParam像素int fastFeatureDetectParam = 10;        // fast关键点检测参数,参数越小,关键点检测越多int keyPointCountParam = 3;             // 检测框里关键点较少就不进行光流跟踪std::vector<int> mIndex = {0};          // 光流跟踪每个框关键点的索引位置 std::vector<cv::Rect_<float>> mBoxes;   // 检测框cv::Mat mPreImg;                        // 上一帧图cv::Mat mCurImg;                        // 当前图片
};  

Optical.cpp 文件

#include "Optical.h"std::vector<cv::Rect_<float>> Optical::GetBoxResult()
{return mBoxes;
}void Optical::OpticalDeal()
{std::vector<cv::Point2f> fastKeyPoint = GetCornorPoint();   // fast检测的角点OpticalFlowLk(fastKeyPoint);                                // 光流跟踪 获取点与点匹配
}std::vector<cv::Point2f> Optical::GetCornorPoint()
{   std::vector<cv::Point2f> res;cv::Ptr<cv::FastFeatureDetector> detector = cv::FastFeatureDetector::create(fastFeatureDetectParam);int num = 0;                                            // 计数多少个关键点 for (int i = 0; i < mBoxes.size(); ++i) {std::vector<cv::KeyPoint> keyPoints;cv::Rect_<float> newBox = GetExpBox(mBoxes[i]);cv::Mat image = mPreImg(newBox);                    // 截取检测框检测的图片detector->detect(image, keyPoints);num = num + keyPoints.size();mIndex.push_back(num);for (auto points:keyPoints) {points.pt = points.pt + cv::Point_<float>(newBox.x, newBox.y);res.push_back(points.pt);}}return res;
}void Optical::OpticalFlowLk(std::vector<cv::Point2f> prePt)
{cv::Mat curImgGray, preImgGray;std::vector<uchar> status;std::vector<float> err;cv::cvtColor(mCurImg, curImgGray, cv::COLOR_RGBA2GRAY);     // 当前图片灰度cv::cvtColor(mPreImg, preImgGray, cv::COLOR_RGBA2GRAY);     // 上一帧图片灰度std::vector<cv::Point2f> pt;cv::calcOpticalFlowPyrLK(preImgGray, curImgGray, prePt, pt, status, err); for (int i = 0; i < mIndex.size() - 1; ++i) {int leftIndex = mIndex[i], rightIndex = mIndex[i + 1];// 关键点太少不进行光流跟踪(1)if (rightIndex - leftIndex >= keyPointCountParam) {std::vector<cv::Point2f> preIndexPt(prePt.begin() + leftIndex, prePt.begin() + rightIndex);std::vector<cv::Point2f> indexPt(pt.begin() + leftIndex, pt.begin()+rightIndex);std::vector<uchar> indexStatus(status.begin() + leftIndex, status.begin()+rightIndex);int length = preIndexPt.size(); for (int j = length - 1 ; j > -1; --j) {if (status[j] != 1) {indexPt.erase(indexPt.begin() + i);preIndexPt.erase(preIndexPt.begin() + j);}}// 跟踪到的关键点少不进行光流跟踪(2)if (preIndexPt.size() > keyPointCountParam) {cv::Rect_<float> newBox = GetUpdateBox(mBoxes[i], preIndexPt, indexPt);SelectPt(newBox, preIndexPt, indexPt);if (preIndexPt.size() > keyPointCountParam) {mBoxes[i] = GetUpdateBox(mBoxes[i], preIndexPt, indexPt);}}}}
}// expend pixeParam bounding box to optical track
cv::Rect_<float> Optical::GetExpBox(cv::Rect_<float> box) 
{cv::Rect_<float> newBox = box + cv::Point_<float>(-pixeParam, -pixeParam) + cv::Size_<float>(2 * pixeParam, 2 * pixeParam);return CorrectBox(newBox);
}cv::Rect_<float> Optical::GetUpdateBox(cv::Rect_<float> box, std::vector<cv::Point2f> prePoints, std::vector<cv::Point2f> curPoints)
{float avgX = 0, avgY = 0;int length = prePoints.size();for (int i = 0; i < length; ++i) {avgX += curPoints[i].x - prePoints[i].x;avgY += curPoints[i].y - prePoints[i].y;}avgX = avgX / length;avgY = avgY / length;cv::Rect_<float> resBox = box + cv::Point_<float>(avgX, avgY);return CorrectBox(resBox);
}void Optical::SelectPt(cv::Rect_<float> box, std::vector<cv::Point2f> &prePoints, std::vector<cv::Point2f> &curPoints)
{int length = prePoints.size();for (int i = length - 1 ; i >= 0; --i) {float x = curPoints[i].x, y = curPoints[i].y;if (x < (box.x - pixeParam) || x > (box.x + box.width + pixeParam) || y < (box.y - pixeParam) || y > (box.y + box.height + pixeParam)) {curPoints.erase(curPoints.begin() + i);prePoints.erase(prePoints.begin() + i);}}
}// correct box when box beyond border
cv::Rect_<float> Optical::CorrectBox(cv::Rect_<float> box)
{int w = mPreImg.cols, h = mPreImg.rows;box.x = (box.x <= 0) ? 0 : box.x;box.y = (box.y <= 0) ? 0 : box.y;box.width = ((box.width + box.x) >= w - 1) ? w - box.x - 1 : box.width;box.height = ((box.height + box.y) >= h - 1) ? h - box.y - 1 : box.height;return box;
}

四、结果展示

在这里插入图片描述

由于上传限制,只上传 gif 压缩结果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/182102.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ModBus电表与RS485电表有哪些区别?

在能源计量领域&#xff0c;ModBus电表和RS485电表是两种常见的设备&#xff0c;它们都具有监测和记录电能数据的功能。然而&#xff0c;它们之间存在一些区别&#xff0c;比如通信协议、连接方式、数据格式等等参数的区别有哪些&#xff1f; ModBus电表和RS485电表都是用于电能…

FreeSWITCH学习笔记:EventSocket

Event Socket命令最后需带有两个换行符。 api 执行API命令。阻塞。 1api API [ARG [ ...]] auth 内连模式下身份验证。需要第一个发送。 1auth PASSWORD bgapi 后台执行API命令。不阻塞。 1bgapi API [ARG [ ...]]2[Job-UUID: UUID] 返回带有Job-UUID。当API命令执行完成…

GPT-4惨遭削弱,偷懒摸鱼绝不多写一行代码,OpenAI已介入调查

GPT-4再次遭网友“群攻”&#xff0c;原因是“懒”得离谱! 有网友想在Android系统开发一个能够与OpenAI API实时交互的应用。 于是把方法示例链接发给GPT-4&#xff0c;让它参考用Kotlin语言编写代码: 没成想&#xff0c;和GPT-4一来二去沟通半天&#xff0c;GPT-4死活给不出…

数字孪生智慧园区:企业与政府合作的共赢之选

随着科技的快速发展和数字化转型的推动&#xff0c;数字孪生技术正逐渐成为智慧城市和园区建设的重要方向。数字孪生智慧园区&#xff0c;以数字孪生技术为驱动&#xff0c;通过对园区实体和虚拟环境的全面感知和深度理解&#xff0c;为园区管理者和入驻企业提供智能化决策支持…

微信发红包,有哪些测试点

1、功能 1.在红包钱数&#xff0c;和红包个数的输入框中只能输入数字 2.红包里最多和最少可以输入的钱数 200 0.01 3.拼手气红包最多可以发多少个红包 100 3.1超过最大拼手气红包的个数是否有提醒 4.当红包钱数超过最大范围是不是有对应的提示 5.当发送的红包个数超过…

YOLOv5改进之ShuffleNetV2

目录 一、原理 网络结构 二、代码 三、应用到YOLOv5 一、原理

linux 之iptables

1.iptables防火墙基本介绍 Linux系统的防火墙&#xff1a;IP信息包过滤系统&#xff0c;它实际上由两个组件 netfilter和 iptables 组成。 主要工作在网络层&#xff0c;针对IP数据包。体现在对包内的IP地址、端口、协议等信息的处理上。 iptables由软件包iptables提供的命令…

量子计算:探索未来的计算技术

量子计算:探索未来的计算技术 引言 在过去的几十年里,我们见证了计算机技术从简单的计算和存储发展到复杂的数据处理和人工智能的飞速进步。然而,随着我们进一步探索科技的前沿,传统的计算方法开始显示出其局限性。在这种情况下,量子计算——一种基于量子力学原理的新型计…

案例,linux环境下OpenCV+Java,实现证件照在线更换背景色

先看效果&#xff08;图片来自网络&#xff0c;如有侵权&#xff0c;请联系作者删除&#xff09; 主要是通过java实现的&#xff0c;linux环境编译安装opencv及证件照背景色更换的核心算法在前面一篇文章中有写到。 目前算法还有瞎呲&#xff0c;当照片光线不均的时候会出现误…

【JavaEE初阶】死锁问题

目录 一、死锁的三种典型场景 1、一个线程&#xff0c;一把锁 2、两个线程&#xff0c;两把锁 3、N个线程&#xff0c;M把锁 死锁&#xff0c;是多线程代码中的一类经典问题。我们知道加锁是能解决线程安全问题的&#xff0c;但是如果加锁的方式不当&#xff0c;就可能产生死…

工会排队奖励模式:创新营销策略,实现共赢局面

在当今的商业环境中&#xff0c;创新营销策略的重要性日益凸显。工会排队奖励模式作为一种新型的营销策略&#xff0c;旨在通过结合线上和线下消费&#xff0c;激励消费者购买产品或服务&#xff0c;并获得返现奖励。这种模式通过将消费者的支出和商家的抽成资金纳入奖金池&…

CH58x-BLE 程序阅读笔记

CH58x-BLE 程序阅读笔记 1. 广播1.1 广播类型设置1.2 广播数据长度 2. MTU设置2.1 CH58x 蓝牙协议栈支持有效最大MTU为247 1. 广播 1.1 广播类型设置 1.2 广播数据长度 1&#xff09; GAP-广播数据&#xff08;最大大小31字节&#xff0c;但最好保持较短以节省广告时的电量&a…

Linux 磁盘挂载

一、查看挂载点 df -h 二、查看磁盘信息 fdisk -l 下面红色的这一块就是未分区的磁盘 三、 进行磁盘分区 fdisk /dev/sdb /dev/sdb &#xff1a;是上面fdisk -l查询出来未分区的磁盘地址 根据提示输入m获取命令 四、执行命令&#xff0c;创建一个分区 1、新建分区&#…

【前端】three.js

文章目录 概述three.js-master目录结构Threejs 的基本要素场景相机透视相机正交相机 网格2d3d 灯光AmbientLight(环境光)平行光&#xff08;DirectionalLight&#xff09;点光源&#xff08;PointLight&#xff09;聚光灯&#xff08;SpotLight&#xff09; 渲染器 Threejs 的实…

WordPress更改文章分类插件

当WP网站内容比较多的时候&#xff0c;有时候如果涉及到批量修改文章分类&#xff0c;如果一个个的去操作的话就太费事了&#xff0c;如果使用后台批量修改分类的话是增加旧分类不会取消选择&#xff0c;就就导致我们适得其反还需要一个一个的去编辑取消&#xff0c;实在繁琐了…

Java高级技术(单元测试)

一&#xff0c;概括 二&#xff0c;junit 三&#xff0c;案例 &#xff08;1&#xff09;&#xff0c;实验类 package com.bilibili;public class Name {public static void main(String name) {if (name null){System.out.println("0");return;}System.out.print…

PC端数据列表有头像显示头像,没有头像显示名字的第一个字

PC端数据列表有头像显示头像&#xff0c;没有头像显示名字的第一个字 .charAt(0) 是 JavaScript 字符串对象的方法&#xff0c;用于获取字符串的第一个字符。 字符串中的字符位置是从 0 开始的&#xff0c;所以.charAt(0) 就表示获取字符串的第一个字符。 <el-table ref&qu…

哈希思想应用【C++】(位图,布隆过滤器,海量数据处理面试题)

目录 一&#xff0c;位图 1. 位图概念 2.实现 3. 测试题 位图的优缺点 二&#xff0c;布隆过滤器 1). 布隆过滤器提出 2). 概念 3). 布隆过滤器的查找 4). 布隆过滤器删除(了解) 5). 布隆过滤器优点 6). 布隆过滤器缺陷 三&#xff0c;海量数据面试题 1&#xff…

java开发必备的Tomcat-servlet-http和spring boot基础入门

tomcat 介绍 概念&#xff1a; Tomcat是一个开源免费的轻量级Web服务器&#xff0c;是Apache软件基金会的核心项目&#xff0c;支持Servlet/JSP少量JavaEE(JakartaEE)规范。 JavaEE&#xff1a;Java Enterprise Edition&#xff0c;Java企业版。指Java企业级开发的技术规范总和…

Testlink 1.9.20+phpstudy_pro安装遇到的问题

phpstudy_pro启动了Apache2.4.39和Mysql5.7.26,php的版本是7.3.4zai。 安装Testlink 1.9.19时没有数据库的问题&#xff0c;安装Testlink 1.9.20时遇到了数据库问题&#xff0c;如下图所示&#xff1a; 网上搜索“Failed!Mysql Database cannnot be used”&#xff0c;给出的…