多目标跟踪算法 实时检测 - opencv 深度学习 机器视觉 计算机竞赛

文章目录

  • 0 前言
  • 2 先上成果
  • 3 多目标跟踪的两种方法
    • 3.1 方法1
    • 3.2 方法2
  • 4 Tracking By Detecting的跟踪过程
    • 4.1 存在的问题
    • 4.2 基于轨迹预测的跟踪方式
  • 5 训练代码
  • 6 最后

0 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 深度学习多目标跟踪 实时检测

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：3分
  • 工作量：3分
  • 创新点：4分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

2 先上成果

在这里插入图片描述

3 多目标跟踪的两种方法

3.1 方法1

基于初始化帧的跟踪，在视频第一帧中选择你的目标，之后交给跟踪算法去实现目标的跟踪。这种方式基本上只能跟踪你第一帧选中的目标，如果后续帧中出现了新的物体目标，算法是跟踪不到的。这种方式的优点是速度相对较快。缺点很明显，不能跟踪新出现的目标。

3.2 方法2

基于目标检测的跟踪，在视频每帧中先检测出来所有感兴趣的目标物体，然后将其与前一帧中检测出来的目标进行关联来实现跟踪的效果。这种方式的优点是可以在整个视频中跟踪随时出现的新目标，当然这种方式要求你前提得有一个好的“目标检测”算法。

学长主要分享Option2的实现原理，也就是Tracking By Detecting的跟踪方式。

4 Tracking By Detecting的跟踪过程

**Step1：**使用目标检测算法将每帧中感兴趣的目标检测出来，得到对应的(位置坐标, 分类, 可信度)，假设检测到的目标数量为M；

**Step2：**通过某种方式将Step1中的检测结果与上一帧中的检测目标(假设上一帧检测目标数量为N)一一关联起来。换句话说，就是在M*N个Pair中找出最像似的Pair。

对于Step2中的“某种方式”，其实有多种方式可以实现目标的关联，比如常见的计算两帧中两个目标之间的欧几里得距离(平面两点之间的直线距离)，距离最短就认为是同一个目标，然后通过匈牙利算法找出最匹配的Pair。当让，你还可以加上其他的判断条件，比如我用到的IOU，计算两个目标Box(位置大小方框)的交并比，该值越接近1就代表是同一个目标。还有其他的比如判断两个目标的外观是否相似，这就需要用到一种外观模型去做比较了，可能耗时更长。

在关联的过程中，会出现三种情况：

1）在上一帧中的N个目标中找到了本次检测到的目标，说明正常跟踪到了；

2）在上一帧中的N个目标中没有找到本次检测到的目标，说明这个目标是这一帧中新出现的，所以我们需要把它记录下来，用于下下一次的跟踪关联；

3）在上一帧中存在某个目标，这一帧中并没有与之关联的目标，那么说明该目标可能从视野中消失了，我们需要将其移除。(注意这里的可能，因为有可能由于检测误差，在这一帧中该目标并没有被检测到)

在这里插入图片描述

4.1 存在的问题

上面提到的跟踪方法在正常情况下都能够很好的工作，但是如果视频中目标运动得很快，前后两帧中同一个目标运动的距离很远，那么这种跟踪方式就会出现问题。

在这里插入图片描述
如上图，实线框表示目标在第一帧的位置，虚线框表示目标在第二帧的位置。当目标运行速度比较慢的时候，通过之前的跟踪方式可以很准确的关联(A, A’)和(B,
B’)。但是当目标运行速度很快（或者隔帧检测）时，在第二帧中，A就会运动到第一帧中B的位置，而B则运动到其他位置。这个时候使用上面的关联方法就会得到错误的结果。

那么怎样才能更加准确地进行跟踪呢？

4.2 基于轨迹预测的跟踪方式

既然通过第二帧的位置与第一帧的位置进行对比关联会出现误差，那么我们可以想办法在对比之前，先预测目标的下一帧会出现的位置，然后与该预测的位置来进行对比关联。这样的话，只要预测足够精确，那么几乎不会出现前面提到的由于速度太快而存在的误差

在这里插入图片描述

如上图，我们在对比关联之前，先预测出A和B在下一帧中的位置，然后再使用实际的检测位置与预测的位置进行对比关联，可以完美地解决上面提到的问题。理论上，不管目标速度多么快，都能关联上。那么问题来了，怎么预测目标在下一帧的位置？

方法有很多，可以使用卡尔曼滤波来根据目标前面几帧的轨迹来预测它下一帧的位置，还可以使用自己拟合出来的函数来预测下一帧的位置。实际过程中，我是使用拟合函数来预测目标在下一帧中的位置。

在这里插入图片描述
如上图，通过前面6帧的位置，我可以拟合出来一条（T->XY）的曲线（注意不是图中的直线），然后预测目标在T+1帧的位置。具体实现很简单，Python中的numpy库中有类似功能的方法。

5 训练代码

这里记录一下训练代码，来日更新

​
if FLAGS.mode == ‘eager_tf’:
# Eager mode is great for debugging
# Non eager graph mode is recommended for real training
avg_loss = tf.keras.metrics.Mean(‘loss’, dtype=tf.float32)
avg_val_loss = tf.keras.metrics.Mean(‘val_loss’, dtype=tf.float32)

        for epoch in range(1, FLAGS.epochs + 1):for batch, (images, labels) in enumerate(train_dataset):with tf.GradientTape() as tape:outputs = model(images, training=True)regularization_loss = tf.reduce_sum(model.losses)pred_loss = []for output, label, loss_fn in zip(outputs, labels, loss):pred_loss.append(loss_fn(label, output))total_loss = tf.reduce_sum(pred_loss) + regularization_lossgrads = tape.gradient(total_loss, model.trainable_variables)optimizer.apply_gradients(zip(grads, model.trainable_variables))logging.info("{}_train_{}, {}, {}".format(epoch, batch, total_loss.numpy(),list(map(lambda x: np.sum(x.numpy()), pred_loss))))avg_loss.update_state(total_loss)for batch, (images, labels) in enumerate(val_dataset):outputs = model(images)regularization_loss = tf.reduce_sum(model.losses)pred_loss = []for output, label, loss_fn in zip(outputs, labels, loss):pred_loss.append(loss_fn(label, output))total_loss = tf.reduce_sum(pred_loss) + regularization_losslogging.info("{}_val_{}, {}, {}".format(epoch, batch, total_loss.numpy(),list(map(lambda x: np.sum(x.numpy()), pred_loss))))avg_val_loss.update_state(total_loss)logging.info("{}, train: {}, val: {}".format(epoch,avg_loss.result().numpy(),avg_val_loss.result().numpy()))avg_loss.reset_states()avg_val_loss.reset_states()model.save_weights('checkpoints/yolov3_train_{}.tf'.format(epoch))

6 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/131880.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

构建一个CAN报文周期任务类

构建一个CAN报文周期任务类

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、can周期任务类构建总结 前言 提示：这里可以添加本文要记录的大概内容： 最近想着有时间实现总线报文收发的动态的配置，…
阅读更多...
【Linux】僵尸进程、孤儿进程的理解与验证

【Linux】僵尸进程、孤儿进程的理解与验证

僵尸进程 概念 僵尸进程（Zombie Process）是指一个已经终止执行的子进程，但其父进程尚未调用 wait() 或 waitpid() 函数来获取子进程的退出状态。 Linux 中，僵尸进程会保留一些资源，如进程 ID、进程表项和一些系统资源…
阅读更多...
王道p18 07.将两个有序顺序表合并为一个新的有序顺序表，并由函数返回结果顺序表。（c语言代码实现）

王道p18 07.将两个有序顺序表合并为一个新的有序顺序表，并由函数返回结果顺序表。（c语言代码实现）

视频讲解在这：👇 p18 第7题 c语言代码实现王道数据结构课后代码题_哔哩哔哩_bilibili 本题代码如下 int merge(struct sqlist* A, struct sqlist* B, struct sqlist* C) {if (A->length B->length > C->length)//大于顺序表的最大长度r…
阅读更多...
48基于matlab的经验傅里叶分解，适用于非线性及非平稳时间序列分析，将信号进行精确分解。程序已调通，可直接运行。

48基于matlab的经验傅里叶分解，适用于非线性及非平稳时间序列分析，将信号进行精确分解。程序已调通，可直接运行。

基于matlab的经验傅里叶分解，适用于非线性及非平稳时间序列分析，将信号进行精确分解。程序已调通，可直接运行。
阅读更多...
图学习笔记

图学习笔记

1、邻接矩阵&#xff08;vector二维数组&#xff09;的DFS&#xff08;递归实现&#xff09; class Graph { public:Graph(int vertices);void addEdge(int from, int to);void DFS(int startVertex);private:int vertices;vector<vector<int>> adjMatrix;vector&…
阅读更多...
java中的Thread类解析

java中的Thread类解析

实现线程的三种方式 1、继承Thread类&#xff0c;重写里面的run方法 public class MyThread extends Thread{Overridepublic void run() {System.out.println("threadName:"Thread.currentThread().getName());}}/*** 方式一&#xff1a;继承Thread类&#xff0c;重…
阅读更多...
玻色量子签约移动云“五岳”量子云计算创新加速计划！

玻色量子签约移动云“五岳”量子云计算创新加速计划！

2023年4月24-26日&#xff0c;由中国移动通信集团主办的“云擎未来 智信天下”2023移动云大会在苏州圆满落幕。 中国移动在本次大会发布了“五岳”量子云计算创新加速计划。作为中国移动量子计算方向的战略伙伴&#xff0c;玻色量子创始人&CEO文凯博士代表北京玻色量子科技…
阅读更多...
分布式单元化

分布式单元化

一 分布式单元化 1.1 两地三中心 顾名思义&#xff0c;两地指的是两个城市&#xff1a;同城&#xff0c;异地。三中心指的是三个数据中心&#xff1a;生产中心、同城容灾中心、异地容灾中心。 在同一个城市或者临近的城市建设两个相同的系统&#xff0c;双中心具备相当的业…
阅读更多...
【c++随笔11】面向对象和封装

【c++随笔11】面向对象和封装

【c随笔11】面向对象和封装 一、什么是面向对象编程&#xff1f;1、面向对象以对象作为程序的基本单元2、类和对象3、特性继承和多态性 二、什么是封装&#xff1f;1、类的定义和访问修饰符2、封装数据和公共接口3、数据验证和处理4、封装的优点5、实际应用示例 三、再次理解1、…
阅读更多...
1，Opencv常用结构

1，Opencv常用结构

1&#xff0c;Point类&#xff1a;点表示 point表示二维结构的点,(x,y) cv::Point point; point.x 100; point.y 100;2&#xff0c;Scalar类&#xff1a;颜色表示 cv::Scalar colorBlue(255,0,0);//蓝色 cv::Scalar colorGreen(0, 255, 0);//绿色 cv::Scalar colorRed(0, …
阅读更多...
银行存取款系统

银行存取款系统

题目 ​ 一个简单的存取款系统，用户可以选择存钱、取钱、转账、修改密码和退出系统等业务。程序使用了菜单界面来展示业务选项，并根据用户的选择调用相应的函数进行处理。具体功能如下： 登录：实现登录功能，需要输入正确密码才能进入菜单系统。 菜单：显示菜单界面，列出其…
阅读更多...
Go基础（待更新）

Go基础（待更新）

Go基础&#xff08;待更新&#xff09; 参考Go 语言教程 文章目录 Go基础&#xff08;待更新&#xff09;一、基本语法1、格式化输出2、声明并赋值1&#xff09;单变量赋值2&#xff09;多变量赋值 二、math工具包的使用三、函数1、参数传递1&#xff09;普通传递2&#xff09…
阅读更多...
proxy 属性与方法

proxy 属性与方法

proxy 属性与方法实例 proxy 属性与方法 proxy 是 JavaScript 中的一个内置对象&#xff0c;它提供了一种机制来拦截并自定义对象的基本操作。 通过使用 proxy&#xff0c;我们可以在对象上定义自定义行为&#xff0c;例如拦截属性访问、函数调用、构造函数调用等。 proxy 对…
阅读更多...
C++ 统计一个字符串当每个字符出现的权重。

C++ 统计一个字符串当每个字符出现的权重。

abbccc$b b:2 本题目为第一步&#xff0c;读入待编码字符串&#xff0c;建造一个森林&#xff0c;请补全下列代码。 #include <stdio.h> #include <stdlib.h> #include <malloc.h> typedef char elemtype; //带权值的二叉树 typedef struct BiTNode{ elemtyp…
阅读更多...
使用 rosdep 管理 ROS 2 依赖项

使用 rosdep 管理 ROS 2 依赖项

系列文章目录 文章目录 系列文章目录前言 清华源镜像使用一、什么是 rosdep&#xff1f;二、关于 package.xml 文件的一些小知识三、rosdep 是如何工作的&#xff1f;四、如何知道在 package.xml 中输入哪些 key &#xff1f;五、如何使用 rosdep 工具&#xff1f;5.1 rosdep 安…
阅读更多...
力扣 141.环形链表和142.环形链表2

力扣 141.环形链表和142.环形链表2

目录 1.环形链表Ⅰ解题思路2.环形链表Ⅰ代码实现3.环形链表Ⅱ解题思路4.环形链表Ⅱ代码实现 1.环形链表Ⅰ解题思路 利用快慢指针&#xff0c;快指针一次走两个&#xff0c;慢指针一次走一个&#xff0c;如果出现了快指针为空或者快指针的next为空的现象则说明不带环&#xff0…
阅读更多...
Docker dnmp 多版本php安装 php8.2

Docker dnmp 多版本php安装 php8.2

Laravel9 开发需要用到php8.1以上的版本&#xff0c;而dnmp只支持到php8.0。安装php8.2的步骤如下&#xff1a; 1. 从/services/php80目录复制一份出来&#xff0c;重命名为php82&#xff0c;extensions目录只保留 install.sh 和 install-php-extensions 这两个文件 2. 修改.en…
阅读更多...
4 Tensorflow图像识别模型——数据预处理

4 Tensorflow图像识别模型——数据预处理

上一篇&#xff1a;3 tensorflow构建模型详解-CSDN博客 本篇开始介绍识别猫狗图片的模型&#xff0c;内容较多&#xff0c;会分为多个章节介绍。模型构建还是和之前一样的流程&#xff1a; 数据集准备数据预处理创建模型设置损失函数和优化器训练模型 本篇先介绍数据集准备&am…
阅读更多...
网络安全应急响应工具(系统痕迹采集)-FireKylin

网络安全应急响应工具(系统痕迹采集)-FireKylin

文章目录 网络安全应急响应工具(系统痕迹采集)-FireKylin1.FireKylin介绍【v1.4.0】 2021-12-20【v1.0.1】 2021-08-09 2.客户端界面Agent支持的操作系统FireKylinAgent界面使用方式比较传统方式与FireKylin比较无法可达目标的场景应用对比 3.使用教程设置语言Agent配置&#x…
阅读更多...
c++11中的线程库和包装器

c++11中的线程库和包装器

c11 1. 线程库1.1 线程库1.2 锁mutex 2. 包装器2.1 funciton2.2 bind 1. 线程库 1.1 线程库 C11中的线程库提供了一种方便的方式来创建和管理线程。其中&#xff0c;std::thread是一个重要的类&#xff0c;它允许我们创建新线程并控制它们的执行。以下是std::thread的一些重要…
阅读更多...
最新文章

Copyright @ 2022~2023