python opencv输出mp4_10分钟学会使用YOLO及Opencv实现目标检测

点击边框调出视频工具条

计算机视觉领域中，目标检测一直是工业应用上比较热门且成熟的应用领域，比如人脸识别、行人检测等，国内的旷视科技、商汤科技等公司在该领域占据行业领先地位。相对于图像分类任务而言，目标检测会更加复杂一些，不仅需要知道这是哪一类图像，而且要知道图像中所包含的内容有什么及其在图像中的位置，因此，其工业应用比较广泛。那么，今天将向读者介绍该领域中表现优异的一种算算法——“你只需要看一次”(you only look once，yolo)，提出该算法的作者风趣幽默可爱，其个人主页及论文风格显示了其性情，目前该算法已是第三个版本，简称YoLo V3。

在本教程中，将学习如何使用YOLO、OpenCV和Python检测图像和视频流中的对象。主要内容有：

简要讨论YOLO算法；

使用YOLO、OpenCV、Python进行图像检测；

使用YOLO、OpenCV、Python进行视频流检测；

讨论YOLO算法的优点和缺点；

当涉及基于深度学习的对象检测时，常用的三类算法有：

R-CNN家族系列算法：R-CNN、fast R-CNN以及faster R-CNN；

单发检测器(SSD)；

YOLO算法；
R-CNN算法是最早的基于深度学习的目标检测器之一，其结构是两级网络；

首先需要诸如选择性搜索之类的算法来提出可能包含对象的候选边界框；然后将这些区域传递到CNN算法进行分类；R-CNN算法存在的问题在于其仿真很慢，并且不是完整的端到端的目标检测器。Fast R-CNN算法对原始R-CNN进行了相当大的改进，即提高准确度并减少执行正向传递所花费的时间，但是，该模型仍然依赖于外部区域搜索算法。直到2015年，faster R-CNN才成为真正的端到端深度学习目标检测器，删除了选择性搜索的要求，而是依赖于(1)完全卷积的区域提议网络(RPN)和(2)可以预测对象边界框和“对象”分数(量化它是一个区域的可能性的分数)。然后将RPN的输出传递到R-CNN组件以进行最终分类和标记。R-CNN系列算法的检测结果一般都非常准确，但R-CNN系列算法最大的问题在仿真速度——非常慢，即使是在GPU上也仅获得5 FPS。为了提高基于深度学习的目标检测器的速度，单次检测器(SSD)和YOLO都使用单级检测器策略(one stage)。这类算法将对象检测视为回归问题，获取给定的输入图像并同时学习边界框坐标和相应的类标签概率。通常，单级检测器往往不如两级检测器准确，但其速度明显更快。YOLO是单级检测器中一个很好的算法。YOLO算法于2015年提出，在GPU上获得了 45 FPS性能，此外，同时也提出了一个较小的变体称为“Fast YOLO”，在GPU上达到155 FPS的性能。YOLO经历了许多次的迭代，包括YOLOv2，能够检测超过9,000个目标。直到最近提出的YOLOv3算法，YOLOv3模型比之前的版本要复杂得多，但它是YOLO系列目标检测器中最好的一款。本文使用YOLOv3，并在COCO数据集上进行训练。COCO数据集由80个标签组成，可以使用此链接找到YOLO在COCO数据集上训练的内容的完整列表。

项目结构

$ tree.
├── images
│ ├── baggage_claim.jpg
│ ├── dining_table.jpg
│ ├── living_room.jpg
│ └── soccer.jpg
├── output
│ ├── airport_output.avi
│ ├── car_chase_01_output.avi
│ ├── car_chase_02_output.avi
│ └── overpass_output.avi
├── videos
│ ├── airport.mp4
│ ├── car_chase_01.mp4
│ ├── car_chase_02.mp4
│ └── overpass.mp4
├── yolo-coco
│ ├── coco.names
│ ├── yolov3.cfg
│ └── yolov3.weights
├── yolo.py
└── yolo_video.py

从上面可以看出，项目包括4个文件夹和2个Python脚本。
目录(按重要性顺序)是：

yolo - coco/ ：YOLOv3对象检测器预先(在COCO数据集上)训练得到最终的权重文件，可以在Darknet团队主页找到对应的文件；

images/ ：此文件夹包含四个静态图像，之后将执行对象检测以进行测试和评估；

videos/ ：使用YOLO对图像进行目标检测器后，将实时处理视频。该文件夹中包含四个示例视频可供测试；

输出/ ：输出已由YOLO处理并带有边界框和类名称注释的视频可以放在此文件夹中；

此外还有两个Python脚本——yolo.py和 yolo_video.py ，第一个脚本用于图像处理，第二个脚本用于视频处理。下面进入实战内容，你准备好了吗？

将YOLO应用于图像对象检测

YOLO算法并没有应用非最大值抑制，这里需要说明一下。应用非最大值抑制可以抑制明显重叠的边界框，只保留最自信的边界框，NMS还确保我们没有任何冗余或无关的边界框。

利用OpenCV内置的NMS DNN模块实现即可实现非最大值抑制，所需要的参数是边界框、置信度、以及置信度阈值和NMS阈值。

假设存在至少一个检测结果，就循环用非最大值抑制确定idx 。然后，我们使用随机类颜色在图像上绘制边界框和文本。最后，显示结果图像，直到用户按下键盘上的任意键。
下面进入测试环节，打开一个终端并执行以下命令：

$python yolo.py --image images/baggage_claim.jpg --yolo yolo-coco

[INFO] loading YOLO from disk...
[INFO] YOLO took 0.347815 seconds

视频检测解决

那么在学会检测单张图像后，我们也可以利用YOLO算法实现视频流中的目标检测。

同样，首先从导入相关数据包和命令行参数开始。与之前不同的是，此脚本没有-- image参数，取而代之的是量个视频路径：

-- input ：输入视频文件的路径；

-- output ：输出视频文件的路径；

视频的输入可以是手机拍摄的短视频或者是网上搜索到的视频。另外，也可以通过将多张照片合成为一个短视频也可以。本博客使用的是在PyImageSearch上找到来自imutils的VideoStream类的示例。
代码与处理图形时候相同：

YOLO目标检测器的最大限制和缺点是：

它并不总能很好地处理小物体；

它尤其不适合处理密集的对象；

限制的原因是由于YOLO算法其本身：

YOLO对象检测器将输入图像划分为SxS网格，其中网格中的每个单元格仅预测单个对象；

如果单个单元格中存在多个小对象，则YOLO将无法检测到它们，最终导致错过对象检测；

因此，如果你的数据集是由许多靠近在一起的小对象组成时，那么就不应该使用YOLO算法。就小物体而言，更快的R-CNN往往效果最好，但是其速度也最慢。在这里也可以使用SSD算法， SSD通常在速度和准确性方面也有很好的权衡。
值得注意的是，在本教程中，YOLO比SSD运行速度慢，大约慢一个数量级。因此，如果你正在使用预先训练的深度学习对象检测器供OpenCV使用，可能需要考虑使用SSD算法而不是YOLO算法。
因此，在针对给定问题选择对象检测器时，我倾向于使用以下准则：

如果知道需要检测的是小物体并且速度方面不作求，我倾向于使用faster R-CNN算法；

如果速度是最重要的，我倾向于使用YOLO算法；

如果需要一个平衡的表现，我倾向于使用SSD算法；