图像处理常见的两种拉流方式

传统算法或者深度学习在进行图像处理之前，总是会首先进行图像的采集，也就是所谓的拉流。解决拉流的方式有两种，一个是直接使用opencv进行取流，另一个是使用ffmpeg进行取流，如下分别介绍这两种方式进行拉流处理。

1、opencv直接取流

opencv的取流方式主要是利用VideoCapture类进行处理的。VideoCapture提供了一整套的读取视频流信息的方案，主要的函数如下：
VideoCapture有三个构造函数：

  • 不带任何参数的构造函数
    在这里插入图片描述
  • 带有一个视频流地址的构造函数
    在这里插入图片描述
  • 带有一个视频index的构造函数
    在这里插入图片描述
    isOpened()函数主要是判定是否成功打开流地址
    在这里插入图片描述
    read()读取视频数据
    在这里插入图片描述
    release()函数用于释放类对象
    在这里插入图片描述
    具体参考地址：https://docs.opencv.org/4.0.0/d8/dfe/classcv_1_1VideoCapture.html

1.1 python拉流

主要流程为分为以下几步：

  • 通过流的地址实例化VideoCapture类
  • 判断是否成功打开流地址
  • 循环读取每一帧流数据并处理
  • 释放实例化的对象
  • 释放cv
def vedio2Img(vedio_path, save_path):cap = cv2.VideoCapture(vedio_path)fps = int(cap.get(cv2.CAP_PROP_FPS))total_count = cap.get(cv2.CAP_PROP_FRAME_COUNT)count = 0img_idx = 0if not cap.isOpened():returnwhile True:success, frame = cap.read()if success:try:count += 1if count % fps == 0:img_idx += 1name = save_path.split('\\')[-1]save_path1 = os.path.join(save_path, '{}_vedio_{}.jpg'.format(name, str(img_idx)))save_img(save_path1, frame)print('finish number {} img save'.format(img_idx))cv2.waitKey(1)except:print('encounter some wrong')continuecap.release()cv2.destroyAllWindows()

1.2 C++ opencv拉流

c++的使用opencv拉流的方式和opencv基本一致（ps:python的底层应该是C++实现的），因此其实现格式如下所示：

	std::string vedio_path = "rtsp://admin:123456@127.0.0.1/Streaming/Channels/11000";cv::VideoCapture cap;cap.open(vedio_path);if (!cap.isOpened()) {std::cout << "error about cap" << std::endl;}VideoFrameDecode videoframe;cv::Mat frame;while (cap.read(frame)){if (frame.empty()) {break;}int w = frame.size().width;int h = frame.size().height;printf("h=%i,w=%i", h, w);unsigned char* buffer = frame.data;size_t stride = frame.step;cv::Mat img = cv::Mat(h, w, CV_8UC3, (void*)buffer, stride);cv::namedWindow("demo", cv::WINDOW_NORMAL);cv::imshow("demo", img);cv::waitKey(0);}cap.release();cv::destroyAllWindows();

2、ffmpeg拉流（C++实现）

  • 下载ffmpeg包的
    ffmpeg包下载地址
    博主下载的5.1.2版本
    在这里插入图片描述

  • vs2022配置使用
    在C/C+±>附加包含目录中添加新下载的ffmpeg包的include路径
    在这里插入图片描述
    在链接器->附加库目录中添加ffmpeg包的lib文件路径
    在这里插入图片描述
    在链接器->输入->附加依赖项中加入所需要的lib库目录，整理如下：

    avcodec.lib
avdevice.lib
avfilter.lib
avformat.lib
avutil.lib
swresample.lib
swscale.lib

    如果不想在环境变量中配置ffmpeg中bin文件的目录，可以使用如下方式临时配置：
    在调试->环境中使用Path=D:\ffmpeg\bin;%PATH即可临时使用
    在这里插入图片描述

博主将拉流方式封装为一个类，主要代码如下所示：
ffmpeg.h文件如下：

#ifndef __FFMPEG_DECODE_H__
#define __FFMPEG_DECODE_H__// Opencv
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
extern "C"
{
#include<libavutil/avutil.h>
#include<libavutil/imgutils.h>
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libswscale/swscale.h>
#include<libavdevice/avdevice.h>
};struct VideoFrameDecode {void* buffer;		//֡帧的buffer指针(仅支持RGB格式)int pitch;			//图像一行的宽度
};class ReadFfmpeg
{
public:ReadFfmpeg(char* rtsppath);~ReadFfmpeg();void processOneFrame(cv::Mat &img);private:AVFormatContext* formatContext = nullptr; int ret = -1;int videoStreamIndex = -1;AVCodecParameters* codecParameters = nullptr;const AVCodec* codec = nullptr; AVCodecContext* codecContext = nullptr; AVPacket packet; AVFrame* pFrameRGB;uint8_t* buffer;SwsContext* sws_ctx; };
#endif

其中具体实现的ffmpeg.cpp文件如下所示

#include "ReadFfmpeg.h"
#include <iostream>
#include<chrono>
#include<thread>
using namespace std;ReadFfmpeg::ReadFfmpeg(char* rtsppath)
{avformat_network_init();AVDictionary* formatOptions = nullptr;av_dict_set_int(&formatOptions, "buffer_size", 2 << 20, 0);av_dict_set(&formatOptions, "rtsp_transport", "tcp", 0); //默认使用udp协议进行传输，会出现max delay reached. need to consume packet av_dict_set_int(&formatOptions, "timeout", 5000000, 0);formatContext = avformat_alloc_context();ret = avformat_open_input(&formatContext, rtsppath, nullptr, &formatOptions);if (ret != 0) {std::cerr << "Failed to open RTSP stream." << std::endl;}ret = avformat_find_stream_info(formatContext, nullptr);if (ret < 0) {std::cerr << "Failed to find stream info." << std::endl;}for (unsigned int i = 0; i < formatContext->nb_streams; ++i) {if (formatContext->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {videoStreamIndex = i;break;}}if (videoStreamIndex == -1) {std::cerr << "Failed to find video stream." << std::endl;}codecParameters = formatContext->streams[videoStreamIndex]->codecpar;codec = avcodec_find_decoder(codecParameters->codec_id);if (codec == nullptr) {std::cerr << "Failed to find video decoder." << std::endl;}codecContext = avcodec_alloc_context3(codec);if (avcodec_parameters_to_context(codecContext, codecParameters) < 0) {std::cerr << "Failed to allocate codec context." << std::endl;}ret = avcodec_open2(codecContext, codec, nullptr);if (ret < 0) {std::cerr << "Failed to open codec." << std::endl;}pFrameRGB = av_frame_alloc();buffer = (uint8_t*)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_RGB24, codecContext->width, codecContext->height, 1));av_image_fill_arrays(pFrameRGB->data, pFrameRGB->linesize, buffer, AV_PIX_FMT_RGB24, codecContext->width, codecContext->height, 1);sws_ctx = sws_getContext(codecContext->width, codecContext->height, codecContext->pix_fmt,codecContext->width, codecContext->height, AV_PIX_FMT_RGB24,SWS_BILINEAR, nullptr, nullptr, nullptr);ret = av_read_frame(formatContext, &packet);if (ret < 0) {std::cerr << "Failed to open packet." << std::endl;}
}ReadFfmpeg::~ReadFfmpeg()
{avformat_network_deinit();avcodec_free_context(&codecContext);sws_freeContext(sws_ctx);	av_free(pFrameRGB);av_free(buffer);av_free(codecParameters);avformat_close_input(&formatContext);
}void ReadFfmpeg::processOneFrame(cv::Mat& img)
{if (img.empty()){img = cv::Mat(codecContext->height, codecContext->width, CV_8UC3);}int ret = av_read_frame(formatContext, &packet);if (ret >= 0) {if (packet.stream_index == videoStreamIndex) {avcodec_send_packet(codecContext, &packet);AVFrame* avFrame = av_frame_alloc();int res = avcodec_receive_frame(codecContext, avFrame);if (res == 0) {// Convert frame to RGBsws_scale(sws_ctx, avFrame->data, avFrame->linesize, 0, codecContext->height, pFrameRGB->data, pFrameRGB->linesize);img.data = pFrameRGB->data[0];}av_frame_free(&avFrame);}}av_packet_unref(&packet);
}void test() {char* filename = (char*)"rtsp://admin:123456@127.0.0.1:10000/Streaming/Channels/10000";ReadFfmpeg* fmpeg = new ReadFfmpeg(filename);cv::Mat img;int nFrame = 0;auto start = std::chrono::system_clock::now();for (;;){nFrame++;fmpeg->processOneFrame(img);if (nFrame % 100==0) {nFrame = 0;auto end = std::chrono::system_clock::now();auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(end - start);std::cout << "the fps is: " << static_cast<float>(100 / (duration.count() / 1000.0)) << std::endl;start = end;}// Display framecv::namedWindow("RTSP Stream", cv::WINDOW_NORMAL);cv::imshow("RTSP Stream", img);cv::waitKey(1);}delete fmpeg;}

以上是一个非常简单的拉流方式，仅可以用作一个demo，实现流的读取，如果想达到实时状态的取流和处理，需要使用多线程的方式，实现一个读取流数据的线程，将数据放入队列，同时实现一个读取流数据的线程，从队列读取数据，同时运行。

附录

实际上opencv也是可以使用ffmpeg的方式进行拉流的，只不过需要在编译opencv的时候，指定ffmpeg版本。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/43841.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AraNet：面向阿拉伯社交媒体的新深度学习工具包

AraNet：面向阿拉伯社交媒体的新深度学习工具包

阿拉伯语是互联网上第四大最常用的语言&#xff0c;它在社交媒体上的日益增加为大规模研究阿拉伯语在线社区提供了充足的资源。然而&#xff0c;目前很少有工具可以从这些数据中获得有价值的见解&#xff0c;用于决策、指导政策、协助应对等。这种情况即将改变吗&#xff1f; …
阅读更多...
飞天使-k8s简单搭建

飞天使-k8s简单搭建

文章目录 k8s概念安装部署-第一版无密钥配置与hosts与关闭swap开启ipv4转发安装前启用脚本开启ip_vs安装指定版本docker 安装kubeadm kubectl kubelet,此部分为基础构建模版 k8s一主一worker节点部署k8s三个master部署,如果负载均衡keepalived 不可用&#xff0c;可以用单节点做…
阅读更多...
【Vue-Router】路由元信息

【Vue-Router】路由元信息

路由元信息&#xff08;Route Meta Information&#xff09;是在路由配置中为每个路由定义的一组自定义数据。这些数据可以包含任何你希望在路由中传递和使用的信息&#xff0c;比如权限、页面标题、布局设置等。Vue Router 允许你在路由配置中定义元信息&#xff0c;然后在组件…
阅读更多...
【学习FreeRTOS】第12章——FreeRTOS时间管理

【学习FreeRTOS】第12章——FreeRTOS时间管理

1.FreeRTOS系统时钟节拍 FreeRTOS的系统时钟节拍计数器是全局变量xTickCount&#xff0c;一般来源于系统的SysTick。在STM32F1中&#xff0c;SysTick的时钟源是72MHz/89MHz&#xff0c;如下代码&#xff0c;RELOAD 9MHz/1000-1 8999&#xff0c;所以时钟节拍是1ms。 portNV…
阅读更多...
Django模型基础

Django模型基础

文章目录 一、models字段类型概述属性命名限制使用方式逻辑删除和物理删除常用字段类型 二、常用字段参数常用字段选项(通过字段选项&#xff0c;可以实现对字段的约束) 实践创建模型执行迁移命令 并 创建超级用户登录admin后台添加文件和图片字段定义模型字段和约束及在Admin后…
阅读更多...
大数据课程K2——Spark的RDD弹性分布式数据集

大数据课程K2——Spark的RDD弹性分布式数据集

文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解Spark的RDD结构； ⚪ 掌握Spark的RDD操作方法； ⚪ 掌握Spark的RDD常用变换方法、常用执行方法； 一、Spark最核心的数据结构——RDD弹性分布式数据集 1. 概述 初学Spark时，把RDD看…
阅读更多...
优于立方复杂度的 Rust 中矩阵乘法

优于立方复杂度的 Rust 中矩阵乘法

优于立方复杂度的 Rust 中矩阵乘法 迈克克维特 跟随 发表于 更好的编程 6 分钟阅读 7月 <> 143 中途&#xff1a;三次矩阵乘法 一、说明 几年前&#xff0c;我在 C 年编写了 Strassen 矩阵乘法算法的实现&#xff0c;最近在 Rust 中重新实现了它&#xff0c;因为我继续…
阅读更多...
基于Bsdiff差分算法的汽车OTA升级技术研究（学习）

基于Bsdiff差分算法的汽车OTA升级技术研究（学习）

摘要 针对汽车OTA整包升级时&#xff0c;用户下载时间长&#xff0c;升级时间长&#xff0c;设备服务器端压力大等问题&#xff0c;本文提出了一种基于Bsdiff差分算法的汽车OTA升级技术。该算法能够对比新旧版本的差异&#xff0c;进行差分文件下载&#xff0c;减少软件包的下…
阅读更多...
大数据面试题：Spark的任务执行流程

大数据面试题：Spark的任务执行流程

面试题来源&#xff1a; 《大数据面试题 V4.0》 大数据面试题V3.0&#xff0c;523道题&#xff0c;679页&#xff0c;46w字 可回答&#xff1a;1&#xff09;Spark的工作流程&#xff1f;2&#xff09;Spark的调度流程&#xff1b;3&#xff09;Spark的任务调度原理&#xf…
阅读更多...
Python Opencv实践 - 图像仿射变换

Python Opencv实践 - 图像仿射变换

import cv2 as cv import numpy as np import matplotlib.pyplot as pltimg cv.imread("../SampleImages/pomeranian.png", cv.IMREAD_COLOR) rows,cols img.shape[:2] print(img.shape[:2])#使用getAffineTransform来获得仿射变换的矩阵M #cv.getAffineTransform(…
阅读更多...
设计模式之适配器模式（Adapter）的C++实现

设计模式之适配器模式（Adapter）的C++实现

1、适配器模式的提出 在软件功能开发中&#xff0c;由于使用环境的改变&#xff0c;之前一些类的旧接口放在新环境的功能模块中不再适用。如何使旧接口能适用于新的环境&#xff1f;适配器可以解决此类问题。适配器模式&#xff1a;通过增加一个适配器类&#xff0c;在适配器接…
阅读更多...
汽车领域专业术语

汽车领域专业术语

1. DMS/OMS/RMS/IMS DMS&#xff1a;即Driver Monitoring System&#xff0c;监测对象为Driver&#xff08;驾驶员&#xff09;。DMS三大核心&#xff1a; OMS&#xff1a;即Occupancy Monitoring System&#xff0c;监测对象为乘客。 RMS&#xff1a;后排盲区检测系统 IMS&…
阅读更多...
提升大数据技能，不再颓废！这6家学习网站是你的利器！

提升大数据技能，不再颓废！这6家学习网站是你的利器！

随着国家数字化转型&#xff0c;大数据领域对人才的需求越来越多。大数据主要研究计算机科学和大数据处理技术等相关的知识和技能&#xff0c;从大数据应用的三个主要层面&#xff08;即数据管理、系统开发、海量数据分析与挖掘&#xff09;出发&#xff0c;对实际问题进行分析…
阅读更多...
Linux Vm上部署Docker

Linux Vm上部署Docker

创建ubutu虚拟机并远程连接&#xff0c; 参考 https://blog.csdn.net/m0_48468018/article/details/132267096 在终端中切换到root用户&#xff0c;并安装docker服务 2.1 切换到root用户 sudo su2.2 安装docker服务 , 参考 https://docs.docker.com/engine/install/ubuntu/ …
阅读更多...
百望云联合华为发布票财税链一体化数智解决方案 赋能企业数字化升级

百望云联合华为发布票财税链一体化数智解决方案 赋能企业数字化升级

随着数据跃升为数字经济关键生产要素&#xff0c;数据安全成为整个数字化建设的重中之重。为更好地帮助企业发展&#xff0c;中央及全国和地方政府相继出台了多部与数据相关的政策法规&#xff0c;鼓励各领域服务商提供具有自主创新的软件产品与服务&#xff0c;帮助企业在合规…
阅读更多...
聊聊在集群环境中本地缓存如何进行同步

聊聊在集群环境中本地缓存如何进行同步

前言 之前有发过一篇文章聊聊如何利用redis实现多级缓存同步。有个读者就给我留言说&#xff0c;因为他项目的redis版本不是6.0版本&#xff0c;因此他使用我文章介绍通过MQ来实现本地缓存同步&#xff0c;他的同步流程大概如下图 他原来的业务流程是每天凌晨开启定时器去爬取…
阅读更多...
Redis数据结构——快速列表quicklist、快表

Redis数据结构——快速列表quicklist、快表

定义 Redis中的数据结构&#xff0c;链表和压缩列表这两种数据结构是列表对象的底层实现方式。 当时考虑到链表的附加空间太大&#xff0c;节点的内存都是单独分配的&#xff0c;还会导致内存碎片化问题严重。 因此从Redis3.2开始&#xff0c;对列表的底层数据结构进行了改造&…
阅读更多...
CMake语法复习

CMake语法复习

前言 此文总结了库的制作和一些CMake常用的一些语法。 一&#xff1a;创建静态库和动态库 静态库的生成和使用 动态库的生成和使用 二&#xff1a;使用CMake来生成Makefile&#xff0c;生成可执行文件 顶层目录下的CMakeLists.txt project(HELLO) add_subdirectory(libhell…
阅读更多...
Python项目实战：基于napari的3D可视化（点云+slice）

Python项目实战：基于napari的3D可视化（点云+slice）

文章目录 一、napari 简介二、napari 安装与更新三、napari【巨巨巨大的一个BUG】四、napari 使用指南4.1、菜单栏&#xff08;File View Plugins Window Help&#xff09;4.2、Window&#xff1a;layer list&#xff08;参数详解&#xff09;4.3、Window&#xff1a;layer…
阅读更多...
FPGA：uart原理+tx发送模块+rx接收模块

FPGA：uart原理+tx发送模块+rx接收模块

文章目录 一、串口通信二、UART通信三、tx发送模块四、rx模块接收 一、串口通信 处理器与外部设备通信的两种方式&#xff1a; 串行通信&#xff1a; 指数据的各个位使用多条数据线同时进行传输。 并行通信&#xff1a; 将数据分成一位一位的形式在一条数据线上逐个传输。 串…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023