前言
最近入手了一款非常便宜的usb摄像头(买回来感觉画质很低,没有描述的4k,不过也够用于学习了),想着利用它来开启流媒体相关技术的学习。第一步便是打开摄像头,从而才能够对它进行一系列后续操作,诸如实时编解码,推流摄像头采集的数据等等。
本篇文章记录了如何通过QT、libvlc、ffmpeg三种方式来调用usb摄像头,顺带讲述了如何播放http网络视频流。以及如何搭建一个srs流媒体服务器。如代码有逻辑错误或者可优化,欢迎大家指正!希望和大家共同进步。
VS2022 + QT 调用usb摄像头
vs2022如果还没配置QT可参考博客: https://blog.csdn.net/H0893_888/article/details/129772600
第一步: vs2022新建一个Qt Widgets Application
第二步: 填写项目名称和项目位置,大家随意
第三步: qt向导中进行如下勾选(这里没选全,后续也可再更改)
主要代码
void Qt_Camera::openCamera(void)
{//获取可用摄像头列表信息QList<QCameraInfo> cameras = QCameraInfo::availableCameras();for(auto camera: cameras){qDebug() << camera;}/* 创建摄像头对象* QCamera *camera = new QCamera;* 这里使用QCameraInfo::availableCameras().at(1)是因为0为电脑自带的摄像头,1为usb摄像头*/QCamera *camera = new QCamera(QCameraInfo::availableCameras().at(1));// 创建摄像头取景器对象QCameraViewfinder *finder = new QCameraViewfinder;// 设置取景器为摄像头的视图camera->setViewfinder(finder);camera->setCaptureMode(QCamera::CaptureVideo);//创建图像捕获对象QCameraImageCapture *imageCapture = new QCameraImageCapture(camera);//设置图片保存路径imageCapture->setCaptureDestination(QCameraImageCapture::CaptureToFile);// 创建布局管理器QVBoxLayout *layout = new QVBoxLayout;layout->addWidget(finder);// 创建拍照按钮QPushButton *captureButton = new QPushButton("Capture");layout->addWidget(captureButton);//信号与槽连接connect(imageCapture, &QCameraImageCapture::imageCaptured, this, &MainWindow::takePhoto);// 连接拍照按钮的点击事件到图像捕获对象的拍照槽函数connect(captureButton, &QPushButton::clicked, [=](){imageCapture->capture();});// 创建主窗口QWidget *window = new QWidget;window->setLayout(layout);window->show();// 启动摄像头camera->start();
}/* 这里的 id 和 image 参数 由 QCameraImageCapture::imageCaptured 这个信号传递过来 */
void Qt_Camera::takePhoto(int id, const QImage &image)
{//使用系统时间来命名图片的名称,时间是唯一的,图片名也是唯一的QDateTime dateTime(QDateTime::currentDateTime());QString time = dateTime.toString("yyyy-MM-dd-hh-mm-ss");//创建图片保存路径名QString filename = QString("D:/%1.jpg").arg(time);//保存一帧数据image.save(filename);//提示获取到了一帧数据QMessageBox::information(this, "提示:", "获取到一帧图片");
}
效果图
VS2022 + libvlc 调用usb摄像头/网络视频/本地视频
libvlc官网下载: https://download.videolan.org/pub/videolan/vlc/ (32/64位自选)
第一步: 创建空项目
第二步: 填写项目名称/路径,大家随意
第三步: 新建一个main.cpp
第四步: 拷贝libvlc至项目路径下
第五步: 拷贝libvlc下的所有内容至项目路径下(plugins、libvlc.dll、libvlccore.dll)
注意: 如果忘记拷贝 plugins 文件夹,无法通过 libvlc_new 得到 libvlc_instance_t* 类型的一个实例。
第六步: 获取usb摄像头名称,libvlc中需要先获得usb摄像头的名称
- 1 打开电脑中计算机管理
- 2 点击设备管理器
- 3 点击照相机,下方即为电脑摄像头设备名称
main.cpp代码(这里使用C++代码,相对清爽一些)
#include <iostream>#include "vlc/vlc.h"using namespace std;void setMedia(const char* url)
{//判断url是否为空if (!url){cout << "url is nullptr!" << endl;return;}libvlc_instance_t* vlcInstance = libvlc_new(0, nullptr);//判断vlc实例是否为空if (!vlcInstance){cout << "vlcInstance is nullptr!" << endl;return;}//创建媒体//libvlc_media_t *vlcMedia= libvlc_media_new_path(vlcInstance,url); //播放本地视频文件//libvlc_media_t* vlcMedia = libvlc_media_new_location(vlcInstance, "http://sovv.qianpailive.com/a455359ee41b684baaf0e4a094ee34c4/1714302042/b740/20240427/e5eba6250b87047662500bd5a3356465?a=ylu7kvm4yc47&t=1714302042023730569&u=el2KNaf9FEzbwLuS6FKdUaqObdUwp2i5Q7qqeWI3&vid=Vjkz13DanVMG"); //播放网络视频文件libvlc_media_t* vlcMedia = libvlc_media_new_location(vlcInstance, "dshow://DV20 USB CAMERA"); //打开usb摄像头if (!vlcMedia){cout << "vlcMedia is nullptr!" << endl;return;}//创建媒体播放器libvlc_media_player_t* vlcMediaPlayer = libvlc_media_player_new_from_media(vlcMedia);if (!vlcMediaPlayer){cout << "vlcMediaPlayer is nullptr!" << endl;return;}libvlc_media_player_play(vlcMediaPlayer);getchar();//释放媒体播放器if (vlcMediaPlayer){libvlc_media_player_release(vlcMediaPlayer);}//释放媒体if (vlcMedia){libvlc_media_release(vlcMedia);}//释放vlc实例if (vlcInstance){libvlc_release(vlcInstance);}}int main(void)
{setMedia("D:\\3.flv"); //传递播放媒体urlcout << "hello vlc" << endl;getchar();return 0;
}
效果图:
-
本地视频
-
网络视频
-
摄像头采集一帧画面(感觉不是很清晰)
VS2022 + ffmpeg + sdl 摄像头采集数据
不了解 ffmpeg 和 sdl 可参考我的上一篇博客: https://blog.csdn.net/m0_73431159/article/details/138195924
由于上一篇已经讲过 ffmpeg + sdl 在 vs2022 中的环境配置,这里就不再赘述了。
ffmpeg可以直接用命令行查看摄像头设备名
可先使用chcp 65001 临时改变 cmd 窗口编码格式为 utf-8
ffmpeg -list_devices true -f dshow -i dummy
代码
#pragma warning(disable:4996)#include <stdio.h>extern "C" // ffmpeg有C语言编写,这里为cpp文件
{
#include "libavformat/avformat.h"
#include "libavcodec/avcodec.h"
#include "libswscale/swscale.h"
#include "libavdevice/avdevice.h"
#include "SDL/SDL.h"
#include "SDL/SDL_thread.h"
}#undef main // sdl中已有main的相关定义#define REFRESH_EVENT (SDL_USEREVENT + 1) // 自定义事件int thread_exit = 0; //线程循环状态变量int refresh_thread(void* opaque)
{while (thread_exit == 0) {SDL_Event event;event.type = REFRESH_EVENT; // 将事件类型定为REFRESH_EVENTSDL_PushEvent(&event); // 送入事件队列中SDL_Delay(40); // 如果是打开摄像头,可注释该行。如果是播放视频,该行表示每秒25帧}return 0;
}**加粗样式**int main(void)
{//-----------ffmpeg------------AVFormatContext* pFormatContext = NULL; //封装格式上下文AVDictionary* opts = NULL; // 字典const char* url = "http://sovv.qianpailive.com/6ddf66db8dc4449123e9f93259db899b/1714201703/cf05/20231002/c36e0216c67cdfb009dcd1467ac4075f?a=ylu7kvm4yc47&t=1714201703527245094&u=lEqwQq9pxNSGX4uxOLgaVBmDh9FrvJwoKTdAX6t2&vid=8jLl7AGQLxjA"; //网络视频地址int videoIndex = -1; //视频流索引号int i = 0; // 循环变量AVCodecContext* pCodecContext = NULL; // 编解码上下文AVCodec* pCodec = NULL; // 编解码器AVPacket* packet = NULL; // 解码前一帧视频数据AVFrame* pFrame = NULL; // 解码后一帧数据AVFrame* pFrameYUV = NULL; // 裁剪后一帧数据struct SwsContext* img_convert_ctx = NULL; //像素格式转换等//-------------SDL-------------SDL_Surface* screen; //画布int screen_w = 0, screen_h = 0;SDL_Overlay* bmp; //涂层叠层SDL_Rect rect; //绘图区域int ret, got_picture; SDL_Thread* video_tid; //线程SDL_Event event; //事件av_register_all(); // 注册所有组件avformat_network_init(); //网络初始化avdevice_register_all(); //注册所有设备#if 0 //如果想要播放网络流视频,将其置 1j/* 加上一些限制条件 */av_dict_set(&opts, "http_transport", "tcp", 0);av_dict_set(&opts, "max_delay", "500", 0);pFormatContext = avformat_alloc_context();/* 打开网络视频 */if (avformat_open_input(&pFormatContext, url, NULL, &opts) != 0){printf("Can't open input !\n");return -1;}
#elsepFormatContext = avformat_alloc_context();/* DShow是DirectShow的简称,它是一种用于Windows平台的多媒体框架 */pFormatContext->iformat = av_find_input_format("dshow");// pFormatContext->iformat = av_find_input_format("vfwcap");/* 打开摄像头作为输入 */if (avformat_open_input(&pFormatContext, "video=DV20 USB CAMERA", pFormatContext->iformat, NULL) != 0){printf("Can't open input !\n");return -1;}
#endif/* 获取流信息 */if (avformat_find_stream_info(pFormatContext, NULL) < 0){printf("Couldn't find stream information.\n");return -1;}/* 寻找视频流 */for (int i = 0; i < pFormatContext->nb_streams; i++){if (pFormatContext->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){videoIndex = i;break;}}/* 判断是否找到视频流 */if (videoIndex == -1){printf("Can't find video stream !\n");return -1;}pCodecContext = pFormatContext->streams[videoIndex]->codec; //获取解码器上下文pCodec = avcodec_find_decoder(pCodecContext->codec_id); //获取解码器/* 判断是否成功获取解码器 */if (pCodec == NULL) {printf("Can't find decoder !\n");return -1;}/* 打开解码器是否成功 */if (avcodec_open2(pCodecContext, pCodec, NULL) < 0){printf("Can't open decoder !\n");return -1;}/* 分配空间 */packet = (AVPacket*)av_malloc(sizeof(AVPacket));pFrame = avcodec_alloc_frame();pFrameYUV = avcodec_alloc_frame();/* 初始化SDL子系统 */if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {printf("Could not initialize SDL - %s\n", SDL_GetError());return -1;}/* 获取宽、高 */screen_w = pCodecContext->width;screen_h = pCodecContext->height;/** SDL_SetVideoMode是一个用于设置SDL窗口的宽、高度、位深度和标志的函数。* @return 返回一个指向SDL_Surface结构的针,该结构表示窗口的表面。*/screen = SDL_SetVideoMode(screen_w, screen_h, 0, 0);if (!screen) {printf("SDL: could not set video mode - exiting:%s\n", SDL_GetError());return -1;}/** SDL_CreateYUVOverlay函数: SDL库中用于创建YUV覆盖的函数。YUV覆盖是一种用于在屏幕上显示视频的数据结构。* SDL_YV12_OVERLAY是SDL库中的一个宏定义,用于创建一个YV12格式的图像叠加层(overlay)。* YV12是一种颜色编码格式,常用于视频图像的处理和显示。* YV12格式将图像的亮度(Y)和色度(UV)分开存储,可以有效地压缩图像数据并提高图像质量。*/bmp = SDL_CreateYUVOverlay(pCodecContext->width, pCodecContext->height, SDL_YV12_OVERLAY, screen);rect.x = 0;rect.y = 0;rect.w = screen_w;rect.h = screen_h;/* 图片格式转换 */img_convert_ctx = sws_getContext(pCodecContext->width, pCodecContext->height, pCodecContext->pix_fmt, pCodecContext->width, pCodecContext->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);/* 创建一个线程 */video_tid = SDL_CreateThread(refresh_thread, NULL);/* SDL_WM_SetCaption函数是SDL库中的一个函数,用于设置显示窗口的标题和图标 */SDL_WM_SetCaption("MyCameraTest", NULL);while(1){//等待事件到来SDL_WaitEvent(&event);/* 判断事件类型是否为REFRESH_EVENT,是则读帧 */if (event.type == REFRESH_EVENT) {//------------------------------if (av_read_frame(pFormatContext, packet) >= 0) {//判断是否为视频帧if (packet->stream_index == videoIndex) {//解码packetret = avcodec_decode_video2(pCodecContext, pFrame, &got_picture, packet);if (ret < 0) {printf("Decode Error.\n");return -1;}//判断是否获得一帧画面if (got_picture){/* SDL_LockYUVOverlay函数用于锁定YUV覆盖层,以便在其上进行像素操作。 */SDL_LockYUVOverlay(bmp);pFrameYUV->data[0] = bmp->pixels[0];pFrameYUV->data[1] = bmp->pixels[2];pFrameYUV->data[2] = bmp->pixels[1];pFrameYUV->linesize[0] = bmp->pitches[0];pFrameYUV->linesize[1] = bmp->pitches[2];pFrameYUV->linesize[2] = bmp->pitches[1];/** sws_scale是一个图像缩放函数,用于将输入图像缩放到指定的输出尺寸。* c:SwsContext结构体指针,包含了图像缩放的相关参数。* srcSlice:输入图像数据的指针数组,每个指针指向一个输入图像平面。* srcStride:输入图像数据的步长数组,每个步长对应一个输入图像平面。* srcSliceY:输入图像的起始行数。* srcSliceH:输入图像的高度。* dst:输出图像数据的指针数组,每个指针指向一个输出图像平面。* dstStride:输出图像数据的步长数组,每个步长对应一个输出图像平面。*/sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecContext->height, pFrameYUV->data, pFrameYUV->linesize);/** SDL_UnlockYUVOverlay函数: SDL库中用于解锁YUV叠加层的函数。* 它的作用是解锁一个已经锁定的YUV叠加层,以便可以对其进行修改或者渲染操作。* @param overlay 是一个指向SDL_Overlay结构体的指针,它表示要解锁的YUV叠加层。*/SDL_UnlockYUVOverlay(bmp);/** SDL_DisplayYUVOverlay函数: SDL库中用于显示YUV覆盖层的函数。* @param overlay:指向SDL_Overlay结构的指针,表示要显示的YUV覆盖层。* @param dstrect:指向SDL_Rect结构的指针,表示覆盖层在屏幕上的位置和大小。*/SDL_DisplayYUVOverlay(bmp, &rect);}}//free a packetav_free_packet(packet);}else {//Exit Threadthread_exit = 1;break;}}// 事件类型为退出事件则退出循环else if (event.type == SDL_QUIT){thread_exit = 1;break;}}/* 关闭释放相关资源 */sws_freeContext(img_convert_ctx);SDL_Quit(); av_free(pFrameYUV);avcodec_close(pCodecContext);avformat_close_input(&pFormatContext);return 0;
}
效果图:
搭建srs流媒体服务器
srs官⽹:https://github.com/ossrs/srs
码云的源速度快:https://gitee.com/winlinvip/srs.oschina.git
github的源速度慢:https://github.com/ossrs/srs.git
第⼀步,获取SRS
git clone https://gitee.com/winlinvip/srs.oschina.git
cd srs.oschina
git checkout -b 5.0 remotes/origin/5.0release
cd trunk
第二步,编译SRS
./configure && make
第三步,编写SRS配置⽂件
将以下内容保存为⽂件,譬如 conf/rtmp.conf ,服务器启动时指定该配置⽂件(srs的conf⽂件夹有该⽂件)。
# conf/rtmp.conf
listen 1935;
max_connections 1000;
vhost __defaultVhost__ {
}
第四步,启动srs
./objs/srs -c conf/rtmp.conf
第五步,启动推流编码器
视频推流
ffmpeg -re -i 3.flv -vcodec copy -acodec copy -f flv -y rtmp://192.168.72.128/live/livestream
摄像头推流
ffmpeg -f dshow -i video=“Integrated Camera” -c:v libx264 -preset ultrafast -tune zerolatency -f flv rtmp://192.168.72.128/live/livestream
这里需要根据每个人的实际情况进行填写,如: 3.flv 需替换成您电脑的视频地址
rtmp后面的地址也得改成实际的服务器地址
第六步,观看RTMP流。
- 可以使用ffplay rtmp://192.168.72.128/live/livestream
- 可以使用vlc播放器进行拉流播放
注意:如果是在虚拟机上进行测试,记得关闭虚拟机防火墙
第五步,启动推流编码器
视频推流
ffmpeg -re -i 3.flv -vcodec copy -acodec copy -f flv -y rtmp://192.168.72.128/live/livestream
摄像头推流
ffmpeg -f dshow -i video=“Integrated Camera” -c:v libx264 -preset ultrafast -tune zerolatency -f flv rtmp://192.168.72.128/live/livestream
这里需要根据每个人的实际情况进行填写,如: 3.flv 需替换成您电脑的视频地址
rtmp后面的地址也得改成实际的服务器地址
第六步,观看RTMP流。
- 可以使用ffplay rtmp://192.168.72.128/live/livestream
- 可以使用vlc播放器进行拉流播放
注意:如果是在虚拟机上进行测试,记得关闭虚拟机防火墙
systemctl stop firewalld