文章目录
- 前言
- 一、先上代码
- 1.将yuv/nv12等解码后的视频数据放入QVideoSink内
- 2.将AVFrame数据保存进QVideoSink
- 3.在qml中的显示
- 4.同理,在widget中也可显示
- 二、QVideoFarme支持的格式
- 三、说说渲染效率问题
前言
Qt 6版本中，视频播放能力得到了质的飞越，相对于qt5，变化也很多，具体变化可以看官方说明 https://www.qt.io/blog/qt-multimedia-in-qt-6
在Qt5版本中，如果需要播放一个视频，由于后端的解码能力很弱，绝大多数需要写解码的代码，但是在Qt6中，后端加入了ffmpeg，解码已经不是我们所需解决的问题，Qt Multimedia 可以很好的去播放视频
但是，在项目中大家可能不止会播放本地视频，很多情况下需要播放在线视频，比较低延时的rtsp流，udp裸流等等。对于需要实时性高的同学来说，qt的后端能力还是没有做好。这时还是需要自己处理视频流。
在Qt5时代，要播放一个低延时视频流，通常是使用ffmpeg自己解封装，解码视频流后，再将yuv/nv12等视频数据交给qt去渲染，问题是qt渲染能力低，很早大家使用sdl等工具去渲染视频，但由于sdl和qt各自使用自己的渲染事件，常会导致闪烁等问题，后来开始使用opengl,手写shader自己处理yuv数据，这个方案确实可行，效率也很高，但是得学习opengl相关知识。
但到了Qt6,新的QVideoSink，完全具备各视频的渲染，yuv，nv12等常见格式一点都不在话下，而且支持多种渲染方式，比如opengl和d3d11，d3d9等等，它主要是使用了Qt6的QRHI技术，有兴趣的同学可以去了解了解。
我这里主要讲讲如何使用ffmpeg解码+QVideoSink进行视频渲染播放
一、先上代码
1.将yuv/nv12等解码后的视频数据放入QVideoSink内
class VideoSourceRenderer : public QObject
{Q_OBJECTQ_PROPERTY(QVideoSink* videoSink READ videoSink WRITE setVideoSink NOTIFY videoSinkChanged)public:VideoSourceRenderer(){}QVideoSink* videoSink() const{return m_videoSink.get();}void setVideoSink(QVideoSink* videoSink){if (m_videoSink == videoSink)return;m_videoSink = videoSink;emit videoSinkChanged();}signals:void videoSinkChanged();
private:QPointer<QVideoSink> m_videoSink;QVideoFrameFormat m_videoFrameFormat;
public:bool init(int width, int height,QVideoFrameFormat::PixelFormat fmt){QSize _size(width, height);m_videoFrameFormat = QVideoFrameFormat(_size, fmt);m_videoSink->setVideoFrame(m_videoFrameFormat);return true;}// 这里怎么操作都可以，只要将解码后的yuv或者nv12等格式的数据放入QVideoFrame内，再设置给videoSink即可bool draw(const unsigned char* y, int y_pitch, const unsigned char* u, int u_pitch,const unsigned char* v, int v_pitch) {bool re = false;QVideoFrame frame(QVideoFrameFormat(QSize(m_width, m_height), m_videoFrameFormat.pixelFormat()));if (!frame.isValid() || !frame.map(QVideoFrame::WriteOnly)) {return false;}if (y && y_pitch > 0)memcpy(frame.bits(0), y, y_pitch * m_height);if (u && u_pitch > 0)memcpy(frame.bits(1), u, u_pitch * m_height / 2);if (v && v_pitch > 0)memcpy(frame.bits(2), v, v_pitch * m_height / 2);frame.setStartTime(0);frame.unmap();m_videoSink->setVideoFrame(frame);return re;}
};2.将AVFrame数据保存进QVideoSink
我这里是从项目中摘出来的代码,如果有同学在使用中,可不必这样,原则上只是拷贝AVFrame的数据
class TiVideoEngineManager : public QObject{Q_OBJECT
public:Q_PROPERTY(VideoSourceRenderer* videoRenderer READ videoRenderer CONSTANT)TiVideoEngineManager(){m_videoRenderer = new VideoSourceRenderer();startTimer(1);}protected:void timerEvent(QTimerEvent* event) override{//Get AVFrame from ffmpeg decodec,AVFrame* frame = m_decodec.getFrame();if (frame && m_videoRenderer) {m_videoRenderer->draw(frame->data[0], frame->linesize[0], frame->data[1], frame->linesize[1],frame->data[2], frame->linesize[2]);}}private:VideoSourceRenderer* m_videoRenderer = nullptr;
};
3.在qml中的显示
在QML中,使用VideoOutput即可完美显示
在qml中时,需要提前进行注册TiVideoEngineManager ,VideoSourceRenderer 不然qml会无法访问
// in qml
VideoOutput {id:videoutputComponent.onCompleted: {//需要提前注册好TiVideoEngineManagerTiVideoEngineManager.videoRenderer.videoSink = videoutput.videoSink}
}
4.同理,在widget中也可显示
widget中我并未测试，但是QVideoWidget内也同样有videoSink，要在QVideoWidget显示视频，只需将yuv数据设置进videoSink后即可。
二、QVideoFarme支持的格式
可以查看官方手册https://doc.qt.io/qt-6/qvideoframeformat.html#PixelFormat-enum
它格式很多，不确实是否都可以使用，但是常见的yuv数据格式都是支持的
三、说说渲染效率问题
我在渲染YUV数据时，界面使用的是qml，会发现渲染会比纯使用opengl慢100ms，找了找发现，在Windows上，Qt6.5后，Qt整个界面的渲染默认是根据系统平台决定的，在win11上默认使用的是D3D11,这会导致QVideoSink也是使用D3D11进行yuv的渲染，在理想中，windows中d3d11渲染yuv视频应该会更快才对，但实际并没有。
在尝试将Qt整个界面的渲染改为Opengl后，整个渲染速度即可手写的opengl渲染速度一样。
所以我认为是Qt的RHI中,d3d11的视频渲染没有写好，在Qt官方提交过bug，官方人员只说是关注，不知道后续能不能解决
如果真的需要关心这100ms的渲染效率，可以尝试在main函数的第一行设置
QQuickWindow::setGraphicsApi(QSGRendererInterface::OpenGL);
