FFmpeg学习2：解码数据结构及函数总结

在上一篇文章中，对FFmpeg的视频解码过程做了一个总结。由于才接触FFmpeg，还是挺陌生的，这里就解码过程再做一个总结。
本文的总结分为以下两个部分：

  • 数据读取，主要关注在解码过程中所用到的FFmpeg中的结构体。
  • 解码过程中所调用的函数

在学习的过程主要参考的是dranger tutorial，所以跟着教程在本文的最后使用SDL2.0将解码后的数据输出到屏幕上。

数据的读取

一个多媒体文件包含有多个流（视频流 video stream，音频流 audio stream，字幕等）；流是一种抽象的概念，表示一连串的数据元素；
流中的数据元素称为帧Frame。也就是说多媒体文件中，主要有两种数据：流Stream 及其数据元素 帧Frame，在FFmpeg自然有与这两种数据相对应的抽象：AVStream和AVPacket。

使用FFmpeg的解码，数据的传递过程可归纳如下：

  1. 调用avformat_open_input打开流，将信息填充到AVFormatContext中
  2. 调用av_read_frame从流中读取数据帧到 AVPacket，AVPacket保存仍然是未解码的数据。
  3. 调用avcodec_decode_video2将AVPacket的数据解码，并将解码后的数据填充到AVFrame中，AVFrame中保存的是解码后的原始数据。

上述过程可以使用下图表示：

结构体的存储空间的分配与释放

FFmpeg并没有垃圾回收机制，所分配的空间都需要自己维护。而由于视频处理过程中数据量是非常大，对于动态内存的使用更要谨慎。
本小节主要介绍解码过程使用到的结构体存储空间的分配与释放。

  • AVFormatContext 在FFmpeg中有很重要的作用，描述一个多媒体文件的构成及其基本信息，存放了视频编解码过程中的大部分信息。通常该结构体由avformat_open_input分配
    存储空间，在最后调用avformat_input_close关闭。

  • AVStream 描述一个媒体流，在解码的过程中，作为AVFormatContext的一个字段存在，不需要单独的处理。
  • AVpacket 用来存放解码之前的数据，它只是一个容器，其data成员指向实际的数据缓冲区，在解码的过程中可有av_read_frame创建和填充AVPacket中的数据缓冲区，
    当数据缓冲区不再使用的时候可以调用av_free_apcket释放这块缓冲区。
  • AVFrame 存放从AVPacket中解码出来的原始数据，其必须通过av_frame_alloc来创建，通过av_frame_free来释放。和AVPacket类似，AVFrame中也有一块数据缓存空间，
    在调用av_frame_alloc的时候并不会为这块缓存区域分配空间，需要使用其他的方法。在解码的过程使用了两个AVFrame，这两个AVFrame分配缓存空间的方法也不相同
    • 一个AVFrame用来存放从AVPacket中解码出来的原始数据，这个AVFrame的数据缓存空间通过调avcodec_decode_video分配和填充。
    • 另一个AVFrame用来存放将解码出来的原始数据变换为需要的数据格式（例如RGB，RGBA）的数据，这个AVFrame需要手动的分配数据缓存空间。代码如下：
AVFrame* pFrameYUV;
pFrameYUV = av_frame_alloc();
// 手动为 pFrameYUV分配数据缓存空间
int numBytes = avpicture_get_size(AV_PIX_FMT_YUV420P,pCodecCtx->widht,pCodecCtx->width);
uint8_t* buffer = (uint8_t*)av_malloc(numBytes * sizeof(uint8_t));
// 将分配的数据缓存空间和AVFrame关联起来
avpicture_fill((AVPicture *)pFrameYUV, buffer, AV_PIX_FMT_YUV420P,pCodecCtx->width, pCodecCtx->height)

首先计算需要缓存空间大小，调用av_malloc分配缓存空间，最后调用avpicture_fill将分配的缓存空间和AVFrame关联起来。
调用av_frame_free来释放AVFrame，该函数不止释放AVFrame本身的空间，还会释放掉包含在其内的其他对象动态申请的空间，例如上面的缓存空间。

  • av_malloc和av_free，FFmpeg并没有提供垃圾回收机制，所有的内存管理都要手动进行。av_malloc只是在申请内存空间的时候会考虑到内存对齐（2字节，4字节对齐），
    其申请的空间要调用av_free释放。

调用的函数

  • av_register_all 这个函数不用多说了，注册库所支持的容器格式及其对应的CODEC。
  • avformat_open_input 打开多媒体文件流，并读取文件的头，将读取到的信息填充到AVFormatContext结构体中。在使用结束后，要调用avformat_close_input关闭打开的流
  • avformat_find_stream_info 上面提到，avformat_open_input只是读取文件的头来得到多媒体文件的信息，但是有些文件没有文件头或者文件头的格式不正确，这就造成只调用
    avformat_open_input可能得不到解码所需要的必要信息，需要调用avformat_find_stream_info进一步得到流的信息。

通过上面的三个函数已经获取了对多媒体文件进行解码的所需要信息，下面要做的就是根据这些信息得到相应的解码器。
结构体AVCodecContext描述了编解码器的上下文信息，包含了流中所使用的关于编解码器的所有信息，可以通过 AVFormatContext->AVStream->AVCodecContext来得到，在有了AVCodecContext后，可以通过codec_id来找到相应的解码器，具体代码如下：

AVCodec* pCodec = nullptr;
pCodecCtxOrg = pFormatCtx->streams[videoStream]->codec; // codec context
// 找到video stream的 decoder
pCodec = avcodec_find_decoder(pCodecCtxOrg->codec_id);
  • avcodec_find_decoder 可以通过codec_id或者名称来找到相应的解码器，返回值是一个AVCodec的指针。
  • avcodec_open2 打开相应的编解码器
  • av_read_frame 从流中读取数据帧暂存到AVPacket中
  • avcodec_decode_video2 从AVPacket中解码数据到AVFrame中

经过以上的过程，AVFrame中的数据缓存中存放的就是解码后的原始数据了。整个流程梳理如下：

使用SDL2.0显示视频

使用SDL2.0，dranger tutorial中的显示视频部分的代码就不是很适用了，需要做一些修改。不过，SDL2.0显示图像还是挺简单的。

    SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER);SDL_Window* window = SDL_CreateWindow("FFmpeg Decode", SDL_WINDOWPOS_UNDEFINED, SDL_WINDOWPOS_UNDEFINED,pCodecCtx->width, pCodecCtx->height, SDL_WINDOW_OPENGL | SDL_WINDOW_MAXIMIZED);SDL_Renderer* renderer = SDL_CreateRenderer(window, -1, 0);SDL_Texture* bmp = SDL_CreateTexture(renderer, SDL_PIXELFORMAT_YV12, SDL_TEXTUREACCESS_STREAMING,pCodecCtx->width, pCodecCtx->height);SDL_Rect rect;rect.x = 0;rect.y = 0;rect.w = pCodecCtx->width;rect.h = pCodecCtx->height;SDL_Event event;

上述代码为初始化后SDL显示图像所需要的环境，在使用FFmpeg解码数据后

    int frameFinished = 0;avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);if (frameFinished){sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0,pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize);SDL_UpdateTexture(bmp, &rect, pFrameRGB->data[0], pFrameRGB->linesize[0]);SDL_RenderClear(renderer);SDL_RenderCopy(renderer, bmp, &rect, &rect);SDL_RenderPresent(renderer);}

上面代码就将解码得到的图像帧使用SDL显示了出来。不过，这里真的只是显示而已，以能够解码速度快速的将整个视频的图像帧显示一遍。

本节示例代码 FFmpeg1.cpp

转载于:https://www.cnblogs.com/laughingQing/p/5901675.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/372282.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JavaFX 2 GameTutorial第4部分

JavaFX 2 GameTutorial第4部分

介绍 这是与JavaFX 2游戏教程相关的六个部分系列的第四部分。 如果您错过了第1部分 ， 第2部分或第3部分 ，我建议您在开始本教程之前仔细阅读它们。 回顾一下，在第3部分中，我为您提供了许多经典街机风格游戏和所使用的不同输入设备…
阅读更多...
java构造函数_JAVA的构造函数是怎么写的。万分感谢。路过的请不要嘲笑%_%

java构造函数_JAVA的构造函数是怎么写的。万分感谢。路过的请不要嘲笑%_%

展开全部JAVA的构造函数是：SetLocal EnableDelayedExpansionset classpath.for %%c in (lib\*.jar) do set classpath!32313133353236313431303231363533e59b9ee7ad9431333431363030classpath!;%%cset classpath%classpath%;./classes;java com.ham.server.Server。…
阅读更多...
C# 中winform的一些属性设置

C# 中winform的一些属性设置

1 窗体的大小固定住，不能调整其大小 窗体FormBorderStyle 属性设置为 FixedSingle; MaximizeBox 属性设置为false; MinimizeBox 属性设置为 false; 2. 在状态栏中无图标显示 设置为fase即可。 3. 设置窗体的启动位置 方法1， 用代码控制 this.Location …
阅读更多...
LiveBos---按钮成下拉

LiveBos---按钮成下拉

转载于:https://www.cnblogs.com/luhanzhen/p/6802779.html
阅读更多...
Solr：创建拼写检查器

Solr：创建拼写检查器

在上一篇文章中，我谈到了Solr Spellchecker的工作原理，然后向您展示了其性能的一些测试结果。 现在，我们将看到另一种拼写检查方法。 与其他方法一样，此方法使用两步过程。 相当快速的“候选单词”选择，然后对这些单词…
阅读更多...
Django 和 html

Django 和 html

下面是对应的形式，自定义的forms 转载于:https://www.cnblogs.com/kilen/p/6804047.html
阅读更多...
【Java大系】Java快速教程

【Java大系】Java快速教程

感谢原作者：Vamei 出处：http://www.cnblogs.com/vamei Java是面向对象语言。这门语言其实相当年轻，于1995年才出现，由Sun公司出品。James Gosling领导了Java的项目小组。该项目的最初只想为家电设计一门容易移植的语言。然而&am…
阅读更多...
[dpdk] 读官方文档(3)

[dpdk] 读官方文档(3)

续前节， 测试小程序 1. 想编译测试程序首先需要设置两个环境变量，为什么呢，因为测试程序的Makefile里用了。。。 rpm装了打包好的devel包，这个rpm也会自带这两个环境变量。就是说写第三方程序的时候，习惯上&#xff0c…
阅读更多...
逻辑表达式——黑纸白纸

逻辑表达式——黑纸白纸

一、问题描述 有A、B、C、D、E五个人，每人额头上都贴了一张黑色或白色的纸条。五人对坐，每人都可以看到其他人额头上的纸的颜色，但都不知道自己额头上的纸的颜色。五人互相观察后， A说：“我看见有三个人额头上贴的是白…
阅读更多...
java 1.6u29 下载_jdk1.6 64位下载|JDK 6(Java SE Development Kit)下载6u43 64位官方版_java运行环境 IT猫扑网...

java 1.6u29 下载_jdk1.6 64位下载|JDK 6(Java SE Development Kit)下载6u43 64位官方版_java运行环境 IT猫扑网...

jdk1.6 64位适用于x64的系统安装的java运行环境，Java SE Development Kit6是java开发人员必备的产品，也叫做jdk6，欢迎下载使用。官方介绍适用于您的计算机(windows)的 Java 软件，即 Java Runtime Environment，也称为 J…
阅读更多...
ZK 6中的MVVM初探

ZK 6中的MVVM初探

MVVM与MVC 在上一篇文章中，我们已经看到Ajax框架ZK如何采用CSS选择器启发的Controller来在View中连接UI组件并监听它们的事件。 在此ZK MVC模式下， View中的UI组件无需绑定到任何Controller方法或数据对象。 使用选择器模式作为将View状态和事件映射到Co…
阅读更多...
消失循环的2023？你都做了什么？ | 2023 年度总结

消失循环的2023？你都做了什么？ | 2023 年度总结

2023年度总结 -- 今年都做了什么事？ 前言心态关键词感悟 记录申请软著独立游戏技术成长 共勉 前言 又到了一年一次年度总结的时候了。我们常常感叹时间飞逝，却又没办法让它放慢的脚步。那就将2023写下来，让它在时间的长河中留下一丝记忆。 心…
阅读更多...
java语言基本语法_Java语言基本语法

java语言基本语法_Java语言基本语法

Java语言基本语法一、标识符和关键字标识符在java语言中，用来标志类名、对象名、变量名、方法名、类型名、数组名、包名的有效字符序列，称为“标识符”；标识符由字母、数字、下划线、美元符号组成，且第一个字符不能是数字&#xf…
阅读更多...
Maven的鸟瞰图

Maven的鸟瞰图

我们每天要做的一件事是使用Maven通过发出诸如mvn install之类的构建命令来构建我们的项目。 然后，Maven查看我们项目的配置文件（亲切地称为POM），神奇地找出要执行的操作，并且，嘿，您的构建已完成…
阅读更多...
node源码详解（五）

node源码详解（五）

本作品采用知识共享署名 4.0 国际许可协议进行许可。转载保留声明头部与原文链接https://luzeshu.com/blog/nodesource5 本博客同步在https://cnodejs.org/topic/56ed6735b705742136388fa6 本博客同步在http://www.cnblogs.com/papertree/p/5295344.html 在上一篇博客&#xff…
阅读更多...
51Nod - 1381 硬币游戏

51Nod - 1381 硬币游戏

51Nod - 1381 硬币游戏 有一个简单但是很有趣的游戏。在这个游戏中有一个硬币还有一张桌子，这张桌子上有很多平行线（如下图所示）。两条相邻平行线之间的距离是1，硬币的半径是R，然后我们来抛硬币到桌子上，抛…
阅读更多...
javascript 相关小的知识点集合

javascript 相关小的知识点集合

本文主要是列出一些javascript 相关的，不限于javascript的，容易记错或者遗忘的小知识，小技巧。 1、javascript中的false 在 JavaScript，常见的 false 值： 0, 0, 0, -0, false, ,null,undefined,NaN 要注意空数组([])和…
阅读更多...
AOS – 另外一个独特的页面滚动动画库（CSS3）

AOS – 另外一个独特的页面滚动动画库（CSS3）

AOS 是一个用于在页面滚动的时候呈现元素动画的工具库，你可能会觉得它和 WOWJS 一样，的确他们效果是类似的。但是AOS是 CSS3 动画驱动的库，当你滚动页面的时候能让元素动起来，当页面滚回顶部的时候，元素能够回到前一个…
阅读更多...
JavaFX 2.0 Hello World

JavaFX 2.0 Hello World

在讨论示例本身之前，我想向您展示如何在NetBeans中创建JavaFX应用程序。 （如果尚未安装JavaFX和NetBeans，请参阅我以前的文章《 安装JavaFX 2.0和NetBeans 7.7.1》 ）单击“文件”菜单中的“新建项目”以打开项目向导。 然后选择“…
阅读更多...
java 线程强制停止线程_java多线程之停止线程

java 线程强制停止线程_java多线程之停止线程

在多线程开发中停止线程是非常重要的技术点。停止线程在Java语言中并不像break语句那样干脆。须要一些技巧性的处理。一、 异常法採用异常法来停止一个线程。首先我们须要了解一下两个方法的使用方法：1、interrupt()方法public class MyThread extends Thread{Over…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023