FFmpeg学习2：解码数据结构及函数总结

在上一篇文章中，对FFmpeg的视频解码过程做了一个总结。由于才接触FFmpeg，还是挺陌生的，这里就解码过程再做一个总结。
本文的总结分为以下两个部分：

  • 数据读取，主要关注在解码过程中所用到的FFmpeg中的结构体。
  • 解码过程中所调用的函数

在学习的过程主要参考的是dranger tutorial，所以跟着教程在本文的最后使用SDL2.0将解码后的数据输出到屏幕上。

数据的读取

一个多媒体文件包含有多个流（视频流 video stream，音频流 audio stream，字幕等）；流是一种抽象的概念，表示一连串的数据元素；
流中的数据元素称为帧Frame。也就是说多媒体文件中，主要有两种数据：流Stream 及其数据元素 帧Frame，在FFmpeg自然有与这两种数据相对应的抽象：AVStream和AVPacket。

使用FFmpeg的解码，数据的传递过程可归纳如下：

  1. 调用avformat_open_input打开流，将信息填充到AVFormatContext中
  2. 调用av_read_frame从流中读取数据帧到 AVPacket，AVPacket保存仍然是未解码的数据。
  3. 调用avcodec_decode_video2将AVPacket的数据解码，并将解码后的数据填充到AVFrame中，AVFrame中保存的是解码后的原始数据。

上述过程可以使用下图表示：

结构体的存储空间的分配与释放

FFmpeg并没有垃圾回收机制，所分配的空间都需要自己维护。而由于视频处理过程中数据量是非常大，对于动态内存的使用更要谨慎。
本小节主要介绍解码过程使用到的结构体存储空间的分配与释放。

  • AVFormatContext 在FFmpeg中有很重要的作用，描述一个多媒体文件的构成及其基本信息，存放了视频编解码过程中的大部分信息。通常该结构体由avformat_open_input分配
    存储空间，在最后调用avformat_input_close关闭。

  • AVStream 描述一个媒体流，在解码的过程中，作为AVFormatContext的一个字段存在，不需要单独的处理。
  • AVpacket 用来存放解码之前的数据，它只是一个容器，其data成员指向实际的数据缓冲区，在解码的过程中可有av_read_frame创建和填充AVPacket中的数据缓冲区，
    当数据缓冲区不再使用的时候可以调用av_free_apcket释放这块缓冲区。
  • AVFrame 存放从AVPacket中解码出来的原始数据，其必须通过av_frame_alloc来创建，通过av_frame_free来释放。和AVPacket类似，AVFrame中也有一块数据缓存空间，
    在调用av_frame_alloc的时候并不会为这块缓存区域分配空间，需要使用其他的方法。在解码的过程使用了两个AVFrame，这两个AVFrame分配缓存空间的方法也不相同
    • 一个AVFrame用来存放从AVPacket中解码出来的原始数据，这个AVFrame的数据缓存空间通过调avcodec_decode_video分配和填充。
    • 另一个AVFrame用来存放将解码出来的原始数据变换为需要的数据格式（例如RGB，RGBA）的数据，这个AVFrame需要手动的分配数据缓存空间。代码如下：
AVFrame* pFrameYUV;
pFrameYUV = av_frame_alloc();
// 手动为 pFrameYUV分配数据缓存空间
int numBytes = avpicture_get_size(AV_PIX_FMT_YUV420P,pCodecCtx->widht,pCodecCtx->width);
uint8_t* buffer = (uint8_t*)av_malloc(numBytes * sizeof(uint8_t));
// 将分配的数据缓存空间和AVFrame关联起来
avpicture_fill((AVPicture *)pFrameYUV, buffer, AV_PIX_FMT_YUV420P,pCodecCtx->width, pCodecCtx->height)

首先计算需要缓存空间大小，调用av_malloc分配缓存空间，最后调用avpicture_fill将分配的缓存空间和AVFrame关联起来。
调用av_frame_free来释放AVFrame，该函数不止释放AVFrame本身的空间，还会释放掉包含在其内的其他对象动态申请的空间，例如上面的缓存空间。

  • av_malloc和av_free，FFmpeg并没有提供垃圾回收机制，所有的内存管理都要手动进行。av_malloc只是在申请内存空间的时候会考虑到内存对齐（2字节，4字节对齐），
    其申请的空间要调用av_free释放。

调用的函数

  • av_register_all 这个函数不用多说了，注册库所支持的容器格式及其对应的CODEC。
  • avformat_open_input 打开多媒体文件流，并读取文件的头，将读取到的信息填充到AVFormatContext结构体中。在使用结束后，要调用avformat_close_input关闭打开的流
  • avformat_find_stream_info 上面提到，avformat_open_input只是读取文件的头来得到多媒体文件的信息，但是有些文件没有文件头或者文件头的格式不正确，这就造成只调用
    avformat_open_input可能得不到解码所需要的必要信息，需要调用avformat_find_stream_info进一步得到流的信息。

通过上面的三个函数已经获取了对多媒体文件进行解码的所需要信息，下面要做的就是根据这些信息得到相应的解码器。
结构体AVCodecContext描述了编解码器的上下文信息，包含了流中所使用的关于编解码器的所有信息，可以通过 AVFormatContext->AVStream->AVCodecContext来得到，在有了AVCodecContext后，可以通过codec_id来找到相应的解码器，具体代码如下：

AVCodec* pCodec = nullptr;
pCodecCtxOrg = pFormatCtx->streams[videoStream]->codec; // codec context
// 找到video stream的 decoder
pCodec = avcodec_find_decoder(pCodecCtxOrg->codec_id);
  • avcodec_find_decoder 可以通过codec_id或者名称来找到相应的解码器，返回值是一个AVCodec的指针。
  • avcodec_open2 打开相应的编解码器
  • av_read_frame 从流中读取数据帧暂存到AVPacket中
  • avcodec_decode_video2 从AVPacket中解码数据到AVFrame中

经过以上的过程，AVFrame中的数据缓存中存放的就是解码后的原始数据了。整个流程梳理如下：

使用SDL2.0显示视频

使用SDL2.0，dranger tutorial中的显示视频部分的代码就不是很适用了，需要做一些修改。不过，SDL2.0显示图像还是挺简单的。

    SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER);SDL_Window* window = SDL_CreateWindow("FFmpeg Decode", SDL_WINDOWPOS_UNDEFINED, SDL_WINDOWPOS_UNDEFINED,pCodecCtx->width, pCodecCtx->height, SDL_WINDOW_OPENGL | SDL_WINDOW_MAXIMIZED);SDL_Renderer* renderer = SDL_CreateRenderer(window, -1, 0);SDL_Texture* bmp = SDL_CreateTexture(renderer, SDL_PIXELFORMAT_YV12, SDL_TEXTUREACCESS_STREAMING,pCodecCtx->width, pCodecCtx->height);SDL_Rect rect;rect.x = 0;rect.y = 0;rect.w = pCodecCtx->width;rect.h = pCodecCtx->height;SDL_Event event;

上述代码为初始化后SDL显示图像所需要的环境，在使用FFmpeg解码数据后

    int frameFinished = 0;avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);if (frameFinished){sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0,pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize);SDL_UpdateTexture(bmp, &rect, pFrameRGB->data[0], pFrameRGB->linesize[0]);SDL_RenderClear(renderer);SDL_RenderCopy(renderer, bmp, &rect, &rect);SDL_RenderPresent(renderer);}

上面代码就将解码得到的图像帧使用SDL显示了出来。不过，这里真的只是显示而已，以能够解码速度快速的将整个视频的图像帧显示一遍。

本节示例代码 FFmpeg1.cpp

转载于:https://www.cnblogs.com/laughingQing/p/5901675.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/372282.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

python1~10阶乘while_Python3基础 while 阶乘

python1~10阶乘while_Python3基础 while 阶乘

?python : 3.7.0OS : Ubuntu 18.04.1 LTSIDE : PyCharm 2018.2.4conda : 4.5.11type setting : Markdown?code"""Author : 行初心Date : 18-9-24Blog : www.cnblogs.com/xingchuxinGitHub : github.com/GratefulHeartCoder"""def main():count…
阅读更多...
JavaFX 2 GameTutorial第4部分

JavaFX 2 GameTutorial第4部分

介绍 这是与JavaFX 2游戏教程相关的六个部分系列的第四部分。 如果您错过了第1部分 ， 第2部分或第3部分 ，我建议您在开始本教程之前仔细阅读它们。 回顾一下，在第3部分中，我为您提供了许多经典街机风格游戏和所使用的不同输入设备…
阅读更多...
关于ListView的作业

关于ListView的作业

原生布局并未多做修改 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android" xmlns:tools"http://schemas.android.com/tools" android:id"id/activity_m…
阅读更多...
Java 7的类型推断

Java 7的类型推断

每个优秀的程序员都喜欢编写简洁但有效且经过优化的代码。 类型推断是JDK 7中引入的一种方法&#xff0c;它肯定会为您带来更少键入的好处。 您以以下方式使用Java代码已有很长时间了。 但是&#xff0c;在初始化Collections的特定实现时&#xff0c;您是否曾经想到过代码重复&…
阅读更多...
python实现胶囊网络_胶囊网络 -- Capsule Networks

python实现胶囊网络_胶囊网络 -- Capsule Networks

胶囊网络是 vector in vector out的结构&#xff0c;最后对每个不同的类别&#xff0c;输出不一个向量&#xff0c;向量的模长表示属于该类别的概率。例如&#xff0c;在数字识别中&#xff0c;两个数字虽然重叠在一起&#xff0c;Capsule中的两个向量能完整表达两个数字的特征…
阅读更多...
基变换与过渡矩阵

基变换与过渡矩阵

取定线性空间的一组基&#xff0c;任何一组向量可以表示为基向量的线性组合&#xff0c;且是同构映射。两个线性空间是同构。 不同的基向量&#xff0c;基向量之间的过渡矩阵 取线性空间的两组基任一向量可以表示为这两组向量的线性组合将一组基向量表示为另外基向量的线性组合…
阅读更多...
bootstrap的滚动监听

bootstrap的滚动监听

<!DOCTYPE html> <html lang"zh-cn"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1,maximum-scale1, user-scalableno"><title>下拉菜单和滚动监…
阅读更多...
java构造函数_JAVA的构造函数是怎么写的。万分感谢。路过的请不要嘲笑%_%

java构造函数_JAVA的构造函数是怎么写的。万分感谢。路过的请不要嘲笑%_%

展开全部JAVA的构造函数是&#xff1a;SetLocal EnableDelayedExpansionset classpath.for %%c in (lib\*.jar) do set classpath!32313133353236313431303231363533e59b9ee7ad9431333431363030classpath!;%%cset classpath%classpath%;./classes;java com.ham.server.Server。…
阅读更多...
在Spring中使用Redis

在Spring中使用Redis

随着NoSQL解决方案在许多问题上越来越受欢迎&#xff0c;现代项目越来越多地考虑使用一些&#xff08;或几种&#xff09;NoSQL代替&#xff08;或并排&#xff09;传统RDBMS。 我已经在本 &#xff0c; 本和本文章中介绍了我在MongoDB上的经验。 在本文中&#xff0c;我想对Re…
阅读更多...
C# 中winform的一些属性设置

C# 中winform的一些属性设置

1 窗体的大小固定住&#xff0c;不能调整其大小 窗体FormBorderStyle 属性设置为 FixedSingle; MaximizeBox 属性设置为false; MinimizeBox 属性设置为 false; 2. 在状态栏中无图标显示 设置为fase即可。 3. 设置窗体的启动位置 方法1&#xff0c; 用代码控制 this.Location …
阅读更多...
LiveBos---按钮成下拉

LiveBos---按钮成下拉

转载于:https://www.cnblogs.com/luhanzhen/p/6802779.html
阅读更多...
Solr：创建拼写检查器

Solr：创建拼写检查器

在上一篇文章中&#xff0c;我谈到了Solr Spellchecker的工作原理&#xff0c;然后向您展示了其性能的一些测试结果。 现在&#xff0c;我们将看到另一种拼写检查方法。 与其他方法一样&#xff0c;此方法使用两步过程。 相当快速的“候选单词”选择&#xff0c;然后对这些单词…
阅读更多...
linux修改机器名称

linux修改机器名称

1 使用hostname命令&#xff1a;hostname 新机器名称 2 修改vi /etc/sysconfig/network # cat /etc/sysconfig/network NETWORKINGyes HOSTNAMElocalhost.localdomain 注意&#xff1a;左侧都必须大写&#xff0c;等号附件没有空格。 查看机器名称使用hostname命令 转载于:h…
阅读更多...
java property_property在Java中的用法

java property_property在Java中的用法

展开全部在项目中经常用到各种配置文件62616964757a686964616fe78988e69d8331333337623561&#xff0c;有.properties的&#xff0c;也有.xml格式的都可以通过java.utils.Property类进行处理。1. 读取.properties文件File pFile new File("test.properties");FileIn…
阅读更多...
Django 和 html

Django 和 html

下面是对应的形式&#xff0c;自定义的forms 转载于:https://www.cnblogs.com/kilen/p/6804047.html
阅读更多...
Grails动态下拉菜单

Grails动态下拉菜单

最近&#xff0c;我有一个UI要求&#xff0c;客户希望从两个单独的下拉列表中选择值。 第一个下拉列表的值实质上过滤了第二个下拉列表的值。 鉴于我们支持的财务项目对UI的要求并不严格&#xff0c;因此我不得不进行一些初步的学习和实验&#xff0c;以实现良好的实施。 这篇博…
阅读更多...
【Java大系】Java快速教程

【Java大系】Java快速教程

感谢原作者&#xff1a;Vamei 出处&#xff1a;http://www.cnblogs.com/vamei Java是面向对象语言。这门语言其实相当年轻&#xff0c;于1995年才出现&#xff0c;由Sun公司出品。James Gosling领导了Java的项目小组。该项目的最初只想为家电设计一门容易移植的语言。然而&am…
阅读更多...
[转]前端构建工具gulpjs的使用介绍及技巧

[转]前端构建工具gulpjs的使用介绍及技巧

本文转自&#xff1a;http://www.cnblogs.com/2050/p/4198792.html gulpjs是一个前端构建工具&#xff0c;与gruntjs相比&#xff0c;gulpjs无需写一大堆繁杂的配置参数&#xff0c;API也非常简单&#xff0c;学习起来很容易&#xff0c;而且gulpjs使用的是nodejs中stream来读取…
阅读更多...
Eclipse侧边栏Outline设置字体

Eclipse侧边栏Outline设置字体

Eclipse的Outline&#xff0c;Project Explorer&#xff0c;Call Hierarchy等小窗口是很方便的功能&#xff0c;但是遇到函数名或文件名很长的情况&#xff0c;就只能显示前半段。尽管Eclipse的自定义程度很高&#xff0c;但是却找不到这些窗口的字体设置。 经过一番摸索后&…
阅读更多...
AOP的简单介绍

AOP的简单介绍

为什么使用AOP&#xff0c;一个简单的回答这个问题的方法是显示一个横切关注点的实现而不使用AOP。 考虑一个简单的服务及其实现&#xff1a; public interface InventoryService {public Inventory create(Inventory inventory);public List<inventory> list();public I…
阅读更多...
最新文章

Copyright @ 2022~2023