264编码基本概念 FFMpeg的解码流程

下面转自http://topic.csdn.net/u/20081020/16/7156e0b2-dbfb-4b4f-af59-2be04cf9a420.html 的8楼

1、NAL、Slice与frame意思及相互关系

NAL指网络提取层，里面放一些与网络相关的信息
Slice是片的意思，264中把图像分成一帧（frame）或两场（field），而帧又可以分成一个或几个片（Slilce）；片由宏块（MB）组成。宏块是编码处理的基本单元。

2、NAL nal_unit_type中的1（非IDR图像的编码条带）、2（编码条带数据分割块A）、3（编码条带数据分割块B）、4（编码条带数据分割块C）、5（IDR图像的编码条带）种类型
与 Slice种的三种编码模式：I_slice、P_slice、B_slice
NAL nal_unit_type 里的五种类型，代表接下来数据是表示啥信息的和具体如何分块。
I_slice、P_slice、B_slice 表示I类型的片、P类型的片，B类型的片.其中I_slice为帧内预测模式编码；P_slice为单向预测编码或帧内模式；B_slice 中为双向预测或帧内模式。

3、还有frame的3种类型：I frame、P frame、 B frame之间有什么映射关系么？
I frame、P frame、 B frame关系同 I_slice、P_slice、B_slice，slice和frame区别在问题1中已经讲明白。

4、最后，NAL nal_unit_type中的6（SEI）、7（SPS）、8（PPS）属于什么帧呢？
NAL nal_unit_type 为序列参数集（SPS）、图像参数集（PPS）、增强信息（SEI）不属于啥帧的概念。表示后面的数据信息为序列参数集（SPS）、图像参数集（PPS）、增强信息（SEI）。

====================================================================================

NAL单元中首先会有一个H.264 NAL type，根据这个可以判断是啥信息。如果是
H264NT_SLICE_DPA,H264NT_SLICE_DPB,H264NT_SLICE_DPC, H264NT_SLICE_IDR视频数据相关的，里面还会有Slice head头信息，根据这个头信息，可以判断属于I-Slice（P-Slice或B-Slice），之后对于每个宏块，都会有MB head 信息，根据宏块头信息可以判断块模式。

H264就是这样以分层的方式组织信息的。不知道你理解没有。

====================================================================================

x264_encoder_encode每次会以参数送入一帧待编码的帧pic_in，函数首先会从空闲队列中取出一帧用于承载该新帧，而它的i_frame被设定为播放顺序计数，如：fenc->i_frame = h->frames.i_input++。

FFMpeg的解码流程

1. 从基础谈起
先给出几个概念，以在后面的分析中方便理解
Container:在音视频中的容器，一般指的是一种特定的文件格式，里面指明了所包含的
    音视频，字幕等相关信息
Stream:这个词有些微妙，很多地方都用到，比如TCP，SVR4系统等，其实在音视频，你
    可以理解为单纯的音频数据或者视频数据等
Frames:这个概念不是很好明确的表示，指的是Stream中的一个数据单元，要真正对这
    个概念有所理解，可能需要看一些音视频编码解码的理论知识
Packet:是Stream的raw数据
Codec:Coded + Decoded
其实这些概念在在FFmpeg中都有很好的体现，我们在后续分析中会慢慢看到

2.解码的基本流程
我很懒，于是还是选择了从<An ffmpeg and SDL Tutorial>中的流程概述:

10 OPEN video_stream FROM video.avi
20 READ packet FROM video_stream INTO frame
30 IF frame NOT COMPLETE GOTO 20
40 DO SOMETHING WITH frame
50 GOTO 20

这就是解码的全过程，一眼看去，是不是感觉不过如此:),不过，事情有深有浅，从浅
到深，然后从深回到浅可能才是一个有意思的过程，我们的故事，就从这里开始，展开
来讲。

3.例子代码
在<An ffmpeg and SDL Tutorial 1>中，给出了一个阳春版的解码器，我们来仔细看看
阳春后面的故事，为了方便讲述，我先贴出代码：

#include <ffmpeg/avcodec.h>
#include <ffmpeg/avformat.h>

#include <stdio.h>

void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame) {
FILE *pFile;
char szFilename[32];
int y;

// Open file
sprintf(szFilename, "frame%d.ppm", iFrame);
pFile=fopen(szFilename, "wb");
if(pFile==NULL)
    return;

// Write header
fprintf(pFile, "P6/n%d %d/n255/n", width, height);

// Write pixel data
for(y=0; y<height; y++)
    fwrite(pFrame->data[0]+y*pFrame->linesize[0], 1, width*3, pFile);

// Close file
fclose(pFile);
}

int main(int argc, char *argv[]) {
AVFormatContext *pFormatCtx;
int             i, videoStream;
AVCodecContext *pCodecCtx;
AVCodec         *pCodec;
AVFrame         *pFrame;
AVFrame         *pFrameRGB;
AVPacket        packet;
int             frameFinished;
int             numBytes;
uint8_t         *buffer;

if(argc < 2) {
    printf("Please provide a movie file/n");
    return -1;
}
// Register all formats and codecs
########################################
[1]
########################################
av_register_all();

// Open video file
########################################
[2]
########################################
if(av_open_input_file(&pFormatCtx, argv[1], NULL, 0, NULL)!=0)
    return -1; // Couldn't open file

// Retrieve stream information
########################################
[3]
########################################
if(av_find_stream_info(pFormatCtx)<0)
    return -1; // Couldn't find stream information

// Dump information about file onto standard error
dump_format(pFormatCtx, 0, argv[1], 0);

// Find the first video stream
videoStream=-1;
for(i=0; i<pFormatCtx->nb_streams; i++)
    if(pFormatCtx->streams[i]->codec->codec_type==CODEC_TYPE_VIDEO) {
      videoStream=i;
      break;
    }
if(videoStream==-1)
    return -1; // Didn't find a video stream

// Get a pointer to the codec context for the video stream
pCodecCtx=pFormatCtx->streams[videoStream]->codec;

// Find the decoder for the video stream
pCodec=avcodec_find_decoder(pCodecCtx->codec_id);
if(pCodec==NULL) {
    fprintf(stderr, "Unsupported codec!/n");
    return -1; // Codec not found
}
// Open codec
if(avcodec_open(pCodecCtx, pCodec)<0)
    return -1; // Could not open codec

// Allocate video frame
pFrame=avcodec_alloc_frame();

// Allocate an AVFrame structure
pFrameRGB=avcodec_alloc_frame();
if(pFrameRGB==NULL)
    return -1;
   
// Determine required buffer size and allocate buffer
numBytes=avpicture_get_size(PIX_FMT_RGB24, pCodecCtx->width,
                  pCodecCtx->height);
buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));

// Assign appropriate parts of buffer to image planes in pFrameRGB
// Note that pFrameRGB is an AVFrame, but AVFrame is a superset
// of AVPicture
avpicture_fill((AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24,
         pCodecCtx->width, pCodecCtx->height);

// Read frames and save first five frames to disk
########################################
[4]
########################################
i=0;
while(av_read_frame(pFormatCtx, &packet)>=0) {
    // Is this a packet from the video stream?
    if(packet.stream_index==videoStream) {
      // Decode video frame
      avcodec_decode_video(pCodecCtx, pFrame, &frameFinished,
               packet.data, packet.size);
     
      // Did we get a video frame?
      if(frameFinished) {
    // Convert the image from its native format to RGB
    img_convert((AVPicture *)pFrameRGB, PIX_FMT_RGB24,
                    (AVPicture*)pFrame, pCodecCtx->pix_fmt,
                    pCodecCtx->width,
                    pCodecCtx->height);
   
    // Save the frame to disk
    if(++i<=5)
      SaveFrame(pFrameRGB, pCodecCtx->width, pCodecCtx->height,
            i);
      }
    }
   
    // Free the packet that was allocated by av_read_frame
    av_free_packet(&packet);
}

// Free the RGB image
av_free(buffer);
av_free(pFrameRGB);

// Free the YUV frame
av_free(pFrame);

// Close the codec
avcodec_close(pCodecCtx);

// Close the video file
av_close_input_file(pFormatCtx);

return 0;
}

代码注释得很清楚，没什么过多需要讲解的，关于其中的什么YUV420，RGB，PPM等格式
，如果不理解，麻烦还是google一下，也可以参考:http://barrypopy.cublog.cn/里面
的相关文章

其实这部分代码，很好了Demo了怎么样去抓屏功能的实现，但我们得去看看魔术师在后
台的一些手法，而不只是简单的享受其表演。

4.背后的故事
真正的难度，其实就是上面的[1],[2],[3],[4],其他部分，都是数据结构之间的转换，
如果你认真看代码的话，不难理解其他部分。

[1]:没什么太多好说的，如果不明白，看我转载的关于FFmepg框架的文章

[2]:先说说里面的AVFormatContext *pFormatCtx结构，字面意思理解AVFormatContext
就是关于AVFormat(其实就是我们上面说的Container格式)的所处的Context(场景)，自
然是保存Container信息的总控结构了，后面你也可以看到，基本上所有的信息，都可
以从它出发而获取到
   
我们来看看av_open_input_file()都做了些什么：
[libavformat/utils.c]
int av_open_input_file(AVFormatContext **ic_ptr, const char *filename,
                       AVInputFormat *fmt,
                       int buf_size,
                       AVFormatParameters *ap)
{
    ......
    if (!fmt) {
        /* guess format if no file can be opened */
        fmt = av_probe_input_format(pd, 0);
    }

   ......
    err = av_open_input_stream(ic_ptr, pb, filename, fmt, ap);
   ......
}

这样看来，只是做了两件事情：
1). 侦测容器文件格式
2). 从容器文件获取Stream的信息

这两件事情，实际上就是调用特定文件的demuxer以分离Stream的过程:

具体流程如下:

av_open_input_file
    |
    +---->av_probe_input_format从first_iformat中遍历注册的所有demuxer以
    |     调用相应的probe函数
    |
    +---->av_open_input_stream调用指定demuxer的read_header函数以获取相关
          流的信息ic->iformat->read_header

如果反过来再参考我转贴的关于ffmpeg框架的文章，是否清楚一些了呢:)

[3]:简单从AVFormatContext获取Stream的信息，没什么好多说的

[4]:先简单说一些ffmpeg方面的东西，从理论角度说过来，Packet可以包含frame的部
分数据，但ffmpeg为了实现上的方便，使得对于视频来说，每个Packet至少包含一
frame,对于音频也是相应处理，这是实现方面的考虑，而非协议要求.
因此，在上面的代码实际上是这样的：
    从文件中读取packet，从Packet中解码相应的frame;
    从帧中解码;
    if(解码帧完成)
        do something();

我们来看看如何获取Packet,又如何从Packet中解码frame的。

av_read_frame
    |
    +---->av_read_frame_internal
        |
        +---->av_parser_parse调用的是指定解码器的s->parser->parser_parse函数以从raw packet中重构frame

avcodec_decode_video
    |
    +---->avctx->codec->decode调用指定Codec的解码函数
   
因此，从上面的过程可以看到，实际上分为了两部分：

一部分是解复用(demuxer),然后是解码(decode)

使用的分别是：
av_open_input_file()            ---->解复用

av_read_frame()            |
                           |    ---->解码   
avcodec_decode_video()     |

5.后面该做些什么
结合这部分和转贴的ffmepg框架的文章，应该可以基本打通解码的流程了，后面的问题则是针对具体容器格式和具体编码解码器的分析，后面我们继续


参考：
[1]. <An ffmpeg and SDL Tutorial>
     http://www.dranger.com/ffmpeg/tutorial01.HTML
    
[2]. <FFMpeg框架代码阅读>
     http://blog.csdn.NET/wstarx/archive/2007/04/20/1572393.ASPx

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/456166.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

谷歌浏览器开发调试工具中Sources面板 js调试等 完全介绍

谷歌浏览器开发调试工具中Sources面板 js调试等 完全介绍

这次分享的是Chrome开发工具中最有用的面板Sources。 Sources面板几乎是我最常用到的Chrome功能面板&#xff0c;也是在我看来决解一般问题的主要功能面板。通常只要是开发遇到了js报错或者其他代码问题&#xff0c;在审视一遍自己的代码而一无所获之后&#xff0c;我首先就会打…
阅读更多...
java XML解析防止外部实体注入

java XML解析防止外部实体注入

/** * 增加防止部实体注入逻辑* <功能详细描述>* param reader* throws SAXException* see [类、类#方法、类#成员]*/public static void setReaderFeature(SAXReader reader)throws SAXException{reader.setFeature("http://apache.org/xml/features/disallow-doct…
阅读更多...
【Python】最新Python学习路线（完整详细版，含整套教程）

【Python】最新Python学习路线（完整详细版，含整套教程）

python目前应用最广的三个岗位&#xff1a;全栈开发、数据分析、运维开发&#xff0c;今天我们就以这三个重点的岗位来做一下自学Python的规划&#xff0c;希望你在学之前就能有明确的学习方向。 最近开始整理python的资料&#xff0c;博主建立了一个qq群&#xff0c;希望给大家…
阅读更多...
程序员，软件测试知多少？

程序员，软件测试知多少？

送给初级程序员的测试认知文作为开发同学&#xff0c;一些基本的测试岗位相关知识还是很有必要了解一下&#xff0c;免的某些同学在工作中和测试同学斗嘴、打架、群殴等以及被测试鄙视....。 我们常常听说的一些测试专业术语&#xff0c;比如白盒、黑盒、单元测试&#xff0c;相…
阅读更多...
ffmpeg最新源代码（定期更新）

ffmpeg最新源代码（定期更新）

为了方便那些不能连接到ffmpeg的SVN仓库更新源代码的用户&#xff0c;ffmpeg工程组特开辟一个专区&#xff0c;定期更新ffmpeg的源代码&#xff0c;并将其快照上传&#xff0c;有需要的朋友可以长期关注本帖。ffmpeg的编译指令通常为&#xff1a;1、配置&#xff1a;configurat…
阅读更多...
vue 入门环境搭建

vue 入门环境搭建

公司项目要用vue.js来开发&#xff0c;要使用vue来开发前端框架&#xff0c;首先要有环境&#xff0c;所以给大家介绍一下如何搭建vue环境。其实很简单&#xff1a; 1.首先下载安装node.js。 去官网https://nodejs.org/zh-cn/下载安装包。 2.安装webpack 打开cmd命令界面&#…
阅读更多...
【解决】Win10修改host没有权限问题

【解决】Win10修改host没有权限问题

Step1&#xff1a;右键文件选择属性&#xff0c;选择安全&#xff0c;点击编辑&#xff1a; Step2&#xff1a;在弹窗中点击添加&#xff0c;在弹窗中点击高级&#xff1a; Step3&#xff1a;在弹窗中点击立即查找&#xff0c;选中当前用户&#xff0c;点击确定&#xff1a; …
阅读更多...
[已授权] 互联网定位技术小谈

[已授权] 互联网定位技术小谈

​ 诚邀阿里云先知社区邀请&#xff0c;不胜感激&#xff01;今日小编在此为大家介绍一下互联网中所应用的定位技术。互联网的发展日新月异&#xff0c;技术迭代很快&#xff0c;各行各业的智慧在互联网这片蓝天下碰撞结晶&#xff0c;造福大众。今天要讲述的集中定位方式&…
阅读更多...
H.264解码器ffmpeg完整优化代码（包括PC和Windows Mobile版本）

H.264解码器ffmpeg完整优化代码（包括PC和Windows Mobile版本）

这里把前段时间对ffmpeg0.48进行简化和修改&#xff0c;包括修正内存泄漏&#xff0c;修改一些语句使Max Speed能够打开这些。其实代码还是比较乱的&#xff0c;也有很大的继续优化空间。这个工作花费了我一些休息时间&#xff0c;不过&#xff0c;我确实学习到了很多。这个代码…
阅读更多...
1.4.在TypeScript中使用JQuery

1.4.在TypeScript中使用JQuery

我们可以通过类型定义文件(*.d.ts)实现在TS中使用JQ 1.4.1.方式1 通过GitHub项目&#xff0c;手动下载&#xff0c;不过推荐使用第二种方式 项目地址&#xff1a; https://github.com/DefinitelyTyped/DefinitelyTyped 1.4.2.通过typings的方式 项目地址&#xff1a;https://gi…
阅读更多...
Python的DataFrame切片大全（包含多重索引）

Python的DataFrame切片大全（包含多重索引）

码字不易&#xff0c;喜欢请点赞&#xff01;&#xff01;&#xff01; 摘要 这篇主要讲解如何对pandas的DataFrame进行切片&#xff0c;包括取某行、某列、某几行、某几列、以及多重索引的取数方法。 • 选取行名、列名、值 • 以标签&#xff08;行、列的名字&#xff09;…
阅读更多...
sql server 保留小数，向上保留指定位数的小数，仅记录，勿看。

sql server 保留小数，向上保留指定位数的小数，仅记录，勿看。

比如 4.05 要取成 4.1 &#xff0c; 4.16 取成 4.2 &#xff0c;4.5 取成 4.5 &#xff0c;意思就是小数部分第二位不管是多少都丢掉然后加0.1&#xff0c;但是如果是 4.5 这样完整的就不需要处理。 可以像下面这么写。 select ceiling(4.56*10)/10转载于:https://www.cnblogs.…
阅读更多...
HelloCsdn

HelloCsdn

博客声明我的第一个文章我的第一个文章 从现在开始,我要再这里记录我的学习心得和体会,让我们相互学习,一起努力,共同进步.
阅读更多...
H264学习指南

H264学习指南

因为最近手头的活基本搞完了&#xff0c;人也闲了下来&#xff0c;这么热的天气&#xff0c;突然想写这么一篇文章。不过首先声明的是我对H264并不是太熟悉。但多多少少也学习了这么久了&#xff0c;写点心得出来对自己是个交待&#xff0c;同时也希望给新手们一点帮助&#xf…
阅读更多...
什么是数据分析的关键指标？

什么是数据分析的关键指标？

什么是核心关键指标呢&#xff1f; 这是一个好问题&#xff0c;不过没有标准的答案。企业性质不同&#xff0c;所处行业、发展阶段不同&#xff0c;关注点当然不同。不过大体可以这样来划分。 1、发展阶段不同&#xff0c;需求不同 对于一个想要做数据化管理的企业来说&#xf…
阅读更多...
01Pandas_数据结构

01Pandas_数据结构

Pandas数据结构 做python数据分析&#xff0c;数据挖掘&#xff0c;机器学习的童鞋应该都离不开pandas。在做数据的预处理的时候pandas尤为给力。 本文主要介绍pandas中的两种数据结构&#xff1a;series,dataframe。 import pandas as pd 1.Series 首先来介绍series数据结…
阅读更多...
加密函数

加密函数

MD5&#xff1a;密码为web页面做准备&#xff0c;建议使用MD5 PASSWORD() :修改当前用户或其他用户密码 mysql> SELECT MD5(admin); #对admin进行MD5的加密&#xff08;32位&#xff09;----------------------------------| MD5(admin) |--------------------------------…
阅读更多...
如何使用notepad运行python程序

如何使用notepad运行python程序

关于使用notepad运行python程序 首先要确保python解释器已经安装成功,查看方法,windows可以在命令提示符中查看,通过按下winR键,调出运行窗口,在输入框中输入cmd回车,然后在命令行中输入python,若出现版本信息,例如Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC…
阅读更多...
H.264学习历程(天之骄子)

H.264学习历程(天之骄子)

半年前&#xff0c;我知道了H.264这个名词。那个时候决定学习H.264&#xff0c;可是我连资料都不知道如何收集。而且整个学校就只有我一个人在学习H.264&#xff0c;找不到人交流&#xff0c;所以那个时候学得真的是举步维艰&#xff0c;很痛苦&#xff0c;而能在网上认识一个学…
阅读更多...
插入排序：表折半插入

插入排序：表折半插入

在前一篇插入排序&#xff1a;表插入中。我们用静态链表的存储方式。直接插入的策略&#xff0c;构建了一种新的插入排序算法&#xff1a;表插入。有人可能会想到&#xff1a;相同是静态链表的形式&#xff0c;为什么不使用更高效的折半插入策略呢&#xff1f;这样的想法真的非…
阅读更多...
最新文章

Copyright @ 2022~2023