福州大学《嵌入式系统综合设计》实验八：FFMPEG视频编码

一、实验目的

掌握使用算能平台进行视频编码的流程，包括开发主机环境与云平台的配置，视频编码程序的编写与理解，代码的编译、运行以及学习使用码流分析工具分析视频压缩码流等。

二、实验内容

搭建实验开发环境，编译并运行编码程序，对视频文件进行编码。并学习利用ffprobe程序分析详细的封装格式和视频流信息，进一步学习利用码流软件Elecard StreamEye查看编码后视频码流文件。

三、开发环境

开发主机：Ubuntu 20.04.6 LTS

硬件：算能SE5

四、实验器材

开发主机 + 云平台（或SE5硬件）

五、实验过程与结论

FFMPEG编码原理与流程

FFMPEG是目前最为流行的视频编解码开源软件，大部分的音视频领域的开发者都会采用FFMPEG进行编解码。FFMPEG编解码软件不仅支持H264和H265编解码，还支持包括视频RTSP拉流、视频格式转换等功能。目前的OPENCV其内部的编解码部分也是采用FFMPEG进行视频编解码。算能平台也支持FFMPEG编解码接口，提供了和标准FFMPEG一样相对统一的编解码接口，只是在内部进行了硬件加速处理，相比开源FFMPEG实现更高效的视频编解码能力。以BM1684为例，支持最大支持1080P@960fps的H264解码和最大支持1080P@1000fps的H265解码。算能平台的FFMPEG简称BM-FFMPEG，在标准的FFMPEG上做了二次封装，其代码也实现开源，具体请参考https://gitee.com/sophon-ai/bm_ffmpeg

并且，可以通过如下网址查看具体的操作使用说明：

https://doc.sophgo.com/docs/2.7.0/docs_latest_release/multimedia_guide/Multimedia_User_Guide_zh.pdf

算能平台的bmnnsdk2中提供了相关的代码实例。具体见网址如下：

https://github.com/sophon-ai-algo/examples/tree/3.0.0/multimedia

下面，本实例以算能平台FFMPEG编码为例，介绍其使用方法。算能平台的FFMPEG编码流程和标准的FFMPEG编码流程一致，如下图所示：

根据上述流程，下面介绍本实例的关键代码如下：

包含相关头文件

由于涉及到ffmpeg相关编程，因此需要在工程中添加ffmpeg相关的头文件，具体如下：

#include <iostream>
extern "C" {#include "libavcodec/avcodec.h"#include "libswscale/swscale.h"#include "libavutil/imgutils.h"#include "libavformat/avformat.h"#include "libavfilter/buffersink.h"#include "libavfilter/buffersrc.h"#include "libavutil/opt.h"#include "libavutil/pixdesc.h"
}
#define STEP_ALIGNMENT 32

主函数

为了使整个程序模块更为清晰，本实例在将ffmpeg编码器初始化与开启相关内容和编码写文件相关内容分别封装为2个独立的函数。然后在主线程中进行调用，具体如下：

int main(int argc, char **argv)
{int soc_idx      = 0;int enc_id       = AV_CODEC_ID_H264;              //AV_CODEC_ID_H265int inputformat  = AV_PIX_FMT_YUV420P;int framerate    = 30;int width        = 1920;int height       = 1080;int bitrate      = 1000000;                       //bits per sencondchar *input_file = "1080p.yuv";                   //input yuv file namechar *output_file= "test.mp4";                    //output yuv file nameint ret;av_log_set_level(AV_LOG_DEBUG);                   //set debug levelint stride = (width + STEP_ALIGNMENT - 1) & ~(STEP_ALIGNMENT - 1);int aligned_input_size = stride * height*3/2;// TODOuint8_t *aligned_input = (uint8_t*)av_mallocz(aligned_input_size);if (aligned_input==NULL) {av_log(NULL, AV_LOG_ERROR, "av_mallocz failed\n");return -1;}FILE *in_file = fopen(input_file, "rb");   //Input raw YUV dataif (in_file == NULL) {fprintf(stderr, "Failed to open input file\n");return -1;}bool isFileEnd = false;VideoEnc_FFMPEG writer;ret = writer.openEnc(output_file, soc_idx, enc_id, framerate , width, height, inputformat, bitrate);if (ret !=0 ) {av_log(NULL, AV_LOG_ERROR,"writer.openEnc failed\n");return -1;}//read raw datawhile(1) {for (int y = 0; y < height*3/2; y++) {ret = fread(aligned_input + y*stride, 1, width, in_file);if (ret < width) {if (ferror(in_file))av_log(NULL, AV_LOG_ERROR, "Failed to read raw data!\n");else if (feof(in_file))av_log(NULL, AV_LOG_INFO, "The end of file!\n");isFileEnd = true;break;}}if (isFileEnd)break;writer.writeFrame(aligned_input, stride, width, height);}writer.closeEnc();av_free(aligned_input);fclose(in_file);av_log(NULL, AV_LOG_INFO, "encode finish! \n");return 0;
}

创建了VideoEnc_FFMPEG类

从上面代码可以发现，本实例创建了VideoEnc_FFMPEG类，然后在该结构体里进一步封装了openEnc方法和writeFrame方法，分别用于FFMPEG初始化和编码写文件操作。

VideoEnc_FFMPEG类定义如下：

class VideoEnc_FFMPEG
{
public:VideoEnc_FFMPEG();~VideoEnc_FFMPEG();int  openEnc(const char* filename, int soc_idx, int codecId, int framerate,int width, int height,int inputformat,int bitrate);void closeEnc();int  writeFrame(const uint8_t* data, int step, int width, int height);int  flush_encoder();private:AVFormatContext * ofmt_ctx;AVCodecContext  * enc_ctx;AVFrame         * picture;AVFrame         * input_picture;AVStream        * out_stream;uint8_t         * aligned_input;int               frame_width;int               frame_height;int               frame_idx;AVCodec* find_hw_video_encoder(int codecId){AVCodec *encoder = NULL;switch (codecId){case AV_CODEC_ID_H264:encoder = avcodec_find_encoder_by_name("h264_bm");break;case AV_CODEC_ID_H265:encoder = avcodec_find_encoder_by_name("h265_bm");break;default:break;}return encoder;}
};

可以发现，这里面还定义了find_hw_video_encoder方法用于查找编码器。该方法调用了FFMPEG的avcodec_find_encoder_by_name函数，具体见上代码。

FFMPEG初始化

OpenEnc函数实现流程参考上图流程实现，用于完成FFMPEG编码器的初始化等操作：

int VideoEnc_FFMPEG::openEnc(const char* filename, int soc_idx, int codecId, int framerate, int width, int height, int inputformat, int bitrate)
{int ret = 0;AVCodec *encoder;AVDictionary *dict = NULL;frame_idx = 0;frame_width = width;frame_height = height;avformat_alloc_output_context2(&ofmt_ctx, NULL, NULL, filename);if (!ofmt_ctx) {av_log(NULL, AV_LOG_ERROR, "Could not create output context\n");return AVERROR_UNKNOWN;
}encoder = find_hw_video_encoder(codecId);if (!encoder) {av_log(NULL, AV_LOG_FATAL, "hardware video encoder not found\n");return AVERROR_INVALIDDATA;}enc_ctx = avcodec_alloc_context3(encoder);if (!enc_ctx) {av_log(NULL, AV_LOG_FATAL, "Failed to allocate the encoder context\n");return AVERROR(ENOMEM);
}//参数初始化enc_ctx->codec_id = (AVCodecID)codecId;enc_ctx->width    = width;enc_ctx->height   = height;enc_ctx->pix_fmt   = (AVPixelFormat)inputformat;enc_ctx->bit_rate_tolerance = bitrate;enc_ctx->bit_rate = (int64_t)bitrate;enc_ctx->gop_size = 32;enc_ctx->time_base.num = 1;enc_ctx->time_base.den = framerate;enc_ctx->framerate.num = framerate;enc_ctx->framerate.den = 1;av_log(NULL, AV_LOG_DEBUG, "enc_ctx->bit_rate = %ld\n", enc_ctx->bit_rate);out_stream = avformat_new_stream(ofmt_ctx, encoder);out_stream->time_base = enc_ctx->time_base;out_stream->avg_frame_rate = enc_ctx->framerate;out_stream->r_frame_rate = out_stream->avg_frame_rate;av_dict_set_int(&dict, "sophon_idx", soc_idx, 0);av_dict_set_int(&dict, "gop_preset", 8, 0);/* Use system memory */av_dict_set_int(&dict, "is_dma_buffer", 0, 0);av_dict_set_int(&dict, "qp", 25, 0);   /* Third parameter can be used to pass settings to encoder */ret = avcodec_open2(enc_ctx, encoder, &dict);if (ret < 0) {av_log(NULL, AV_LOG_ERROR, "Cannot open video encoder ");return ret;}ret = avcodec_parameters_from_context(out_stream->codecpar, enc_ctx);if (ret < 0) {av_log(NULL, AV_LOG_ERROR, "Failed to copy encoder paras to output stream ");return ret;}if (!(ofmt_ctx->oformat->flags & AVFMT_NOFILE)) {ret = avio_open(&ofmt_ctx->pb, filename, AVIO_FLAG_WRITE);if (ret < 0) {av_log(NULL, AV_LOG_ERROR, "Could not open output file '%s'", filename);return ret;}}/* init muxer, write output file header */ret = avformat_write_header(ofmt_ctx, NULL);if (ret < 0) {av_log(NULL, AV_LOG_ERROR, "Error occurred when opening output file\n");return ret;}picture = av_frame_alloc();picture->format = enc_ctx->pix_fmt;picture->width = width;picture->height = height;return 0;
}

编码与写文件

writeFrame函数用于实现将读取的YUV数据进行编码后写入文件，参考如下：

int VideoEnc_FFMPEG::writeFrame(const uint8_t* data, int step, int width, int height)
{int ret = 0 ;int got_output = 0;if (step % STEP_ALIGNMENT != 0) {av_log(NULL, AV_LOG_ERROR, "input step must align with STEP_ALIGNMENT\n");return -1;}static unsigned int frame_nums = 0;frame_nums++;av_image_fill_arrays(picture->data, picture->linesize, (uint8_t *) data, enc_ctx->pix_fmt, width, height, 1);picture->linesize[0] = step;picture->pts = frame_idx;frame_idx++;av_log(NULL, AV_LOG_DEBUG, "Encoding frame\n");/* encode filtered frame */AVPacket enc_pkt;enc_pkt.data = NULL;enc_pkt.size = 0;av_init_packet(&enc_pkt);ret = avcodec_encode_video2(enc_ctx, &enc_pkt, picture, &got_output);if (ret < 0)return ret;if (got_output == 0) {av_log(NULL, AV_LOG_WARNING, "No output from encoder\n");return -1;}/* prepare packet for muxing */av_log(NULL, AV_LOG_DEBUG, "enc_pkt.pts=%ld, enc_pkt.dts=%ld\n",enc_pkt.pts, enc_pkt.dts);av_packet_rescale_ts(&enc_pkt, enc_ctx->time_base,out_stream->time_base);av_log(NULL, AV_LOG_DEBUG, "rescaled enc_pkt.pts=%ld, enc_pkt.dts=%ld\n",enc_pkt.pts,enc_pkt.dts);av_log(NULL, AV_LOG_DEBUG, "Muxing frame\n");/* mux encoded frame */ret = av_interleaved_write_frame(ofmt_ctx, &enc_pkt);return ret;
}

释放资源结束编码

FFMPEG编码完成后需要释放申请的各种资源结束编码：

void VideoEnc_FFMPEG::closeEnc()
{flush_encoder();av_write_trailer(ofmt_ctx);av_frame_free(&picture);if (input_picture)av_free(input_picture);avcodec_free_context(&enc_ctx);if (ofmt_ctx && !(ofmt_ctx->oformat->flags & AVFMT_NOFILE))avio_closep(&ofmt_ctx->pb);avformat_free_context(ofmt_ctx);
}

从上述代码可以发现，结束编码前需要执行flush_encoder()函数，该函数用于向文件中写入最后一帧：

int  VideoEnc_FFMPEG::flush_encoder()
{int ret;int got_frame = 0;if (!(enc_ctx->codec->capabilities & AV_CODEC_CAP_DELAY))return 0;while (1) {av_log(NULL, AV_LOG_INFO, "Flushing video encoder\n");AVPacket enc_pkt;enc_pkt.data = NULL;enc_pkt.size = 0;av_init_packet(&enc_pkt);ret = avcodec_encode_video2(enc_ctx, &enc_pkt, NULL, &got_frame);if (ret < 0)return ret;if (!got_frame)break;/* prepare packet for muxing */av_log(NULL, AV_LOG_DEBUG, "enc_pkt.pts=%ld, enc_pkt.dts=%ld\n",enc_pkt.pts,enc_pkt.dts);av_packet_rescale_ts(&enc_pkt, enc_ctx->time_base,out_stream->time_base);av_log(NULL, AV_LOG_DEBUG, "rescaled enc_pkt.pts=%ld, enc_pkt.dts=%ld\n",enc_pkt.pts,enc_pkt.dts);/* mux encoded frame */av_log(NULL, AV_LOG_DEBUG, "Muxing frame\n");ret = av_interleaved_write_frame(ofmt_ctx, &enc_pkt);if (ret < 0)break;}return ret;
}

编码实验过程

生成可执行文件

makefile的写法与前面的例程基本相同，如果是在云平台上测试，则可将编译好的执行文件通过云空间文件系统上传。

root@d11ae417e206:/tmp/test# ls

ffmpeg_encode 1080p.yuv

给可执行文件赋权限并执行。

root@d11ae417e206:/tmp/test# chmod 777 ffmpeg_encode

运行指令

生成并上传编译文件后，根据如下指令在目标开发机终端运行，其中具体的指令参数设置将在下面详细介绍。

root@d11ae417e206:/tmp/test# ./ffmpeg_encode 1080.yuv output.h264

运行结果如下

[88a79010] src/enc.c:262 (vpu_EncInit)   SOC index 0, VPU core index 4

[7f88a79010] src/vdi.c:137 (bm_vdi_init)   [VDI] Open device /dev/vpu, fd=5

[7f88a79010] src/vdi.c:229 (bm_vdi_init)   [VDI] success to init driver

[88a79010] src/common.c:108 (find_firmware_path)   vpu firmware path: /system/lib/vpu_firmware/chagall.bin

[7f88a79010] src/vdi.c:137 (bm_vdi_init)   [VDI] Open device /dev/vpu, fd=5

[7f88a79010] src/vdi.c:229 (bm_vdi_init)   [VDI] success to init driver

[88a79010] src/enc.c:1326 (vpu_InitWithBitcode)   reload firmware...

[88a79010] src/enc.c:2461 (Wave5VpuInit)

VPU INIT Start!!!

[88a79010] src/enc.c:306 (vpu_EncInit)   VPU Firmware is successfully loaded!

[88a79010] src/enc.c:310 (vpu_EncInit)   VPU FW VERSION=0x0,

REVISION=250327

[h265_bm @ 0x42aa90] width        : 1920

[h265_bm @ 0x42aa90] height       : 1080

[h265_bm @ 0x42aa90] pix_fmt      : yuv420p

[h265_bm @ 0x42aa90] sophon device: 0

The end of file!

Flushing video encoder

Flushing video encoder

Flushing video encoder

Flushing video encoder

Flushing video encoder

Flushing video encoder

Flushing video encoder

Flushing video encoder

这里需要注意的是，可以通过av_log_set_level设置LOG的打印级别，以观察更多的调试信息：

av_log_set_level(AV_LOG_DEBUG); //set debug level

使用ffprobe程序分析码流

媒体信息解析器ffprobe程序是FFmpeg提供的媒体信息检测工具。使用ffprobe不仅可以检测音视频文件的整体封装格式，还可以分析其中每一路音频流或者视频流信息，甚至可以进一步分析音视频流的每一个码流包或图像帧的信息。ffprobe的基本使用方法非常简单，直接使用参数-i加上要分析的文件即可。

查看封装格式指令

ffprobe -show_format -i test.mp4

注：使用参数-i，输入要分析的文件。添加参数-show_format，即可显示音视频文件更详细的封装格式信息。

封装格式信息：

[FORMAT]

filename=C:\Users\cze\Downloads\test.mp4//输入文件名

nb_streams=1//输入包含多少路媒体流

nb_programs=0//输入文件包含的节目数

format_name=mov,mp4,m4a,3gp,3g2,mj2//封装模块名称

format_long_name=QuickTime / MOV//封装模块全称

start_time=0.000000//输入媒体文件的起始时间

duration=3.334000//输入媒体文件的总时长

size=483666//输入文件大小

bit_rate=1160566//总体码率

probe_score=100//格式检测分值

TAG:major_brand=isom

TAG:major_brand=isom

TAG:minor_version=512

TAG:compatible_brands=isomiso2mp41

TAG:encoder=Lavf58.20.100

[/FORMAT]

查看媒体流指令：

ffprobe -show_streams -i test.mp4

注：一个音视频文件通常包括两路及以上的媒体流（如一路音频流和一路视频流）。使用参数-i，输入要分析的文件。添加参数-show_streams，即可显示每一路媒体流的具体信息。

视频流信息：

[STREAM]

index=0//媒体流序号

codec_name=hevc//编码器名称

codec_long_name=H.265 / HEVC (High Efficiency Video Coding)//编码器全称

profile=Main//编码档次

codec_type=video//编码器类型

codec_tag_string=hev1

codec_tag=0x31766568

width=1920//视频图像的宽

height=1080//视频图像的高

coded_width=1920

coded_height=1080

closed_captions=0

film_grain=0

has_b_frames=3//每个I帧和P帧之间的B帧数量

sample_aspect_ratio=N/A//像素采样横纵比

display_aspect_ratio=N/A//画面显示横纵比

pix_fmt=yuv420p//像素格式

level=150//编码级别

color_range=tv

color_space=unknown

color_transfer=unknown

color_primaries=unknown

chroma_location=left

field_order=unknown

refs=1

id=0x1

r_frame_rate=30/1//最小帧率

avg_frame_rate=303/10//平均帧率

time_base=1/15360//当前流的时间基

start_pts=0//起始位置的pts

start_time=0.000000//起始位置的实际时间

duration_ts=51200//以时间基为单位的总时长

duration=3.333333//当前流的实际时长

bit_rate=1156005//当前流的码率

max_bit_rate=N/A//当前流的最大码率

bits_per_raw_sample=N/A//当前流每个采样的位深

nb_frames=101//当前流包含的总帧数

nb_read_frames=N/A

nb_read_packets=N/A

extradata_size=99

DISPOSITION:default=1

DISPOSITION:dub=0

DISPOSITION:original=0

DISPOSITION:comment=0

DISPOSITION:lyrics=0

DISPOSITION:karaoke=0

DISPOSITION:forced=0

DISPOSITION:hearing_impaired=0

DISPOSITION:visual_impaired=0

DISPOSITION:clean_effects=0

DISPOSITION:attached_pic=0

DISPOSITION:timed_thumbnails=0

DISPOSITION:captions=0

DISPOSITION:descriptions=0

DISPOSITION:metadata=0

DISPOSITION:dependent=0

DISPOSITION:still_image=0

TAG:language=und

TAG:handler_name=VideoHandler

TAG:vendor_id=[0][0][0][0]

[/STREAM]