FFmpeg将编码后数据保存成mp4

      以下测试代码实现的功能是:持续从内存块中获取原始数据,然后依次进行解码、编码、最后保存成mp4视频文件。

      可保存成单个视频文件,也可指定每个视频文件的总帧数,保存多个视频文件。

      为了便于查看和修改,这里将可独立的程序段存放在单个函数中:

      1.线程函数set_packet:独立线程,用于用户向指定的内存块中持续写入数据,这里通过调用队列类PacketScaleQueue,可参考:https://blog.csdn.net/fengbingchun/article/details/132128885 中说明。这里填充的数据参考FFmpeg源码中的doc/examples/encode_video.c:每次向队列中写入一帧数据

void set_packet(PacketScaleQueue& packet_encode)
{while (packet_encode_flag) {Buffer buffer;packet_encode.popPacket(buffer);static int i = 0;// refrence: ffmpeg/doc/examples/encode_video.c// prepare a dummy image: Yunsigned char* p1 = buffer.data;for (auto y = 0; y < height; ++y) {for (auto x = 0; x < width; ++x) {p1[y * width + x] = x + y + i * 3;}}// Cb and Crunsigned char* p2 = buffer.data + width * height;unsigned char* p3 = buffer.data + width * height + width * height / 4;for (auto y = 0; y < height / 2; ++y) {for (auto x = 0; x < width / 2; ++x) {p2[y * width / 2 + x] = 128 + y + i * 2;p3[y * width / 2 + x] = 64 + x + i * 5;}}packet_encode.pushScale(buffer);if (++i > 25) i = 0;std::this_thread::sleep_for(std::chrono::milliseconds(40));}
}

      2.回调函数read_packet:avio_alloc_context中使用,不断从队列中获取数据,av_read_frame中也会从这里获取数据:每次从队列中获取一帧数据

int read_packet(void* opaque, uint8_t* buf, int buf_size)
{PacketScaleQueue* packet_encode = static_cast<PacketScaleQueue*>(opaque);Buffer buffer;packet_encode->popScale(buffer);memcpy(buf, buffer.data, buf_size);packet_encode->pushPacket(buffer);return buf_size;
}

      3.函数get_input_format_context:创建输入AVFormatContext,需要调用av_dict_set设置video_size和pixel_format

AVFormatContext* get_input_format_context(AVIOContext* avio_ctx)
{AVFormatContext* ifmt_ctx = avformat_alloc_context();if (!ifmt_ctx) {print_error_string(AVERROR(ENOMEM));return nullptr;}ifmt_ctx->pb = avio_ctx;AVDictionary* dict = nullptr;av_dict_set(&dict, "video_size", video_size, 0);av_dict_set(&dict, "pixel_format", pixel_format, 0);auto ret = avformat_open_input(&ifmt_ctx, nullptr, av_find_input_format("rawvideo"), &dict);if (ret < 0) {fprintf(stderr, "Could not open input\n");print_error_string(ret);return nullptr;}av_dict_free(&dict);ret = avformat_find_stream_info(ifmt_ctx, nullptr);if (ret < 0) {fprintf(stderr, "Could not find stream information\n");print_error_string(ret);return nullptr;}for (unsigned int i = 0; i < ifmt_ctx->nb_streams; ++i) {const AVStream* stream = ifmt_ctx->streams[i];if (stream->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {video_stream_index = i;fprintf(stdout, "type of the encoded data: %d, dimensions of the video frame in pixels: width: %d, height: %d, pixel format: %d\n",stream->codecpar->codec_id, stream->codecpar->width, stream->codecpar->height, stream->codecpar->format);}}if (video_stream_index == -1) {fprintf(stderr, "error: no video stream\n");return nullptr;}if (ifmt_ctx->streams[video_stream_index]->codecpar->codec_id != AV_CODEC_ID_RAWVIDEO) {fprintf(stderr, "error: this test code only support rawvideo encode: %d\n", ifmt_ctx->streams[video_stream_index]->codecpar->codec_id);return nullptr;}av_dump_format(ifmt_ctx, 0, "nothing", 0);return ifmt_ctx;
}

      4.函数get_decode_context:创建解码AVCodecContext

AVCodecContext* get_decode_context(AVFormatContext* ifmt_ctx)
{AVCodec* decoder = nullptr;auto ret = av_find_best_stream(ifmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, &decoder, 0);if (ret < 0) {fprintf(stderr, "fail to av_find_best_stream: %d\n", ret);print_error_string(ret);return nullptr;}AVCodecContext* dec_ctx = avcodec_alloc_context3(decoder);if (!dec_ctx) {fprintf(stderr, "fail to avcodec_alloc_context3\n");return nullptr;}ret = avcodec_parameters_to_context(dec_ctx, ifmt_ctx->streams[video_stream_index]->codecpar);if (ret < 0) {fprintf(stderr, "fail to avcodec_parameters_to_context: %d\n", ret);print_error_string(ret);return nullptr;}dec_ctx->framerate = av_guess_frame_rate(ifmt_ctx, ifmt_ctx->streams[video_stream_index], nullptr);ret = avcodec_open2(dec_ctx, decoder, nullptr);if (ret != 0) {fprintf(stderr, "fail to avcodec_open2: %d\n", ret);print_error_string(ret);return nullptr;}return dec_ctx;
}

      5.函数get_encode_context:创建编码AVCodecContext,注意对enc_ctx的相关成员的赋值

AVCodecContext* get_encode_context(AVFormatContext* ifmt_ctx)
{AVCodec* encodec = avcodec_find_encoder_by_name("mpeg1video"); // ffmpeg.exe -encodersif (!encodec) {fprintf(stderr, "fail to avcodec_find_encoder_by_name\n");return nullptr;}AVCodecContext* enc_ctx = avcodec_alloc_context3(encodec);if (!enc_ctx) {fprintf(stderr, "fail to avcodec_alloc_context3\n");return nullptr;}enc_ctx->bit_rate = 400000;enc_ctx->framerate = ifmt_ctx->streams[video_stream_index]->r_frame_rate;enc_ctx->pix_fmt = AV_PIX_FMT_YUV420P;enc_ctx->height = ifmt_ctx->streams[video_stream_index]->codecpar->height;enc_ctx->width = ifmt_ctx->streams[video_stream_index]->codecpar->width;enc_ctx->time_base = av_inv_q(av_d2q(frame_rate, 4096));enc_ctx->max_b_frames = 1;//if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER) // trueenc_ctx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;auto ret = avcodec_open2(enc_ctx, encodec, nullptr);if (ret != 0) {fprintf(stderr, "fail to avcodec_open2: %d\n", ret);print_error_string(ret);return nullptr;}return enc_ctx;
}

      6.函数get_output_format_context:创建输出AVFormatContext

AVFormatContext* get_output_format_context(const AVCodecContext* enc_ctx, const char* filename)
{AVFormatContext* ofmt_ctx = nullptr;auto ret = avformat_alloc_output_context2(&ofmt_ctx, nullptr, nullptr, filename);if (ret < 0 || !ofmt_ctx) {fprintf(stderr, "fail to avformat_alloc_output_context2: %d\n", ret);print_error_string(ret);return nullptr;}AVStream* out_stream = avformat_new_stream(ofmt_ctx, nullptr);if (!out_stream) {fprintf(stderr, "fail to avformat_new_stream\n");return nullptr;}ret = avcodec_parameters_from_context(out_stream->codecpar, enc_ctx);if (ret < 0) {fprintf(stderr, "fail to avcodec_parameters_from_context: %d\n", ret);print_error_string(ret);return nullptr;}out_stream->time_base = enc_ctx->time_base;if (!(ofmt_ctx->oformat->flags & AVFMT_NOFILE)) { // trueret = avio_open(&ofmt_ctx->pb, filename, AVIO_FLAG_WRITE);if (ret < 0) {fprintf(stderr, "fail to avio_open: %d\n", ret);print_error_string(ret);return nullptr;}}ret = avformat_write_header(ofmt_ctx, nullptr);if (ret < 0) {fprintf(stderr, "fail to avformat_write_header: %d\n", ret);print_error_string(ret);return nullptr;}av_dump_format(ofmt_ctx, 0, filename, 1);return ofmt_ctx;
}

      7.函数decode: 注意对packet的判断,它有可能为nullptr;调用一次avcodec_send_packet,可能需调用多次avcodec_receive_frame,因此需要将avcodec_receive_frame放在while中;需要对dec_ctx->time_base进行设置

int decode(AVPacket* packet, AVFormatContext* ifmt_ctx, AVCodecContext* dec_ctx, AVFrame* frame)
{if (packet)av_packet_rescale_ts(packet, ifmt_ctx->streams[video_stream_index]->time_base, dec_ctx->time_base);auto ret = avcodec_send_packet(dec_ctx, packet);if (ret < 0) {fprintf(stderr, "fail to avcodec_send_packet: %d\n", ret);print_error_string(ret);return -1;}while (1) {ret = avcodec_receive_frame(dec_ctx, frame);if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) { // AVERROR(EAGAIN): decode is not yet complete//fprintf(stderr, "Warning: avcodec_receive_frame: %d\n", ret);//print_error_string(ret);break;}else if (ret < 0) {fprintf(stderr, "fail to avcodec_receive_frame: %d\n", ret);print_error_string(ret);return ret;}frame->pts = frame->best_effort_timestamp;break;}if (packet)av_packet_unref(packet);return 0;
}

      8.函数encode:注意:调用一次avcodec_send_frame,可能需要调用多次avcodec_receive_packet,因此需要将avcodec_receive_packet放在while中;需要对ofmt_ctx->streams[0]->time_base进行设置,否则生成的mp4中无法获取帧速率;也可在调用avformat_write_header时设置video_track_timescale指定

int encode(AVCodecContext* enc_ctx, AVFrame* frame, AVPacket* packet, AVFormatContext* ifmt_ctx, AVFormatContext* ofmt_ctx)
{auto ret = avcodec_send_frame(enc_ctx, frame);if (ret < 0) {if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {fprintf(stderr, "Warning: avcodec_send_frame: %d\n", ret);print_error_string(ret);ret = 0;}else {fprintf(stderr, "fail to avcodec_send_frame: %d\n", ret);print_error_string(ret);return ret;}}while (1) {ret = avcodec_receive_packet(enc_ctx, packet);if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) { // AVERROR(EAGAIN): encode is not yet complete//fprintf(stderr, "Warning: avcodec_receive_packet: %d\n", ret);//print_error_string(ret);break;}if (ret < 0) {fprintf(stderr, "fail to avcodec_receive_packet: %d\n", ret);print_error_string(ret);return ret;}packet->stream_index = 0;av_packet_rescale_ts(packet, ifmt_ctx->streams[video_stream_index]->time_base, ofmt_ctx->streams[0]->time_base);//packet2->pts = packet2->dts = frame->pts *//    ofmt_ctx->streams[0]->time_base.den / ofmt_ctx->streams[0]->time_base.num / //    (enc_ctx->framerate.num / enc_ctx->framerate.den);ret = av_interleaved_write_frame(ofmt_ctx, packet);if (ret < 0) {print_error_string(ret);return ret;}av_packet_unref(packet);}return 0;
}

      9.主函数test_ffmpeg_save_video_slice:注意:在退出前需要flush decoder和encoder;写入视频文件需先调用avformat_write_header,然后持续调用av_interleaved_write_frame,退出前再需调用av_write_trailer;每次新文件的写入,需重新调用get_decode_context、get_encode_context、get_output_format_context并在之前作相应free

int test_ffmpeg_save_video_slice()
{PacketScaleQueue packet_encode;packet_encode.init(queue_size, block_size);std::thread thread_packet(set_packet, std::ref(packet_encode));uint8_t* avio_ctx_buffer = static_cast<uint8_t*>(av_malloc(block_size));if (!avio_ctx_buffer) {print_error_string(AVERROR(ENOMEM));return -1;}AVIOContext* avio_ctx = avio_alloc_context(avio_ctx_buffer, block_size, 0, &packet_encode, &read_packet, nullptr, nullptr);if (!avio_ctx) {print_error_string(AVERROR(ENOMEM));return -1;}AVFormatContext* ifmt_ctx = get_input_format_context(avio_ctx);if (!ifmt_ctx) {fprintf(stderr, "fail to get_input_format_context\n");return -1;}AVPacket *packet = av_packet_alloc(), *packet2 = av_packet_alloc();if (!packet || !packet2) {fprintf(stderr, "fail to av_packet_alloc\n");return -1;}AVFrame* frame = av_frame_alloc();if (!frame) {fprintf(stderr, "fail to av_frame_alloc\n");return -1;}int count = 0, name = 1;AVCodecContext* enc_ctx = nullptr;AVFormatContext* ofmt_ctx = nullptr;AVCodecContext* dec_ctx = nullptr;while (1) {auto ret = av_read_frame(ifmt_ctx, packet);if (ret < 0) {break;}if (packet->stream_index != video_stream_index) {av_packet_unref(packet);continue;}if (count % slice_size == 0) {enc_ctx = get_encode_context(ifmt_ctx);if (!enc_ctx) {fprintf(stderr, "fail to avcodec_alloc_context3\n");return -1;}std::string filename = std::to_string(name) + ".mp4";filename = std::string(path) + filename;ofmt_ctx = get_output_format_context(enc_ctx, filename.c_str());if (!ofmt_ctx) {fprintf(stderr, "fail to get_output_format_context\n");return -1;}dec_ctx = get_decode_context(ifmt_ctx);if (!dec_ctx) {fprintf(stderr, "fail to get_decode_context\n");return -1;}++name;}if (decode(packet, ifmt_ctx, dec_ctx, frame) != 0) return -1;if (encode(enc_ctx, frame, packet2, ifmt_ctx, ofmt_ctx) != 0) return -1;//fprintf(stdout, "count: %d\n", count);if (count + 1 == total_frames) { // terminate looppacket_encode_flag = false;// flush the decoderdecode(nullptr, ifmt_ctx, dec_ctx, frame);if (frame->data[0])encode(enc_ctx, frame, packet2, ifmt_ctx, ofmt_ctx);// flush the encoderencode(enc_ctx, nullptr, packet2, ifmt_ctx, ofmt_ctx);av_write_trailer(ofmt_ctx);break;}++count;if (count > 1 && count % slice_size == 0) {// flush the decoderdecode(nullptr, ifmt_ctx, dec_ctx, frame);if (frame->data[0])encode(enc_ctx, frame, packet2, ifmt_ctx, ofmt_ctx);// flush the encoderencode(enc_ctx, nullptr, packet2, ifmt_ctx, ofmt_ctx);av_write_trailer(ofmt_ctx);avcodec_free_context(&dec_ctx);avcodec_free_context(&enc_ctx);avio_closep(&ofmt_ctx->pb);avformat_free_context(ofmt_ctx);}}av_packet_free(&packet);av_packet_free(&packet2);av_frame_free(&frame);avcodec_free_context(&dec_ctx);avcodec_free_context(&enc_ctx);avio_closep(&ofmt_ctx->pb);avformat_close_input(&ofmt_ctx);avformat_close_input(&ifmt_ctx);// note: the internal buffer could have changed, and be != avio_ctx_bufferif (avio_ctx) {av_freep(&avio_ctx->buffer);av_freep(&avio_ctx);}thread_packet.join();fprintf(stdout, "test finish\n");return 0;
}

      执行结果如下图所示:

      可调用ffprobe.exe验证每个生成的视频文件的总帧数,如1.mp4,执行如下命令:

ffprobe.exe -v error -select_streams v:0 -show_entries stream=nb_frames -of default=nokey=1:noprint_wrappers=1 1.mp4

      GitHub:https://github.com/fengbingchun/OpenCV_Test

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/26581.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

webpack基础知识十:与webpack类似的工具还有哪些?区别?

一、模块化工具 模块化是一种处理复杂系统分解为更好的可管理模块的方式 可以用来分割&#xff0c;组织和打包应用。每个模块完成一个特定的子功能&#xff0c;所有的模块按某种方法组装起来&#xff0c;成为一个整体(bundle) 在前端领域中&#xff0c;并非只有webpack这一款…

chaitin-Nginx+Docker

Nginx实战 任务一 1、源码包安装NGINX A&#xff0c;搭建Web Server&#xff0c;任意HTML页面&#xff0c;其8080端口提供Web访问服务&#xff0c;截图成功访问http(s)&#x1f615;/[Server1]:8080并且回显Web页面 官网地址&#xff1a;http://nginx.org/en/download.html 步骤…

MySQL中的视图

系列文章目录 MySQL常见的几种约束 MySQL中的函数 MySQL中的事务 文章目录 系列文章目录前言一、视图的概念二、视图的好处三、SQL展示总结 前言 例如&#xff1a;随着人工智能的不断发展&#xff0c;机器学习这门技术也越来越重要&#xff0c;很多人都开启了学习机器学习&…

十二、ESP32控制步进电机

1. 运行效果 2. 步进电机 最大特点:能够控制旋转一定的角度 3. 步进电机原理

【vue】vue基础知识

1、插值表达式&属性绑定 <!--template展示给用户&#xff0c;相当于MVVM模式中的V--> <template><div class"first_div">//插值表达式<p>{{ message }}</p>//这里的参数是从父组件的template里传过来的<p>{{data_1}}</p…

超详情的开源知识库管理系统- mm-wiki的安装和使用

背景&#xff1a;最近公司需要一款可以记录公司内部文档信息&#xff0c;一些只是累计等&#xff0c;通过之前的经验积累&#xff0c;立马想到了 mm-wiki&#xff0c;然后就给公司搭建了一套&#xff0c;分享一下安装和使用说明&#xff1a; 当前市场上众多的优秀的文档系统百…

Demystifying Prompts in Language Models via Perplexity Estimation

Demystifying Prompts in Language Models via Perplexity Estimation 原文链接 Gonen H, Iyer S, Blevins T, et al. Demystifying prompts in language models via perplexity estimation[J]. arXiv preprint arXiv:2212.04037, 2022. 简单来说就是作者通过在不同LLM和不同…

VLT:Vision-Language Transformer用于引用的视觉语言转换和查询生成分割

摘要 在这项工作中&#xff0c;我们解决了引用分割的挑战性任务。引用分割中的查询表达式通常通过描述目标对象与其他对象的关系来表示目标对象。因此&#xff0c;为了在图像中的所有实例中找到目标实例&#xff0c;模型必须对整个图像有一个整体的理解。为了实现这一点&#…

Flutter 让软键盘不再自动弹起

1、问题说明&#xff1a; 在开发中&#xff0c;经常遇到这种事&#xff0c;一个页面有输入框&#xff0c;点击输入框后&#xff0c;会弹起软键盘&#xff0c;同时输入框会聚焦&#xff0c;手动收起软键盘后&#xff0c;点击另一个按钮前往下一个页面或者显示一个弹窗&#xff0…

一百四十一、Kettle——kettle8.2在Windows本地开启carte服务以及配置子服务器

一、目的 在kettle建好共享资源库后&#xff0c;为了给在服务器上部署kettle的carte服务躺雷&#xff0c;先在Windows本地测试一下怎么玩carte服务 二、Kettle版本以及在Windows本地安装路径 kettle版本是8.2 pdi-ce-8.2.0.0-342 kettle本地安装路径是D:\j…

Vue + Cesium快速搭建,全流程(最新总结)

方式一&#xff1a;直接引入&#xff08;最简单&#xff09; 1.安装Cesium&#xff08;Vue搭建可以看我上一期的文章&#xff09; npm i cesium -save2.将node_modules\cesium\Build\Cesium文件夹拷贝到项目的public文件中 3.在public\index.html引入Cesium <!DOCTYPE h…

[NOIP2007 普及组] 纪念品分组

[NOIP2007 普及组] 纪念品分组 题目描述 元旦快到了&#xff0c;校学生会让乐乐负责新年晚会的纪念品发放工作。为使得参加晚会的同学所获得 的纪念品价值相对均衡&#xff0c;他要把购来的纪念品根据价格进行分组&#xff0c;但每组最多只能包括两件纪念品&#xff0c; 并且…

百度秋招攻略,百度网申笔试面试详解

百度秋招简介 作为行业巨头&#xff0c;百度向社会提供的岗位一直都是非常吃香的&#xff0c;每年也都有很多考生密切关注&#xff0c;百度发布的招聘广告&#xff0c;以尽可能的让自己进入这家企业工作&#xff0c;实现自己的人生价值。那么百度每年的秋招时间是多久&#xf…

Spring Boot + Vue3前后端分离实战wiki知识库系统十一--文档管理功能开发三

文档内容的显示&#xff1a; 在上一次https://www.cnblogs.com/webor2006/p/17510360.html文档管理模块还差文档的显示木有完成&#xff0c;所以接下来先将这块模块给收尾了。 增加单独获取内容的接口&#xff1a; 概述&#xff1a; 在前端页面文档查询时&#xff0c;只查询了文…

leetcode 509. 斐波那契数

2023.8.6 明天放假回长沙了&#xff0c;回家先玩几天。 今天开始刷动态规划的题目了&#xff0c;先拿道简单的练练手。由于本题提示中说n在30以内&#xff0c;所以我是构造了一个大小为30的int型哈希数组&#xff0c;然后将30以内的斐波那契数列全部放入数组中&#xff0c;然后…

K8S系列文章之 服务部署核心概念

主要讲述如何在K8s中部署应用。 首先&#xff0c;我们在实战项目中经常会用到的一些概念 PodDeploymentServiceNamespacesDNS 使用上一篇文章&#xff0c;我们重建Kind K8s环境&#xff0c;并部署一个可以从本地访问的简单网页&#xff0c;加深理解。 环境(配置) centos7Doc…

人类与机器的分类不同

分类能力也是智能的重要标识之一。通过分类&#xff0c;我们可以将事物或概念进行归类和组织&#xff0c;从而更好地理解和处理信息。分类在人类认知和智能发展中起到了重要的作用&#xff0c;它有助于我们对世界进行认知、记忆、推理和决策。在机器智能领域&#xff0c;分类同…

zookeeper和kafka

目录 一、zookeeper理论 1.1、zookeeper定义 1.2、zookeeper工作机制 1.3、zookeeper特点 1.4、zookeeper的数据结构 1.5、zookeeper应用场景 1.6、zookeeper的选举机制 二、部署Zookeeper 集群 2.1、环境准备 2.2、安装 Zookeeper 2.3、修改配置文件 2.4、配置…

【Spring】(二)从零开始的 Spring 项目搭建与使用

文章目录 前言一、Spring 项目的创建1.1 创建 Maven 项目1.2 添加 Spring 框架支持1.3 添加启动类 二、储存 Bean 对象2.1 创建 Bean2.1 将 Bean 注册到 Spring 容器 三、获取并使用 Bean 对象3.1 获取Spring 上下文3.2 ApplicationContext 和 BeanFactory 的区别3.3 获取指定的…

数据结构——搜索二叉树

文章目录 一. 概念二. 二叉搜索树的操作1.查找2.插入3.删除&#xff08;重点&#xff09;4.遍历5.拷贝构造与析构 三.二叉搜索树的递归实现1.递归查找2.递归插入3.递归删除 四.二叉搜索树的性能分析五.二叉树搜索的应用六.源码 前言&#xff1a; 本章我们将认识一种新的二叉树—…