音视频基本概念和FFmpeg的简单入门

9a2ff7fc8018094d4c9849e0f0993b99.png

写在前面

最近正好有音视频编辑的需求,虽然之前粗略的了解过FFmpeg不过肯定是不够用的,借此重新学习下;

基本概念

容器/文件(Conainer/File):

即特定格式的多媒体文件,一般来说一个视频文件是由视频,音频,字幕等按特定的格式/规则组合到一起的,常见如:

mp4
flv
mkv
avi

媒体流(Stream):

表示时间轴上的一段连续数据,如一段声音数据、一段视频数据或一段字幕数据,可以是压缩的,也可以是非压缩的,压缩的数据需要关联特定的编解码器。

数据帧/数据包(Frame/Packet):

通常,一个媒体流是由大量的数据帧组成的,对于压缩数据,帧对应着编解码器的最小处理单元,分属于不同媒体流的数据帧交错存储于容器之中。

一般:Frame对应压缩前的数据,Packet对应压缩后的数据。

编解码器(Codec):

视频和音频都需要经过编码,才能保存成文件。编解码器是指以帧为单位实现压缩数据和原始数据之间的相互转换的;

编码:原始数据->压缩数据;

解码:压缩数据->原始数据;

不同的编码格式(CODEC),有不同的压缩率,会导致文件大小和清晰度的差异。

常用的视频编码格式如下:

H.262
H.264
H.265

示例:原始图形YUV数据用H.264编码成H264帧

a5f8a89417676f4af54cd3aab28b0174.png
image-20220420174551776

常用的音频编码格式如下:

MP3
AAC

示例:原始声音PCM数据用AAC编码器编码成AAC帧(是的音频也有帧)

1e05b71aab60c2eba999efa2212f847b.png
image-20220420174752168

复用(mux):

把不同的流按照某种容器的规则放入容器,这种行为叫做复用(mux)

b7dede64361bcdde76838ba18115b28a.png
image-20220420173433070

解复用(mux):

把不同的流从某种容器中解析出来,这种行为叫做解复用(demux)

60646718ebf814a10f23b70700fa6d69.png
image-20220420173514115

帧率(Frame rate):

n帧率也叫帧频率,用FPS表示。帧率是视频文件中每一秒的帧数,肉眼想看到连续移动图像至少需要15帧。

一般电影的帧率为24;

码率(Bit Rate):

比特率(也叫码率,数据率)是一个确定整体视频/音频质量的参数,秒为单位处理的位数,码率和视频质量成正比,在视频文件中中比特率用bps(bit per second)来表达。

码率越低,表示压缩程度越高,画质越差。

码率越高,视频质量相对越高,视频文件也就越大。

FFmpeg

FFmpeg是一个很多的项目,包括很多组件:

  • ffmpeg——一个命令行工具,用来对视频文件转换格式,也支持对电视卡即时编码

  • ffserver——一个HTTP多媒体即时广播流服务器,支持时光平移

  • ffplay——一个简单的播放器,基于SDL与FFmpeg库

  • libavcodec——包含全部FFmpeg音频/视频编解码库

  • libavformat——包含demuxers和muxer库

  • libavutil——包含一些工具库

  • libpostproc——对于视频做前处理的库

  • libswscale——对于视频作缩放的库

我们一般说的的FFmpeg 是指FFmpeg 的命令行工具;

第一条FFmpeg命令

ffmpeg -y -i input.mp4 -acodec copy -vcodec libx264 -s 720x1280 output.avi

参数解析

-y # 全局参数,等于npm -y 
-i input.mp4 #输入文件,FFmpeg命令有位置之分, -i 之前是输入参数,之后是输出参数
-acodec copy #输出文件参数,复制音频编码而不用重新编码
-vcodec libx26 #输出文件参数,重新用libx26编码(比较慢耗性能)
-s 720x1280 #输出参数,
output.avi #输出文件
可以看到,FFmpeg一般分为这五个部分,大家参考上面命令对号入座全局参数输入文件参数输入文件输出文件参数输出文件

所以这条命令的含义是:把视频input.mp4不修改音频的情况下用libx26编码音频,同时分辨率改成720*1280,格式改成avi;

视频信息

左:input.mp4 ,右:output.avi

可以看到视频文件已经完成了命令操作转换;

007875cb6f43fbf5f976b85492272905.png
image-20220421111033369

FFmpeg常用参数

-c:指定编码器-c copy:直接复制,不经过重新编码-c:v:指定视频编码器-c:a:指定音频编码器-i:指定输入文件-an:去除音频流-vn: 去除视频流,不处理视频-preset:指定输出的视频质量,会影响文件的生成速度,有以下几个可用的值 ultrafast, superfast, veryfast, faster, fast, medium, slow, slower, veryslow。-y:不经过确认,输出时直接覆盖同名文件。-s:size 设置帧大小 格式为WXH 缺省160X128.下面的简写也可以直接使用:Sqcif 128X96 qcif 176X144 cif 252X288 4cif 704X576-b:bitrate 设置比特率,缺省200kb/s-vcodec:codec 强制使用codec编解码方式。 如果用copy表示原始编解码数据直接被拷贝。-filter:  视频过滤器,如 -filter:v "crop=w:h:x:y"用过滤器v裁剪视频w - 源视频中裁剪的矩形的宽度h – 矩形的高度。x – 我们想自源视频中裁剪的矩形的 x 坐标 。y – 矩形的 y 坐标。-aspect:设置横纵比 4:3 16:9 或 1.3333 1.7777-ss:position 搜索到指定的时间 [-]hh:mm:ss[.xxx]的格式也支持,比如用来指定剪切开始时间

FFmpeg命令处理流程

我们还是以这条命令为例,分析FFmpeg命令对视频的处理经过哪些流程

ffmpeg -y -i input.mp4 -acodec copy -vcodec libx264 -s 720x1280 output.avi

我们看图:

7a6dcadadd40dcb7ce11810f197387d9.png
image-20220421151232836

我们看到命令处理一般分成5个步骤

  1. 解复用:把容器文件解析成编码的数据包;

  2. 解码:解码器把数据包解码成数据帧;

  3. filter进行帧处理:把1080 * 1920的数据帧处理成720 * 1280

  4. 重新编码:编码器libx264重新把数据帧编码成编码的数据包;

  5. 复用:把数据包按格式avi封装;

这个简单流程比较重要,要了然于心;

FFmpeg常用命令

打印视频基本信息

$ ffmpeg -i input.mp4 -hide_bannerInput #0, mov,mp4,m4a,3gp,3g2,mj2, from 'input.mp4':Metadata:major_brand     : mp42minor_version   : 0compatible_brands: mp42mp41isomavc1creation_time   : 2021-05-29T16:51:47.000000ZDuration: 00:00:30.61, start: 0.000000, bitrate: 5932 kb/sStream #0:0[0x1](und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(tv, bt709, progressive), 1080x1920, 5672 kb/s, 60 fps, 60 tbr, 60 tbn (default)Metadata:creation_time   : 2021-05-29T16:51:47.000000Zhandler_name    : L-SMASH Video Handlervendor_id       : [0][0][0][0]encoder         : AVC CodingStream #0:1[0x2](und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 253 kb/s (default)Metadata:creation_time   : 2021-05-29T16:51:47.000000Zhandler_name    : L-SMASH Audio Handlervendor_id       : [0][0][0][0]
At least one output file must be specified

转换格式修改分辨率

ffmpeg -y -i input.mp4  -s 720x1280 output.avi

视频静音处理(移除音频)

ffmpeg -i input.mp4 -an quiet.mp4

从视频中提取图片

ffmpeg -i input.mp4 -r 1 -f image2 -ss 00:00:10 -t 2 image-%2d.png
  • -r – 设置帧速度。即,每秒提取帧到图像的数字。默认值是 25。

  • -f – 表示输出格式,即,在我们的实例中是图像。

  • image-%2d.png – 表明我们如何想命名提取的图像。在这个实例中,命名应该像这样image-01.png、image-02.png、image-03.png 等等开始。如果你使用 %3d,那么图像的命名像 image-001.png、image-002.png 等等开始。

添加/修改封面

ffmpeg -y -i input.mp4 -i cover.png -map 0 -map 1 -c copy -disposition:v:1 attached_pic cover_output.mp4

如果需要把视频第一帧截出来做封面,那就先提取

ffmpeg -ss 00:00:01 -i input.mp4  -f image2  cover.png

提取视频里的音频文件

ffmpeg -i input.mp4 -vn -c:a copy output.aac

裁剪视频

ffmpeg -i input.mp4 -filter:v "crop=640:480:120:240" cut.mp4
  • -filter:v – 表示视频过滤器。

  • crop – 表示裁剪过滤器。

  • w – 我们想自源视频中裁剪的矩形的宽度。

  • h – 矩形的高度。

  • x – 我们想自源视频中裁剪的矩形的 x 坐标 。

  • y – 矩形的 y 坐标。

视频截取

ffmpeg -i input.mp4 -ss 00:00:05 -codec copy -t 10 cutout.mp4
  • -ss 开始时间

  • -t 10,截取十秒

视频切割拆分成多个

ffmpeg -i input.mp4 -t 00:00:13 -c copy part1.mp4 -ss 00:00:13 -codec copy part2.mp4
  • -t 00:00:13 表示从视频的开始到视频的第 30 秒创建一部分视频。

  • -ss 00:00:13 为视频的下一部分显示开始时间戳。它意味着第 2 部分将从第 30 秒开始,并将持续到原始视频文件的结尾。

视频合并拼接

ffmpeg -i "concat:part1.mp4|part2.mp4" -c:a copy -c:v copy combine.mp4

设置视屏屏蔽宽高

ffmpeg -i input.mp4 -aspect 4:3 4_3.mp4

通常使用的高宽比是:

  • 16:9

  • 4:3

  • 16:10

  • 5:4

  • 2:21:1

  • 2:35:1

  • 2:39:1

添加字幕

ffmpeg -i input.mp4 -i subtitle.srt -c copy output.mkv

subtitle.srt 是字幕文件,然后这里选用的是软字幕方式比较快

总结

根据项目需要,简单学习了下音视频的非常基本的概念和FFmpeg的基本使用,留个记录;

[参考]

https://www.ruanyifeng.com/blog/2020/01/ffmpeg.html

https://zhuanlan.zhihu.com/p/67878761

廖庆富视频教程

67130ef4b7a2c4ef66b64d7833dff5ce.png

文章博客园地址请点击“阅读原文”

                                                                                                   不给我点个赞再走吗~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/288586.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Windows Live Writer 的昨日荣光

今天这一篇文章,想写一写Windows Live Writer这款博客编辑器(最早的一个版本是2007年发布的)。毫不夸张地说,这是为数不多的几款所见即所得的编辑器之一,当然,它的运行速度慢也是一个众所周知的问题。作为一…

猎豹MFC--CMenu菜单 设置主菜单 给主对话框设置菜单 设置快捷菜单

设置主菜单(不是快捷菜单):给主对话框设置菜单:效果如下:修改菜单的ID使之便于记忆:给菜单添加消息处理:添加处理代码:设置快捷菜单:打开对话框,属性添加消息…

领域事件和集成事件没那么高大上

前言随着系统架构的演变,有很多名词也随之涌现,如:微服务、灰度发布、资源隔离、容器、领域/集成事件等,听着的确高大上,让很多小伙伴有一种无法征服的感觉;其实很多东西可能之前就已经用过了,只…

20142335郝昊第三周学习总结

20145335郝昊 《Java程序设计》第3周学习总结 教材学习内容总结 第四章 类与对象 定义: 对象(Object):存在的具体实体,具有明确的状态和行为。 类(Class):具有相同属性和行为的一组对象的集合&…

hierarchyviewer

为什么80%的码农都做不了架构师?>>> 学习monkeyrunner,无奈怎么都无法启动activity,人家告诉我.hierarchyviewer这个工具可以,今天我就开始学习这个了,但愿有所帮助啊。http://www.xuebuyuan.com/2104811.…

linux之如何查看哪些进程在使用某一个so

1 问题 在我们服务端,我们怎么查看哪些进程在使用某一个so 2 解决办法 lsof **.so 很明显,我们的apache的httpd几个进程在使用这个so

“威胁情报”在手,反黑客终于有地图了!

安全是一场攻防战,那么,如今这样的攻防战发展到了什么level了呢?日前,安全领域的大神们进行了一场闭门研讨 。大神们表示,如今要想保证自己的安全,你不仅需要武器,还需要侦察兵,需要…

winform插入时间类型数据到oracle数据库,winform操作访问Oracle 10g数据库,并自动填充到DataGridView...

使用oracle的ODP.NET是官方推荐,而且相对简单的方法。官方指导文档:http://www.oracle.com/technetwork/cn/testcontent/o23odp-084525-zhs.htmlapp.configForm1.aspx.csusing System;using System.Collections.Generic;using System.ComponentModel;usi…

print的describe的展示全部数据_大数据项目中的QA需要迎接新的挑战

根据IDC全球半年度大数据和分析支出指南的最新预测,到2022年全球大数据和业务分析解决方案的收入将达到2600亿美元。在大数据和业务分析解决方案上投资增长最快的行业包括银行(复合年增长率13.3%)、医疗、保险、证券和投资服务、电信&#xf…

Enum枚举类型实战总结,保证有用!

一般在我们开发时如果能使用枚举罗列的,一般都会定义一个枚举类型。将枚举类型作为方法的参数,可以方便的进行调用,给我们带来不少的便利,当然有时候它还不如直接用一个int类型带来,带来一定灵活性。但只要能满足业务咱…

linux c之通过popen执行shell命令

1 popen介绍 我是在ubuntu上面进行man popen的,解释如下 这个函数通过创建一个管道通过fork一个进程,然后执行一个command,因为在管道中,所以数据流是单向的,然后type一般只能是读“r”或者写“w”,返回值在IO流里面,用了popen之后我们要记得用pclose函数。 2 使用 #inc…

用java调用.net的wcf其实还是很简单的

前些天和我们的一个邮件服务商对接,双方需要进行一些通讯,对方是java团队,而作为.net团队的我们,只能公布出去的是一个wcf的basicbinding,想不 到问题来了,对方不知道怎么去调用这个basic,可能他…

DbTool 2.0.0 Released

DbTool 2.0.0 ReleasedIntroDbTool 一个支持 DbFirst、ModelFirst 和 CodeFirst 的数据库小工具。DbFirst 是根据数据库中的表信息生成代码中的 Model,以及生成数据表结构文档ModelFirst 是根据数据表信息或者数据表结构文档生成创建数据库的脚本CodeFirst 是指根据…

[蓝桥杯] 蚂蚁感冒

[蓝桥杯] 蚂蚁感冒 峰值内存消耗 < 256M  CPU消耗 < 1000ms 【题目描述 - Problem Description】 长100厘米的细长直杆子上有n只蚂蚁。它们的头有的朝左&#xff0c;有的朝右。 每只蚂蚁都只能沿着杆子向前爬&#xff0c;速度是1厘米/秒。 当两只蚂蚁碰面时&#xff0…

Source Insight之Relation Window Properties配置和一些快捷键

1 Source Insight之Relation Window Properties配置 我们先点击source Insight的这个地方 然后鼠标右键&#xff0c;点击Relation Window Properties&#xff0c;配置如下 2 快捷键 目前就我知道的 1&#xff09;按亮和按熄这个变量 shift F8 2&#xff09;跳转到具体一行…

ArcGIS 10.2 Calculate Value(Data Management) 工具的使用

1、概述 Calculate Value tool returns a value based on a specified Python expression. 计算值工具返回一个基于特定Python表达式的值。 工具位置:ToolBox→Data Management Tools→General→Calculate Value 2、注意事项 (1)该工具只能用于MoudleBuilder,而不能用于Py…

vb6编写dll读取dat文件_【STM32Cube_15】使用硬件I2C读取温湿度传感器数据(SHT30)...

寻求更好的阅读体验&#xff0c;请移步Mculover666的个人博客&#xff1a;【STM32Cube_15】使用硬件I2C读取温湿度传感器数据&#xff08;SHT30&#xff09;​www.mculover666.cn本篇详细的记录了如何使用STM32CubeMX配置STM32L431RCT6的硬件I2C外设&#xff0c;读取SHT30温湿度…

tcp/ip ---数据封装过程

转载于:https://www.cnblogs.com/saryli/p/5306721.html

NuGet 新特性 -- 中心化的 NuGet 包版本管理

NuGet 新特性 -- 中心化的 NuGet 包版本管理IntroNuGet 支持了一个可以中心化管理 NuGet 包版本的方案&#xff0c;我们可以在一个地方统一管理 NuGet 包的版本Preface在之前的版本中我们通常在每个指定包版本引用的地方会设置 NuGet 包的版本号&#xff0c;如果项目比较多&…

Java面向对象编程学习

1、新建一个工程&#xff0c;在工程下新建一个类Method01&#xff08;勾选创建main函数&#xff09; package ClassStudy;class Person {String name; //默认为nullint age; //默认为0//构造函数public Person(){namenull;age0;}//方法public void say(){System.out.println(&…