四.音视频编辑-音频混合-概述

引言

当我们在前两篇博客中成功地构建了一个媒体组合，并且略过了音频部分时，我们意识到了我们需要对这个项目进行更详细的探讨。在本篇博客中，我们将会展示如何创建一个包含视频轨道、配音音频轨道以及背景音频轨道的完整媒体组合。更进一步，我们将探讨当两个音频轨道同时竞争空间时的音频混合方案。

构建双音轨组合

在前面博客的基础上我们需要进行一些调整以构建新的媒体组合。

资源选择

首先是资源选择器的调整，原本的资源选择器只支持单一的视频媒体资源选择，现在我们将其分为三组，分别为视频资源，配音音频资源，背景音乐资源。

代码如下：

修改数据源为二维数组

    /// 数据var dataArray:[[PHResource]] = [[PHResource]]()

初始化数据

    override func initData() {super.initData()//添加视频资源var videoArray = [PHResource]()let resource_breckiehill = PHResource(resource_name: "01_nebula", resource_ext: "mp4", resource_type: .video)videoArray.append(resource_breckiehill)let resource_dkglitch = PHResource(resource_name: "04_quasar", resource_ext: "mp4", resource_type: .video)videoArray.append(resource_dkglitch)dataArray.append(videoArray)//添加音频资源var audioArray = [PHResource]()let resource_john_kennedy = PHResource(resource_name: "John F. Kennedy", resource_ext: "m4a", resource_type: .audio)audioArray.append(resource_john_kennedy)let resource_ronald_reagen = PHResource(resource_name: "Ronald Reagan", resource_ext: "m4a", resource_type: .audio)audioArray.append(resource_ronald_reagen)dataArray.append(audioArray)//添加背景音乐资源var bgmArray = [PHResource]()let resource_keep_going = PHResource(resource_name: "02 Keep Going", resource_ext: "m4a", resource_type: .music)bgmArray.append(resource_keep_going)let resource_star_gazing = PHResource(resource_name: "01 Star Gazing", resource_ext: "m4a", resource_type: .music)bgmArray.append(resource_star_gazing)dataArray.append(bgmArray)

列表改为分组样式，显示结果如下图：

资源选择器

资源编辑

资源编辑页面需要将三个轨道都显示到页面上，为此我们需要创建三个不同的横向列表来显示不同的媒体资源轨道。

    /// 数据var timeLine = PHTimeLine()/// 视频编辑视图var videoCollectionView:UICollectionView?/// 音频编辑视图var audioCollectionView:UICollectionView?/// 背景音乐编辑视图var musicCollectionView:UICollectionView?
    func addCollectionView() {addVideoCollectionView()addAudioCollectionView()addMusicCollectionView()}func addVideoCollectionView() {self.videoCollectionView = buildCollectionView(offsetY: 50.0)}func addAudioCollectionView() {let offsetY = CGRectGetMaxY(self.videoCollectionView?.frame ?? CGRect.zero) + 8.0self.audioCollectionView = buildCollectionView(offsetY: offsetY)}func addMusicCollectionView() {let offsetY = CGRectGetMaxY(self.audioCollectionView?.frame ?? CGRect.zero) + 8.0self.musicCollectionView = buildCollectionView(offsetY: offsetY)}/// 创建编辑视图/// - Parameter :/// - offsetY: 偏移量////// - Returns: UICollectionViewfunc buildCollectionView(offsetY:CGFloat) -> UICollectionView {let flowLayout = UICollectionViewFlowLayout()flowLayout.scrollDirection = .horizontalflowLayout.itemSize = item_sizeflowLayout.minimumInteritemSpacing = 0.0flowLayout.minimumLineSpacing = 0.0let collectionView = UICollectionView(frame: CGRect(x: 0.0, y: offsetY, width: self.bounds.size.width, height: item_size.height), collectionViewLayout: flowLayout)collectionView.contentInset = UIEdgeInsets(top: 0.0, left: self.bounds.width*0.5, bottom: 0.0, right: self.bounds.width*0.5)collectionView.delegate = selfcollectionView.dataSource = selfself.addSubview(collectionView)collectionView.register(PHEditorCell.self, forCellWithReuseIdentifier: NSStringFromClass(PHEditorCell.self))return collectionView}

每个collectionView加载timeline中的不同数据。

    func collectionView(_ collectionView: UICollectionView, cellForItemAt indexPath: IndexPath) -> UICollectionViewCell {var cell:UICollectionViewCell?var mediaItem:PHMediaItem?var backViewColor:UIColor = .redif collectionView == self.videoCollectionView {mediaItem = timeLine.videoItmes[indexPath.section]backViewColor = .red}if collectionView == self.audioCollectionView {mediaItem = timeLine.audioItems[indexPath.section]backViewColor = .blue}if collectionView == self.musicCollectionView {mediaItem = timeLine.musicItembackViewColor = .green}if let editorCell = collectionView.dequeueReusableCell(withReuseIdentifier: NSStringFromClass(PHEditorCell.self), for: indexPath) as? PHEditorCell {if let mediaItem = mediaItem {editorCell.titleLabel.text = mediaItem.titleeditorCell.backViewColor = backViewColorcell = editorCell}}if cell == nil {assert(false, "cell is nil")}return cell!}

最终的实现的页面显示效果如下：

混合音频

这次组合媒体看起来还不错，场景切换也十分清晰，但仔细感受我们会发现在音频上有一些小瑕疵，首先一个比较严重的问题是我们的两个音频轨道发生了冲突，在开始播放时几乎听不见画外音，背景音乐的音量已经完全覆盖了它。与其让着两个音频轨道发生冲突，倒不如使用一种名为闪避的处理方案，在画外音持续的时间内将背景音乐的音量调低，并保持这个音量直到画外音结束之后再恢复到原来的音量。

另外一个小问题时当播放结束时音乐戛然而止，如果声音可以渐渐减小，会带来更好的用户体验。

框架提供了一个AVAudioMix类处理上面的问题，它是用来在组合的音频轨道中进行自定义音频的处理。

AVAudioMix所具有的音频处理方法是由它的输入参数集定义的，它的参数是AVAudioMixInputParameters类型的对象。AVAudioMixInputParameters的实例关联组合中的单独音频轨道，并在添加到音频混合时定义基于轨道的处理方法。AVAudioMix和其相关联的AVAudioMixInputParameters集合都是不可变对象，意味着它们适用于为AVPlayerItem和AVAssetExportSession之类的客户端提供相关数据，不过它们不能操作其状态。当我们需要创建一个自定义音频混合时，需要改用它们在AVMutableAudioMix和AVMutableAudioMixInputParameters中的可变子类。

AVAudioMix及其相关类的示意图如下：

AVAudioMix及其相关类

自动调节音量

当一个组合资源播放或导出时，默认行为是以最大音量或正常音量。只有一个单音轨道时这样的方法才可能比较容易接受，不过当一个组合资源包含多个音频源时就会出现问题。对于多音频轨道的情况，每个声音都在争夺空间，这就不可避免会导致一些声音可能无法被听到。

AV Foundation把音量定义为了一个标准化的浮点型数值，数值范围从0.0~1.0。音频轨道的默认音量为1.0，不过可以使用AVMutableAudioMixInputParameters实例修改这个值。这个对象允许在一个指定时间点或给定的时间范围自动调节音量。

AVMutableAudioMixInputParameters提供了两个方法来调节音量:

1.在指定时间点立即调节音量。音量在音轨持续时间内会保持不变，直到有另一个音量调节出现。

setVolume(_ volume: Float, at time: CMTime)

volume：表示目标音量。

time：起始时间点。

2.在一个给定时间范围内平滑地将音量从一个值调节到另外一个值。当需要在一个时间范围内调整音量时，音量会立即变为指定值的初始值音量并在持续时间内逐渐调整为指定的结束值。

setVolumeRamp(fromStartVolume startVolume: Float, toEndVolume endVolume: Float, timeRange: CMTimeRange)

starVolume：起始音量。

endVolume：目标音量。

timeRange：变化持续时间范围。

简单示例

我们来使用上面的知识来实现一下下面的小示例，8秒的音频资源，开始播放时默认音量为1.0，当播放到2秒的时候开始设置音量平滑的减小到3秒时音量为0.4，而到第5秒音量直接调整为0.6。

        // 创建一个音频轨道let composition = AVMutableComposition()let compositionTrack = composition.addMutableTrack(withMediaType: .audio, preferredTrackID: kCMPersistentTrackID_Invalid)// 设置时间let zeroSeconds = CMTime.zerolet twoSeconds = CMTime(value: 2, timescale: 1)let threeSeconds = CMTime(value: 3, timescale: 1)let fiveSeconds = CMTime(value: 5, timescale: 1)// 创建parameterslet parameters = AVMutableAudioMixInputParameters(track: compositionTrack)// 设置初始音量 （即使不设置默认也是最大音量1.0）parameters.setVolume(1.0, at: zeroSeconds)// 2s时音量开始平滑减小3s减小至0.4parameters.setVolumeRamp(fromStartVolume: 1.0, toEndVolume: 0.4, timeRange: CMTimeRange(start: twoSeconds, end: threeSeconds))// 5s时直接设置音量为0.6parameters.setVolume(0.6, at: fiveSeconds)// 创建audioMixlet audioMix = AVMutableAudioMix()audioMix.inputParameters = [parameters]
  1. 首先需要有一个音频轨道。
  2. 定义设置音量变化的时间。
  3. 创建一个新的与要操作的轨道关联的AVMutableAudioMixInputParameters实例。
  4. 默认音量为1.0，在2s时设置音量平滑过渡到0.4持续时间为1s，在5秒时直接设置音量为0.6。
  5. 定义好所有参数后就可以创建AVMutableAudioMix了，将参数添加到数组中，并将数组赋给音频混合对象的inputParameters属性。

示例中创建了一个全格式的音频混合，可以被设置为AVPlayerItem或AVAssetExportSession的audioMix属性进行播放或导出。

结语

在本文中，我们深入探讨了使用AVFoundation进行音频混合的相关类和方案。我们介绍了核心概念，包括AVAudioMix，AVMutableAudioMix，AVAudioMixInputParameters，AVMutableAudioMixInputParameters等类的使用场景。

通过提供一个简单的实例，我们演示了如何在实际项目中应用这些技术。

希望本文能为您提供清晰的指导，并激发您在自己的应用程序中尝试音频混合的想法。在下一篇博客中，我们将继续探讨如何将这些概念整合到实际项目中，为您展示更多高级技术和实用技巧。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/819668.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【GDAL-Python】1-在Python中使用GDAL读写栅格文件

【GDAL-Python】1-在Python中使用GDAL读写栅格文件

文章目录 1-概要2.代码实现 1-概要 提示：本教程介绍如何使用 Python 中的 GDAL 库将栅格数据读取为数组并将数组另存为GeoTiff 文件 视频地址：B站对应教程 目标： （1）读写GeoTiff影像； （2&…
阅读更多...
centos 9 安装mysql 到系统指定目录

centos 9 安装mysql 到系统指定目录

在CentOS 9上安装MySQL并将其安装到系统指定目录的步骤如下： 首先，确认已经正确配置了CentOS 9的网络连接。 打开终端并使用root用户登录。 添加MySQL Yum存储库。执行以下命令： dnf install -y https://dev.mysql.com/get/mysql80-communi…
阅读更多...
深入理解Java内存模型（JMM）

深入理解Java内存模型（JMM）

Java内存模型（JMM）是每一位Java开发者必须了解的核心知识之一，特别是对于涉足并发编程的开发者来说，JMM是保证多线程程序正确执行的基石。JMM定义了线程与主内存之间的抽象关系，规定了如何通过内存来进行线程间的通信&…
阅读更多...
Antd：在文本框中展示格式化JSON

Antd：在文本框中展示格式化JSON

要想将对象转换为格式化 JSON 展示在文本框中，需要用到 JSON.stringify JSON.stringify 方法接受三个参数： value：必需，一个 JavaScript 值（通常为对象或数组）要转换为 JSON 字符串。replacer&#xff1a…
阅读更多...
MySql 安装，小白也可以学会成功安装的保姆级教程

MySql 安装，小白也可以学会成功安装的保姆级教程

MySql 安装 文章目录 MySql 安装1.Mysql下载1.1 访问下载链接1.2 选择合适版本1.3 下载安装包 2.MySql安装3.安装成功检测验证3.1 mysql自带控制台验证3.2 win系统控制台进入验证 4. mysql 配置path5. navicat 连接 mysql 1.Mysql下载 1.1 访问下载链接 MySQL Downloads 这里…
阅读更多...
常用的权限模型介绍

常用的权限模型介绍

概述 权限模型是一种用于定义和管理系统资源访问权限的规则集合。它规定了谁可以访问系统资源，以及在何种条件下可以访问。 常用的权限模型 DAC（Discretionary Access Control）：自主访问控制，是基于用户身份或组织属…
阅读更多...
【自由看门狗配置及计算】

【自由看门狗配置及计算】

一、看门狗使用场景 看门狗是一个硬件计时电路，用来监测由软件故障导致的系统故障。 片上有两个看门狗定时器外设，自由看门狗定时器（FWDGT也叫独立看门狗）和窗口看门狗定时器（WWDGT）。 当嵌入式程序在运…
阅读更多...
conda 创建、激活、退出、删除虚拟环境

conda 创建、激活、退出、删除虚拟环境

一、conda 本地环境常用操作 #获取版本号 conda --version 或 conda -V #检查更新当前conda conda update conda #查看当前存在哪些虚拟环境 conda env list 或 conda info -e #查看--安装--更新--删除包 conda list： conda search package_name# 查询包 cond…
阅读更多...
Centos 更换yum国内源的命令 -- yum更新速度太慢问题

Centos 更换yum国内源的命令 -- yum更新速度太慢问题

【Linux】yum | 更新为国内源 | 删除源 | 删除repo | CentOS7_linux如何删除repo文件-CSDN博客
阅读更多...
Linux程序调试优化（1）——内存占用详解及优化思路

Linux程序调试优化（1）——内存占用详解及优化思路

文章目录 1.free查看总体的内存占用2./proc/$PID/status 查看某进程状态 linux开发最重要的两个参数，分别是内存以及CPU使用率，若内存出现严重不足，则在需要使用内存时，可能出现申请不到的情况，导致 OOM，L…
阅读更多...
不出天府锋巢直播产业基地，即可激活电商直播产业、产教融合及人才培训服务

不出天府锋巢直播产业基地，即可激活电商直播产业、产教融合及人才培训服务

天府锋巢直播产业基地打造直播产业产教融合及人才培训服务新模式，携手政府、企业、高校，促进直播产业与创新人才双向奔赴，推进教学与实战深度融合，推动实习与就业无缝衔接。 各方资讯一应俱全 直播产业产教融合及人才培训服务全套…
阅读更多...
ArrayList扩容

ArrayList扩容

在Java中，ArrayList是一个动态数组，它允许在运行时改变其大小。当向ArrayList添加元素并且当前数组容量不足以容纳新元素时，ArrayList会自动扩容。 扩容原理 初始容量：当创建一个新的ArrayList时，可以指定一个初始容量…
阅读更多...
DFS专题：力扣岛屿问题（持续更新）

DFS专题：力扣岛屿问题（持续更新）

DFS专题：力扣岛屿问题 开篇 每次做到DFS相关的题目都是直接跳过。蓝桥杯过后痛定思痛，好好学习一下DFS和BFS。先从DFS开始吧。 参考题解：nettee：岛屿类问题的通用解法、DFS 遍历框架 一、岛屿数量 题目链接: 200.岛屿数量 题…
阅读更多...
x86_64/amd64和arm64区别

x86_64/amd64和arm64区别

1.概况 x86_64（也称为AMD64或x64）和ARM64是两种不同的处理器架构，它们在设计理念、应用场景和性能特点上有所区别。 2.设计理念 x86_64架构起源于Intel的x86架构，它是对原始32位x86架构的扩展，增加了对64位计算的支…
阅读更多...
Vue3学习05 一些API

Vue3学习05 一些API

Vue3-API 其它 API【shallowRef 与 shallowReactive 】shallowRefshallowReactive总结 【readonly 与 shallowReadonly】readonlyshallowReadonly 【toRaw 与 markRaw】toRawmarkRaw 【customRef】 Vue3新组件【Teleport】【Suspense】【全局API转移到应用对象】【其他】 其它 …
阅读更多...
webuploader后端开发要点

webuploader后端开发要点

百度fex团队的webuploader是一个很方便的web页面文件上传轮子，可以很方便地集成到前端html和js里，当然了，后端需要咱们自己开发实现。比较遗憾的是webuploader现在已经从百度的fex主页移除了，该项目可能已经不再维护了。 关于后端…
阅读更多...
java小作业（9）----用函数实现斐波那契数列（第二遍）

java小作业（9）----用函数实现斐波那契数列（第二遍）

代码&#xff1a; public class Main {public static void main(String[] args) {int n 20; // 你可以更改这个值来计算和输出前n个斐波那契数for (int i 0; i < n; i) {System.out.print(fibonacci(i) " ");}}public static int fibonacci(int n) {if (n <…
阅读更多...
BackTrader 中文文档（一）

BackTrader 中文文档（一）

原文&#xff1a;www.backtrader.com/ 主页 欢迎来到 backtrader&#xff01; 原文&#xff1a;www.backtrader.com/ 一个功能丰富的 Python 框架&#xff0c;用于回测和交易 backtrader允许您专注于编写可重复使用的交易策略、指标和分析器&#xff0c;而不必花时间构建基础…
阅读更多...
Android T多屏多显——应用双屏间拖拽移动功能（更新中）

Android T多屏多显——应用双屏间拖拽移动功能（更新中）

功能以及显示效果简介 需求&#xff1a;在双屏显示中&#xff0c;把启动的应用从其中一个屏幕中移动到另一个屏幕中。 操作&#xff1a;通过双指按压应用使其移动&#xff0c;如果移动的距离过小&#xff0c;我们就不移动到另一屏幕&#xff0c;否则移动到另一屏。 功能分析…
阅读更多...
振弦式渗压计的安装与防护：在水工建筑物中的关键应用

振弦式渗压计的安装与防护：在水工建筑物中的关键应用

振弦式渗压计&#xff0c;作为一种高效的孔隙水压力或液体液位测量工具&#xff0c;广泛应用于水工建筑物、基岩内、测压管、钻孔、堤坝、管道和压力容器内。其安装和防护工作至关重要&#xff0c;直接关系到测量数据的准确性和仪器的使用寿命。本文将重点探讨振弦式渗压计在填…
阅读更多...
最新文章

Copyright @ 2022~2023