一步一步教你实现iOS音频频谱动画（一）

如果你想先看看最终效果再决定看不看文章 -> bilibili
示例代码下载

第二篇：一步一步教你实现iOS音频频谱动画（二）

基于篇幅考虑，本次教程分为两篇文章，本篇文章主要讲述音频播放和频谱数据的获取，下篇将讲述数据处理和动画绘制。

前言

很久以前在电脑上听音乐的时候，经常会调出播放器的一个小工具，里面的柱状图会随着音乐节奏而跳动，就感觉自己好专业，尽管后来才知道这个是音频信号在频域下的表现。

热身知识

动手写代码之前，让我们先了解几个基础概念吧

音频数字化

  • 采样： 总所周知，声音是一种压力波，是连续的，然而在计算机中无法表示连续的数据，所以只能通过间隔采样的方式进行离散化，其中采集的频率称为采样率。根据奈奎斯特采样定理 ，当采样率大于信号最高频率的2倍时信号频率不会失真。人类能听到的声音频率范围是20hz到20khz，所以CD等采用了44.1khz采样率能满足大部分需要。

  • 量化： 每次采样的信号强度也会有精度的损失，如果用16位的Int(位深度)来表示，它的范围是[-32768,32767]，因此位深度越高可表示的范围就越大，音频质量越好。

  • 声道数： 为了更好的效果，声音一般采集左右双声道的信号，如何编排呢？一种是采用交错排列(Interleaved)： LRLRLRLR ，另一种采用各自排列(non-Interleaved): LLL RRR。

以上将模拟信号数字化的方法称为脉冲编码调制（PCM），而本文中我们就需要对这类数据进行加工处理。

傅里叶变换

现在我们的音频数据是时域的，也就是说横轴是时间，纵轴是信号的强度，而动画展现要求的横轴是频率。将信号从时域转换成频域可以使用傅里叶变换实现，信号经过傅里叶变换分解成了不同频率的正弦波，这些信号的频率和振幅就是我们需要实现动画的数据。

图1 (from nti-audio) 傅里叶变换将信号从时域转换成频域

实际上计算机中处理的都是离散傅里叶变换(DFT)，而快速傅里叶变换(FFT)是快速计算离散傅里叶变换（DFT）或其逆变换的方法，它将DFT的复杂度从O(n²)降低到O(nlogn)。 如果你刚才点开前面链接看过其中介绍的FFT算法，那么可能会觉得这FFT代码该怎么写？不用担心，苹果为此提供了Accelerate框架，其中vDSP部分提供了数字信号处理的函数实现，包含FFT。有了vDSP，我们只需几个步骤即可实现FFT，简单便捷，而且性能高效。

iOS中的音频框架

现在开始让我们看一下iOS系统中的音频框架， AudioToolbox功能强大，不过提供的API都是基于C语言的，其大多数功能已经可以通过AVFoundation实现，它利用Objective-C/Swift对于底层接口进行了封装。我们本次需求比较简单，只需要播放音频文件并进行实时处理，所以AVFoundation中的AVAudioEngine就能满足本次音频播放和处理的需要。

图2 (from WWDC16) iOS/MAC OS X 音频技术栈

AVAudioEngine

AVAudioEngine 从iOS8加入到AVFoundation框架，它提供了以前需要深入到底层AudioToolbox才实现的功能，比如实时音频处理。它把音频处理的各环节抽象成AVAudioNode并通过AVAudioEngine进行管理，最后将它们连接构成完整的节点图。以下就是本次教程的AVAudioEngine与其节点的连接方式。

图3 AVAudioEngine和AVAudioNode连接图

mainMixerNode和outputNode都是在被访问的时候默认由AVAudioEngine对象创建并连接的单例对象，也就是说我们只需要手动创建engine和player节点并将他们连接就可以了！最后在mainMixerNode的输出总线上安装分接头将定量输出的AVAudioPCMBuffer数据进行转换和FFT。

代码实现

了解了以上相关知识后，我们就可以开始编写代码了。打开项目AudioSpectrum01-starter，首先要实现的是音频播放功能。

如果你只是想浏览实现代码，打开项目AudioSpectrum01-final即可，已经完成本篇文章的所有代码

音频播放

在AudioSpectrumPlayer类中创建AVAudioEngine和AVAudioPlayerNode两个实例变量：

private let engine = AVAudioEngine()
private let player = AVAudioPlayerNode() 复制代码

接下来在init()方法中添加如下代码：

//1
engine.attach(player)
engine.connect(player, to: engine.mainMixerNode, format: nil)
//2
engine.prepare()
try! engine.start()
复制代码

//1：这里将player挂载到engine上，再把player与engine的mainMixerNode连接起来就完成了AVAudioEngine的整个节点图创建（详见图3）。
//2：在调用engine的strat()方法开始启动engine之前，需要通过prepare()方法提前分配相关资源

继续完善play(withFileName fileName: String)和stop()方法：

//1
func play(withFileName fileName: String) { guard let audioFileURL = Bundle.main.url(forResource: fileName, withExtension: nil), let audioFile = try? AVAudioFile(forReading: audioFileURL) else { return } player.stop() player.scheduleFile(audioFile, at: nil, completionHandler: nil) player.play() } //2 func stop() { player.stop() } 复制代码

//1：首先需要确保文件名为fileName的音频文件能正常加载，然后通过stop()方法停止之前的播放，再调用scheduleFile(_:at:completionHandler:)方法编排新的文件，最后通过play()方法开始播放。
//2：停止播放调用player的stop()方法即可。

音频播放功能已经完成，运行项目，试试点击音乐右侧的Play按钮进行音频播放吧。

音频数据获取

前面提到我们可以在mainMixerNode上安装分接头定量获取AVAudioPCMBuffer数据，现在打开AudioSpectrumPlayer文件，先定义一个属性: fftSize，它是每次获取到的buffer的frame数量。

private var fftSize: Int = 2048
复制代码

将光标定位至init()方法中的engine.connect()语句下方，调用mainMixerNode的installTap方法开始安装分接头：

engine.mainMixerNode.installTap(onBus: 0, bufferSize: AVAudioFrameCount(fftSize), format: nil, block: { [weak self](buffer, when) in guard let strongSelf = self else { return } if !strongSelf.player.isPlaying { return } buffer.frameLength = AVAudioFrameCount(strongSelf.fftSize) //这句的作用是确保每次回调中buffer的frameLength是fftSize大小，详见：https://stackoverflow.com/a/27343266/6192288 let amplitudes = strongSelf.fft(buffer) if strongSelf.delegate != nil { strongSelf.delegate?.player(strongSelf, didGenerateSpectrum: amplitudes) } }) 复制代码

在分接头的回调 block 中将拿到的 2048 个 frame 的 buffer 交由fft函数进行计算，最后将计算的结果通过delegate进行传递。

按照 44100hz 采样率和 1 Frame = 1 Packet 来计算（可以参考这里关于channel、sample、frame、packet的概念与关系），那么block将会在一秒中调用44100/2048≈21.5次左右，另外需要注意的是block有可能不在主线程调用。

FFT实现

终于到实现FFT的时候了，根据vDSP文档，首先需要定义一个FFT的权重数组(fftSetup)，它可以在多次FFT中重复使用和提升FFT性能:

private lazy var fftSetup = vDSP_create_fftsetup(vDSP_Length(Int(round(log2(Double(fftSize))))), FFTRadix(kFFTRadix2)) 复制代码

不需要时在析构函数（反初始化函数）中销毁：

deinit {vDSP_destroy_fftsetup(fftSetup)
}
复制代码

最后新建fft函数，实现代码如下：

private func fft(_ buffer: AVAudioPCMBuffer) -> [[Float]] { var amplitudes = [[Float]]() guard let floatChannelData = buffer.floatChannelData else { return amplitudes } //1：抽取buffer中的样本数据 var channels: UnsafePointer<UnsafeMutablePointer<Float>> = floatChannelData let channelCount = Int(buffer.format.channelCount) let isInterleaved = buffer.format.isInterleaved if isInterleaved { // deinterleave let interleavedData = UnsafeBufferPointer(start: floatChannelData[0], count: self.fftSize * channelCount) var channelsTemp : [UnsafeMutablePointer<Float>] = [] for i in 0..<channelCount { var channelData = stride(from: i, to: interleavedData.count, by: channelCount).map{ interleavedData[$0]} channelsTemp.append(UnsafeMutablePointer(&channelData)) } channels = UnsafePointer(channelsTemp) } for i in 0..<channelCount { let channel = channels[i] //2: 加汉宁窗 var window = [Float](repeating: 0, count: Int(fftSize)) vDSP_hann_window(&window, vDSP_Length(fftSize), Int32(vDSP_HANN_NORM)) vDSP_vmul(channel, 1, window, 1, channel, 1, vDSP_Length(fftSize)) //3: 将实数包装成FFT要求的复数fftInOut，既是输入也是输出 var realp = [Float](repeating: 0.0, count: Int(fftSize / 2)) var imagp = [Float](repeating: 0.0, count: Int(fftSize / 2)) var fftInOut = DSPSplitComplex(realp: &realp, imagp: &imagp) channel.withMemoryRebound(to: DSPComplex.self, capacity: fftSize) { (typeConvertedTransferBuffer) -> Void in vDSP_ctoz(typeConvertedTransferBuffer, 2, &fftInOut, 1, vDSP_Length(fftSize / 2)) } //4：执行FFT vDSP_fft_zrip(fftSetup!, &fftInOut, 1, vDSP_Length(round(log2(Double(fftSize)))), FFTDirection(FFT_FORWARD)); //5：调整FFT结果，计算振幅 fftInOut.imagp[0] = 0 let fftNormFactor = Float(1.0 / (Float(fftSize))) vDSP_vsmul(fftInOut.realp, 1, [fftNormFactor], fftInOut.realp, 1, vDSP_Length(fftSize / 2)); vDSP_vsmul(fftInOut.imagp, 1, [fftNormFactor], fftInOut.imagp, 1, vDSP_Length(fftSize / 2)); var channelAmplitudes = [Float](repeating: 0.0, count: Int(fftSize / 2)) vDSP_zvabs(&fftInOut, 1, &channelAmplitudes, 1, vDSP_Length(fftSize / 2)); channelAmplitudes[0] = channelAmplitudes[0] / 2 //直流分量的振幅需要再除以2 amplitudes.append(channelAmplitudes) } return amplitudes } 复制代码

通过代码中的注释，应该能了解如何从buffer获取音频样本数据并进行FFT计算了，不过以下两点是我在完成这一部分内容过程中比较难理解的部分：

  1. 通过buffer对象的方法floatChannelData获取样本数据，如果是多声道并且是interleaved，我们就需要对它进行deinterleave, 通过下图就能比较清楚的知道deinterleave前后的结构，不过在我试验了许多音频文件之后，发现都是non-interleaved的，也就是无需进行转换。┑(￣Д ￣)┍
图4 interleaved的样本数据需要进行deinterleave
  1. vDSP在进行实数FFT计算时利用一种独特的数据格式化方式以达到节省内存的目的，它在FFT计算的前后通过两次转换将FFT的输入和输出的数据结构进行统一成DSPSplitComplex。第一次转换是通过vDSP_ctoz函数将样本数据的实数数组转换成DSPSplitComplex。第二次则是将FFT结果转换成DSPSplitComplex，这个转换的过程是在FFT计算函数vDSP_fft_zrip中自动完成的。

    第二次转换过程如下：n位样本数据（n/2位复数）进行fft计算会得到n/2+1位复数结果：{[DC,0],C[2],...,C[n/2],[NY,0]} (其中DC是直流分量，NY是奈奎斯特频率的值,C是复数数组)，其中[DC,0]和[NY,0]的虚部都是0，所以可以将NY放到DC中的虚部中，其结果变成{[DC,NY],C[2],C[3],...,C[n/2]}，与输入位数一致。

图5 第一次转换时，vDSP_ctoz函数将实数数组转换成DSPSplitComplex结构

再次运行项目，现在除了听到音乐之外还可以在控制台中看到打印输出的频谱数据。

图6 将结果通过Google Sheets绘制出来的频谱图

好了，本篇文章内容到这里就结束了，下一篇文章将对计算好的频谱数据进行处理和动画绘制。

资料参考
[1] wikipedia，脉冲编码调制， zh.wikipedia.org/wiki/%E8%84…
[2] Mike Ash，音频数据获取与解析, www.mikeash.com/pyblog/frid…
[3] 韩 昊, 傅里叶分析之掐死教程, blog.jobbole.com/70549/
[4] raywenderlich, AVAudioEngine编程入门，www.raywenderlich.com/5154-avaudi…
[5] Apple, vDSP编程指南, developer.apple.com/library/arc…
[6] Apple, aurioTouch案例代码，developer.apple.com/library/arc…


作者：potato04
链接：https://juejin.im/post/5c1bbec66fb9a049cb18b64c
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

转载于:https://www.cnblogs.com/Free-Thinker/p/10880118.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/247935.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

微信小程序的基础 （一）

微信小程序的基础 （一）

微信小程序介绍- 链接 微信小程序&#xff0c;简称小程序&#xff0c;是一种不需要下载安装即可使用的应用&#xff0c;它实现了应用“触手可及”的梦想&#xff0c;用户扫一扫或搜一下即可打开应用 1. 为什么是微信小程序? 微信有海量用户&#xff0c;而且粘性很高&#x…
阅读更多...
IDEA提交项目到SVN

IDEA提交项目到SVN

一.提交步骤 VCS--Enable...-->点击项目右键-->subversion-->share directory-->commit 二.IDEA SVN 忽略文件的设置 1》share .使用idea在将项目提交到svn的过程中遇到这样的问题 将项目share之后再设置ignore files &#xff0c;在commit的时候&#xff0c;不会将…
阅读更多...
项目ITP(五) spring4.0 整合 Quartz 实现任务调度

项目ITP(五) spring4.0 整合 Quartz 实现任务调度

版权声明&#xff1a;本文为博主原创文章&#xff0c;未经博主同意不得转载。https://blog.csdn.net/u010378410/article/details/26016025 2014-05-16 22:51 by Jeff Li 前言 系列文章&#xff1a;[传送门] 项目需求&#xff1a; 二维码推送到一体机上&#xff0c;给学生签到扫…
阅读更多...
喜欢用Block的值得注意-Block的Retain Cycle的解决方法

喜欢用Block的值得注意-Block的Retain Cycle的解决方法

本文不讲block如何声明及使用&#xff0c;只讲block在使用过程中暂时遇到及带来的隐性危险。 主要基于两点进行演示&#xff1a; 1.block 的循环引用(retain cycle) 2.去除block产生的告警时&#xff0c;需注意问题。 有一次&#xff0c;朋友问我当一个对象中的block块中的访问…
阅读更多...
【PyQt5】QT designer + eclipse 集成开发

【PyQt5】QT designer + eclipse 集成开发

【写在前面的话】 考虑将pyqt5的界面开发qt designer 集成在eclipse中&#xff0c;并且&#xff0c;不利用cmd命令行进行转换。 【工具】 1、pyqt5 2、qt designer 3、eclipse pydy 【步骤】 1、首先配置Qt designer。 菜单 run-->external Tools-->External tools confi…
阅读更多...
iOS UIlabel文字排版（改变字间距行间距）分类

iOS UIlabel文字排版（改变字间距行间距）分类

在iOS开发中经常会用到UIlabel来展示一些文字性的内容&#xff0c;但是默认的文字排版会觉得有些挤&#xff0c;为了更美观也更易于阅读我们可以通过某些方法将UIlabel的行间距和字间距按照需要调节。 比如一个Label的默认间距效果是这样&#xff1a; 然后用一个封装起来的Cat…
阅读更多...
iOS 富文本风格NSMutableParagraphStyle、定制UITextView插入图片和定制复制

iOS 富文本风格NSMutableParagraphStyle、定制UITextView插入图片和定制复制

问题一 开发过程中&#xff0c;经常会遇到动态计算行高的问题&#xff0c; - (CGRect)boundingRectWithSize:(CGSize)size options:(NSStringDrawingOptions)options attributes:(nullableNSDictionary<NSString *, id> *)attributes context:(nullable NSStringDrawingC…
阅读更多...
线程模块

线程模块

信号量 from threading import Semaphore,Thread import timedef func(a,b):time.sleep(1)sem.acquire()print(ab)sem.release()sem Semaphore(4) for i in range(10):t Thread(targetfunc,args(i,i5))t.start() 信号量事件 # 事件被创建的时候&#xff0c;默认为False状态 #…
阅读更多...
React中级学习（第一天）

React中级学习（第一天）

Props深入 children 作用 : 获取组件标签的 子节点获取方式 : this.props.children <App>此处的内容&#xff0c;就是组件的 children&#xff0c;将来通过组件的 props.children 就可以获取到这些子节点了 </App>props 校验 作用&#xff1a;规定组件props的类…
阅读更多...
Elasticsearch集成ik分词器

Elasticsearch集成ik分词器

1、插件地址https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.0.0/elasticsearch-analysis-ik-7.0.0.zip 2、找到对应版本的插件通过 http://192.168.1.8:9200查看ES的版本&#xff0c;找到对应的IK分词插件 下载与之对应的版本https://github.com/me…
阅读更多...
iOS NSTextAttachment - 图文混排

iOS NSTextAttachment - 图文混排

苹果在iOS7中推出了一个新的类NSTextAttachment&#xff0c;它是做图文混排的利器&#xff0c;本文就是用这个类&#xff0c;只用50行代码实现文字与表情混排&#xff0c;当然也可以实现段落中的图文混排。 首先说一下文字和表情的混排&#xff1a; 先来做点儿准备工作&#…
阅读更多...
iOS 自定义Cell按钮的点击代理事件

iOS 自定义Cell按钮的点击代理事件

在实际开发工作中&#xff0c;我们经常会在自定义的Cell中布局一些按钮&#xff0c;并且很多时候我们会在点击这个按钮的时候使我们的UItableviewController跳转到下一界面&#xff0c;有的可能还要传值。那么如何使我们的控制器能够获知我们按下了cell的按钮呢&#xff1f;毫无…
阅读更多...
js - （初中级）常见笔试面试题

js - （初中级）常见笔试面试题

1.用 js 实现一个深拷贝 2.用 js 写一个数组去重 3. 用 js 对字符串进行反转 4. 用 js 请求范围内的质数个数 5.用 js 求数组中出现最多的数及其出现次数
阅读更多...
iOS 支付宝SDK接入详解

iOS 支付宝SDK接入详解

一&#xff0c;在支付宝开放平台下载支付宝SDK&#xff08;https://openhome.alipay.com/platform/document.htm#down&#xff09; https://doc.open.alipay.com/doc2/detail.htm?spma219a.7629140.0.0.HpDuWo&treeId54&articleId104509&docType1 二&#xff0c;添…
阅读更多...
面试基本知识点

面试基本知识点

文章目录面-什么是SEO面 - cookie / localstorage / sessionstorage的区别面 - promise面试题面 - 柯里化函数面 - 函数节流面 - 函数防抖HTML / CSS 知识点1、讲讲盒模型&#xff08;蚂蚁金服 2019.03 招行信用卡 2019.04 美团 作业帮&#xff09;2、根据盒模型解释边距重叠&a…
阅读更多...
Redis 热点key

Redis 热点key

压测报redis 热点问题 热点问题概述 产生原因 热点问题产生的原因大致有以下两种&#xff1a; 用户消费的数据远大于生产的数据&#xff08;热卖商品、热点新闻、热点评论、明星直播&#xff09;。 在日常工作生活中一些突发的的事件&#xff0c;例如&#xff1a;双十一期间某些…
阅读更多...
移动IM开发那些事：技术选型和常见问题

移动IM开发那些事：技术选型和常见问题

最近在做一个iOS IM SDK&#xff0c;在内部试用的阶段&#xff0c;不断有兄弟部门或者合作伙伴过来问各种技术细节&#xff0c;所以统一写一篇文章记录&#xff0c;统一介绍下一个IM APP的方方面面&#xff0c;包括技术选型(包括通讯方式,网络连接方式,协议选择)和常见问题。 …
阅读更多...
webstrom打开通过顶部浏览器打开网页，被跳转到默认主页

webstrom打开通过顶部浏览器打开网页，被跳转到默认主页

重新开始工作啦&#xff0c;希望以后认真一点&#xff0c;并把遇到的问题都记录下来&#xff0c;虽然是小小白&#xff0c;但能无意间帮助到别人就更开心了呀 通过webstrom打开本地的文件时&#xff0c;发现跳转到了默认主页上&#xff0c;吐槽下&#xff0c;有些主页真的超级流…
阅读更多...
mockjs（接口服务代理）

mockjs（接口服务代理）

mock官网&#xff1a;http://mockjs.com/ 一、搭建一个练习项目 1.利用vue的项目脚手架进行搭建 命令&#xff1a; vue create mock-demo 截图&#xff1a; 2.安装相关的依赖 命令&#xff1a; #使用 axios 发送 ajax npm install axios --save #使用 mock.js 产生随机数据…
阅读更多...
MD5算法原理

MD5算法原理

MD5&#xff08;单向散列算法&#xff09; 的全称是Message-Digest Algorithm 5&#xff08;信息-摘要算法&#xff09;&#xff0c;经MD2、MD3和MD4发展而来。MD5算法的使用不需要支付任何版权费用。MD5功能&#xff1a;输入任意长度的信息&#xff0c;经过处理&#xff0c;输…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023