RK3568 Android 11 蓝牙BluetoothA2dpSink 获取用于生成频谱的PCM

在这里插入图片描述

Android 中的 A2DP Sink

A2DP Sink 在 Android 系统中主要用于 接收 其他蓝牙设备（如手机、平板、电脑等）发送过来的 高质量的立体声音频。简单来说，它让你的 Android 设备可以充当一个 蓝牙音箱 或 耳机 的角色。

核心功能：

  • 接收音频流： 通过蓝牙协议接收来自其他设备的音频数据。
  • 解码音频： 将接收到的音频数据解码成可播放的音频格式。
  • 播放音频： 通过设备的扬声器或耳机输出解码后的音频。

应用场景：

  • 无线音箱： 将 Android 设备连接到蓝牙音箱，实现无线音乐播放。
  • 车载蓝牙： 将手机连接到车载蓝牙系统，通过车载音响播放音乐。
  • 蓝牙耳机： 将 Android 设备连接到蓝牙耳机，进行通话或听音乐。

技术实现：

  • BluetoothA2dpSink： Android 提供了 BluetoothA2dpSink 类来实现 A2DP Sink 功能。开发者可以通过这个类来管理 A2DP 连接、控制音频播放等。
  • 蓝牙配置文件： A2DP（Advanced Audio Distribution Profile）是一种蓝牙配置文件，专门用于高质量立体声音频的无线传输。

如何获取音频数据并生成音频频谱?

什么是音乐频谱?
音乐频谱是声音频率的分布图。声音是由不同频率的声波组成的，这些声波的振幅（强度）不同，就形成了不同的音色。频谱图就是将这些频率和振幅的关系用图形表示出来。
在这里插入图片描述

频谱图的组成
  • 横轴： 表示频率，通常以赫兹（Hz）为单位。频率越高，音调越高。
  • 纵轴： 表示振幅，也就是声音的强度。振幅越大，声音越响。
  • 颜色或灰度： 表示不同频率的振幅大小。颜色越深或灰度越高，表示该频率的振幅越大。
频谱图的种类
  • 线性频谱图： 频率轴按线性比例分布，适用于分析整个音频频段。
  • 对数频谱图： 频率轴按对数比例分布，更适合显示低频部分的细节，常用于音频分析。
  • 时频图： 显示声音频率随时间的变化情况，可以直观地看到声音的动态变化。
    在这里插入图片描述
总的来说

音乐频谱是了解声音的重要工具，它不仅能帮助我们更好地理解声音的本质，还能在音乐创作、音频处理等领域发挥重要作用。

在蓝牙音箱的模式下, 如何生成音频频谱?

    在打上RK提供的A2dpSink补丁后, 手机等设备可以通过蓝牙连接播放音乐, RK3568充当蓝牙音箱的角色. 在这种状态下, 系统播放音频并不是采用android上层的MediaPlayer 或 AudioTrack, 所以无法采用常规的方式来生成, 若需要获取播放器的音频频谱, 首先, 需要获得音频的PCM数据.

在蓝牙音箱模式下, 音频的播放器的位置处于android 源码的 system目录下

system/bt/btif/src/btif_avrcp_audio_track.cc

/** Copyright 2015 The Android Open Source Project** Licensed under the Apache License, Version 2.0 (the "License");* you may not use this file except in compliance with the License.* You may obtain a copy of the License at**      http://www.apache.org/licenses/LICENSE-2.0** Unless required by applicable law or agreed to in writing, software* distributed under the License is distributed on an "AS IS" BASIS,* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.* See the License for the specific language governing permissions and* limitations under the License.*/#define LOG_NDEBUG 1
#define LOG_TAG "bt_btif_avrcp_audio_track"#include "btif_avrcp_audio_track.h"#include <aaudio/AAudio.h>
#include <base/logging.h>
#include <utils/StrongPointer.h>#include "bt_target.h"
#include "osi/include/log.h"using namespace android;typedef struct {AAudioStream* stream;int bitsPerSample;int channelCount;float* buffer;size_t bufferLength;
} BtifAvrcpAudioTrack;#if (DUMP_PCM_DATA == TRUE)
FILE* outputPcmSampleFile;
char outputFilename[50] = "/data/misc/bluedroid/output_sample.pcm";
#endifvoid* BtifAvrcpAudioTrackCreate(int trackFreq, int bitsPerSample,int channelCount) {LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btCreateTrack freq %d bps %d channel %d ",__func__, trackFreq, bitsPerSample, channelCount);AAudioStreamBuilder* builder;AAudioStream* stream;aaudio_result_t result = AAudio_createStreamBuilder(&builder);AAudioStreamBuilder_setSampleRate(builder, trackFreq);AAudioStreamBuilder_setFormat(builder, AAUDIO_FORMAT_PCM_FLOAT);AAudioStreamBuilder_setChannelCount(builder, channelCount);AAudioStreamBuilder_setSessionId(builder, AAUDIO_SESSION_ID_ALLOCATE);AAudioStreamBuilder_setPerformanceMode(builder,AAUDIO_PERFORMANCE_MODE_LOW_LATENCY);result = AAudioStreamBuilder_openStream(builder, &stream);CHECK(result == AAUDIO_OK);AAudioStreamBuilder_delete(builder);BtifAvrcpAudioTrack* trackHolder = new BtifAvrcpAudioTrack;CHECK(trackHolder != NULL);trackHolder->stream = stream;trackHolder->bitsPerSample = bitsPerSample;trackHolder->channelCount = channelCount;trackHolder->bufferLength =trackHolder->channelCount * AAudioStream_getBufferSizeInFrames(stream);trackHolder->buffer = new float[trackHolder->bufferLength]();#if (DUMP_PCM_DATA == TRUE)outputPcmSampleFile = fopen(outputFilename, "ab");
#endifreturn (void*)trackHolder;
}void BtifAvrcpAudioTrackStart(void* handle) {if (handle == NULL) {LOG_ERROR(LOG_TAG, "%s: handle is null!", __func__);return;}BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);CHECK(trackHolder != NULL);CHECK(trackHolder->stream != NULL);LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);AAudioStream_requestStart(trackHolder->stream);
}void BtifAvrcpAudioTrackStop(void* handle) {if (handle == NULL) {LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);return;}BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);if (trackHolder != NULL && trackHolder->stream != NULL) {LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);AAudioStream_requestStop(trackHolder->stream);}
}void BtifAvrcpAudioTrackDelete(void* handle) {if (handle == NULL) {LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);return;}BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);if (trackHolder != NULL && trackHolder->stream != NULL) {LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);AAudioStream_close(trackHolder->stream);delete trackHolder->buffer;delete trackHolder;}#if (DUMP_PCM_DATA == TRUE)if (outputPcmSampleFile) {fclose(outputPcmSampleFile);}outputPcmSampleFile = NULL;
#endif
}void BtifAvrcpAudioTrackPause(void* handle) {if (handle == NULL) {LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);return;}BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);if (trackHolder != NULL && trackHolder->stream != NULL) {LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btPauseTrack", __func__);AAudioStream_requestPause(trackHolder->stream);AAudioStream_requestFlush(trackHolder->stream);}
}void BtifAvrcpSetAudioTrackGain(void* handle, float gain) {if (handle == NULL) {LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);return;}// Does nothing right now
}constexpr float kScaleQ15ToFloat = 1.0f / 32768.0f;
constexpr float kScaleQ23ToFloat = 1.0f / 8388608.0f;
constexpr float kScaleQ31ToFloat = 1.0f / 2147483648.0f;static size_t sampleSizeFor(BtifAvrcpAudioTrack* trackHolder) {return trackHolder->bitsPerSample / 8;
}static size_t transcodeQ15ToFloat(uint8_t* buffer, size_t length,BtifAvrcpAudioTrack* trackHolder) {size_t sampleSize = sampleSizeFor(trackHolder);size_t i = 0;for (; i <= length / sampleSize; i++) {trackHolder->buffer[i] = ((int16_t*)buffer)[i] * kScaleQ15ToFloat;}return i * sampleSize;
}static size_t transcodeQ23ToFloat(uint8_t* buffer, size_t length,BtifAvrcpAudioTrack* trackHolder) {size_t sampleSize = sampleSizeFor(trackHolder);size_t i = 0;for (; i <= length / sampleSize; i++) {size_t offset = i * sampleSize;int32_t sample = *((int32_t*)(buffer + offset - 1)) & 0x00FFFFFF;trackHolder->buffer[i] = sample * kScaleQ23ToFloat;}return i * sampleSize;
}static size_t transcodeQ31ToFloat(uint8_t* buffer, size_t length,BtifAvrcpAudioTrack* trackHolder) {size_t sampleSize = sampleSizeFor(trackHolder);size_t i = 0;for (; i <= length / sampleSize; i++) {trackHolder->buffer[i] = ((int32_t*)buffer)[i] * kScaleQ31ToFloat;}return i * sampleSize;
}static size_t transcodeToPcmFloat(uint8_t* buffer, size_t length,BtifAvrcpAudioTrack* trackHolder) {switch (trackHolder->bitsPerSample) {case 16:return transcodeQ15ToFloat(buffer, length, trackHolder);case 24:return transcodeQ23ToFloat(buffer, length, trackHolder);case 32:return transcodeQ31ToFloat(buffer, length, trackHolder);}return -1;
}constexpr int64_t kTimeoutNanos = 100 * 1000 * 1000;  // 100 msint BtifAvrcpAudioTrackWriteData(void* handle, void* audioBuffer,int bufferLength) {BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);CHECK(trackHolder != NULL);CHECK(trackHolder->stream != NULL);aaudio_result_t retval = -1;//return 0;
#if (DUMP_PCM_DATA == TRUE)if (outputPcmSampleFile) {fwrite((audioBuffer), 1, (size_t)bufferLength, outputPcmSampleFile);}
#endifsize_t sampleSize = sampleSizeFor(trackHolder);int transcodedCount = 0;do {transcodedCount +=transcodeToPcmFloat(((uint8_t*)audioBuffer) + transcodedCount,bufferLength - transcodedCount, trackHolder);retval = AAudioStream_write(trackHolder->stream, trackHolder->buffer,transcodedCount / (sampleSize * trackHolder->channelCount),kTimeoutNanos);LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btWriteData len = %d ret = %d",__func__, bufferLength, retval);} while (transcodedCount < bufferLength);return transcodedCount;
}

BtifAvrcpAudioTrackWriteData 函数中可以把PCM数据取出来用, 可以打开 DUMP_PCM_DATA 把蓝牙音频播放的PCM内容保存到本地文件char outputFilename[50] = "/data/misc/bluedroid/output_sample.pcm";中, 把文件拿出来用工具打包成WAV格式, 测试音频数据的正确性!

拿到PCM数据后, 通过算法, 便可以轻松实现音频频谱功能.

参考

  • Android 音频可视化：频谱特效的探索与实践
  • android获取和展示音乐的频谱
  • [RK3566-Android11] 关于 a2dpsink -蓝牙支持接收播放/无PIN码连接
  • Android 音频可视化

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/53164.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

中国农村政策与改革统计年报（2015-2022年）

中国农村政策与改革统计年报（2015-2022年）

中国农村经营管理统计年报、政策与改革统计年报&#xff08;2015-2022年&#xff09; 数据年限&#xff1a;2015-2022年&#xff0c;目前最新 数据格式&#xff1a;pdf 数据范围&#xff1a;全国各省市自治区&#xff08;不含港澳台&#xff09; 数据内容&#xff1a;《中国农村…
阅读更多...
win系统安装mysql，使用mysqldump，pycharm使用mysqldump，避坑

win系统安装mysql，使用mysqldump，pycharm使用mysqldump，避坑

文章目录 下载mysql的win客户端设置系统环境变量验证是否可用pycharm使用mysqldump异常问题排查 下载mysql的win客户端 官网下载地址如果下载旧版本&#xff0c;需自行到Archives里面找 本人使用的是mysql5.7&#xff0c;找到相应版本后&#xff0c;点击Download下载 设置系统…
阅读更多...
多模态大模型中，融合后如何知道最终结果受哪种模态影响更大？

多模态大模型中，融合后如何知道最终结果受哪种模态影响更大？

本篇介绍多模态大模型中如何基于最终结果分析各模态的影响。 具身智能被众多大佬看好&#xff0c;通往AGI的路最终肯定需要多个模态的大模型互相融合。多个模态配合好也是有可能去构建一个模拟现实的世界模型的。 最近一直在研究和尝试多模态大模型在一些VQA领域的前瞻研究和…
阅读更多...
9、Django Admin优化查询

9、Django Admin优化查询

如果你的Admin后台中有很多计算字段&#xff0c;那么你需要对每个对象运行多个查询&#xff0c;这会使你的Admin后台变得非常慢。要解决此问题&#xff0c;你可以重写管理模型中的get_queryset方法使用annotate聚合函数来计算相关的字段。 以下示例为Origin模型的中ModelAdmin…
阅读更多...
CSS总结——瀑布流布局

CSS总结——瀑布流布局

瀑布流布局 瀑布流布局是一种新型的布局方式&#xff0c;可以将大小不一的图片完整的显示在页面上&#xff0c;并且在杂乱的布局中保持着一定的美感&#xff0c;今天学习了一下如何使用瀑布流布局&#xff0c;总结了有以下三种方式。&#xff08;瀑布流还可以使用grid布局实现…
阅读更多...
Nginx 部署前端 Vue 项目实战指南

Nginx 部署前端 Vue 项目实战指南

一、环境准备 1. 安装 Nginx 首先&#xff0c;需要在服务器上安装 Nginx。Nginx 是一款轻量级、高性能的 HTTP 和反向代理服务器。安装方式因操作系统而异。 Linux 系统&#xff08;以 Ubuntu 为例&#xff09;&#xff1a; sudo apt-get update sudo apt-get install nginxWi…
阅读更多...
【Android】Material Design编写更好的UI

【Android】Material Design编写更好的UI

Toolbar 对于控件ActionBar我们非常熟悉&#xff0c;就是我们常见的标题栏&#xff0c;但ActionBar只能位于活动的顶部&#xff0c;因此我们更建议使用Toolbar。在新建一个项目的时候都是默认显示ActionBar&#xff0c;我们要使用Toolbar就需要先将标题栏改为不显示 先来看看…
阅读更多...
HMI触屏网关-VISION如何与Node-red通信

HMI触屏网关-VISION如何与Node-red通信

上文&#xff1a;HMI触屏网关-VISION如何与Modbus TCP从机通信-CSDN博客 1. Node-red启用HTTP监听 HTTP监听&#xff0c;用于模拟WebAPI服务端&#xff0c;接收WebAPI客户端GET请求。 启用HTTP监听服务&#xff0c;选择请求方式GET&#xff1b;URL自定义&#xff0c;本示例设…
阅读更多...
LavaDome：一款基于ShadowDOM的DOM树安全隔离与封装工具

LavaDome：一款基于ShadowDOM的DOM树安全隔离与封装工具

关于LavaDome LavaDome是一款针对HTML代码安全和Web安全的强大工具&#xff0c;该工具基于ShadowDOM实现其功能&#xff0c;可以帮助广大研究人员实现安全的DOM节点/树隔离和封装。 在当今的Web标准下&#xff0c;尚无既定方法可以安全地选择性地隔离DOM子树。换句话说&#x…
阅读更多...
【ceph学习】rgw网关进程如何启动

【ceph学习】rgw网关进程如何启动

rgw 网关进程启动 主要在rgw_main.cc的main函数中&#xff0c;主要涉及一些关键线程启动、前端服务器&#xff08;beast等&#xff09;启动、后端存储模块启动&#xff08;rados&#xff09;、perf和log启动等。 流程图关键节点如下&#xff1a; 1、beast的启动 2、rados的启…
阅读更多...
Android Camera系列（一）：SurfaceView+Camera

Android Camera系列（一）：SurfaceView+Camera

心行慈善&#xff0c;何需努力看经—《西游记》 本系列主要讲述Android开发中Camera的相关操作、预览方式、视频录制等&#xff0c;项目结构代码耦合性低&#xff0c;旨在帮助大家能从中有所收获&#xff08;方便copy :&#xff09; &#xff09;&#xff0c;对于个人来说也是一…
阅读更多...
vue 批量导出pdf 压缩包 zip

vue 批量导出pdf 压缩包 zip

vue 批量导出pdf 压缩包 zip 使用插件 html2canvas jspdf jszip &#xff08;百度ai搜出来的是zip-js 这个没法安装&#xff09; file-saver 思路&#xff1a; 1.使用 html2canvasjspdf 将页面转图片转pdf&#xff08;这个怎么转的可以网上搜下很多&#xff09; 2.利用jszipfil…
阅读更多...
【免费分享】易上手的STM32多核心开发板资料包一网打尽，教程+课件+视频+项目+源码

【免费分享】易上手的STM32多核心开发板资料包一网打尽，教程+课件+视频+项目+源码

想要深入学习STM32开发吗&#xff1f;现在机会来了&#xff01;我们为初学者们准备了一份全面的资料包&#xff0c;包括原理图、教程、课件、视频、项目、源码等&#xff0c;所有资料全部免费领取&#xff0c;课程视频可试看&#xff08;购买后看完整版&#xff09;&#xff0c…
阅读更多...
PostgreSQL技术内幕7：PostgreSQL查询编译

PostgreSQL技术内幕7：PostgreSQL查询编译

文章目录 0.简介1.整体过程2.查询分析2.1 Lex2.2 Yacc2.3 PG词法分析和语法分析介绍2.4 PG语义分析 4.查询优化4.1 预处理4.1.1 提升子链接和子查询4.1.2 预处理表达式4.1.3 处理HAVING子句 4.2 改进查询树4.2.1 路径生成4.2.2 代价估计 4.3 计划生成 0.简介 一次完整的SQL执行…
阅读更多...
STM32基础篇：PWR

STM32基础篇：PWR

PWR简介 PWR&#xff08;Power Control&#xff09;&#xff0c;为电源控制模块&#xff0c;负责管理STM32内部的电源供电部分&#xff0c;可以实现可编程电压监测器和低功耗模式的功能。 1、可编程电压监测器 简称PVD&#xff0c;可以监控VDD电源电压。当VDD下降到PVD阀值以…
阅读更多...
爬虫入门学习

爬虫入门学习

流程 获取网页内容 HTTP请求 Python Requests解析网页内容 HTML网页结构 Python Beautiful Soup储存或分析数据 HTTP (Hypertext Transfer Protocol) 客户端和服务器之间的请求-响应协议 Get方法&#xff1a;获得数据 POST方法&#xff1a;创建数据 HTTP请求 请求行 方法类型…
阅读更多...
rv1126-rv1109-mkcramfs-mkfs.cramfs-打包文件系统

rv1126-rv1109-mkcramfs-mkfs.cramfs-打包文件系统

事情是这样的: 定制了文件系统打包功能;然后我是根据这个指令 fakeroot mkfs.cramfs rootfs_glibc_rv1126/ rootfs.img mkfs.cramfs rootfs_glibc_rv1126/ rootfs.img 起因就是这个fakeroot; 不加的话打出来的rootfs.img是没有用户权限的 然后我根据fakeroot mkfs.cramfs ro…
阅读更多...
AcWing算法基础课-785快速排序-Java题解

AcWing算法基础课-785快速排序-Java题解

大家好&#xff0c;我是何未来&#xff0c;本篇文章给大家讲解《AcWing算法基础课》785 题——快速排序。这篇文章介绍了使用快速排序算法对整数数列进行排序的方法&#xff0c;包括选择基准元素、分区操作和递归排序子数组。通过详细的步骤和示例&#xff0c;解释了快速排序的…
阅读更多...
MySQL之数据库基础

MySQL之数据库基础

目录 一、数据库 1、基本概念 2、常见的数据库 3、MySQL数据库 连接MySQL服务器 数据逻辑存储 二、数据库和表的本质 三、SQL语句 四、服务器&#xff0c;数据库&#xff0c;表的关系 五、存储引擎 查看存储引擎 一、数据库 1、基本概念 一般来说&#xff0c;数据库…
阅读更多...
es映射配置（_mapping）

es映射配置（_mapping）

文章目录 1、创建映射字段2、查看映射关系 1、创建映射字段 PUT /索引库名/_mapping {"properties": {"字段名": {"type": "类型","index": true&#xff0c;"store": true&#xff0c;"analyzer": &q…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023