Android 13 - Media框架（28）- MediaCodec（三）

上一节我们了解到 ACodec 执行完 start 流程后，会把所有的 input buffer 都提交给 MediaCodec 层，MediaCodec 是如何处理传上来的 buffer 呢？这一节我们就来了解一下这部分内容。

1、ACodecBufferChannel::fillThisBuffer

ACodec 通过调用 ACodecBufferChannel::fillThisBuffer 把input buffer传递给 MediaCodc，传入参数为 buffer id：

void ACodecBufferChannel::fillThisBuffer(IOMX::buffer_id bufferId) {ALOGV("fillThisBuffer #%d", bufferId);std::shared_ptr<const std::vector<const BufferInfo>> array(std::atomic_load(&mInputBuffers));// 遍历buffer数组，查找对应ACodecBufferChannel::BufferInfoBufferInfoIterator it = findBufferId(array, bufferId);if (it == array->end()) {ALOGE("fillThisBuffer: unrecognized buffer #%d", bufferId);return;}// 如果存在解密/解扰，那么需要设置input formatif (it->mClientBuffer != it->mCodecBuffer) {it->mClientBuffer->setFormat(it->mCodecBuffer->format());}// 调用callbackmCallback->onInputBufferAvailable(std::distance(array->begin(), it),it->mClientBuffer);
}

fillThisBuffer 很简单，主要步骤如下：

  1. 遍历buffer数组，根据bufferid查找对应ACodecBufferChannel::BufferInfo，从而获得mClientBuffer；我们这里再回顾一下，在不用解密/解扰的模式下，mClientBuffer和mCodecBuffer其实是指向同一个MediaCodecBuffer的，解密/解扰的模式那么mClientBuffer和mCodecBuffer指向的则不是同一块MediaCodecBuffer了；
  2. 如果mClientBuffer和mCodecBuffer不是指向同一块MediaCodecBuffer，那么需要给 mClientBuffer 设置默认的 input format；
  3. 调用 onInputBufferAvailable 将消息回传给 MediaCodec；

这里有一点很容易让人忽略，为什么调用onInputBufferAvailable时，传递的index要用std::distance来计算呢？

std::distance应该计算的是 ACodecBufferChannel::BufferInfo 在数组中的位置，也就是数组索引，所以传递给 MediaCodec 用的 index 其实是 ACodecBufferChannel 的buffer数组索引，它和buffer id是两码事。

2、BufferCallback::onInputBufferAvailable

void BufferCallback::onInputBufferAvailable(size_t index, const sp<MediaCodecBuffer> &buffer) {sp<AMessage> notify(mNotify->dup());notify->setInt32("what", kWhatFillThisBuffer);notify->setSize("index", index);notify->setObject("buffer", buffer);notify->post();
}

onInputBufferAvailable 会把回传的数组索引 以及 MediaCodecBuffer 重新封装到 AMessage中，最后交由 MediaCodec Handler 处理。

2、kWhatFillThisBuffer

                case kWhatFillThisBuffer:{// 将拿到的 MediaCodec 加入到列表当中/* size_t index = */updateBuffers(kPortIndexInput, msg);// 如果正在处理以下事件，则直接将所有的buffer返回给Codecif (mState == FLUSHING|| mState == STOPPING|| mState == RELEASING) {returnBuffersToCodecOnPort(kPortIndexInput);break;}// 如果 csd buffer 不为空，则先写入csd bufferif (!mCSD.empty()) {ssize_t index = dequeuePortBuffer(kPortIndexInput);CHECK_GE(index, 0);// If codec specific data had been specified as// part of the format in the call to configure and// if there's more csd left, we submit it here// clients only get access to input buffers once// this data has been exhausted.status_t err = queueCSDInputBuffer(index);if (err != OK) {ALOGE("queueCSDInputBuffer failed w/ error %d",err);setStickyError(err);postActivityNotificationIfPossible();cancelPendingDequeueOperations();}break;}// CCodec 使用的，暂时略过if (!mLeftover.empty()) {ssize_t index = dequeuePortBuffer(kPortIndexInput);CHECK_GE(index, 0);status_t err = handleLeftover(index);if (err != OK) {setStickyError(err);postActivityNotificationIfPossible();cancelPendingDequeueOperations();}break;}// 如果使用的是异步模式if (mFlags & kFlagIsAsync) {// 并且输入不是surface，输入是surface的情况我们暂时不看if (!mHaveInputSurface) {// 状态是 flushed，则暂时不处理该input buffer，等待重新启动if (mState == FLUSHED) {mHavePendingInputBuffers = true;} else {// 调用onInputBufferAvailable将input buffer返回给上层onInputBufferAvailable();}}} else if (mFlags & kFlagDequeueInputPending) {// 如果是同步模式，并且处在阻塞等待的状态，收到input buffer，发送消息结束阻塞CHECK(handleDequeueInputBuffer(mDequeueInputReplyID));// 增加阻塞等待计数，使得kWhatDequeueInputTimedOut无效++mDequeueInputTimeoutGeneration;mFlags &= ~kFlagDequeueInputPending;mDequeueInputReplyID = 0;} else {postActivityNotificationIfPossible();}break;}

kWhatFillThisBuffer 消息处理流程中的内容稍有一点多，我们有选择的对内容进行展开：

  • 将拿到的 MediaCodec 加入到列表当中，这里的列表有两个，一个是用来记录 ACodecBufferChannel 中所有的 buffer（分为input / output 两个数组）mPortBuffers；第二个列表是用来记录可用的input/output buffer的 mAvailPortBuffers，同样分为input / output 两个数组，这里面记录的是可用的索引。
size_t MediaCodec::updateBuffers(int32_t portIndex, const sp<AMessage> &msg) {CHECK(portIndex == kPortIndexInput || portIndex == kPortIndexOutput);size_t index;CHECK(msg->findSize("index", &index));sp<RefBase> obj;CHECK(msg->findObject("buffer", &obj));sp<MediaCodecBuffer> buffer = static_cast<MediaCodecBuffer *>(obj.get());{Mutex::Autolock al(mBufferLock);if (mPortBuffers[portIndex].size() <= index) {mPortBuffers[portIndex].resize(align(index + 1, kNumBuffersAlign));}mPortBuffers[portIndex][index].mData = buffer;}mAvailPortBuffers[portIndex].push_back(index);return index;
}
  • ==这里有一点非常重要，如果没看懂很容易对接下来的内容产生疑惑：==将传来的MediaCodecBuffer记录到 mPortBuffers 中时，这里会有一个隐式转换，用 MediaCodecBuffer 创建了一个 MediaCodec::BufferInfo，好家伙，人手一个bufferinfo是吧。
    struct BufferInfo {BufferInfo();sp<MediaCodecBuffer> mData;bool mOwnedByClient;};MediaCodec::BufferInfo::BufferInfo() : mOwnedByClient(false) {}

用一张图表示一下 buffer之间的关系：
请添加图片描述

  • 如果正在处理release/stop/release，则直接将所有的buffer返回给Codec，MediaCodec 不会持有任何 buffer；
void MediaCodec::returnBuffersToCodecOnPort(int32_t portIndex, bool isReclaim) {CHECK(portIndex == kPortIndexInput || portIndex == kPortIndexOutput);Mutex::Autolock al(mBufferLock);if (portIndex == kPortIndexInput) {mLeftover.clear();}for (size_t i = 0; i < mPortBuffers[portIndex].size(); ++i) {BufferInfo *info = &mPortBuffers[portIndex][i];if (info->mData != nullptr) {sp<MediaCodecBuffer> buffer = info->mData;if (isReclaim && info->mOwnedByClient) {ALOGD("port %d buffer %zu still owned by client when codec is reclaimed",portIndex, i);} else {info->mOwnedByClient = false;info->mData.clear();}mBufferChannel->discardBuffer(buffer);}}mAvailPortBuffers[portIndex].clear();
}
  • returnBuffersToCodecOnPort 会遍历所有 MediaCodec 记录的 BufferChannel 中的 buffer，这里之所以要遍历记录的buffer，是因为可能刚开始解码，还有buffer没有传给MediaCodec流程就结束了；MediaCodecBuffer 的 mOwnedByClient 指的是 buffer 是否被上层 app 所持有；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/582957.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Java 代理模式

Java 代理模式

一、代理模式概述 代理模式是一种比较好理解的设计模式。简单来说就是 我们使用代理对象来代替对真实对象(real object)的访问&#xff0c;这样就可以在不修改原目标对象的前提下&#xff0c;提供额外的功能操作&#xff0c;扩展目标对象的功能。 代理模式的主要作用是扩展目标…
阅读更多...
Linux中proc文件系统相关介绍

Linux中proc文件系统相关介绍

proc虚拟文件系统的工作原理 linux 内核是一个非常庞大、非常复杂的一个单独的程序&#xff0c;对于这样一个程序来说调试是非常复杂的。像kernel这样庞大的项目&#xff0c;给里面添加或者修改一个功能是非常麻烦的&#xff0c;因为添加一个功能可能会影响其他已经有的功能。…
阅读更多...
3D动态路障生成

3D动态路障生成

3D动态路障生成 介绍设计实现1.路面创建2.空物体的创建3.Create.cs脚本创建 总结 介绍 上一篇文章介绍了Mathf.Lerp的底层实现原理&#xff0c;这里介绍一下跑酷类游戏的动态路障生成是如何实现的。 动态路障其实比较好生成&#xff0c;但是难点在哪里&#xff0c;如果都是平面…
阅读更多...
JMeter逻辑控制器之While控制器

JMeter逻辑控制器之While控制器

JMeter逻辑控制器之While控制器 1. 背景2.目的3. 介绍4.While示例4.1 添加While控制器4.2 While控制器面板4.3 While控制器添加请求4.3 While控制器应用场景 1. 背景 存在一些使用场景&#xff0c;比如&#xff1a;某个请求必须等待上一个请求正确响应后才能开始执行。或者&…
阅读更多...
Idea如何从磁盘中应用 下载好的插件流程，安装zip压缩包。

Idea如何从磁盘中应用 下载好的插件流程，安装zip压缩包。

1、将下载的插件文件&#xff08;通常是一个ZIP文件&#xff09;复制到IntelliJ IDEA的“plugins”文件夹中。 IDEA版本 2、重启IntelliJ IDEA。 3、在设置窗口中&#xff0c;选择左侧的“Plugins”。 4、选择之前复制到“plugins”文件夹中的插件文件&#xff0c;点击“OK”按…
阅读更多...
基于Wenet长音频分割降噪识别

基于Wenet长音频分割降噪识别

Wenet是一个流行的语音处理工具&#xff0c;它专注于长音频的处理&#xff0c;具备分割、降噪和识别功能。它的长音频分割降噪识别功能允许对长时间录制的音频进行分段处理&#xff0c;首先对音频进行分割&#xff0c;将其分解成更小的段落或语音片段。接着进行降噪处理&#x…
阅读更多...
深入理解二分查找算法(一)

深入理解二分查找算法(一)

&#x1f497;&#x1f497;&#x1f497;欢迎来到我的博客&#xff0c;你将找到有关如何使用技术解决问题的文章&#xff0c;也会找到某个技术的学习路线。无论你是何种职业&#xff0c;我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章&#xff0c;也欢…
阅读更多...
Baumer工业相机堡盟工业相机如何通过NEOAPI SDK获取相机当前实时帧率（C#）

Baumer工业相机堡盟工业相机如何通过NEOAPI SDK获取相机当前实时帧率（C#）

Baumer工业相机堡盟工业相机如何通过NEOAPI SDK使用UserSet功能保存和载入相机的各类参数&#xff08;C#&#xff09; Baumer工业相机Baumer工业相机的帧率的技术背景Baumer工业相机的帧率获取方式CameraExplorer如何查看相机帧率信息在NEOAPI SDK里通过函数获取相机帧率 Baume…
阅读更多...
Android Studio新手实战——深入学习Activity组件

Android Studio新手实战——深入学习Activity组件

目录 前言 一、Activity简介 二、任务栈相关概念 三、常用Flag 四、结束当前Activity 五、Intent跳转Activity 六、更多资源 前言 Android是目前全球最流行的移动操作系统之一&#xff0c;而Activity作为Android应用程序的四大组件之一&#xff0c;是Android应用程序的核…
阅读更多...
JAX: 快如 PyTorch，简单如 NumPy - 深度学习与数据科学

JAX: 快如 PyTorch，简单如 NumPy - 深度学习与数据科学

JAX 是 TensorFlow 和 PyTorch 的新竞争对手。 JAX 强调简单性而不牺牲速度和可扩展性。由于 JAX 需要更少的样板代码&#xff0c;因此程序更短、更接近数学&#xff0c;因此更容易理解。 长话短说&#xff1a; 使用 import jax.numpy 访问 NumPy 函数&#xff0c;使用 import …
阅读更多...
华为云CCE-集群内访问-根据ip访问同个pod

华为云CCE-集群内访问-根据ip访问同个pod

华为云CCE-集群内访问-根据ip访问同个pod 问题描述&#xff1a;架构如下&#xff1a;解决方法&#xff1a; 问题描述&#xff1a; 使用service集群内访问时&#xff0c;由于启用了两个pod&#xff0c;导致请求轮询在两个pod之间&#xff0c;无法返回正确的结果。 架构如下&am…
阅读更多...
Javascript 可迭代对象与yeild

Javascript 可迭代对象与yeild

一、可迭代对象&#xff08;Iterable object&#xff09; Javascript 可迭代对象是指实现了Symbol.iterator方法的对象&#xff0c;该方法返回一个迭代器对象&#xff0c;可以通过迭代器对象来遍历对象中的元素。常见的可迭代对象包括数组、字符串、Map、Set等。可以使用for..…
阅读更多...
Redis布隆过滤器BloomFilter

Redis布隆过滤器BloomFilter

&#x1f44f;作者简介&#xff1a;大家好&#xff0c;我是爱吃芝士的土豆倪&#xff0c;24届校招生Java选手&#xff0c;很高兴认识大家&#x1f4d5;系列专栏&#xff1a;Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术&#x1f525;如果感觉博主的文章还不错的…
阅读更多...
Unreal Engine游戏引擎的优势

Unreal Engine游戏引擎的优势

在现在这个繁荣的游戏开发行业中&#xff0c;选择合适的游戏引擎是非常重要的。其中&#xff0c;Unreal Engine作为一款功能强大的游戏引擎&#xff0c;在业界广受赞誉。那Unreal Engine游戏引擎究竟有哪些优势&#xff0c;带大家简单的了解一下。 图形渲染技术 Unreal Engin…
阅读更多...
遇见sql语句拼装报错 sql injection violation, syntax error: syntax error, expect RPAREN

遇见sql语句拼装报错 sql injection violation, syntax error: syntax error, expect RPAREN

在使用PostgreSql瀚高数据库时&#xff0c;相同的语句 select * from public.files_info fi where fi.file_size notnull 在DBever能执行&#xff0c;但是在spring中报错 在spring中JPA版本问题导致&#xff0c;不支持这种写法&#xff0c;会识别为sql注入风险&#xff0c;应…
阅读更多...
硅像素传感器文献调研（四）

硅像素传感器文献调研（四）

写在前面&#xff1a; 好喜欢这种短论文哈哈哈哈哈 感觉这篇文献已经提到了保护环的概念啊&#xff0c;只不过叫的是&#xff1a;场限制环。 1986——高压功率器件场终端横向掺杂的变化 0.摘要 对于高压平面结提出了一个简单的新概念。通过在氧化物掩模中的小开口和随后的驱…
阅读更多...
python如何读取被压缩的图像

python如何读取被压缩的图像

读取压缩的图像数据&#xff1a; PackBits 压缩介绍&#xff1a; CCITT T.3 压缩介绍&#xff1a; 读取压缩的图像数据&#xff1a; 在做图像处理的时候&#xff0c;平时都是使用 函数io.imread() 或者是 函数cv2.imread( ) 函数来读取图像数据&#xff0c;很少用PIL.Image…
阅读更多...
Grafana Loki 组件介绍

Grafana Loki 组件介绍

Loki 日志系统由以下3个部分组成&#xff1a; Loki是主服务器&#xff0c;负责存储日志和处理查询。Promtail是专为loki定制的代理&#xff0c;负责收集日志并将其发送给 loki 。Grafana用于 UI展示。 Distributor Distributor 是客户端连接的组件&#xff0c;用于收集日志…
阅读更多...
2022年全国职业院校技能大赛（高职组）“云计算”赛项赛卷①第一场次：私有云

2022年全国职业院校技能大赛（高职组）“云计算”赛项赛卷①第一场次：私有云

2022年全国职业院校技能大赛&#xff08;高职组&#xff09; “云计算”赛项赛卷1 第一场次&#xff1a;私有云&#xff08;30分&#xff09; 目录 2022年全国职业院校技能大赛&#xff08;高职组&#xff09; “云计算”赛项赛卷1 第一场次&#xff1a;私有云&#xff0…
阅读更多...
【Linux学习笔记】解析Linux系统内核：架构、功能、工作原理和发展趋势

【Linux学习笔记】解析Linux系统内核：架构、功能、工作原理和发展趋势

操作系统是一个用来和硬件打交道并为用户程序提供一个有限服务集的低级支撑软件。一个计算机系统是一个硬件和软件的共生体&#xff0c;它们互相依赖&#xff0c;不可分割。计算机的硬件&#xff0c;含有外围设备、处理器、内存、硬盘和其他的电子设备组成计算机的发动机。但是…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023