Android Surface对应的Buffer怎么传递给HWC

Android Surface对应的Buffer怎么传递给HWC



引言

因为要预研Android Video overlay，需要将SurfaceView对应的GraphicBuffer从drm_hwcomposer中剥离出来，这就需要们了解SurfaceView对应的GraphicBuffer的前世今生，以及它的数据流向以及在各个模块之间的对应关系。这篇博客，我们分析下该GraphicBuffer是如何传递到HWC的。

参考源码基于Android 13 AOSP!



Surface的Buffer是怎么传递给HWC呢

我们通过代码流程来看看:

using LayerFESet = std::unordered_set<sp<LayerFE>, LayerFESpHash>;
SurfaceFlinger::composite(...)compositionengine::CompositionRefreshArgs refreshArgs;  mDrawingState.traverseInZOrder([&refreshArgs](Layer* layer) {if (auto layerFE = layer->getCompositionEngineLayerFE())refreshArgs.layers.push_back(layerFE);});        android::compositionengine::impl::CompositionEngine::presentLayerFESet latchedLayers;for (const auto& output : args.outputs) {output->prepare(args, latchedLayers);//impl::OutputrebuildLayerStacks(refreshArgs, geomSnapshots)compositionengine::Output::CoverageState coverage{layerFESet};collectVisibleLayers(refreshArgs, coverage);                    for (auto layer : reversed(refreshArgs.layers)) {ensureOutputLayerIfVisible(layer, coverage);if (!coverage.latchedLayers.count(layerFE)) {coverage.latchedLayers.insert(layerFE);layerFE->prepareCompositionState(compositionengine::LayerFE::StateSubset::BasicGeometry);}                                if (!coverage.latchedLayers.count(layerFE)) {coverage.latchedLayers.insert(layerFE);layerFE->prepareCompositionState(compositionengine::LayerFE::StateSubset::BasicGeometry);}const auto* layerFEState = layerFE->getCompositionState();ensureOutputLayer(prevOutputLayerIndex, layerFE)}               }           updateLayerStateFromFE(args)for (const auto& output : args.outputs) {output->present(args);//impl::Output frameworks/native/services/surfaceflinger/CompositionEngine/src/Output.cppupdateCompositionState(refreshArgs)writeCompositionState(refreshArgs)//impl::Outputlayer->writeStateToHWC(...)//impl::OutputLayerwriteOutputIndependentPerFrameStateToHWC(...)writeBufferStateToHWC(...)hwcLayer->setBuffer(...)//HWC2::impl::LayermComposer.setLayerBuffer(...)//Hwc2::impl::Composer}

这里output实际上是Display，但是Display中没有实现prepare，因为Display继承自Output，使用的是父类Output的prepare方法。



ensureOutputLayerIfVisible

这里我们看下ensureOutputLayerIfVisible的作用,主要是构建出来看见的OutputLayer.

//frameworks/native/services/surfaceflinger/CompositionEngine/src/Output.cpp
void Output::ensureOutputLayerIfVisible(sp<compositionengine::LayerFE>& layerFE,compositionengine::Output::CoverageState& coverage) layerFE->prepareCompositionState(compositionengine::LayerFE::StateSubset::BasicGeometry)const auto* layerFEState = layerFE->getCompositionState()//图层可见。如果我们有输出图层，可以重复使用现有的输出图层。则重用现有的输出层，否则创建一个新的输出层auto result = ensureOutputLayer(prevOutputLayerIndex, layerFE)///frameworks/native/services/surfaceflinger/Layer.cpp   
Layer::prepareCompositionState(compositionengine::LayerFE::StateSubset subset) // 传入的参数是BasicGeometryprepareBasicGeometryCompositionState()void Layer::prepareBasicGeometryCompositionState() {const auto& drawingState{getDrawingState()};const auto alpha = static_cast<float>(getAlpha());const bool opaque = isOpaque(drawingState);const bool usesRoundedCorners = hasRoundedCorners();auto blendMode = Hwc2::IComposerClient::BlendMode::NONE;if (!opaque || alpha != 1.0f) {blendMode = mPremultipliedAlpha ? Hwc2::IComposerClient::BlendMode::PREMULTIPLIED: Hwc2::IComposerClient::BlendMode::COVERAGE;}auto* compositionState = editCompositionState();//实现在BufferLayer中,获取的是LayerFECompositionStatecompositionState->outputFilter = getOutputFilter();compositionState->isVisible = isVisible();compositionState->isOpaque = opaque && !usesRoundedCorners && alpha == 1.f;compositionState->shadowRadius = mEffectiveShadowRadius;compositionState->contentDirty = contentDirty;contentDirty = false;compositionState->geomLayerBounds = mBounds;compositionState->geomLayerTransform = getTransform();compositionState->geomInverseLayerTransform = compositionState->geomLayerTransform.inverse();compositionState->transparentRegionHint = getActiveTransparentRegion(drawingState);compositionState->blendMode = static_cast<Hwc2::IComposerClient::BlendMode>(blendMode);compositionState->alpha = alpha;compositionState->backgroundBlurRadius = drawingState.backgroundBlurRadius;compositionState->blurRegions = drawingState.blurRegions;compositionState->stretchEffect = getStretchEffect();
}

如果可见，需要生成一个outputLayer，放在mPendingOutputLayersOrderedByZ

这里我们对该函数单独站看来分析下，ensureOutputLayer将创建Output layer，不是所有layer都会创建对应的hwc layer，创建出来的这些layer最后是要显示到屏幕上的。

//frameworks/native/services/surfaceflinger/CompositionEngine/include/compositionengine/impl/Output.hOutputLayer* ensureOutputLayer(std::optional<size_t> prevIndex,const sp<LayerFE>& layerFE) {// 判断当前的outputlayer 集合里面有没有当前的layer，如果没有则新创建一个auto outputLayer = (prevIndex && *prevIndex <= mCurrentOutputLayersOrderedByZ.size())? std::move(mCurrentOutputLayersOrderedByZ[*prevIndex]): BaseOutput::createOutputLayer(layerFE);auto result = outputLayer.get();mPendingOutputLayersOrderedByZ.emplace_back(std::move(outputLayer));return result;}//frameworks/native/services/surfaceflinger/CompositionEngine/src/Display.cppstd::unique_ptr<compositionengine::OutputLayer> Display::createOutputLayer(const sp<compositionengine::LayerFE>& layerFE) const {auto result = impl::createOutputLayer(*this, layerFE);if (result && mId) {auto& hwc = getCompositionEngine().getHwComposer();auto displayId = *mId;// 创建hwclayerauto hwcLayer = std::shared_ptr<HWC2::Layer>(hwc.createLayer(displayId),[&hwc, displayId](HWC2::Layer* layer) {hwc.destroyLayer(displayId, layer);});ALOGE_IF(!hwcLayer, "Failed to create a HWC layer for a HWC supported display %s",getName().c_str());// 更新state.hwcresult->setHwcLayer(std::move(hwcLayer));}return result;
}

到这里就完成了OutputLayer和hwc layer的创建。



updateLayerStateFromFE

Update the composition state from each front-end layer更新各前端层的组成状态,我们来看其实现:

//frameworks/native/services/surfaceflinger/CompositionEngine/src/CompositionEngine.cpp
void CompositionEngine::updateLayerStateFromFE(CompositionRefreshArgs& args) {// Update the composition state from each front-end layerfor (const auto& output : args.outputs) {output->updateLayerStateFromFE(args);}
}
void Output::updateLayerStateFromFE(const CompositionRefreshArgs& args) const {for (auto* layer : getOutputLayersOrderedByZ()) {//这个传递的参数是GeometryAndContentlayer->getLayerFE().prepareCompositionState(args.updatingGeometryThisFrame ? LayerFE::StateSubset::GeometryAndContent: LayerFE::StateSubset::Content);}//frameworks/native/services/surfaceflinger/Layer.cpp
Layer::prepareCompositionState(compositionengine::LayerFE::StateSubset subset)case StateSubset::GeometryAndContent:prepareBasicGeometryCompositionState();//将相关Layer信息，放到Layer对应的LAyerFEcompositionStateprepareGeometryCompositionState();preparePerFrameCompositionState();//重点看下这个,调用子类的break;    //frameworks/native/services/surfaceflinger/BufferLayer.cpp
void BufferLayer::preparePerFrameCompositionState() {Layer::preparePerFrameCompositionState();// Sideband layersauto* compositionState = editCompositionState();if (compositionState->sidebandStream.get() && !compositionState->sidebandStreamHasFrame) {compositionState->compositionType =aidl::android::hardware::graphics::composer3::Composition::SIDEBAND;return;} else if ((mDrawingState.flags & layer_state_t::eLayerIsDisplayDecoration) != 0) {compositionState->compositionType =aidl::android::hardware::graphics::composer3::Composition::DISPLAY_DECORATION;} else {// Normal buffer layerscompositionState->hdrMetadata = mBufferInfo.mHdrMetadata;compositionState->compositionType = mPotentialCursor? aidl::android::hardware::graphics::composer3::Composition::CURSOR: aidl::android::hardware::graphics::composer3::Composition::DEVICE;}compositionState->buffer = getBuffer();//将从App传递过来的渲染之后的GraphicBuffer保存在LayerFEcompositionState中compositionState->bufferSlot = (mBufferInfo.mBufferSlot == BufferQueue::INVALID_BUFFER_SLOT)? 0: mBufferInfo.mBufferSlot;compositionState->acquireFence = mBufferInfo.mFence;compositionState->frameNumber = mBufferInfo.mFrameNumber;compositionState->sidebandStreamHasFrame = false;
}


updateCompositionState

这个函数的主要作用是什么呢，什么呢？我先分析下，再告诉你！

//frameworks/native/services/surfaceflinger/CompositionEngine/src/OutputLayer.cpp
void Output::updateCompositionState(const compositionengine::CompositionRefreshArgs& refreshArgs) {...for (auto* layer : getOutputLayersOrderedByZ()) {layer->updateCompositionState(refreshArgs.updatingGeometryThisFrame,refreshArgs.devOptForceClientComposition ||forceClientComposition,refreshArgs.internalDisplayRotationFlags);}    ...
}void OutputLayer::updateCompositionState(bool includeGeometry, bool forceClientComposition,ui::Transform::RotationFlags internalDisplayRotationFlags) {const auto* layerFEState = getLayerFE().getCompositionState();if (!layerFEState) {return;}const auto& outputState = getOutput().getState();const auto& profile = *getOutput().getDisplayColorProfile();auto& state = editState();//这里指向的是OutputLayerCompositionStateif (includeGeometry) {state.forceClientComposition = false;state.displayFrame = calculateOutputDisplayFrame();state.sourceCrop = calculateOutputSourceCrop(internalDisplayRotationFlags);state.bufferTransform = static_cast<Hwc2::Transform>(calculateOutputRelativeBufferTransform(internalDisplayRotationFlags));if ((layerFEState->isSecure && !outputState.isSecure) ||(state.bufferTransform & ui::Transform::ROT_INVALID)) {state.forceClientComposition = true;}}state.dataspace = layerFEState->isColorspaceAgnostic &&outputState.targetDataspace != ui::Dataspace::UNKNOWN? outputState.targetDataspace: layerFEState->dataspace;if (outputState.treat170mAsSrgb && !layerFEState->isColorspaceAgnostic &&(state.dataspace & HAL_DATASPACE_TRANSFER_MASK) == HAL_DATASPACE_TRANSFER_SMPTE_170M) {state.dataspace = static_cast<ui::Dataspace>((state.dataspace & HAL_DATASPACE_STANDARD_MASK) |(state.dataspace & HAL_DATASPACE_RANGE_MASK) | HAL_DATASPACE_TRANSFER_SRGB);}if (isHdrDataspace(state.dataspace) ||getOutput().getState().displayBrightnessNits == getOutput().getState().sdrWhitePointNits ||getOutput().getState().displayBrightnessNits == 0.f || !layerFEState->dimmingEnabled) {state.dimmingRatio = 1.f;state.whitePointNits = getOutput().getState().displayBrightnessNits;} else {state.dimmingRatio = std::clamp(getOutput().getState().sdrWhitePointNits /getOutput().getState().displayBrightnessNits,0.f, 1.f);state.whitePointNits = getOutput().getState().sdrWhitePointNits;}if (layerFEState->forceClientComposition || !profile.isDataspaceSupported(state.dataspace) ||forceClientComposition) {state.forceClientComposition = true;}
}

这块竟然没有将LayerFErCompositionState对应的GraphicBuffer传递给OutputLayerCompositionState。并且为啥要搞这么多State的状态呢，感觉有点多余！



writeCompositionState

该函数的核心功能就是设置outputlayer的dispFrame和sourceCrop等以及将outputlayer属性设给hwc。

//frameworks/native/services/surfaceflinger/CompositionEngine/src/Output.cpp
void Output::writeCompositionState(const compositionengine::CompositionRefreshArgs& refreshArgs) {for (auto* layer : getOutputLayersOrderedByZ()) {layer->writeStateToHWC(includeGeometry, skipLayer, z++, overrideZ, isPeekingThrough)；}
}///frameworks/native/services/surfaceflinger/CompositionEngine/src/OutputLayer.cpp
void OutputLayer::writeStateToHWC(bool includeGeometry, bool skipLayer, uint32_t z,bool zIsOverridden, bool isPeekingThrough) {const auto& state = getState();//这里获取的是OutputLayerCompositionStateauto& hwcLayer = (*state.hwc).hwcLayerconst auto* outputIndependentState = getLayerFE().getCompositionState();//这里得到的是LayerFECompostionStatewriteOutputIndependentPerFrameStateToHWC(hwcLayer.get(), *outputIndependentState,requestedCompositionType, skipLayer)writeBufferStateToHWC(hwcLayer, outputIndependentState, skipLayer)sp<GraphicBuffer> buffer = outputIndependentState.buffer;sp<Fence> acquireFence = outputIndependentState.acquireFence;int slot = outputIndependentState.bufferSlot;if (getState().overrideInfo.buffer != nullptr && !skipLayer) {buffer = getState().overrideInfo.buffer->getBuffer();acquireFence = getState().overrideInfo.acquireFence;slot = HwcBufferCache::FLATTENER_CACHING_SLOT;}        sp<GraphicBuffer> hwcBuffer;editState().hwc->hwcBufferCache.getHwcBuffer(slot, buffer, &hwcSlot, &hwcBuffer); hwcLayer->setBuffer(hwcSlot, hwcBuffer, acquireFence)mComposer.setLayerBuffer(mDisplay->getId(), mId, slot, buffer, fenceFd)//HWC2.cppconst native_handle_t* handle = nullptr;//frameworks/native/services/surfaceflinger/DisplayHardware/HidlComposerHal.cpphandle = buffer->getNativeBuffer()->handle;mWriter.setLayerBuffer(slot, handle, acquireFence)
}

最终将hwc_layer相关信息传递到HAL层的HWC实现！


SurfaceFinger layer创建过程
SurfaceControl之Transaction事物深入剖析
Surface的Buffer是怎么传递给HWC呢？
SurfaceFlinger layer之间的对应关系
Android Qcom Display学习
SurfaceFlinger处理事务
SurfaceFlinger Refresh流程



本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/18507.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

轻兔推荐 —— vfox

轻兔推荐 —— vfox

简介 vfox 是一个跨平台且可扩展的版本管理工具&#xff0c;终于有一个可以管理所有运行环境的工具了 - 支持一键安装 Java、Node.js、Flutter、.Net、Golang、PHP、Python等多种环境 - 支持一键切换不同版本 特点 支持Windows(非WSL)、Linux、macOS! 支持不同项目不同版本、…
阅读更多...
（四）事件系统

（四）事件系统

视频链接：尚硅谷2024最新版微信小程序 文章目录 事件绑定和事件对象事件分类以及阻止事件冒泡事件传参-data-*自定义数据事件传参-mark 自定义数据事件绑定和事件对象 小程序中绑定事件与在网页开发中绑定事件几乎一致,只不过在小程序不能通过 on 的方式绑定事件,也没有 cli…
阅读更多...
C# 9.0的init访问器

C# 9.0的init访问器

不控制可变性 下面是我们最常见的属性声明方式&#xff0c;允许属性在类的内部和外部都可以读取和修改 public int Id { get; set; }namespace Demo {public class Company{public int Id { get; set; }public Company(){}public Company(int id){Id id; // 可以在构造函数中…
阅读更多...
22.Volatile原理

22.Volatile原理

文章目录 Volatile原理1.Volatile语义中的内存屏障1.1.volatile写操作的内存屏障1.1.1.StoreStore 屏障1.1.2.StoreLoad 屏障 1.2.volatile读操作的内存屏障1.2.1.LoadStore屏障1.2.2.LoadLoad屏障 2.volatile不具备原子性2.1.原理 Volatile原理 1.Volatile语义中的内存屏障 在…
阅读更多...
用于生成 Avatar 的文本引导式情感和运动控制-InstructAvatar

用于生成 Avatar 的文本引导式情感和运动控制-InstructAvatar

网址 https://wangyuchi369.github.io/InstructAvatar/ 用于生成 Avatar 的文本引导式情感和运动控制 官网翻译 最近的会说话的头像生成模型在实现与音频的真实和准确的嘴唇同步方面取得了长足的进步&#xff0c;但在控制和传达头像的详细表情和情感方面往往存在不足&#…
阅读更多...
APM2.8如何做加速度校准

APM2.8如何做加速度校准

加速度的校准建议准备一个六面平整&#xff0c;边角整齐的方形硬纸盒或者塑料盒&#xff0c;如下图所示&#xff0c;我们将以它作为APM校准时的水平垂直姿态参考&#xff0c;另外当然还需要一块水平的桌面或者地面 首先用双面泡沫胶或者螺丝将APM主板正面向上固定于方形盒子上&…
阅读更多...
JavaScrip原型对象

JavaScrip原型对象

参考 JavaScrip原型对象 | LogDicthttps://www.logdict.com/archives/javascripyuan-xing-mo-shi
阅读更多...
每天写两道(二)LRU缓存、

每天写两道(二)LRU缓存、

146.LRU 缓存 . - 力扣&#xff08;LeetCode&#xff09; 请你设计并实现一个满足 LRU (最近最少使用) 缓存 约束的数据结构。 实现 LRUCache 类&#xff1a; LRUCache(int capacity) 以 正整数 作为容量 capacity 初始化 LRU 缓存int get(int key) 如果关键字 key 存在于缓存…
阅读更多...
如何使用Python和大模型进行数据分析和文本生成

如何使用Python和大模型进行数据分析和文本生成

如何使用Python和大模型进行数据分析和文本生成 Python语言以其简洁和强大的特性&#xff0c;成为了数据科学、机器学习和人工智能开发的首选语言之一。随着大模型&#xff08;Large Language Models, LLMs&#xff09;如GPT-4的崛起&#xff0c;我们能够利用这些模型实现诸多…
阅读更多...
Revit——（2）模型的编辑、轴网和标高

Revit——（2）模型的编辑、轴网和标高

目录 一、关闭缩小的隐藏窗口 二、标高&#xff08;可创建平面&#xff0c;其他标高线复制即可&#xff09; 三、轴网 周围的四个圈和三角表示四个里面&#xff0c;可以移动&#xff0c;不要删除 一、关闭缩小的隐藏窗口 二、标高&#xff08;可创建平面&#xff0c;其他标…
阅读更多...
计算机体系结构期末快速复习

计算机体系结构期末快速复习

文章目录 前言CPI&#xff0c;MIPS&#xff08;大题1&#xff09;加速比&#xff08;大题2&#xff09;流水线&#xff08;大题3&#xff09;CRAY-1向量机&#xff08;大题4&#xff09;Tomasulo算法&#xff08;大题5&#xff09;概念简答题计算机系统结构的经典定义什么是透明…
阅读更多...
深入分析 Android Activity (二)

深入分析 Android Activity (二)

文章目录 深入分析 Android Activity (二)1. Activity 的启动模式&#xff08;Launch Modes&#xff09;1.1 标准模式&#xff08;standard&#xff09;1.2 单顶模式&#xff08;singleTop&#xff09;1.3 单任务模式&#xff08;singleTask&#xff09;1.4 单实例模式&#xf…
阅读更多...
利用边缘计算网关的工业设备数据采集方案探讨-天拓四方

利用边缘计算网关的工业设备数据采集方案探讨-天拓四方

随着工业4.0时代的到来&#xff0c;工业设备数据采集成为了实现智能制造、提升生产效率的关键环节。传统的数据采集方案往往依赖于中心化的数据处理方式&#xff0c;但这种方式在面对海量数据、实时性要求高的工业场景时&#xff0c;往往显得力不从心。因此&#xff0c;利用边缘…
阅读更多...
CSS实现一个雨滴滑落效果

CSS实现一个雨滴滑落效果

使用纯CSS来实现一个真实的雨滴滑落效果可能会有些挑战&#xff0c;因为CSS主要关注于静态样式和简单的动画效果。然而&#xff0c;你可以使用CSS动画和keyframes来模拟一个雨滴滑落的简化效果。 以下是一个基本的示例&#xff0c;展示如何使用CSS来模拟雨滴从顶部滑落到底部的…
阅读更多...
AI学习指南数学工具篇-MATLAB中的凸优化工具

AI学习指南数学工具篇-MATLAB中的凸优化工具

AI学习指南数学工具篇-MATLAB中的凸优化工具 在人工智能领域&#xff0c;凸优化是一个非常重要的数学工具&#xff0c;它在机器学习、深度学习、数据分析等领域都有着广泛的应用。而MATLAB作为一款强大的数学工具软件&#xff0c;提供了丰富的凸优化工具和函数&#xff0c;为用…
阅读更多...
二叉树的链式结构（二叉树）与顺序结构（堆）---数据结构

二叉树的链式结构（二叉树）与顺序结构（堆）---数据结构

一、树的概念与结构 1、树的概念 树是一种非线性的数据结构&#xff0c;它是由n&#xff08;n>0&#xff09;个有限结点组成一个具有层次关系的集合。我们常把它叫做树&#xff0c;是因为它看起来像一棵倒挂的树&#xff0c;它的根是朝上的&#xff0c;而叶是朝下的。 下面…
阅读更多...
给我一个用断言结果执行下一步的例子

给我一个用断言结果执行下一步的例子

在使用 pytest 和 Selenium 进行自动化测试时&#xff0c;通常我们会根据断言的结果来决定测试流程的走向。如果断言失败&#xff0c;测试通常会停止执行后续的步骤&#xff0c;因为失败意味着被测系统没有按照预期工作。然而&#xff0c;有时候我们可能需要在断言失败后执行特…
阅读更多...
每日复盘-20240528

每日复盘-20240528

今日重点关注&#xff1a; 20240528 六日涨幅最大: ------1--------300956--------- 英力股份 五日涨幅最大: ------1--------301361--------- 众智科技 四日涨幅最大: ------1--------301361--------- 众智科技 三日涨幅最大: ------1--------301361--------- 众智科技 二日涨…
阅读更多...
前端编程语言——JS背景知识、JS基础语法、算数运算符和关系运算符（1）

前端编程语言——JS背景知识、JS基础语法、算数运算符和关系运算符（1）

0、前言&#xff1a; JS全称是JavaScript&#xff0c;是一种脚本语言&#xff0c;诞生于1995年&#xff0c;JS是由ECMAScript&#xff08;包含js语法&#xff09;、BOM&#xff08;Brower Oject Model&#xff0c;和浏览器相关操作&#xff09;、DOM&#xff08;Document Obje…
阅读更多...
ubuntu设置中文输入法教程

ubuntu设置中文输入法教程

在 Ubuntu 上设置中文输入法可以通过以下步骤来完成。我们将以安装和配置 fcitx 输入法框架及其中文输入法插件 fcitx-sunpinyin 为例。 ### 步骤一&#xff1a;安装 fcitx 和中文输入法插件 1. **更新软件包列表** 打开终端并运行以下命令来更新软件包列表&#xff1a; …
阅读更多...
最新文章

Copyright @ 2022~2023