OpenHarmony硬件合成方案解析

本文档主要讲解在OpenHarmony中，硬件合成适配的方法及原理说明。

环境说明：

  • OHOS版本：3.1-Release及以上

一、背景介绍

1.1 什么是合成

要理解什么是合成，合成做了什么？我们先通过分解设置界面来回答这个问题:

在设置界面中，一帧完整的图像是由4个部分构成的，每一个部分我们称之为一个layer。

layer的概念

layer(图层)是图形合成中最重要的单元，一个layer对应一个buffer及显示参数。一帧图像由一个或多个layer组成，每个layer单独负责一块区域的内容刷新，大大提升了渲染及显示效率。比如：我们把鼠标的显示单独设置成一个Layer，鼠标的移动，只需要更改layer的显示坐标，不需要重复渲染背景显示区域的数据等。

在设置界面中，4个layer分别是背景层、应用层、状态栏和工具栏。合成就是把这些layer组合在一起，最终变成一帧完整的图像。

我们可以通过如下命令获取当前界面的layers信息：

hidumper -s 10 -a surface

对当前界面截屏

snapshot_display -f /data/snapshot_display.jpeg

我们可以看到，layer2和layer3背景显示为黑色，与实际效果有较大区别。要理解这个差异的原因，我们需要要知道合成做了什么。

1.2 合成做了什么

从前面的介绍我们知道，合成就是把多个layer合成了一帧图像。那这个合成的过程中，主要处理了哪些事？总结如下：

  • 颜色混合。包含透明度处理、背景填充、阴影处理等。

  • 编码格式转换。支持RGB565、RGB888、ARGB888、YUV420_2P等

  • 缩放处理。支持1/16~24倍率缩放

  • 输入/输出旋转。

不同的硬件支持的能力有差别，最基本的能力需要支持透明度处理及编码转换。

上面layer背景显示黑色的原因，是因为背景的RGBA值都是0，RGB 值为0，显示黑色。Alpha值为0，为全透明。如果给他们添加一个背景图层，那图层就会显示成背景的颜色值。

理解了合成，我们再看看合成模块在OpenHarmony系统进程中的位置。

1.3 合成在OpenHarmony中位置

图像合成在OpenHarmony进程示意图，以便了解合成模块的生命周期及运行逻辑：

如上图所示，合成模块代码由虚框标记，运行在render_service进程中。硬件适配主要是适配display_device及display_gfx模块。

  • display_device: 为composer提供接口及适配

  • display_gfx:包含具体硬件sensor的功能实现。

    重启render_service服务，Dispaly HDI服务就会重启。

1.4 合成的方式

OpenHarmony中合成方式有以下几种：

  • CPU合成。由skia或pixmax提供。
  • GPU合成。由GPU硬件提供。
  • 纯硬件sensor合成。如展锐的gsp，瑞芯微的rga等
  • drm合成。由drm通用接口封装，一般集成合成和送显功能。如展锐的dpu。

以上合成方式在相同layers数量下，xx平台性能对比如下：

类型CPUGPUGFXDRM
合成时间(ms)>80ms12.07ms11.38ms7.5ms

从合成性能看，drm性能最佳，减少了内存复制开销。GFX与GPU性能相差不多，但能完成一些drm无法完成的合成场景。CPU最差，只有适配早期，其它硬件没有调试好时，临时使用。

二、适配的方法

适配硬件合成前，我们先要理清代码的运行逻辑，并且知道适配需要做什么，去哪里修改。以下通过流程图来展示代码的运行逻辑和位置。

当Layers准备好后，进入composer模块的repaint()处理。流程如下：

  • prepare阶段。
    • gfx_prepare:为每个layer选择具体的合成方式
    • drm_prepare:把dpu类型添加到List
    • 处理GPU合成
  • commit阶段。
    • gfx_commit:处理gfx硬件合成
    • drm_commit:处理drm合成及送显

2.1 合成方式的选择

Layer合成方式选择示例:

当前合成方式并没有使用GPU合成，是否使用，可根据其它硬件能力来选择。一般情况下，为了减轻GPU负担，尽量使用其它硬件来完成合成操作。

每个硬件支持能力不同，比如：支持的layer数量，是否支持缩放时旋转，缩放倍率等。

合成方式的选择要结合具体的硬件来调整。硬件详细能力请查阅相关芯片手册。

注意事项：

  • 如果GSP列表非空，那clientLayer作为GSP的合成结果，会占用DPU的plane0.

  • 由于Layer图层是有顺序的，所以连续的图层会选择同一种硬件合成。

比如：DPU只支持4个图层，如果总图层有6个，那前面3个将使用GSP合成结果到clientLayer,再与后面的3个图层一起，共4个layer给DPU合成送显。

代码示例:

int32_t HdiGfxComposition::SetLayers(std::vector<HdiLayer *> &layers, HdiLayer &clientLayer)
{……HdiLayer *layer;uint32_t dpuSize = 0;for (uint32_t i = 0; i < layers.size(); i++) {layer = layers[i];if (CanHandle(*layer)) {if ((layer->GetCompositionType() != COMPOSITION_VIDEO) &&(layer->GetCompositionType() != COMPOSITION_CURSOR)) {if((mask == 0) && (layers.size() < 4)) {//直接给DPU处理layer->SetAcceleratorType(ACCELERATOR_DPU);……} else {//GSP+DPUint32_t tempMask = CheckLayers(layers, i);// 判断剩下的layers DPU是否支持uint32_t tempSize = layers.size() - i;if(tempMask) {//复杂场景交给GSPlayer->SetAcceleratorType(ACCELERATOR_GSP);……}  else {if((dpuSize + tempSize) < 5) {//dpu支持6个layer，先只使用4个layer->SetAcceleratorType(ACCELERATOR_DPU);……} else {layer->SetAcceleratorType(ACCELERATOR_GSP);……}}}} else {layer->SetDeviceSelect(layer->GetCompositionType());}mCompLayers.push_back(layer);} else { //GPUlayer->SetDeviceSelect(COMPOSITION_CLIENT);……}}……
}

2.2 GFX适配之GSP

2.3 DRM适配之DPU

2.4 GPU适配

三、调测及优化

3.1 测试程序-hello_composer

hello_composer在3.2-Release中默认没有参与编译，修改如下：

foundation/graphic/graphic_2d/bundle.json

--- a/bundle.json
+++ b/bundle.json
@@ -61,6 +61,7 @@"//foundation/graphic/graphic_2d/rosen/modules/2d_graphics:2d_graphics","//foundation/graphic/graphic_2d/rosen/samples/2d_graphics:drawing_sample_rs",
+            "//foundation/graphic/graphic_2d/rosen/samples/composer:hello_composer","//foundation/graphic/graphic_2d/rosen/samples/2d_graphics:drawing_engine_sample",

在第一次运行hello_composer前，需要先把render_service服务停止。

service_control stop render_service

执行hello_composer

cd /system/bin
./hello_composer

测试分以下几个点进行：

  • 图层数量测试
    foundation/graphic/graphic_2d/rosen/samples/composer/hello_composer.cpp
void HelloComposer::InitLayers(uint32_t screenId)
{
……
// status bardrawLayers.emplace_back(std::make_unique<LayerContext>(IRect { 0, 0, displayWidth, statusHeight },IRect { 0, 0, displayWidth, statusHeight },3, LayerType::LAYER_STATUS));
……
}

默认是4个图层，可以根据实际测试情况，添加、删除layers的信息。
  • 图层旋转
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
drawLayers.emplace_back(std::make_unique<LayerContext>(IRect { layerPositionX, layerPositionY, 200, 400},IRect { 0, 0, 100, 200},1, LayerType::LAYER_EXTRA));

修改为true后，LayerType::LAYER_EXTRA 图层会周期旋转。
  • 图层缩放
    foundation/graphic/graphic_2d/rosen/samples/composer/hello_composer.cpp
bool testYUV_ = true;

通过修改目的图层的大小，来达到缩放测试的目的

  • yuv测试
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
bool testYUV_ = true;

修改为true后，LayerType::LAYER_EXTRA图层会以yuv格式合成。
  • 透明度测试
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
const std::vector<uint32_t> colors_ = {0xff0000ff, 0xffff00ff, 0xaa00ff00, 0xff00ffaa, 0xff0f0f00};

修改colors_最高8位值，可以测试透明度。0x00:全透明 0xFF:不透明

3.2 TRACE抓取分析

合成消耗了多少时间，帧率的统计都可以使用抓trace来分析。

trace命令:

hdc shell bytrace -t 5 --overwrite app graphic > mytrace.ftrace

帧率统计:

帧率首先由vsync频率决定，当合成总时间大于vsync间隔时，会影响帧率，并需要进行优化。合成计算帧率就是统计1s内合成帧的个数。

合成时间统计:

以上标记的时间就是实际硬件合成的时间，在commit方法中执行。我们从前面两个图片可看出，他们的合成间隔是有明显区别的，赵成这个现象的原因是同步及异步设置导致。

3.3 fence机制

当我们的操作需要使用其它硬件资源执行时，就涉及到同步的方式问题。总结如下：

  • 同步执行

    调用硬件接口后，需要等待硬件所有指令执行完成。libdrm接口中示例如下：

uint32_t flags = DRM_MODE_ATOMIC_ALLOW_MODESET | DRM_MODE_ATOMIC_NONBLOCK;//去掉DRM_MODE_ATOMIC_NONBLOCK代表同步执行
ret = drmModeAtomicCommit(drmFd, atomicReqPtr.Get(), flags, nullptr);

  • 异步执行

    异步在图形中常用的就是fence机制。fence机制框架由内核提供，当硬件完成时，会修改fence的状态。常用的如AcqureFenceFd、ReleaseFenceFd。

    AcqureFenceFd 由GPU提供，标记渲染结果。

    ReleaseFenceFd 由drm crtc提供，标记送显结果。

    例如 ReleaseFenceFd：

ret = drmModeAtomicAddProperty(atomicReqPtr.Get(), mCrtc->GetId(), mCrtc->GetOutFencePropId(),(uint64_t)&crtcOutFence);
……
layer->SetReleaseFence(dup(crtcOutFence));

fence机制，让CPU在硬件工作时，释放生产力，继续执行与当前操作无关代码，把流程继续向前推进。当再次需要执行与当前硬件相关的操作时，再检查fence完成状态或等待。在整个周期中，大大增加了代码执行效率。

四、常见问题分析

4.1 状态栏背景为黑色

实际显示效果状态栏和工具栏为黑色。这个一般是透明度没有处理好。修改drm blend_mode可以解决。

drmModeAtomicAddProperty(pset,  drmPlane.GetId(), drmPlane.property_blend_mode, 0);//0-2.具体类型可以使用modetest查看

4.2 滑动列表时有闪烁的现象

如果硬件没有报错，那大概率是ReleaseFence没有同步。buffer还没有使用完成，又对buffer进行了操作。

layer->SetReleaseFence(dup(crtcOutFence));//step1: 检查ReleaseFence是否设置
currSbuffer_->releaseFence_ = Merge(currSbuffer_->releaseFence_, layerReleaseFence);//step2: 检查ReleaseFece是否有合并

4.3 滑动列表时有抖动的现象

这种一般只有在低端GPU上才会出现。原因是AcqureFence没有同步，使用了未准备好的渲染结果。增加对fence的等待：

if(layer->GetAcquireFenceFd() > 0) {sync_wait(layer->GetAcquireFenceFd(), 100);
}

4.4 Layer区域显示黑色或者丢失

主要有以下几种可能。

  • zorder顺序不对，被其它图层覆盖。

  • layer内容为空。显示成了背景填充色0

  • 超出硬件支持的图层上限，需要增加循环合成处理

五、知识分享

在模块开发过程中，如果我们对layer的数据不确定时，可以把layer的数据dumper出来。

setenforce 0
param set rosen.afbc.enabled 0//start
touch /data/bq_dump
//end
rm /data/bq_dump

数据生成在/data目录下。文件可以使用yuvplayer.exe工具查看，它支持yuv、rgb等不同的格式类型及分辨率大小。

写在最后

  • 如果你觉得这篇内容对你还蛮有帮助，我想邀请你帮我三个小忙：
  • 点赞，转发，有你们的 『点赞和评论』，才是我创造的动力。
  • 关注小编，同时可以期待后续文章ing🚀，不定期分享原创知识。
  • 想要获取更多完整鸿蒙最新学习资源，请移步前往小编：https://gitee.com/MNxiaona/733GH

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/3803.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

MySQL中的Performance Schema是什么？

MySQL中的Performance Schema是什么？

MySQL中的Performance Schema是什么&#xff1f; Performance Schema 是 MySQL 的一个特性&#xff0c;主要用于监控 MySQL 服务器在运行时的性能和资源使用情况。它首次引入于 MySQL 5.5 版本&#xff0c;并在后续版本中得到增强。Performance Schema 提供了一种方式来收集数…
阅读更多...
base64算法

base64算法

1 介绍 将二进制数据编码为文本字符串的算法 理解&#xff1a;把一个能看懂的明文变成一个看不懂的密文数据统称为加密 2 使用 A 在浏览器控制台使用 加密 window.btoa(加密的数据) 解密 window.atob(MTIzNDQ) B 在VSconde中使用 加密 解密
阅读更多...
机器学习-保险花销预测笔记+代码

机器学习-保险花销预测笔记+代码

读取数据 import numpy as np import pandas as pddatapd.read_csv(rD:\人工智能\python视频\机器学习\5--机器学习-线性回归\5--Lasso回归_Ridge回归_多项式回归\insurance.csv,sep,) data.head(n6) EDA 数据探索 import matplotlib.pyplot as plt %matplotlib inlineplt.hi…
阅读更多...
STM32之串口中断接收丢失数据

STM32之串口中断接收丢失数据

五六年没搞STM32了&#xff0c;这个项目一切都挺顺利&#xff0c;万万没想到被串口接收中断恶心到了。遇到的问题很奇怪 HAL_UART_Receive_IT(&huart1, &rx_buffer[rx_index], LCD_UART_LEN); 这个代码中 LCD_UART_LEN1的时候&#xff0c;接收过来的数据&#xff0c;数…
阅读更多...
MySQL查询JSON字符串

MySQL查询JSON字符串

MySQL版本&#xff1a;8.0.27 表结构及数据 /*Navicat Premium Data TransferSource Server : LocalSource Server Type : MySQLSource Server Version : 80027 (8.0.27)Source Host : 127.0.0.1:3306Source Schema : mumangguoTarget Server T…
阅读更多...
如何用Python实现智能客服问答系统

如何用Python实现智能客服问答系统

随着人工智能技术的不断发展&#xff0c;机器人客服与聊天系统成为了热门话题。Python作为一种简单易学、功能强大的编程语言&#xff0c;在机器人客服与聊天系统的开发中具有广泛应用。 本文将介绍如何使用Python实现机器人客服与聊天系统&#xff0c;包括实现方式、代码示例和…
阅读更多...
可能内存溢出的高级排序算法-归并排序

可能内存溢出的高级排序算法-归并排序

归并排序 归并排序在经典递归实现中需要的额外空间相对较多。这是因为在归并排序的过程中&#xff0c;需要与原始数组大小相同的额外空间来存储临时合并的数组。所以&#xff0c;其空间复杂度为O(n)&#xff0c;其中n表示待排序数组的长度。在递归过程中&#xff0c;需要创建临…
阅读更多...
LeetCode 0039.组合总和：回溯 + 剪枝

LeetCode 0039.组合总和：回溯 + 剪枝

【LetMeFly】39.组合总和&#xff1a;回溯 剪枝 力扣题目链接&#xff1a;https://leetcode.cn/problems/combination-sum/ 给你一个 无重复元素 的整数数组 candidates 和一个目标整数 target &#xff0c;找出 candidates 中可以使数字和为目标数 target 的 所有 不同组合…
阅读更多...
[NSSCTF]prize_p5

[NSSCTF]prize_p5

前言 之前就学过反序列化的字符串逃逸 但是没怎么做题 补一下窟窿 题目 <?phperror_reporting(0);class catalogue{public $class;public $data;public function __construct(){$this->class "error";$this->data "hacker";}public functi…
阅读更多...
Ali-Sentinel-链路控制

Ali-Sentinel-链路控制

归档 GitHub: Ali-Sentinel-链路控制 链结构 参考&#xff1a;入口控制-处理链 具体实现 NodeSelectorSlot 给上下文设置统计节点 com.alibaba.csp.sentinel.slots.nodeselector.NodeSelectorSlot Spi(isSingleton false, order Constants.ORDER_NODE_SELECTOR_SLOT)…
阅读更多...
2023-2024年度广东省职业院校学生技能大赛“ 网络系统管理”赛项竞赛规程（正式稿）

2023-2024年度广东省职业院校学生技能大赛“ 网络系统管理”赛项竞赛规程（正式稿）

2023-2024年度广东省职业院校学生技能大赛“ 网络系统管理”赛项竞赛规程&#xff08;正式稿&#xff09; 信息安全管理与评估 网络系统管理 网络搭建与应用 云计算 软件测试 移动应用开发 任务书&#xff0c;赛题&#xff0c;解析等资料&#xff0c;知识点培训服务 添加博主wx…
阅读更多...
Python 中的下划线变量

Python 中的下划线变量

Python 中的下划线变量 _name: 这是一种约定俗成的方式&#xff0c;表示这是一个私有变量&#xff0c;意味着它应该在类的内部使用&#xff0c;而不应该直接从外部访问。但实际上&#xff0c;Python并没有严格的私有化机制&#xff0c;这只是一种约定&#xff0c;因为外部仍然可…
阅读更多...
Nginx高级配置与重写规则详解：从入门到实践

Nginx高级配置与重写规则详解：从入门到实践

摘要： 本文将深入探讨Nginx的高级配置与重写规则，通过实际案例讲解如何优化Nginx的配置，实现URL重写、负载均衡、缓存优化等功能。文章旨在帮助读者更好地理解和应用Nginx，提升网站性能和用户体验。 一、Nginx简介 Nginx是一款高性能的HTTP和反向代理服务器，也是IMAP/POP…
阅读更多...
代码随想录训练营day43

代码随想录训练营day43

第九章 动态规划 part05 1.LeetCode. 最后一块石头的重量 II 1.1题目链接&#xff1a;1049.最后一块石头的重量II 文章讲解&#xff1a;代码随想录 视频讲解&#xff1a;B站卡哥视频 1.2思路&#xff1a;本题其实就是尽量让石头分成重量相同的两堆&#xff0c;相撞之后剩下…
阅读更多...
【嵌入式DIY实例】-RFID门禁系统

【嵌入式DIY实例】-RFID门禁系统

DIY RFID门禁系统 文章目录 DIY RFID门禁系统1、RFID RC522介绍2、硬件准备与接线2、代码实现RFID（Radio Frequency Identification）简称为射频识别。 在本文中，将演示如何使用这项技术来实现门安全系统。 1、RFID RC522介绍 RFID rc522是一种基于射频的模块，其感应范围接…
阅读更多...
Java中的多线程编程与并发控制

Java中的多线程编程与并发控制

Java中的多线程编程与并发控制 一、引言 随着计算机硬件技术的不断发展&#xff0c;多核处理器已经成为现代计算机系统的标配。在这样的背景下&#xff0c;多线程编程与并发控制成为了Java开发中不可或缺的一部分。多线程编程能够充分利用多核处理器的并行计算能力&#xff0…
阅读更多...
嵌入式软件工程师要会画板子吗？

嵌入式软件工程师要会画板子吗？

答案：要 作为嵌入式软件工程师，本来就经常和硬件打交道。调试各种协议也要看波形，用示波器什么的。软件玩多了也会腻，可以玩玩硬件，自己从 0 做出一个东西的感觉是不一样的。职业生涯那么长，多尝试一些总是好的，一个软硬件都懂的人，才能更好的带项目。 博主玩过很多板…
阅读更多...
个人学习-前端相关（1）:ECMAScript 6-变量、模板字符串、解构表达式

个人学习-前端相关（1）:ECMAScript 6-变量、模板字符串、解构表达式

前言 由于最近公司有接到一些小程序或者app相关的内容&#xff0c;可能考虑要做一些样例供参考。虽然在20年短暂学习和使用过vue2&#xff0c;但由于时间久远且技术发展太快&#xff0c;需要对一些旧知识进行巩固&#xff0c;新的内容进行学习。 ECMAScript 6简介 ECMAScrip…
阅读更多...
设置Linux开发板开机自启动QT程序的报错解决办法

设置Linux开发板开机自启动QT程序的报错解决办法

设置Linux开发板开机自启动QT程序报错解决办法 设置开发板开机自启动QT 打开 /etc/init.d/rsC 文件&#xff0c;添加以下内容 cd / ./my_start_run.shmy_start_run.sh 是自己编写的自启动脚本&#xff0c;内容例如下&#xff1a;(也可以将这些直接写到 /etc/init.d/rsC 文件…
阅读更多...
C#算法之归并排序

C#算法之归并排序

算法释义&#xff1a;归并排序是一种分治算法&#xff0c;它采用分而治之的策略&#xff0c;将待排序的数组分成更小的部分&#xff0c;递归地对这些部分进行排序&#xff0c;然后将排序好的部分合并起来。它是一种比较稳定的排序算法。排序过程总结如下&#xff1a; 1、分解&a…
阅读更多...
最新文章

Copyright @ 2022~2023