Android 14 - 绘制体系 - 概览

从Android 12开始,Android绘制系统有结构性变化, 在绘制的生产消费者模式中,新增BLASTBufferQueue,客户端进程自行进行queue的生产和消费,随后通过Transation提交到SurfaceFlinger,如此可以使得各进程将缓存提交到SufrfaceFlinger后合并到同一事务后同步提交,在同一帧生效。实际上,从Android12到Android14整个绘制系统各个环节也都或大或小调整,比如Android13发布了1.3版本的Vulkan, Android14新增了TextureView,等等。本文基于Android14

Android 绘制系统整体架构:

从上到下可以理解为“生产者(Producer)”到“消费者(Consumer)”处理过程

首先WindowManagerService角度每个窗口称为Window一个Window一般一个APP页面或者Status Bar或者Navigation Bar或者WallPaper这些一个个Window。WindowManagerService(WMS)作为服务端对所有客户端窗口添加、层级、布局等进行统一管理WMS每个Window对应一个SurfaceSurface可以理解图像数据缓存持有者以及Canvas持有者Canvas画布提供绘制各种图形能力供开发使用。一个客户端窗口在建立之初,会先向WMS去申请一个SurfaceWMS创建Surface之后,通过binder返回客户端客户端Surface后,会去创建一个BLASTBufferQueue管理图像内存申请每次要使用Surface的Canvas进行绘制前,需要BLASTBufferQueue申请一块内存(dequeue),我们这里称为Buffer,然后生成图像数据写入Buffer。这个向BLASTBufferQueue申请Buffer并写入图像数据的过程,可以认为是“生产”阶段。随后,enqueue这个buffer,将其提交SurfaceFlinger去合成。这个阶段可以理解图像Buffer的“消费”阶段

SurfaceFlinger(SF负责Hardware沟通维护着设备挂载、VSync信号收发、Layer合成工作。WMS每个SurfaceSurfaceFlinger对应生成一个Layer对象客户端将某个Surface上的Buffer提交SurfaceFlinger,实际上就是更新对应LayerBuffer数据SurfaceFlinger调用HWComposer将这些Layer进行合成显示屏幕

AndroidHAL提供称为一个Hardware Composer组件用于隔离具体硬件的交互。Hardware Composer简称HWComposerHWC2(之所以2早期已有一个HWC版本支持软件合成)。SurfaceFlingerLayer数据交给HWComposer,各厂商来负责HWComposer合成接口具体实现合成完毕数据提交屏幕设备缓存(一般称为Frame Buffer)屏幕显示画面

上面过程可以拆解为几部分

  1. Surface创建与管理
  2. 客户端(EndPoint)绘制(Draw)渲染(Render)图像
  3. 第三部分是硬件Composition(合成)工作
  4. Vsync:由硬件产生信号用于同步framebuffer生产消费SurfaceFlingerVsync进行使用管理向上分发APPVsync是不断绘制驱动力,也是图像缓存有序投送到屏幕的重要机制。

现在分别讨论下四部分

  1. Surface的创建与管理

Surface创建过程中有几个角色贯穿其中

PhoneWindow一个Activity对应一个PhoneWindow代表一个应用窗口AMS创建Activity之初PhoneWindow服务端对应window对象(ActivityRecord)已经添加WMS

ViewRootImpl:其主要作用服务端通信承接外部触发绘制调用从而从上往下整个View树进行绘制可以把ViewRootImp理解为View的调度者ViewRootImp逻辑上View Hierarchy最顶层并不是一个真正View持有一个View--DecorViewDecorView才是真正ViewView最上层,包含着Activity的画面内容。在Activity的resume阶段,ViewRootImplrelayout方法会将DecorView添加到WMS中,这样Activity的内容就显示了出来。逻辑上,我们可以把DecorView也理解为一个Window。Activity对应一个PhoneWindow,通过ViewRootImplDecorView在WMS端添加PhoneWindowWindow。

WMS的Session客户端一个进程对应WMS一个Session客户端持有Sessionbinder客户端窗口添加事务客户端都是通过这个SessionWMS通信

WindowContainerWMS管理系统整体Window体系包括位置层级关系通过WindowContainer这个表达一个WindowDisplayContent代表一个屏幕级别WindowDisplayArea代表一块屏幕一块区域比如平板等大屏幕设备可能一块屏幕上同时显示多个应用区域此时就用DisplayArea表达WindowToken简单理解为对应一个客户端Window比如一个应用Activity,这里需要注意的是,Activity的WindowToken是作为ActivityRecord存在的,也就是说ActivityRecord是WindowToken的子类。而Activity具体内容承载者,DecorView对应WindowState上面所有DisplayContentDisplayAreaWindowTokenWindowState都是WindowContainer子类,这些Window在WMS内是以window树的形式组织起来的。事实上DisplayContent下面还有一个层级称为Feature具体层级结构Android12 - WMS之WindowContainer树(DisplayArea)_android windowcontainer-CSDN博客客户端通过Session接口调用添加DecorViewWMS生成一个对应WindowState对象将其作为Activity对应ActivityRecord(也就是WindowToken)window

SurfaceControl:在WMS端,每个WindowContainer对应一个SurfaceControlSurfaceControlWMS端管理Surface具体对象,在WMS端,可以理解一个SurfaceControl就代表一个Surface。SurfaceControl在SurfaceFlinge端对应一个Layer,持有一个layer的句柄handle。所有绘制动作最后提交SurfaceFinger作为Layer去合成。SurfaceControl作用或者Surface作用主要客户端窗口SurfaceFlingerLayer关联起来客户端Add一个DecorView WMS对应创建WindowState同时创建一个SurfaceControl、Layer随后SurfaceControl返回客户端客户端拿到SurfaceControl之后转换成Surface后续绘制就在这个Surface进行

SurfaceComposerClient是一个Binder主要作用是SurfaceControl调用SurfaceFlinger过程中,作为一个通道角色由于SurfaceControlWMS客户端持有所以客户端WMS都可以通过这个通道调用SF比如Layer创建、Graphihc Buffer提交

1. 客户端绘制和渲染

客户端通过Surface中提供的Canvas进行绘制Canvas基于Skia的SKCanvas。Skia(https://skia.org/)是Google管理的开源2D(也可以支持3D)图像库,目前AndroidGoogle ChromeChromeOS、Mozilla FireFoxFireFoxOS使用Skia作为绘制引擎。Skia可以集成OPEN GL和Vulkan进行3D绘制Android Q以后Skia作用加强即使硬件加速场景中绘制也会封装成Skia的GrOpList再提交给GPU。Android 14 Skia目录external/skia

渲染的过程是将画好的图像,进行栅格化(Rasterizer),变成一个个像素,这是一个非常耗时的过程。Android 3以前支持软件渲染Software Render过程如下:

APPViewonDraw阶段使用Canvas绘制通过Skia进行软件栅格化,通过CPU计算,将绘制内容转化成一个个像素信息,随后投送给屏幕进行显示。由于软件渲染效率低,当下软件渲染只是作为兼容方案得以保留,默认使用硬件加速。

硬件加速的流程简单表述如下:

Android硬件加速相关能力封装hwui组件hwui地址platform/frameworks/base/libs/hwui

硬件加速模式下APPonDraw通过Canvas绘制内容最终封装DisplayList一个个GrOp绘制命令然后通过OpenGL或者Vulkan交由GPU进行渲染随后结果投送屏幕显示具体使用OpenGL还是Vulkan可选择早期Android使用OpenGL由于Vulkan支持多线程渲染性能方面优势Android逐渐倾向使用Vulkan进行渲染另外,在哪些维度上进行硬件加速也是可选

整体使用硬件加速情况如果某个View绘制暂时不支持硬件加速,或者在某些位移动画上为了减少渲染成本,可以动过设置ViewlayerType = LAYER_TYPE_SOFTWARE单纯某个特定View使用Software Render。

硬件加速除了利用GPU加速渲染效率 本身计算渲染范围相较软件渲染更加高效软件渲染每次更新一个View局部将使得整个View hierarchy重新渲染硬件加速标注变化部分,所谓damage area,将绘制指令保存DisplayList中,如此大大提高渲染速度

OpenGL ES VS Vulkan

以下OpenGL ESVulkanAndroid发布版本历史

Vulkan作为一个面向更低级别规范、跨平台的API,可以提供更细粒度的内存管理和资源管理

以下VulkanOpenGL ES使用率(from GDC 2023 https://www.youtube.com/watch?v=C7OjI7CpjLw&t=1188s):

对于未来计划OpenGL ES将不会再有功能更新功能只会Vulkan支持因此Vulkan未来Android主推渲染引擎

无论OpenGL还是Vulkan都需要GPU的支持例如常见的车载高端芯片高通8155明确标明支持: OpenGL ES 3.xVulkanhttps://www.qualcomm.com/content/dam/qcomm-martech/dm-assets/documents/qul7413_sa8155_productbrief_r4.pdf

2. HW Composer(HWC2)图像合成

前面提到过,每个window对应一个SF中的Layer合成(Composition)工作就是这些Layer进程合并一个完整屏幕内容提交给硬件屏幕显示出来大概过程如下

页面LayerStatusBarNavigationBar中间APP内容页面,其中可能会有重叠的部分,称为Overlay。Composition工作就是将这三个Layer合并一个画面,计算重叠部分的颜色,提交屏幕显示出来

合成工作发生在渲染后的内容提交给SurfaceFlinger之后。大致流程如下

合成硬件合成的部分软件合成部分。硬件合成除了更高效的同时,可以合成工作GPU解放出来,提高GPU效率,节省能耗。嵌入式设备的SOC中,硬件合成一般独立DPU(Display Processing)完成

比如高通SA8155这款SOC布局如下

其中GPU部分负责渲染,“Dispay Processing”的部分用来处理合成工作

由于硬件合成Layer数量是限制例如高通QCS2290支持4个Layer、AMD有的芯片支持7)以及Layer的PixelFormat(比如支持PIXEL_FORMAT_RGBA_8888不支持YUV)是限制的,因此硬件合成之前如果合成Layer过多或者Format不满足需要使用GPU先进行一轮软件合成合并或转换一些Layer格式

软件合成过程。(Google I/O '18)

4. VSYNC

VSync简介:

首先关注两个重要概念

refresh rate - 60Hz 代表每秒钟屏幕可以更新多少次这一值早期是固定依赖于硬件现代旗舰设备屏幕支持多个刷新率60Hz~165Hz不等而且是可以App定制刷新率

frame rate秒钟GPU可以绘制多少越大越好

VSync一个通用概念LinuxPC移动设备实现

想象一下绘制过程是这样的:GPU绘制数据,将绘制结果投掷给屏幕显示出来

问题是refresh rateFrame Rate并不保证一致频率,也就是是说GPU渲染的时间并不能保证就正好是16ms(60Hz)内完成的。如果只有一块内存(Frame Buffer)用来交换数据,假如Refresh Rate大于Frame Rate由于GPU从上到下写这块内存的在当屏幕来取数据的时候,GPU刚刚在旧基础上一半此时就会出现图片撕裂问题

解决方法是双缓存方案

提供Back Buffer和Frame Buffer两个缓存,屏幕始终Frame Buffer数据显示GPU往Back BufferGPU完全数据写好Back Buffer整个拷贝Frame Buffer这样就能保证屏幕每次完整

此时仍有一个问题如果GPU的Frame Rate大于屏幕Refresh Rate那么屏幕下一可能GPU写完好几就会出现丢帧现象此时就需要VSync

屏幕根据自己的刷新频率,去给上层发送一个VSync信号GPU拿到这个VSync信号绘制这样就能同步屏幕上层绘制节奏

如果屏幕Refresh Rate大于GPUFrame Rate怎么

屏幕将会仍然显示旧帧。比如中间方框两次刷新屏幕仍然显示前一次内容

Android的VSYNC

实际上Android的VSync要复杂得多,主要由SurfaceFlinger负责实现。通过之前的介绍我们知道一帧的绘制过程有APP绘制渲染SurfaceFlinger合成Display硬件读取帧缓存显示图片三个阶段,如果每一个阶段都依赖VSync信号来执行,那可能会出现这种情况:

也就是VSync1时候APP正在绘制渲染SF还没有可以合成东西所以什么不做等到VSync2时候Render1工作已经完成可以合成VSync3时候合成做完了才可以显示屏幕上绘制渲染显示经历3VSync面对这种情况AndroidVSync设计如下

有三种信号

HW_VSYNC_[ID]底层硬件按Refresh Rate的频率发出,一般为60Hz、90Hz、120H等等,随后会通过HWC通知SurfaceFlinger

VSYNC-app:SurfaceFlinger通知给上层应用VSYNC用于控制和驱动应用绘制渲染

VSYNC-sf:通知给SurfaceFlinger自身的,用于合成Layer信号

VSYNC-appVSYNC-sfHW_VSYNC_[ID]并不是同步发送而是有一定延迟,称为相位差HW_VSYNC_[ID]VSYNC-app发出时间差称为app phaseHW_VSYNC_[ID]VSYNC-sf发出时间差称为sf phase这种设计好处是如果同一个VSync周期内,经sf phase后在执行合成时恰好前一步Render完成就可一个周期完成不用非得下一个VSync

另外Android并非直接硬件HW_VSYNC_[ID]信号直接分发应用SurfaceFlinger而是通过先收集HW_VSYNC_[ID]样本,再根据屏幕Refresh Rate、预先配置的相位差等信息,经过计算模拟出来VSYNC-appVSYNC-sf

由于只需要一定的硬件VSync样本便可以模拟出预期VSYNC-appVSYNC-sf因此并不需要一直HW_VSYNC_[ID]信号收到足够样本(在Android 14中为6个)就可以关闭硬件VSync每次合成数据提交屏幕返回一个硬件VSync时间戳(PresentFence),此时SF对比当前模拟VSync硬件VSync是否误差过大如果过大重新打开硬件VSync收集样本重新计算另外每次终端应用主动请求VSync判断前后两次模拟VSync时间差是否超过750ms如果重新请求打开硬件VSyncsystrace硬件VSyncTAGHW_VSYNC_ON_[ID]

参考资料https://source.android.com/docs/core/graphics/implement-vsync

可变刷新率

现代旗舰机屏幕刷新率可变,比如Pixel 5:

可以看到屏幕是支持60Hz90Hz两种刷新率

而且应用层可以在应用级别、窗口级别指定具体刷新率经过应用指定最终刷新率并不一定指定而是经过SurfaceFlinger综合计算得出具体见https://developer.android.com/media/optimize/performance/frame-rate

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/842659.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年上半年系统架构设计师——案例第四题——智能汽车相关

写在前面 趁着还记得请,留个纪念。MongoDB的概念完全没记,综合下来只好选这个了。 这题基本上是有自动驾驶背景知识的人的福音,也是第一次考的和现代热点前沿技术相关的内容,而不是考些老嵌入式架构的(上一次看到的还…

sqpserver——利用scott库练习内连接(一)

一.查找每个员工的姓名&#xff0c;部门编号&#xff0c;薪水和薪水等级 select emp.ename, emp.deptno, emp.sal, SALGRADE.GRADE from emp join SALGRADE on emp.sal>LOSAL and emp.sal<HISAL; 二.查找每个部门的编号&#xf…

APM2.8用USB在线下载固件

1.把APM飞控用安卓手机的USB线插入电脑。 选择COM口&#xff0c;不要选择auto&#xff0c;如果你没有COM口说明你驱动安装有问题。 波特率115200。点击相应的图标就可以下载固件到飞控板。 请注意&#xff1a;烧录APM必须选择INSTALL FIRMWARE LEAGACY,第一个是用于刷pixhawk的…

QT C++ 模型视图结构 QTableView 简单例子

在Qt中&#xff0c;MVC模式被广泛使用于各种用户界面框架中&#xff0c;包括Qt的模型视图结构。Qt的模型视图结构是基于MVC模式设计的&#xff0c;其中包括了Model、View和Delegate三个部分。 QTableView是Qt模型视图结构中的一种视图&#xff0c;它用于以表格形式显示数据。 …

【No More Room in Hell】地狱已满服务器一键开服多人联机教程

1、购买后登录服务器 进入控制面板后会出现正在安装的界面&#xff0c;安装大约5分钟&#xff08;如长时间处于安装中请联系我们的客服人员&#xff09; 2、连接游戏 2.1、安装完成后复制开机下方的IP地址 2.2、打开Steam点击左上角的查看➡服务器 点击收藏➡右下角号 粘贴地址…

解决npm卡死,无法安装依赖

npm卡死&#xff0c;无法安装依赖 异常描述原因分析与解决方法 异常描述 1.无法进入命令行&#xff0c;或是很慢没反应 2.装表格无限滚动的el-table-infinite-scroll依赖一上午了&#xff0c;也不能装&#xff0c;报错提示 原因分析与解决方法 1.命令行的问题&#xff1a;缓…

RabbitMQ 之 死信队列

目录 ​编辑一、死信的概念 二、死信的来源 三、死信实战 1、代码架构图 2、消息 TTL 过期 &#xff08;1&#xff09;消费者 &#xff08;2&#xff09;生产者 &#xff08;3&#xff09;结果展示​编辑 3、队列达到最大长度 &#xff08;1&#xff09;消费者 &…

3DF Zephyr v7 解锁版安装教程 (照片转三维模型软件)

前言 3DF Zephyr是一款照片转三维模型软件&#xff0c;可以导出许多常见的3D格式&#xff0c;甚至无需外部工具即可生成无损视频。此外&#xff0c;可以生成真正的正射影像&#xff0c;数字高程模型&#xff08;DTM&#xff09;&#xff0c;甚至可以计算面积&#xff0c;体积&…

软件技术架构全面详解

软件架构全面详解 软件架构 这个与建筑设计架构类似,建筑设计架构师负责设计建筑物的整体结构、布局和功能分配。 而软件架构师,负责设计软件系统的整体组织结构、模块划分、和功能分配。 两者都需要考虑到业务功能、性能、可扩展性、安全性、以及用户体验等方面。 软件架…

【深度学习】ultralytics, yolo seg,实例分割图绘制,核对yolo seg 的txt标记对不对

这段代码的作用是从指定路径读取图像和标签文件&#xff0c;然后在图像上绘制分割区域和相关点&#xff0c;并保存最终的图像。以下是每个函数的具体作用及其解释&#xff1a; read_labels(label_path): 读取指定路径的标签文件。标签文件的每一行表示一个物体的分割信息&#…

硬盘的分区

目录 概念 硬盘的分区 实操 创建分区 fdisk&#xff08;<2T&#xff09; 创建文件系统 挂载 自动挂载&#xff08;永久挂载&#xff09; gpt区分 swap 交换分区 如何删除已挂载的分区 概念 硬盘&#xff1a;计算机的存储设备。&#xff08;如无特殊说明&#xff0…

sklearn线性回归--岭回归

sklearn线性回归--岭回归 岭回归也是一种用于回归的线性模型&#xff0c;因此它的预测公式与普通最小二乘法相同。但在岭回归中&#xff0c;对系数&#xff08;w&#xff09;的选择不仅要在训练数据上得到好的预测结果&#xff0c;而且还要拟合附加约束&#xff0c;使系数尽量小…

基于springboot+vue的班级综合测评管理系统

开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;…

git中忽略文件的配置

git中忽略文件的配置 一、在项目根目录下创建.gitignore文件二、配置规则如果在配置之前已经提交过文件了&#xff0c;要删除提交过的&#xff0c;如何修改&#xff0c;参考下面的 一、在项目根目录下创建.gitignore文件 .DS_Store node_modules/ /dist# local env files .env…

找一个区间内两个数最大公约数的最大值(24年gdcpc省赛G题)

题目大意就是t组数据,每组一个左右边界l,r,问区间内的两个是xi,yi是区间内max(gcd(xi,yi)),数据范围是1e12. 答案就是找到第一个a*x<b*x(a<b),他们两在l到r之间且x最大,那么x就是答案,可以知道,要使两个数在区间内,那么他们之间的差值要小于min(R-L,[R/2]),[]表示向下取…

【安装】VMware虚拟机安装windows操作系统,VM的相关操作

目录 引出报错&#xff1a;press any key to boot form cd激活调整显示 在VMware上新建虚拟机&#xff0c;并安装Windows1、新建虚拟机2、装载 ISO 镜像3、安装Windows server 20164、开机初始化 虚拟机操作1、虚拟机基本操作2、虚拟机快照3、虚拟机克隆4、VMware Tools 总结 引…

消费增值:国家支持的消费新零售模型

在当下的消费时代&#xff0c;一个全新的概念——消费增值&#xff0c;正逐渐走进大众视野。它不仅仅是一种消费模式&#xff0c;更是一种全新的财富增长途径。那么&#xff0c;消费增值究竟是什么&#xff1f; 首先&#xff0c;消费增值的本质在于将消费行为与投资行为相结合…

无人机技术:倾转旋翼飞行器的关键技术详解

一、总体设计 倾转旋翼飞行器作为一种独特的垂直起降与水平巡航的航空器&#xff0c;其总体设计是关键技术之一。总体设计涵盖了飞行器的整体布局、重量分配、气动性能、机械结构设计等多个方面。在总体设计中&#xff0c;需要充分考虑飞行器的垂直起降、悬停、过渡飞行和水平…

二分例题(D.负重越野,I.路径规划)

这两天的训练赛都有一道二分的题&#xff0c;但是都没往二分上面想&#xff0c;同样不知道怎么二分。 D. Fast and Fat 思路 二分的关键也就是check函数怎么写了&#xff0c;求队伍最大速度&#xff0c;可以分为速度>mid和<mid两部分&#xff0c;再判断&#xff0c;能不…

流量分析入门

什么是流量分析 通过捕捉网络中流动的数据包&#xff0c;查看里面的数据和协议&#xff0c;流量分析和各种数据的统计来发现网络运行中的问题&#xff0c;在ctf中一般是一个包含流量数据的 PCAP 文件。 [陇剑杯 2021]签到 1.题目问我们正在进行的事什么协议的攻击 2.打开wire…