【腾讯Bugly干货分享】Android Patch 方案与持续交付

本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57a31921ac3a1fb613dd40f3

Android 不仅系统版本众多,机型众多,而且各个市场都各有各的政策和审核速度,每次发布一个版本对于开发同学来讲都是一种漫长的煎熬。相比于 iOS 两三天就能达到 80% 的覆盖速度而言,Android 应用版本升级至少需要两周才能达到 80% 的升级率,严重阻碍了版本迭代速度。也导致市场上 App 版本分散,处理 bug 和投诉等也越来越麻烦。

  • 修复的 bug 需要等待下个版本发布窗口才能发布?
  • 已经 ready 的需求排队上线,需要等待其他 Feature Team 合入代码?
  • 老版本升级速度慢?频繁上线版本提醒用户升级,影响用户体验?

这几个问题是每个 App 开发同学都必然要面对的。那么有没有方法能在用户无感知的情况下加速 bug 处理和版本迭代速度?

在这方面 PC 端 Chrome 浏览器的 patch 升级方案给我们了一个很好的借鉴:当 Chrome 有版本升级的时候会自动下载 patch 文件。下次启动后,Chrome 就已经是新版本。

他山之石,可以攻玉

近一两年 Android 热补丁框架非常热门。从最初 360 动态下发 lua 脚本,到后来出现的各种方案,如雨后春笋般出现。早期的补丁框架偏向于以代码修复为主,主要分为两大类:native hook 方案和 Multidex 方案。

native hook 方案如阿里巴巴的 AndFix 和 Dexposed。Multidex 方案如 Qzone。切入点都是替换掉将要执行的代码。基于 Qzone 方案的思路,出现了 nuwa 这个比较完善的库,工具链比较完善。

类似 Chrome 的 patch 升级方案足以满足加速 bug 处理和版本迭代速度的需求,给了我们很大的借鉴意义。在安卓系统上,可以通过 hotfix 的思路来达到这一目的:下发补丁文件,更新 App 版本。

站在巨人的肩膀上

在今年 3 月份开始做技术选型的时候把上面的几种方案试了一轮。其中 AndFix 甚至跟上了现网的一个发布版本,但是由于影响正向开发过程(只能修改方法、不能修改 field、不能新增类等问题)、库本身难于维护(需要依赖外部开源力量进行维护)以及发现的莫名其妙的 bug(导致我们 App 下发 patch 后白屏),所以即使跟上了发布版本也没有使用。nuwa 仅支持更新 Java 代码,不能更新资源和 so 文件,满足不了我们的需求。

没有好用的轮子,我们决定自己造一个,于是有了现在的 patch 方案。

App 只是一个加载器

既然做安卓 patch 方案,最好的结果就是能支持更新 App 所有的代码和资源。但是

  • Application 类是 App 启动之初就被安卓系统加载起来,所以至少 Application 类和它启动依赖的其他业务类是不能被更新的?
  • 修复 bug 或者版本迭代过程中难免会遇到需要修改资源文件的情况。资源文件能更新吗?
  • native 实现的 so 文件如何更新?

针对上面三个问题, 我们的设计是把 App 仅仅当做一个加载器。系统启动 App 之后,加载器决定将要运行的代码和资源的位置。当有新功能或者 bugfix 需要推送给用户,替换加载器内容即可。

支持更新全部代码

上面提到 Application 由于启动就被加载而不能被更新的问题,我们代理了真实 Application 类的创建过程。通过代理 Application,控制 Application 从新 dex 文件中加载。假设真实的 Application 类是 MyApplication。我们在编译期间自动修改 AndroidManifest.xml 文件,把 MyApplication 替换为 MoaiApplication(是 App 的入口 Application)。App 启动后由 MoaiApplication 加载完相应的文件(dex/资源文件/so 文件)后,再将控制权交回给 MyApplication

代理生命周期

将控制权交回给 MyApplication,我们最初是代理 MyApplication 的生命周期。具体做法是,MoaiApplication 决定加载哪里的业务代码、资源文件以及 so 文件之后依然负责接收 App 的全部生命周期,然后把生命周期代理给 MyApplication,简单例子如下:

还有比较多生命周期函数上面代码就没一一列举。

从上面代码容易想到代理方案的缺点:必须要完整代理所有生命周期接口。否则 MyApplication 会由于生命周期不完整而出现奇怪的 bug。比如我们最初版本在测试过程中就出现了没有代理 registerActivityLifecycleCallbacks 函数而导致拿不到 Activity 生命周期 onActivityCreated/onActivityDestroyed 等回调。

反射 Application

踩到生命周期回调不完整的坑之后,我们开始考虑能不能把 App 运行期间 Application 的引用全部替换成 MyApplication ?这样就无需 MoaiApplication 把生命周期代理给 MyApplication,而是由 MyApplication 直接接收系统回调。安卓系统 ContextWrapper 的实现是包装了一层真正的 mBase 上下文,App 真正使用到的就是这个 mBase。通过反射 mBase 以及其中字段对 Application 的引用,『彻底』解决了需要手写代理 Application 全部生命周期的方法。

dex分包

Qzone 方案下发的 patch 文件是变更过的 Java 类组成的 patch.dex,在 dalvik 和 ART 虚拟机下分别需要解决 Class ref in pre-verified class resolved to unexpected implementation 和内存地址错乱问题。这些问题根源在于改变了类原本所属的 dex 文件。既然改变类所在的 dex 会导致各种各样的问题,那直接替换掉整个 dex 不就好了?在调研 JRebal for Android 和 Instant Run 的时候也发现了他们有类似的做法。

我们把 App 的 dex 分成两部分:

  • patch 库的 dex 文件 -> classes.dex
  • 其他业务代码的 dex 文件 -> classes[N].dex

其中 classes.dex 中仅包含了 patch 库的全部代码,并不包含任何其他业务代码。

假设 apk 中包含三个文件:classes.dex、classes2.dex、classes3.dex。classes.dex 充当的角色就是加载器,负责启动 App 并且加载后面的两个 dex。这样做的目的是,App 启动需要用到的所有类都集中在 classes.dex 中,所有业务代码的类都集中在 classes[N].dex 中。如果某次下发 patch 代码把 classes2.dex 变更为 classes2-1.dex,那么由加载器加载 classes2-1.dex 和 classes3.dex 即可实现更新包含 MyApplication 类在内的所有代码。

怎么加载更新后的代码?

如果 dex 文件有更新,加载器会选择加载更新后的文件。我们最初采用了 Google 官方的 Multidex 方案,扩展 DexPathListdexElements 字段。

Multidex 方案存在问题

Multidex 方案上线后发现某些机型(比如三星s6 5.0.2 ROM)并不能加载扩展进去的 dex 中的代码。debug 阶段却能顺利加载(debugger 拖慢代码执行速度)。目前的猜测是某些厂商在 5.x 以上版本改动 ROM 导致 App 启动逻辑有多线程并发执行。

最终我们弃用了 Multidex 方案,转而 Hack 系统 ClassLoader。

ClassLoader Hack 方案

所有线程使用的是同一个 ClassLoader 对象。所以一旦 Hack 了这个对象,所有线程都开始使用 Hack 过的对象,从而能够解决多线程导致加载不到扩展的 dex 文件中代码的问题。

安卓系统加载代码的 ClassLoaderPathClassLoaderBootClassLoader。我们最初设计的方案是在 PathClassLoaderBootClassLoader 之间插入一个 BaseDexClassLoader,让所有业务代码都在这个插入的 BaseDexClassLoader 中加载。但是这样的设计存在缺陷:业务代码的 ClassLoader 会变成 BaseDexClassLoader,如果业务代码依赖了 patch 库的代码(在 classes.dex 中),会出现 ClassNotFoundException

在这方面 Instant Run 的设计很精巧。它让 PathClassLoader 插入的父 loader (IncrementalClassLoader)包装了 DelegateClassLoader,并且把 DelegateClassLoader 的父 loader 设置为 PathClassLoader,使得类加载的路径变成:

DelegateClassLoader 加载业务代码的时候(业务代码在 classesN.dex 中),流程会沿着标记的顺序最终第 5 步成功加载到业务代码。业务代码如果依赖 patch 库的代码,会在 PathClassLoader 加载。这样所有代码都可以被加载到。

怎么更新资源?

单纯更新 Java 代码的 patch 框架,实用性会受到很大的局限。开发同学需要仔细验证提交内容,确保提交中不包含资源文件的变更以及 native so 的改动,会导致本就复杂的开发流程变得更加繁琐。所以我们在支持更新 Java 代码的基础之上,也支持更新资源和 native so 文件。

App 加载资源是依赖 Context#getResources 函数返回的 Resources 对象。Resources 内部包装了 AssetManager,最终由 AssetManager 从 apk 文件中加载资源。所以我们反射了替换系统默认的 Resources,让 AssetManager 从我们更新后的 apk 中加载资源。现阶段的实现支持比如 string/anim/drawable/color/layout 等资源文件的变更。由于 Android 系统在安装 apk 时候已经把 AndroidManifest.xml 文件解析并写入到系统中,目前还不支持修改四大组件,比如增加 Activity。后续会继续研究如何做到无缝修改四大组件。

怎么更新 so 文件?

在 Android 项目中使用 native 函数前需要先调用 System.loadLibrary(libName)

当 lib 文件需要更新或者有 bug 时候怎么办?首先想到的是在代码中把加载 so 文件的代码改成System.load(libFilePath),让系统加载自己指定的 libFilePath 文件。然而这样的改动需要

  • 在源代码中修改或者使用工具在编译期把 loadLibrary 接口改为 load
  • patch 库把 so 文件从 patch 文件中复制到特定目录

这样在运行期才有可能加载更新后的 so 文件。

通过分析系统加载 so 文件的方式后,我们使用了更简单的处理方法。查找 lib 文件是通过调用 PathClassLoaderfindLibrary,最终调用到 DexPathListfindLibraryDexPathList 会在自己维护的列表目录中查找对应的 lib 文件是否存在。所以我们在发现 patch 文件中有 so 文件变更的时候,会在 PathClassLoadernativeLibraryDirectories(Android6.0以下)或者nativeLibraryPathElements (Android 6.0及以上)的最前面插入自定义的lib文件目录。这样 ClassLoaderfindLibrary 的时候会先在自定义的 lib 目录中查找,优先加载变更过的 so 文件。

patch 包的生成与应用

回到我们最初的目标:patch 不应该影响正向开发流程。我们生成 patch 文件是针对 apk 进行的,开发同学无需关心此次发布是 patch 版本还是正常版本,只需要正常开发并且打包要发布的 apk 即可,不会对正向开发流程产生任何影响。

我们提供 python 脚本生成两个 apk 的:对比两个 apk 中的所有文件,找出有变更的文件进行 diff,把 diff 结果写入 patch 文件。线上用户下载 patch 文件到本地之后,启动一条新的进程使用 context.getApplicationInfo().sourceDir 路径的 apk 与 patch 文件合并,得到新的 apk(包含资源文件,不包含 dex 文件)以及 dex 文件、native so 文件,并在这条进程中提前做 dex 优化(dex2oat/dexopt)。针对 dex 优化过程太慢的问题(优化过程慢会导致进程可能会系统kill,降低 patch 成功率)我们并发了 dex 优化过程,使 patch 过程耗时相对减小。新 apk、dex文件、so 文件就可以在下次启动 App 的时候由加载器加载。

优势和不足

正所谓没有完美的架构,只有适合自己的架构。当前的开源方案并不能满足我们加速 bug处理和版本迭代速度的需求,于是有了站在巨人肩膀上的思考和我们现在的 patch 方案。我们目前的优势:

  • 全面支持 patch Java 代码、资源文件 和 native so 文件。版本只需要正常滚动,开发同学无需关心是发布 patch 版本还是正常版本
  • 使用相对简单(减少接入成本也是我们的最初思考点之一),只需要在 build.gradle 中加入三行代码即可,无需更多配置。

从我们团队发布的多个 patch 版本来看,下发的 diff 结果文件稍大。大文件下载过程可能出现的错误也会间接影响到 patch 铺开的速度,所以我们也在尝试更好的 diff 方案。Chrome 最初升级方案也是 bsdiff,而后慢慢演变出 Courgette 算法。

演进与思考

我们对于补丁框架的定义不仅仅是『修复bug』就足够,除此之外,如何快速接入,如何做到不影响现有流程,这对于很多应用来说至关重要。在此之上,搞清楚框架的定位,适当舍弃一些不重要方面的时候,快速迭代,在迭代中持续优化,事情往往比想象的更加简单。

持续交付一直都是快速迭代思想的一种践行方式,对于 App 开发而言,如果我们通过构造补丁框架这样一个渠道,可以通过自动化系统把补丁快速地把新功能推送给用户,那这个事情的意义就不仅仅是『修复 bug』这么简单。减少线上 crash 率和加速版本迭代、让新功能尽早与用户见面,从而可以在更短的时间内不断收集用户反馈信息对产品进行打磨。

目前我们已经在微信读书线上三个版本开始试行了用补丁代替版本发布或者加速老版本升级的做法,期待将来能通过这个渠道,为安卓开发同学们做到无感知的持续交付过程 。

更多精彩内容欢迎关注bugly的微信公众账号:

腾讯 Bugly是一款专为移动开发者打造的质量监控工具,帮助开发者快速,便捷的定位线上应用崩溃的情况以及解决方案。智能合并功能帮助开发同学把每天上报的数千条 Crash 根据根因合并分类,每日日报会列出影响用户数最多的崩溃,精准定位功能帮助开发同学定位到出问题的代码行,实时上报可以在发布后快速的了解应用的质量情况,适配最新的 iOS, Android 官方操作系统,鹅厂的工程师都在使用,快来加入我们吧!

转载于:https://www.cnblogs.com/bugly/p/5740807.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/372547.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

App Engine中的Google Services身份验证,第1部分

这篇文章将说明如何构建一个简单的Google App Engine(GAE)Java应用程序,该应用程序可针对Google进行身份验证,并利用Google的OAuth授权访问Google的API服务(例如Google Docs)。 此外,在Google已…

山东自考c语言程序设计停考了吗,2018山东自考停考专业有哪些

自考每年都会停考一批的专业以适应社会的发展,今年山东自考的停考专业有哪些?本文由学梯网小编整理发布,仅供参考。2018年山东自考停考专业有什么根据山东省教育考试院发布的《关于山东自学考试停考国际贸易(专科)等19个专业的通知》知悉&…

公开调用私有Java方法?

我们是Java开发人员,在Java中已知4种访问修饰符:私有,受保护,公共和包。 好吧,除了私有外,最后三个可以通过继承,相同的包或实例从类外部调用。 现在,常见的问题是,可以公…

C语言字符像素,返回字符串宽度 (以像素为单位)

[c]代码库#include #include #include #include int main(void){/* request auto detection */int gdriver DETECT, gmode, errorcode;int x 0, y 0;int i;char msg[80];/* initialize graphics and local variables */initgraph(&gdriver, &gmode, "");/…

Spring动态物业管理

静态和动态属性对于运营管理以及在生产级别更改系统行为都非常重要。 特别地,动态参数减少了服务中断。 本文展示了如何使用Quartz在Spring Applications中管理动态属性。 有关使用 Spring和Quartz集成提供“ 使用Spring和Quartz的多作业计划服务”的文章。 让我们看…

ADF任务流:页面片段的托管bean范围

介绍 当我们使用ADF任务流并需要实现一些特定于流的业务逻辑或存储一些与该流相关的信息时,我们通常使用pageFlowScope托管bean。 而且,当我们需要为流的活动(页面或页面片段)提供服务时,我们将较短的作用域用于此类托…

数据库事物操作

事务 什么是事务?转账:1. 给wc账户减1000元2. 给wcxf账户加1000元 当给wc账户减1000元后,抛出了异常!这会怎么样呢?我相信从此之后,wc再也不敢转账了。 使用事务就可以处理这一问题:把多个对数据库的操作绑…

android+4.4+稳定性,新系统新UI!台电A10h四核安卓4.4.2性能测试

国内著名商标,数码用户首选品牌的台电科技在12月20日全国首发了安卓4.4.2系统,并且运行台电全新tUI同时,支持从安卓4.2系统OTA一键升级至安卓4.4.2系统!作为国内首款升级到目前全球最新的Android4.4.2系统之后,整体性能…

网络知识点小结

VMware虚拟机三种联网方法及原理一、Brigde——桥接:默认使用VMnet0 1、原理: Bridge 桥"就是一个主机,这个机器拥有两块网卡,分别处于两个局域网中,同时在"桥"上,运行着程序,让…

在JUnit中超越核心Hamcrest

在通过JUnit和Hamcrest改进对assertEquals的文章中,我介绍了将Hamcrest与JUnit一起使用 。 然后,我查看了JUnit的内置Hamcrest Core Matcher支持 。 在本文中,我将介绍如何将Hamcrest的非核心匹配器与JUnit一起应用。 这些非核心匹配器默认情…

4pics1word android,4 Pics 1 Word

4 Pics 1 Word是一款非常有意思的看图猜词游戏,这款游戏中会给我们四张图片,玩家需要通过图片给出的信息来猜出是哪个词,看西西的介绍你可能以为这是一款千篇一律的看图猜词游戏,不过这里猜的不是中文而是英语单词。4 Pics 1 Word…

JAVA学习绘图颜色及其笔画属性设置字体显示文字

package com.graphics;import java.awt.*; import java.awt.geom.Rectangle2D; import java.util.Date;import javax.swing.*;/*** * author biexiansheng**/ public class DrawString extends JFrame{private Shape rect;//矩形对象private Font font;//字体对象private Date …

android原生系统开发板,安卓学习必备开发板-Rayeager PX2

由谷歌主导并推动的移动终端操作系统Android,由于其开源开放的特性,自发布之日起便受到全球各大IT厂商的欢迎。在各厂商的热情推动下,基于Android系统的手机、平板、智能手表等各类产品层出不穷,迅速普及到人们的日常生活&#xf…

热点中的即时编译器(JIT)

即时编译器(JIT)的概念以及更广泛的自适应优化是除Java(.Net,Lua,JRuby)之外的许多语言中众所周知的概念。 为了解释什么是JIT编译器,我想先定义一个编译器概念。 根据维基百科,编译…

jq查找字段忽略html标签,jQuery过滤HTML标签并高亮显示关键字的方法

本文实例讲述了jQuery过滤HTML标签并高亮显示关键字的方法。分享给大家供大家参考。具体如下:jQuery实现网页关键字过滤效果,将需要过滤的文字定义在JavaScript中,可定义多个,不过要修改JS代码为数组,这样可过滤出多个…

java.lang.NoClassDefFoundError:如何解决–第1部分

线程“ main”中的异常java.lang.NoClassDefFoundError是开发Java EE企业版或独立Java应用程序时可能会遇到的常见难题之一。 根本原因分析和解决过程的复杂性主要取决于Java EE中间件环境的大小。 特别是考虑到各种Java EE应用程序中存在大量的ClassLoader。 我向您建议的一系…

android 日期国际化,Flutter 日期时间选择类控件及国际化

注意:无特殊说明,Flutter版本及Dart版本如下:Flutter版本: 1.12.13hotfix.5Dart版本: 2.7.0DatePickerFlutter并没有DatePicker这个控件,需要使用showDatePicker方法弹出日期选择控件,基本用法如…

权威发布 鸿蒙涅槃,鸿蒙涅槃 曾圣《鸿蒙》雕塑走进河北美院受追捧

原标题:鸿蒙涅槃 曾圣《鸿蒙》雕塑走进河北美院受追捧2019年10月20日上午10时曾圣《鸿蒙》雕塑作品展——暨河北美院首场新闻媒体发布会在河北美术学院雕塑院举办。河北美术学院校长甄忠义、河北美术学院党委书记高国忠、常务副校长张建敏、党委副书记甄心恒、副校长…

Rube GoldbergSpring整合

Spring Integration为集成系统所涉及的某些复杂性提供了非常好的抽象-Spring Integration从Integration的角度来看非常适合Facade的定义-简化了对复杂底层系统的访问。 为了说明这一点,请考虑一个简单的系统,该系统仅接收一条消息,然后将其发…

java ajax html复选框,HTMLjavaSkcriptCSSjQueryajax(九)(示例代码)

一、HTML1、单选按钮 Male Female2、复选框 I have a Car3、下拉列表 VoloFita如果设置某项选定直接 fem4、设置文本域 创建按钮 5、Runnob.com因为a 标签的target属性名是inframe_a的iframe框架,点击链接后页面会在iframe 中出现。6、脚本 JavaScript …