主要内容
稳定性测试是什么
Monkey 介绍
自动化 Monkey
稳定性测试是什么
通过随机点击屏幕一段时间,看看 app 会不会奔溃,能不能维持正常运行。
Monkey 介绍
Monkey 是一个命令行工具,它可以运行在我们的模拟器或者设备当中。它可以发送一些伪随机(pseudo-random)的用户事件流,例如点击,触摸,手势等。我们能够使用 Monkey 工具来对我们所开发的应用进行压力测试。Monkey 测试是一种为了测试软件的稳定性,健壮性的快速有效的方法。
Monkey 常用命令
基本语法如下:
adb shell monkey [options]
如果什么参数都不给,monkey 将以无反馈模式进行启动,并把事件任意发送到安装在目标环境下中的全部包。
下面是一个更为典型的命令行示例,它启动指定的应用程序,并向其发送 500 个伪随机事件:
adb shell monkey -p your.package.name -v 500
根据 Monkey 官网的介绍:https://developer.android.com/studio/test/monkey 可以添加对应的执行参数。
Monkey 的参数都是根据具体需求设定的,主要分为常规类,事件类,约束类和调试类。下面就对这些命令进行说明:
类别
参数
说明
常规类
--help
显示 moneky 参数帮助信息 usage
-v
打印日志信息,每个-v 将增加反馈信息的级别。-v 越多日志信息就会越详细,不过目前最多支持三个-v。Level0:一个-v,除启动提示、测试完成和最终结果之外,提供较少信息。Level1:两个-v,提供较为详细的测试信息,如逐个发送到 Activity 的事件。Level2:三个-v,提供更加详细的设置信息,如测试中被选中的或未被选中的 Activity。
事件类
-s
伪随机数生成器的 seed 值。如果用相同的 seed 值再次运行 Monkey,它将生成相同的事件序列。
--throttle
后面接时间,单位为毫秒,表示事件之间的固定延时(即执行每一个指令的间隔时间),若不接这个选项,monkey 则不会延时
--pct-touch
后面接触摸事件的百分比。(触摸事件是一个 down-up 事件,它发生在屏幕上的某单一位置)
--pct-motion
后面接动作事件的百分比。(动作事件由屏幕上某处的一个 down 事件、一系列的伪随机事件和一个 up 事件组成)。
--pct-trackball
后面接轨迹事件的百分比 (轨迹事件由一个或几个随机的移动组成,有时还伴随有点击)。
--pct-nav
后面接 “基本” 导航事件百分比 (导航事件主要来自方向输入设备的上,下,左,右事件)
--pct-majornav
后面接 “主要” 导航事件的百分比 (这些导航事件通常引发图形界面中的动作,如:5-way 键盘的中间按键、回退按键、菜单按键)
--pct-syskeys
后面接 “系统” 按键事件的百分比 (这些按键通常被保留,由系统使用,如 Home、Back、StartCall、End Call 及音量控制键)。
--pct-appswitch
后面接启动 Activity 的百分比。在随机间隔里,Monkey 将执行一个 startActivity() 调用,作为最大程度覆盖包中全部 Activity 的一种方法。
--pct-anyevent
调整其它类型事件的百分比。它包罗了所有其它类型的事件,如:按键、其它不常用的设备按钮、等等。
约束类
-p
如果用此参数指定了一个或几个包,Monkey 将只允许系统启动这些包里的 Activity。如果你的应用程序还需要访问其它包里的 Activity(如选择取一个联系人),那些包也需要在此同时指定。如果不指定任何包,Monkey 将允许系统启动全部包里的 Activity。要指定多个包,需要使用多个-p 选项,每个-p 选项只能用于一个包。
-c
如果用此参数指定了一个或几个类别,Monkey 将只允许系统启动被这些类别中的某个类别列出的 Activity。如果不指定任何类别,Monkey 将选择下列类别中列出的 Activity:Intent.CATEGORY_LAUNCHER 或 Intent.CATEGORY_MONKEY。要指定多个类别,需要使用多个-c 选项,每个-c 选项只能用于一个类别。
调试类
--dbg-no-events
设置此选项,Monkey 将执行初始启动,进入到一个测试 Activity,然后不会再进一步生成事件。为了得到最佳结果,把它与-v、一个或几个包约束、以及一个保持 Monkey 运行 30 秒或更长时间的非零值联合起来,从而提供一个环境,可以监视应用程序所调用的包之间的转换。
--hprof
设置此选项,将在 Monkey 事件序列之前和之后立即生成 profiling 报告。这将会在 data/misc 中生成大文件 (~5Mb),所以要小心使用它。
--ignore-crashes
通常,当应用程序崩溃或发生任何失控异常时,Monkey 将停止运行。如果设置此选项,Monkey 将继续向系统发送事件,直到计数完成。
--ignore-timeouts
通常,当应用程序发生任何超时错误 (如 “ApplicationNot Responding” 对话框) 时,Monkey 将停止运行。如果设置此选项,Monkey 将继续向系统发送事件,直到计数完成。
一条常用的 Monkey 命令
adb shell monkey -v -v -v -p [PackageName] --ignore-crashes --ignore-timeouts --ignore-security-exceptions --monitor-native-crashes --ignore-native-crashes --throttle 1000 100000 > monkey.txt
Monkey 的特点
综合上面的描述,使用 Monkey 如下特点:
1.Monky 测试使用的事件流数据流是随机的,不能进行自定义。
2.可对 MonkeyTest 的对象,事件数量,类型,频率等进行设置。
通过自然语言开发 Monkey 自动化脚本
因为命令行运行每次需要修改不同的参数,这样操作不是很灵活,我们可以写段代码来驱动。为了让脚本的可读性更高,我们使用 BDD 的方式来做。BDD 的好处就是可以在自然语言描述中修改参数就能直接运行程序,并可以数据驱动。对于团队协作,或者新人了解业务特别方便。下面借助工具来实现这些操作:
因为脚本用 JavaScript,开发工具可以使用CukeTest(http://cuketest.com)
执行引擎可以借助 adbkit 来实现。步骤如下:
环境搭建
配置 sdk(请自行网上查阅资料本机安装 sdk)
安装 node.js 库 adbkit(https://github.com/openstf/adbkit)
创建项目
打开 CukeTest,文件新建 - 新建项目;项目类型选择基本项目,填写项目信息,完成创建即可。
在项目的根目录下执行npm install adbkit --save 完成 abdkit 库的安装。
关于 abdkit 可以参考 GitHub https://github.com/openstf/adbkit
设置超时时间
由于需要持续长时间按去运行 monkey 脚本检测应用的稳定性,所以设置超时时间长一些
编辑 support/env.js
const { setDefaultTimeout } = require('cucumber')
setDefaultTimeout(1000 * 1000)
编辑 feaure 文件
# language: zh-CN
功能: monkey 稳定性测试
调用monkey脚本 检测手机app原生计算器稳定性
场景: 设计并调用monkey脚本
假如app的package为"com.android.calculator2"
同时设置运行随机数值为10000
当我希望基本导航事件中占用比例为"10"
同时触摸事件在所有事件中所占的比例为"70"
同时每个操作步骤之间的间隔为1000毫秒
并且忽略程序崩溃或者发生异常
那么手机序列号为"192.168.181.101:5555"运行1000次脚本
如果你想修改 monkey 脚本的参数,直接修改 feature 文件中的参数即可。
编写自动化脚本
const { Given, When, Then } = require('cucumber');
var adb = require('adbkit');
var client = adb.createClient();
Your step definitions /
var command = 'monkey'
Given(/^app的package为"([^"]*)"$/, async function (packagename) {
command = command + "-p" + packagename
});
Given(/^设置运行随机数值为(\d+)$/, async function (seed) {
command += "-s" + seed
});
When(/^我希望基本导航事件中占用比例为"([^"]*)"$/, async function (nav) {
command += '--pct-touch' + nav});
When(/^触摸事件在所有事件中所占的比例为"([^"]*)"$/, async function (touch) {
command += "--pct-touch" + touch
});
When(/^忽略程序崩溃或者发生异常$/, async function () {
command += "--ignore-crashes"
});
When(/^每个操作步骤之间的间隔为(\d+)毫秒$/, async function (ms) {
command += "--throttle" + ms
});
Then(/^手机序列号为"([^"]*)"运行(\d+)次脚本$/, async function (deviceid, num) {
command += "" + num;
return client.shell(deviceid, command)
// Use the readAll() utility to read all the content without
// having to deal with the events. `output` will be a Buffer
// containing all the output.
.then(adb.util.readAll)
.then(function (output) {
console.log('[%s] %s', device.id, JSON.stringify(output.toString().trim()))
})
});
运行脚本
点击运行 feature 文件,即可看到 monkey 自动去操作模拟器的计算器
如果要对多个应用做不同的 Monkey 测试,只需要在 CukeTest 中将这个场景一键转换成场景大纲,再添加多行数据就行了。真正实现了通过数据驱动做 Monkey 测试。
欢迎大家一起交流学习。