软件测试的心理学和经济学
测试是为发现错误而执行程序的过程,所以它是一个破坏性的过程,测试是一个“施虐”的过程。
软件测试的10大原则
1、测试用例需要对预期输出的结果有明确的定义
做这件事的前提是能够提前知晓需求和效果图,如果不知晓则需要根据经验判断,沟通获取预期结果。
体现在文档上就是写下预期结果、输入的描述。
2、程序员应该避免测试自己写的程序
程序员会下意识地避免找出错误,因为担心受到上级,同事,客户的惩罚。也有可能错误地理解了需求。
3、编写软件的组织不应当测试自己编写的软件
4、仔细检查每个测试的执行结果
5、编写测试用例不仅包括有效的输入,还应包括无效的输入
6、检查程序“未做其应该做的”仅占测试的一半,测试的另一半是检查程序是否“做了不应该做的”
比如说工资管理程序应该只为正式员工生成工资单,但它不仅为正式员工生成,还未非正式员工生成了工资单。
7、应避免测试用例用后即弃,除非软件是个一次性的软件
测试用例的编写花费了时间,如果程序之后发生了变更,还可以直接时候或者改造后使用。
8、计划测试工作时不应假定程序不会发生错误
所谓测试,就是为了发现错误而执行的过程。
9、程序某部分发现更多错误的可能性,与该部分已经发现的错误数量成正比
为了发现更多的错误,在测试完毕后进行统计,对发现错误最多的模块进行额外的测试。
10、软件测试是一件富有创造性、智力挑战性的工作
测试用例的设计
黑盒测试
进行黑盒测试的前提是知晓需求,比如通过阅读需求规格说明书,设计文档,产品图等,这样就能明确正确的输入和输出。
边界值分析
这种方法比等价划分法的测试回报率更高,所谓边界条件,是指输入、输出的等价类恰好处于边界、高于边界、低于边界的状态。
它与等价划分法的不同在于:
1、需要编写的测试用例更多
2、不仅仅是关注输入,还要关注输出
关注输出的例子:比如在一页显示10条订单的页面中,分4种情况考虑:
总数为0条的情况下
总数为1条的情况下,关注第一页第一条的订单
总数为10条的情况下,关注第一页第一条的订单,第一页最后一个订单
总数为11条的情况下,关注第一页第一条的订单,第一页最后一个订单,第二页的第一条订单
拓展:
测试回报率(Test Return on Investment,Test ROI)是指通过进行测试活动所带来的投资回报。它是衡量测试活动效果和价值的指标,用于评估测试活动对企业或组织的盈利能力和效率的影响。
还有一种测试方法叫做错误猜测,这是一种无法用语言,文字描述传授的经验。
更高级别测试
软件开发周期的模型可以归纳为以下7个步骤:
0、甲方
1、需求
2、目标
3、外部规格说明
4、系统设计
5、程序结构设计
6、模块接口规格说明
7、代码
从0-1的步骤是将用户的需求转换为书面上的需求,这些需求是该产品要实现的目标。
1-2通过评估可行性和成本、消除相抵触的用户需求、排序,将用户需求转换为具体的目标。
2-3将产品视为一个黑盒,仅考虑接口与用户的交互,不考虑具体的细节
3-4将系统分隔为一个个的子系统,并定义它们的接口
4-5进一步将子系统分隔为模块,并确定模块的功能,层次结构(比如依赖关系),模块之间的接口。
5-6定义每个模块的接口和功能
6-7用编程语言实现具体的功能
以下是从其他角度审视上述过程:
需求规格说明定义了为什么要开发程序(Why)
目标定义了程序要做什么,以及怎么做(What,How)
外部规格说明定义了程序对用户的准确表现
针对不同的开发过程,有着不同的测试方法:
0、甲方 - 安装测试
1、需求 - 验证测试
2、目标 - 系统测试
3、外部规格说明 - 功能测试
4、系统设计 - 集成测试
5、程序结构设计 - 集成测试
6、模块接口规格说明 - 模块测试
7、代码
功能测试
功能测试又称为黑盒测试,它的目的是发现与外部需求规格的不一致。可以使用等价分析,边界值分析,因果图和错误猜测法。软件测试的10大原则也可以被拿来使用。
系统测试
能力测试
最简单的做法是判断目标文档中描述的内容在程序中是否实现。
强度测试
对于Web应用程序而言,并发数是一个重要的指标。
对于移动设备可以使用低配置手机,打开大量程序后,试着拨打一个电话,再打开GPS(这通常会持续占用大量CPU和无线电信号),然后试着运行程序看能否正常运行。
可用性(用户体验)测试
可用性测试可以换来更好的市场和经济回报。
从12个问题中获得测试灵感。P117 - P118
安全性测试
可以测试操作系统的内存保护机制、数据库管理系统的数据安全机制。
性能测试
很多软件都有特定的性能和效率目标,例如吞吐量和响应时间。
配置测试
如今很多软件都设计为可在多种操作系统下运行,如果要测试这种程序,应在不同的操作系统中,测试不同的浏览器。需要注意的是,即使是同一种浏览器,在不同的操作系统之下,运行方式也会有所不同。
兼容性测试
大多数开发的软件并不是全新的,常常是为了替换某些不完善的系统。这样的软件往往有着特定的目标,涉及到与现有系统的兼容以及从现有系统的替换过程。
例如对数据库管理系统进行升级就是一个例子,需要将现有的数据迁移到新的系统中。
安装测试
有些软件的安装过程非常复杂,测试安装过程是系统测试中一个重要的部分。
可恢复性测试
操作系统,数据库管理系统和远程处理系统等软件通常都有可恢复性的目标,说明系统如何从程序错误,硬件失效和数据错误中恢复过来。
我们可以故意将程序错误置入某个系统中,判断系统是否可以从中恢复。例如I/O设备错误,网络通讯故障等。
可维护性测试
可维护性包括:调试问题的平均时间,维护过程,内部业务文档的质量。
测试结束的准则
由于资源是有限的,但发现Bug的可能性无限的,所以必须定义何时停止测试。
比较合适的方式是:
对于功能测试,根据经验和项目成熟度估计一个Bug数,测试的目标是发现该目标数的Bug。
对于系统测试,可以是发现预估的Bug数,或者用完了计划的时间(前提是一定时间内发现Bug的频率已经很低了)
互联网应用测试
Web服务器常见的是三层结构,即表现层,业务层和数据层。
表现层提供了GUI(用户图形接口)
业务逻辑层提供了业务流程,比如用户身份认证,事务处理等。
数据访问层存储系统使用的数据(如数据字典)和从用户收集来的数据。
下列是测试三层结构的例子:
表示层的测试聚焦于易用性、人机交互方面,第一印象非常重要。
业务层的测试聚焦于性能、财务、数据的完整性、网络连通性。
数据层的测试聚焦于性能,可用性,安全性。
测试的策略
表现层测试
表现层测试包含的主要内容:
1、内容测试。包括整体审美,字体,色彩,拼写,内容准确度和默认值。
2、Web站点结构,包括无效的链接和图形。
3、用户环境。包括Web浏览器版本和操作系统配置。
业务层测试
进行业务层测试时,需要模拟用户在购买某个产品或服务时执行的步骤。例如:对于一个购物网站需要模拟搜索商品分类,整理购物车,创建或登录用户,结账,通知用户交易完成,向用户推荐商品。除了内部事务,还包括外部事务,如:第三方支付,收件地址确认。
业务层测试包含的主要内容:
1、性能,检查系统是否满足书面规格说明书的要求。
2、数据有效性(数据验证),测试的目的在于发现从客户那里采集到数据中的错误。
3、事务,测试的目的在于发现事务处理过程中的错误。
数据层测试
数据层最大的挑战之一,是复制应用系统的运行环境。必须使用相同的硬件平台和软件版本来进行有效的测试。
数据层测试包含的主要内容:
1、响应时间,应量化执行SQL语句的消耗时间,测试环境必须与实际运行环境一致,否则得到的结果将会无效。
2、数据完整性,测试的目的是发现数据存储方式的问题,比如数据类型和长度可能导致数据截断或失去精准度,对于日期和时间字段,会出现时区问题,存储时间依据的是客户端,Web服务器,应用服务器还是RDBMS的时间?多字节字符集可能需要双倍的存储容量。
3、容错性和可恢复性,最大化MTBF,最小化MTTR
移动应用测试
移动环境下测试时需要考虑的因素:
移动应用面临的挑战:设备的多样性,网络基础设施,脚本编程,可用性测试。
如何应对这些挑战呢?
使用模拟器是一个不错的方法,它可以模拟各种各样的设备和系统。
如果想要模拟用户的网络情况,可以亲身前往使用地活着雇佣当地人进行测试。
使用模拟器可以完成自动化的回归测试和系统测试。
测试人员亲自使用应用程序,以期找出界面以及人机交互的Bug。
测试方法
1、可以参考互联网应用的测试方法
2、在网络条件不那么好的条件下测试系统的反应,比如:在断网后恢复网络,会重复下订单吗?
3、测试缓存可能导致的Bug
移动应用测试分类:
基于模拟器的测试:
优点:最节约成本和最实用的方法(模拟多种设备),容易管理,可进行自动化测试。
缺点:不能100%模拟设备,所以兼容性和性能不能完全确保没问题。
从哪里开始呢?
首先制定测试计划,确定想要兼容的手机操作系统,品牌,型号。
在真机和模拟器中寻找一个平衡。
对测试用例进行版本控制,控制变更。
定期审核测试用例,剔除无效脚本。