一、测试用例的基本要素
测试用例(Test Case)是为了实施测试而向被测试的系统提供的一组集合,这组集合包含:测试环境、操作步骤、测试数据、预期结果等要素。(注意:不需要执行结果,因为执行结果需要执行完测试用例才知道,没有测试用例自然就没有执行结果)
好的测试用例是一个不熟悉业务的人也能依据用例来很快的进行测试。
评价测试用例的标准:对比好坏用例的评价标准。
- 用例表达清楚,无二义性。
- 用例可操作性强。
- 用例的输入与输出明确。一条用例只有一个预期结果。
- 用例的可维护性好。
- 用例对需求的覆盖率高。
1、测试用例的给我们带来的好处
- 测试执行者的依据。
- 使得工作可重复,自动化测试的基础。
- 评估需求覆盖率。
- 用例的复用。
- 积累测试的方法思路以供后续借鉴。
(1)使用时带来的困扰
(2)能解决的问题
- 不知道是否较全面的测试了所有功能。
- 测试的覆盖率无法衡量。
- 对新版本的重复测试很难实施。
- 存在大量冗余测试影响测试效率。
二、测试用例的设计方法
1、基于需求进行测试用例的设计
【163 邮箱注册】
(1)功能需求测试分析
对于功能测试中,可以借助功能框图来帮助我们进行测试的需求分析。概括起来,功能测试需求包括以下,通常包括以下几个方面:
- 系统各个功能界面的验证。
- 借助业务把功能串起来进行测试。
- 功能的一致性,交互性(多功能互操作)的测试。
- 系统的不同输入,结果输出的业务数据测试。
- 功能的错误操作,异常操作的测试(属于负面测试)。
- 功能实现用到的算法验证,有时需要用运代码评审。
- 用户操作的易用性,用户体验,往往结合功能测试同时验证。
【日历系统的需求分析】
【百度云盘手机端核心功能需求分析】
(2)非功能需求测试分析
a. 纯客户端软件
比如字处理软件(Word,PPT),媒体(音频 / 视频)播放软件(电脑自带的)等。这类软件对系统的功能测试要求是最低的,但是对兼容性和稳定性,可移植性有一定的要求。
b. 企业内部的客户端/服务端(C/S)应用系统
比如电子邮件,即时通信系统(飞Q,企业QQ)等,在系统功能测试需求上比纯客户端复杂,要求功能正确,稳定性能好。但是整体上看,对性能,安全性,兼容性要求不高。
c. 外部大型复杂网络应用系统
比如电子商务,网上银行,视频网站(腾讯,优酷)等,除了有复杂的系统的功能测试需求外,在系统的性能,安全性,兼容性,容错性,可靠性等都有很高的要求。
此外,对于大型企业级应用系统,由于应用模式,系统架构的不同(分布式,微服务等),我们必须结合架构和应用模式来具体分析非功能性测试需求,特别是可扩展性,可靠性,安全性等。技术架构对功能的影响小,但是非功能性测试就要深入架构分析,才能更好的把我测试范围和测试方法。
用户需求:
购买3000块钱以内的华为智能手机
测试用例:
1.价格<=3000元
2.品牌为华为
3.智能手机
4.手机功能验证:4-1.打电话4-2.接电话4-3.发短信4-4.收短信...
软件需求:
1.1.1.1.5.3 异常事件流
1. 若用户未收到激活邮件,可在登录界面录入电子邮件及密码后,再次发送激活邮件。
2. 每次发送的激活邮件,仅在发送邮件后起24小时之内有效,超过24小时后需重新发送激活邮件。
**测试用例**
1-1、未收到邮件,登录时输入电子邮件及密码后,再次发送激活邮件
1-2、已收到邮件,登录时输入电子邮件及密码后,不发送激活邮件2-1、收到邮件,未激活,24小时内进行激活
2-2、收到邮件,未激活,24小时后链接过期进行激活。
2-3、收到邮件,已激活,24小时后链接过期,再次点击激活?
页面检查:
1、收到激活邮件
2、邮件内容正确
3、激活URl正确,可激活
4、再次激活提示已激活
5、过期激活提示已过期
2、具体的设计方法
(1)等价类
- 优等生强调知识面的扩展和综合能力的提升;
- 中等生强调夯实基础,查缺补漏;
- 差等生强调优先掌握重点,暂时跳过难点
- ... ...
- 有效等价类:对于程序的规格说明书是合理的、有意义的输入数据构成的集合,利用有效等价类验证程序是否实现了规格说明中所规定的功能和性能。满足用户需求输入集合。
- 无效等价类:根据需求说明书,不满足用户需求输入的集合。
【超市买水果】
有效等价类:苹果、梨子、西瓜...
无效等价类:青菜、大米、饮料...
|用户名 | 必填,录入用户名 | 6至15有效等价类:6~15位
无效等价类:小于6位 && 大于15位
等价类思想设计测试用例的步骤:
- 充分理解需求
- 划分有效等价类和无效等价类
- 针对有效等价类和无效等价类中设计测试用例。
(2)边界值
边界值分析法就是对输入或输出的边界值进行测试的一种黑盒测试方法。通常边界值分析法是作为对等价类划分法的补充,这种情况下,其测试用例来自等价类的边界。
- 日常语言中的 “边界” 漏洞:考完试发成绩了, 老师布置寒假作业:超过 60 分的,所有题目抄写 1 遍,低于 60 分的,所有题目抄写 3 遍。于是小明就没有写作业,因为他刚好 60 分。
-
输入框长度为 1~11,取边界值为:1、11、12、0。 - 运动员的参赛项目为 1~3 项,取边界值为:0项、1项、3项、4项。
- 查询面页面有 999 行,每 50 行为一页,取边界值为:输出0行、1行、50行、51行、999行。
边界点
上点:边界上的点。
内点:边界内的点(不管范围是闭区间开始开区间)。
离点:边界值附近的一个点(闭区间:区间外距离上点最近的点,开区间:区间内距离上点最近的点)。
(3)因果图
因果图是一种简化了的逻辑图,能直观地表明程序输入条件(原因)和输出动作(结果)之间的相互关系。因果图法是借助图形来设计测试用例的一种系统方法,特别适用于被测试程序具有多种输入条件、程序的输出又依赖于输入条件的各种情况。
A. 因果图的需要掌握的基本知识
a. 恒等
条件为真,结果一定为真。
b. 与
所有的条件都得满足,如果有一个条件不满足,那么结果就为假。
c. 或
满足其中一个条件结果就为真,如果条件全部为假,那么结果就为假。
d. 非
条件为假,结果才为真。
B. 因果图法设计测试用例的步骤
- 分析所有可能的输入和可能的输出。
- 找出输入与输出之间的对应关系。
- 设计判定表。
- 把判定表对应到每一个测试用例。
C. 判定表
判定表(Decision table)是一种表达逻辑判断的工具。
【淘宝 618 活动】
假设业务单据的处理规则为: “ 淘宝 618 活动,订单已提交,订单合计金额大于 300 元或有红包,则优惠” 。
- 输入:订单已提交、金额大于 300、有红包。
- 输出:优惠、不优惠。
- 订单已提交,订单金额大于300元,有红包,则优惠。
- 订单已提交,订单金额大于300元,没有红包,则优惠。
- 订单已提交,订单金额小于等于300元,有红包,则优惠。
- 订单已提交,订单金额小于等于300元,没红包,则不优惠。
- 订单不提交,订单金额大于300元,有红包,则不优惠。
- 订单不提交,订单金额大于300元,没有红包,则不优惠。
- 订单不提交,订单金额小于等于300元,有红包,则不优惠。
- 订单不提交,订单金额小于等于300元,没红包,则不优惠。
c. 设计判定表:
d. 把判定表对应到每一个测试用例:
可以在后面补充符合要求的测试要素。
(4)正交排列
因果法设计用例太多怎么办?
正交法的目的是为了减少用例数目。用尽量少的用例覆盖输入的两两组合。
正交试验设计(Orthogonal experimentaldesign)是研究多因素多水平的一种设计方法,它是根据正交性,由试验因素的全部水平组合中挑选出部分有代表性的点进行试验,通过对这部分试验结果的分析了解全面试验的情况,找出最优的水平组合。正交试验设计是一种基于正交表的、高效率、快速、经济的试验。
- 因素(Factor):在一项试验中,凡欲考察的变量称为因素(变量)。
- 水平(位级)(Level):在试验范围内,因素被考察的值称为水平(变量的取值)。
- 正交表的构成
- 行数(Runs):正交表中的行的个数,即试验的次数,用 N 代表。
- 因素数(Factors):正交表中列的个数,用 C 代表。
- 水平数( Levels) : 任何单个因素能够取得的值的最大个数。正交表中的包含的值为从 0 到数 “ 水平数 -1” 或从 1 到 “ 水平数 ” ,用 T 代表。
A. 正交表的表示形式
B. 正交表的两条性质
- 每一列中各数字出现的次数都一样多。
- 任何两列中的各有序数对出现的次数都一样多。
C. 正交法设计测试用例的步骤
充分理解需求(有哪些元素(变量))
-> 确定因素水平(每个因素有哪几个水平(变量的取值))
-> 画正交表(选择一个合适的正交表,把变量的值映射到表中)
-> 补充正交表
-> 将正交表转换成测试用例(把每一行的各因素水平的组合作为一个测试用例,加上你认为可疑且没有在表中出现的用例组合)
【注册的需求】
姓名、邮箱、密码、确认密码、验证码必须全部输入,才能进行注册。
1、因素
姓名、邮箱、密码、确认密码、验证码
2、水平
填写、不填写
利用 allpairs 画正交表:
(1)先将水平和因素填写到 excel 表格中
(2)将 excel 表格内容复制到 .txt 文件中
(3)Ctrl+S 保存到 allpairs 的下载路径
(4)进入 cmd(windows+R)将路径切换到 allpairs 安装路径下
进入到 allpairs 的目录下,执行命令:allpairs.exe 文件名 > 结果文件名
至此,就可以看到生成了 20240506_result.txt:
注意:~ 意味着此时这个取值可以填写,也可以不填写。
(5)场景设计法
场景设计法是针对整个流程进行设计的。
现在的软件几乎都是用事件触发来控制流程的,事件触发时的情景便形成了场景,而同一事件不同的触发顺序和处理结果就形成事件流。该方法可以比较生动地描绘出事件触发时的情景,有利于测试设计者设计测试用例,是测试用例更容易理解和执行。
典型的应用是是用业务流把各个孤立的功能点串起来,为测试人员建立整体业务感觉,从而避免陷入功能细节忽视业务流程要点的错误倾向。
【注册】
- 用户激活后再次点击邮件激活链接。
- 已注册用户再次注册。
【ATM 取款】
通常情况下,需要将用户经常使用的功能模块串在一起进行测试。
(6)错误猜测法
错误猜测法是对被测试软件设计的理解,过往经验以及个人直觉,推测出软件可能存在的缺陷,从而针对性地设计测试用例的方法。
错误猜测法更多依靠的是经验。这个方法强调的是对被测试软件的需求理解以及设计实现的细节把握,还有个人的经验和直觉。
错误推测法和目前流行的“探索式测试方法”的基本思想一致,这类方法在敏捷开发模式下的投入产出比很高,被广泛应运于测试。
这个方法的缺点是难以系统化,并且过度依赖个人能力。
【注册】
- 校验中特殊字符空格的处理。
- 密码校验中的大小写。
- 姓名中的特殊字符。
- 密码发送是否明文。
如何模拟弱网?
1、借助工具(Fiddler / Charles)
2、打开限速模式
上传 1kb 文件需要花费 300ms,下载 1kb 需要花费 150ms(这里的数字越小,说明网速越好)
如何测试接口?(需要回顾)
1、借助工具(PostmanCanary)/ 代码
2、http 方法进行测试
3、针对接口的参数进行测试
(1)参数通过 parameter 传递
- 传参数
- 不传参数
- 传入非法参数
(2)通过 json 传递
写一个冒泡参数,针对这个代码如何测试呢?
- 方法参数(参数类型、不给参数、参数传递为空等)
- 异常处理(除零错误)
- 代码规范
- 语句覆盖(涉及白盒测试)、条件覆盖、语句条件覆盖、判定覆盖...
- ... ...
针对 Linux 中 zip 这个命令,如何进行测试呢?
功能:
- 打包的是一个不存在的文件
- 命令使用正确,文件存在,文件是否被压缩
- 能否一次性打包多个文件
- 打包后的文件内容是否有缺失
界面:
- 打包后的 zip 高亮
- 打包后的文件后缀名为 .zip
易用:
- 输入错误是否会有提示
性能:
- 打包 1Kb 的文件需要多长时间
- 打包 1Gb 的文件需要多长时间
- 一次打包多个文件需要多长时间
【测试用例设计万能公式】
(1)功能
- 物体:这个物体是用来干什么的
- 软件:软件实现功能
(2)界面
- 物体:外表、材质、大小、容量...
- 软件:界面、字体大小、字体颜色、页面布局...
(3)易用
- 经验(操作简单、操作流程)、人性化(符合人体工学)、见名知意
(4)兼容
- 物体:物体除了本质的功能外,是否还有其它功能
- 软件:操作系统(电脑windows、mac、linux、手机ios、Android)、设备、浏览器版本
(5)性能
- 物体:使用寿命
- 软件:响应时间、吞吐量、并发数、CPU占用率
(6)安全
- 物体:物体材质是否有毒,物体是否会对人体健康造成伤害
- 软件:sql 注入、xxs 漏洞、输入有毒脚本、密码加密保存、权限控制
(7)网络
- 软件:2G~5G、弱网、Wifi
(8)中断
- 物体:闹钟、短信、电话
- 软件:切换到桌面
【水杯测试用例】
【微信发送朋友圈测试用例】
三、测试用例的有效性
1、什么是测试用例的有效性
测试用例对应的功能已删除,不可操作了。比如:微信刚出来时与 QQ 可以互发消息,下一个版本后就不可以发消息。
执行一条测试用例未发现 BUG,实际该处有 BUG。iPhone7 手机微信添加了 mobile 单车小程序,扫码不能开锁,只能使用 mobile APP 开锁,测试用例未涉及到 iPhone7 微信小程序扫码开锁。
执行一条测试用例发现了 BUG。iPhone7 手机微信添加了 mobile 单车小程序,用例已写到了 iPhone7 微信添加 mobile 小程序扫码开锁,问题被发现。
执行一条测试用例未发现 BUG,实际该处 BUG 已修改。iPhone7 手机微信添加了 mobile 单车小程序扫码开锁,可以正常开锁。
四、测试用例的粒度和评价
1、测试用例的粒度
好的测试用例是一个不熟悉业务的人也能依据用例来很快的进行测试。
- 粒度:指测试用例编写的详细程度。
测试用例可以写得很简单,也可以写得很复杂。最简单的测试用例是测试的纲要,仅仅指出要测试的内容,如探索性测试中的测试设计,仅会指出需要测试产品的哪些要素、需要达到的质量目标、需要使用的测试方法等。而最复杂的测试用例就像飞机维修人员使用的工作指令卡一样,会指定输入的每项数据,期待的结果及检验的方法,具体到界面元素的操作步骤,指定测试的方法和工具等。
- (1)测试用例写得过于复杂或详细,会带来两个问题:一个是效率问题,另一个是维护成本问题。另外,测试用例设计得过于详细,留给测试执行人员的思考空间就比较少,容易限制测试人员的思维。
- (2)测试用例写得过于简单,则可能失去了测试周例的意义。过于简单的测试用例设计其实并没有进行 “设计”,只是把需要测试的功能模块记录下来而已,它的作用仅仅是在测试过程中作为一个简单的测试计划,提醒测试人员测试的主要功能包括哪些而已。测试用例的设计的本质应该是在设计的过程中理解需求,检验需求,并把对软件系统的测试方法的思路记录下来,以便指导将来的测试。
大多数测试团队编写的测试用例的粒度介于两者之间。而如何把握好粒度是测试用例设计的关键,也将影响测试用例设计的效率和效果。应该根据项目的实际情况、测试资源情况来决定设计出怎样粒度的测试用例。
主要考虑可以参考如下内容:
- 产品的质量要求。
- 项目对用例的要求。
- 测试时间和资源是否充分。
注意 :不管用例怎么简化,都不应该省略。
2、测试用例的评价
- 同行评审
- 用户检查
- 项目组评审
(1)测试用例的检查可以有多种方式,但是最敏捷的应当属临时的同行评审。
同行评审,尤其是临时的同行评审,应该演变成类似结对编程一样的方式。从而体现敏捷的 “个体和交互比过程和工具更有价值”,要强调测试用例设计者之间的思想碰撞,通过讨论、协作来完成测试用例的设计,原因很简单,测试用例的目的是尽可能全面地覆盖需求,而测试人员总会存在某方面的思维缺陷,一个人的思维总是存在局限性。因此需要一起设计测试用例。
(2)除了同行评审,还应该尽量引入用户参与到测试用例的设计中来,让用户参与评审,从而体现敏捷的 “顾客的协作比合同谈判更有价值” 这一原则。
这里顾客的含义比较广泛,关键在于如何定义测试,如果测试是对产品的批判,则顾客应该指最终用户或顾客代表(在内部可以是市场人员或领域专家);如果测试是被定义为对开发提供帮助和支持,那么顾客显然就是程序员了。
(3)由测试负责人组织协调开展会议,用例编写人对用例进行讲解,参会人员有异议的当场提出。
【某手机软件有用 TF 卡导出数据的功能】
请写出测试此功能点的思路: