版本1
测试策略
目录
版本1测试策略
版本2测试策略
一、版本分析
测试-----6天
预发----2天
1、XXX业务1
2、XXX业务2
3、XXX业务3
二、测试策略
测试类型 | 分析方向 | 测试目标及用例参考 | 是否需要测试 | 测试结论 | 备注 |
功能测试 | 对比测试用例和策划文档,评估业务场景覆盖度,应达到100%覆盖列出不被测试的功能点,说明原因及质量保证方式 | 1,确认策划文档无异常,且用例100%覆盖策划功能点 2,确认设计文档无异常,且用例100%覆盖设计功能点 | 是 | 通过 | 执行功能测试覆盖度达到98%,未覆盖测试点为热区覆盖度的准确性(60%热区、30%热区)因不可测性以及测试成本过高故由开发保证 |
接口测试 | 接口功能:入参、出参的校验 | 1、入参: 参数枚举值覆盖,非枚举值校验 2、出参: 必定返回字段校验 返回类型校验 数据准确性校验 3、时效性: 单数据处理与多数据处理耗时均在1000ms以内 4、数据入库: 数据入哪个库哪张表,确保数据完整性一致性、还有落库时的状态时什么样的,状态转换测试(如status的0-未审核、1-审核通过、2-审核未通过、3-审核失败) | 是 | 通过 | |
信息安全测试 | 接口返回信息应满足最小使用原则,且屏蔽客户敏感信息,或加密处理,服务器日志不能打印客户敏感信息 | 1、校验接口返回的数据全部用到 2、确认web端、接口、日志、缓存、数据库等无敏感信息、或敏感信息全部加密了 3、对于重要信息设立对于白名单,避免信息泄露 | 是 | 通过 | |
兼容性测试 | 列出兼容性测试的兼容范围和条件,以及兼容测试的测试项 | 客户端版本兼容性、新老接口兼容性、新老数据兼容、字段兼容、新老版本并存时数据的兼容性 | 是 | 通过 | |
数据完整性测试 | 列出数据测试范围和条件,以及数据测试的测试项 | 数据入库,数据容错性,数据同步一致性,业务场景上下游字段数据一致性,埋点测试 | 是 | 通过 | |
健壮性测试 | 列出需要测试的异常项、接口返回处理等 | 否 | |||
服务端性能测试 | 明确性能需求,理清对立的性能测试范围和方案,参照性能测试规范指导、保障性能测试的有效开展 | 1、确保能支持XX人同时使用 | 是 | 通过 | |
异常日志巡检 | 异常日志巡检范围包括测试环境日志、预上线环境日志、线上日志 | 1、检查报错时日志是否打印完整 2、确认日志无打印敏感信息 | 是 | 通过 | |
开发设计测试 | 对新的设计方案做健壮性测试,如:新引入的缓存方案、异步处理策略、定时任务、配置中心的配置项等 | 1、缓存方案需考虑测试点:失效时间,缓存刷新机制,缓存击穿,热key,多实例缓存一致性等 3、异步处理需考虑测试点:是否需要有结果返回或异步回调,缓存击穿,队列挤压问题,异步处理的时效性是否满足业务需求等 4、配置项的测试点:配置项的配置范围,配置项的枚举值要全部能配置,配置项的生效时间,配置项修改时的生效标准 | 是 | 通过 | |
埋点测试 | 对于点击、曝光、下载、滑动、上传、导出、关闭、切换应用等重要操作的埋点进行测试 | 1,确定埋点的枚举与触发机制 2,确保埋点XX分钟能触发一次 3,确保埋点无多报漏报 | 是 | 通过 | |
代码走查和审查 | 有条件的测试团队,可以开展对当前版本移交代码的diff分析,并做走查和评审等白盒测试。 | 否 | |||
线上监控配置 | 在需求和设计阶段,分析当前版本改动对线上核心业务指标的影响,指定线上指标监控方案,做到及时获知线上问题,第一时间应对处理 | 否 | |||
回滚方案测试 | 对于重大功能改版,如涉及回滚方案的不确定性,需安排对回滚方案的演练,避免上线失效,无法回滚到预期状态 | 否 | |||
合规测试 | 应工信部要求,不能因追求转化率而过多侵害用户体验度,不能未经用户同意收集用户信息,不能不经用户同意将用户个人信息用于其他作用,收集的个人信息应加密处理 | 1,不能有超范围、超频收集个人信息的欣慰 6、加密传输个人隐私数据 7、以密文形式存储个人信息 | 是 | 通过 | |
测试环境和数据 | 确认使用的测试环境、提前确保环境的可用性,确保测试环境与线上环境无太大差异,确保测试数据和线上数据无太大差异 | 测试环境: 明确使用哪一套测试环境,该环境是否需要提前做环境维护和可用性验证,关联版本是否要做环境连通性验证,环境准备耗时及对测试排期产生的影响等
分析测试环境和线上环境之间的差异,以及这样的差异带来的测试有效性风险,评估是否需要在测试过程中消除 测试数据: | 是 | 通过 |
版本2
测试策略
分析方向 | 测试的及用例参考 | 是否需要测试 | 测试结论 | 备注 |
Web界面测试 | 新建广告界面与素材面板界面的排版、布局、图片、标签渲染、Url拼接,前端交互检测 | 是 | 通过 | 前端布局整齐美观,交互正常、图片渲染正常、使用体验度优良 |
数据相关 | ①数据入库后的数据变化(db及redis) ②状态转换 | 是 | 通过 | 数据正确、完整、一致 |
功能测试 | ①策划覆盖是否全面 ②异常场景测试 ③用户异常操作 | 是 | 通过 | 策划和设计功能点覆盖完全,更详细处见测试用例 |
接口测试 | ①接口入参(字段枚举值覆盖)、出参 ②数据读写 | 是 | 通过 | 接口正常,数据读写正常,完整一致 |
性能测试 | 页面数据量大时,查询等操作耗时是否过长 | 是 | 通过 | 接口响应及时,时间在1s以内,但广告列表页面加载素材过多,前端渲染速度稍慢,已联系相关开发下版本解决 |
安全性测试 | ①CICD新增代码不能有安全性漏洞 ②敏感信息加密 ③系统菜单权限控制 ④数据越权访问 | 是 | 通过 | 代码经过扫描无安全性漏洞,有蓝图白名单则可进入蓝图板块,无该白名单则无此入口 |
兼容性测试 | 1、数据兼容: (1)新旧数据(2)上下游数据(3)埋点(4)全链路 | 是 | 通过 | 在联盟、商店、vivo浏览器上均功能正常 |
Cookie测试 | 1,关注清理缓存页面才能生效功能,即冷加载情况 | 是 | 通过 | 冷加载和热加载情况下均正常 |
测试环境 | 1,有多套环境,输入该版本测试部署的环境,若只有一套环境,则输入测试/预发环境 2,判断测试环境对上下游的依赖,如果有依赖,则提前制定解决方案 | 是 | 测试/预发环境 | |
测试数据 | 1,测试数据需提前准备 2,测试数据与线上真实环境不能差异太大 3,测试环境应覆盖正常场景和异常场景 | 是 | 已提前准备好数据 | |