【复盘】接口自动化测试框架建设的经验与教训!

为什么选择这个话题?

一是发现很多“点工”在转型迷茫期都会问一些自动化测试相关的问题,可以说自动化测试是“点工”升级的必经之路;二是Google一下接口自动化测试,你会发现很多自动化测试框架相关的文章,但是大部分文章都有一个通病,就是只告诉读者how(怎么做),很少介绍why,还有框架开发完成之后的事情(例如如何推广、维护等)。那下面就聊一聊我的接口自动化测试框架建设的一些经验和教训吧,希望能给大家一些借鉴。

工作多年,第一次听说接口测试是在《软件测试的艺术》的书上面,那时候校招复习软件测试理论,当时没有体感,甚至不知道什么是接口。第一次接触接口测试并非来源于项目需要,而是来源于团队KPI需要。当时校招刚入职没多久,团队内部有测试相关知识与技能培训(虽然只是测试工具的使用),当时接触的第一个接口测试工具是 JMeter。还记得我同事通过一个word文档给我介绍它的一些常用组件,然后就给我安排上了一个任务 - 将团队 xx 平台接口代码覆盖率提升至40%以上。当时还不知道代码覆盖率是什么,但是只晓得通过 JMeter 开发更多单接口/业务场景组合的用例就是了,于是乎就开始通过针对单接口的入参类型、边界、是否必传做各种组合,而场景组合用例就做接口间的笛卡尔积生成不同的业务流。第二份工作老板想打造一个团队内部使用的接口测试平台,当时就给我这个机会负责接口测试框架的建设。这也是第一次实践接口自动化测试框架。今天聊的故事就从这里开始。。。

一、为什么要自建测试框架

1.1先谈谈接口测试

何为接口?通俗来讲生活中常见的电灯开关就是接口,它接收开、关(默认)指令(值),输出对灯泡的控制结果(亮、灭)。接口测试是测试系统组件间接口的一种测试。测试的重点是要检查数据的交换,传递以及系统间的相互逻辑依赖关系等。

1.接口测试“套路”

根据我举的例子,可以知道对接口测试,从功能上可以把接口当做黑盒进行输入以观察其输出,根据不同的输入去测试其内部的逻辑,我们可以借助边界值分析、等价类等方法设计用例。非功能上要测试接口性能、安全、幂等。此外,如果所测接口存在上下接口调用的依赖,则还需要进行全链路联调测试(不部分接口不是独立存在的,都是和其他接口相互调用的),联调测试是为了保证上下联路接口之间契约的准确性。

2.为什么适合自动化

根据分层测试思想,可以将系统测试分为单元测试、接口测试以及界面测试。一般来说,单元测试就像一座房子的地基,地基打得好,房子也就比较稳固;接口测试就像房子的架子,决定房子的形态;而界面测试就像房子的装修,体现房子的外观。诚然,地基以及房子架子是比较稳定的,变化不大的,而房子的装修是可以根据心情不断更换的。大家都知道变化和成本是成正比的,变化越大成本越高,根据ROI=产出/投入,分子不变,分母越大,ROI越小,这也是界面测试不适合自动化的主要原因。当然不代表所有项目都不适合做UI自动化,如果UI比较固定也是可以做自动化的。

当然,大公司在这方面已经走在了前列了。就拿行业标杆Google来说,《How Google Tests Software》书中也有提到,70%自动化在单测,20%自动化在接口测试,10%自动化在UI测试。

3.常用的接口测试工具

介绍下我使用过的JMeter、Postman这两工具。

总体而言JMeter更适合作为接口自动化工具的,虽然官网将其定义为压测工具(The Apache JMeter™ application is open source software, a 100% pure Java application designed to load test functional behavior and measure performance.)因为JMeter几乎能满足接口自动化测试的所有诉求,有丰富的函数(类似utils)(例如生成个随机数、uuid等,这些都是测试过程经常用的能力,而且还支持自己扩展)、断言丰富、结合Jenkins做持续集成、有测试报告、有丰富的插件库可供下载等等,非常适合技术感不强的测试团队。Postman也是可以做自动化,但是我还没有实践过,平常更多将其作为接口调试的工具,不做过多赘述。

现在我也找了很多测试的朋友,做了一个分享技术的交流群,共享了很多我们收集的技术文档和视频教程。
如果你不想再体验自学时找不到资源,没人解答问题,坚持几天便放弃的感受
可以加入我们一起交流。而且还有很多在自动化,性能,安全,测试开发等等方面有一定建树的技术大牛
分享他们的经验,还会分享很多直播讲座和技术沙龙
可以免费学习!划重点!开源的!!!
qq群号:110685036【暗号:csdn999】

1.2自动化测试目的

本来这个小标题是“接口自动化测试目的”,提笔写的时候发现所有自动化目的貌似是公途的。我先抛出来两个论点:发现缺陷?提高测试效率?

大家可能觉得实现自动化的话,这两个目的是自然而然的。当然我不否认但也不完全赞同。那我为什么要把这两个论点拿出来讨论下呢?因为自动化测试是一个有计划的过程,不同的目的可能会有不同的实现过程,有不同的实现侧重点。

如果目的是 发现缺陷,那么自动化测试用例就要覆盖的比较全面且细致(业务层面、断言层面),这无疑会加大自动化测试用例的开发成本,所以投入过程需要重点分析业务以及多排期些开发时间。

而提高测试效率呢?当然这里的提效不仅仅体现在测试过程,而且还体现在测试者的日常工作中,类似造数据等工作内容。因此如果以提效为目标,那么自动化测试用例开发要重点分析哪些业务流是调用比较频繁的,而在断言层面也没有必要太过细致,以造数为例,毕竟提效的目的在于获得结果,只要结果符合预期就是OK的。当然,这些都是笔者个人看法,大家可以各抒己见。

1.3为什么需要自研框架?

上文也说道做接口自动化测试,当下有现成的开源工具 JMeter、Postman等可以选择,也有一些开源的自动化测试平台。但是,这些开箱即用工具也有弊端:

  1. 测试工具开发的测试用例往往不易于维护,试想一下当你维护JMeter生成的各种JMX文件场景。
  2. 大量的测试用例可重用性差,例如登陆模块,每个接口调用前都要获取cookie,而登陆则是前置模块,使用JMeter开发用例需要每个JMX文件都要包含登陆,重复度太高。
  3. 无法满足自动化平台诉求,短期内确实可以快速实现自动化,但是这些工具对于平台非自动化能力的拓展成本较高,毕竟改动开源工具的成本比自研高很多。
  4. 使用开源工具不利于提升团队在自动化技术方面的成长。自动化能力的提升离不开编程能力的提升,使用开源工具能提升工具学习使用能力,最终你的成长无外乎又掌握了一个测试工具的使用。
  5. 无法最大化提升自己解决问题的能力。

1.4接口测试框架选型

  • 关于语言

语言建议和负责项目的系统语言保持一致,如果被测项目语言是Java,测试框架就选用Java语言开发,结合Spring boot框架搭建。

  • 关于扩展性

扩展性是非常重要的,因为框架不是一蹴而就的,是一个需要基于业务的迭代不断“更新”的,良好的扩展性,可以让你更高效的开发所需的feature。这点可以参考JMeter的架构设计。

  • 关于实现方案

确定使用的技术后,务必要将的实现思路整理出来,写一个实现方案,就像项目的系分文档一样,这样对你来说具备指导意义。仔细想想,测试框架的开发,就是要求自己兼顾产研测的角色(条件可以的话,可以让产品/UI帮你设计平台草图)。

二、经验沉淀

1.计划的重要性

万事预则立,不预则废。对于测试来说,计划尤为重要。一方面测试框架建设的任务并不会允许你100%工作时间去做,因为你还有业务测试工作要负责和跟进。另一方面,老板要看结果,制定每个阶段的里程碑是非常重要的,当然计划这些会在OKR里体现的。

以我的经验,可以制定按照feature数量给自己排期,例如每周实现x个feature,这样就可以大概推出完成测试框架开发需要的周数,尽量周报里有所体现实现的进度,以及下周的todo。

2.文档必不可少

为什么文档这么重要?文档其实是另一种“自动化测试框架”的实现方式。代码实现框架本身,文字为框架“穿上衣服”。再者,文档可以节约你未来非常多的“客服”时间。文档内容范围不限,总的来说有三类:技术实现文档、使用说明文档以及问题记录的文档。

  1. 技术实现文档用于描述框架实现的技术手段以及编码规范,可以在系分文档上继续补充。
  2. 使用说明文档用于介绍使用方法,最好是先以快速入门为例,教大家如何利用测试框架开发一个测试用例。再详细介绍如何使用(调用)某些公共组件(工具)。当然建议录制操作视频。
  3. 问题记录文档 用于协作开发的时候供其他小伙伴参考使用,毕竟你踩过的坑别人也有可能踩过。这样可以减少同类问题排查和定位时间。(笔者曾经在帮助小组同学排查问题方面就耗费了不少时间。)

3.多人协作下的开发模式

自动化框架最终的是推广给大家使用它去开发接口测试用例,以替代JMeter这些接口测试工具。在平台化实现之前,就避免不了多人同时提交开发好的用例代码。针对这个,我建议使用master\dev分支,每日的自动化用例运行使用master分支代码,而dev分支用于大家提交各自分支的代码。这就需要经常dev分支的代码合到master分支。

4.做好代码review工作

正如经验3一样,确定好开发模式之后,同样不能避免有些同学在提交代码时“乱来”(不规范开发和提交,例如随意修改别人的代码等),导致代码冲突。而作为项目的负责人,就像一个门神,要做好代码review工作。这样可以在一定程度上降低代码冲突的概率。总之尽量不要将宝贵的时间消耗在这些代码管理的问题上。

5.推广小组试用

框架开发好后,不建议急于大批量推广,建议先“小流量”灰度试用。我们大团队下面分了很多小团队,基本上业务owner带一些外包保障项目质量。而管理者注重框架的结果。框架开发者是全职员工,框架的使用者主要是外包和偏业务测试全职同学。当时搞定框架开发之后(算是1.0版本,已经可以使用),就在我的小组进行使用。这样可以先搜集一下使用效果和反馈的问题,先做一版小迭代,把他们觉得比较影响使用的问题先解决掉。

6.分享和培训

先给大家做了一次分享,演示框架操作原理,如何开发接口测试用例。为了让大家好理解,我就拿postman 的使用步骤和框架测试一个接口做类比。即使如此, 大家刚使用测试框架时候仍遇到了不少问题(也是意料之中,大多数外包几乎 0 编程经验),包括接口测试用例开发成本高,外包同学代码能力差遇到问题解决不了,不会debug代码,开发好的用例上传gitlab经常搞出冲突需要解决,每个同学用例的写法千奇百怪等等。还记得当时那段时间的内容,除了做手上的业务就是帮忙看大家在写用例遇到的各种问题。为了解决这些问题,我也挤时间编写测试框架使用说明书,对大家进行git使用培训,debug培训等,鼓励大家多学点Java,多读读《Java编程思想》

7.注重大家的使用反馈

使用反馈是非常重要的。因为它是你进行版本迭代的驱动力。其实就和产品做项目一样,每个版本都要分析用户的使用反馈,根据反馈进行版本优化和迭代。可以和使用者沟通,发现一些他们使用过程的痛点。当然这只是第一步,更重要的是要有解决方案。

8.考虑代码生成

针对用例开发成本高的问题,我通过在测试用例开发过程总结到HTTP不同请求方法对应的接口测试写法不一样,同方法的测试接口写法几乎一致,突然想到可以使用模板(freemarker)自动生成接口测试用例,然后我就整理几种接口测试用例生成模板(post、get等),这样大大降低测试用例开发成本,大家更多在于测试数据的准备和断言。

个人觉得代码生成是每个测试框架设计的必须考虑的点,因为像postman、jmeter等这些工具本质上和你开发测试框架是雷同的,如果做到用例之间可以相互转化,可以提高用例的可迁移性和复用性。

三、教训总结

1.缺乏自动化效果的统计&度量

上文说了,相比过程,老板更看重结果。如何体现结果,那就是要有数据统计与度量。记得被开发挑战过,你们搞得自动化发现了多少缺陷、节约了多少时间等问题。这块当时做的不好。

1是框架本身还没有平台化,当时实现的功能是测试用例开发模块的实现,统计数据没有落DB,这块需要靠人工统计比较费时间(当时为了统计自动化用例运行结果数据,在Jenkins服务器上捞日志,简直是痛苦)。
2是当时没有明确的度量目标,像节约了多少时间这类,确实难以衡量。

现在我觉得当时的框架设计之初是遗漏了这个问题的,建议后来者可以将测试数据都落DB。

2.没有对测试进行测试

这个主要是没有对测试框架本身进行测试,特别是多人协作开发模式,单测尤为重要,单测在一定程度上是保障代码质量的手段,可以有效避免部分同学“乱改”别人的代码。当然,如果时间充足,建议对测试框架写单测。

3.自动化用例开发计划没有突出侧重点

这个也是教训1的一个原因。框架完成之后,我们就在okr里计划xx完成接口100%自动化覆盖,刚开始阶段没有对被测接口重要性做分析,导致没有将时间花在核心的接口用例开发上,也间接导致产出不高。

现在想想,其实是计划不明确且没有突出重点的问题,颗粒度还不够,现在的建议是大家要优先实现核心接口,这些接口流量大,更容易有产出。不要为了追求覆盖率而本末倒置。

4.断言的不完善

当时的框架没有开发DB checker,所以断言全靠http 响应,其实这样的用例是质量不高的,也就是测试预期不全面,可能会存在漏网之鱼(遗漏缺陷)。

建议大家一定要断言模块重点考虑到。包括http层面(响应时间、响应码、key字段断言、状态码等)、DB层面(key字段值比对等)。

END今天的分享就到此结束了! 点赞关注不迷路!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/157053.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

小红书全自动加群引流脚本「 软件工具+引流技术教程」

软件介绍: 小红书群聊最新玩法,可自动检测群人数加群,不会加到垃圾群。定时发送广告,红书群聊的引流玩法回来了 功能一、自动搜索关键词加群,比如创业、项目、鞋子、包包、考公、考研… 功能二、自动检测群人数&…

宏集新闻 | 虹科传感器事业部正式更名为宏集科技

致一直支持“虹科传感器”的朋友们: 为进一步整合资源,给您带来更全面、更优质的服务,我们非常荣幸地宣布,虹科传感器事业部已正式更名为宏集科技。这一重要的改变代表了虹科持续发展进程中的新里程碑,也体现了我们在传…

vue中原生H5拖拽排序_拖拽图片也是同样的道理

原文地址【vue中原生H5拖拽排序_拖拽图片也是同样的道理】 H5有基于拖拽的事件机制&#xff0c;如果你还不熟悉&#xff0c;请看我之前的文章【拖拽上传】中有介绍。 原生拖拽API实现 由于比较简单直接上代码了&#xff1a; <!DOCTYPE html> <html lang"en&qu…

gwas数据获取如何获取完整的GWAS summary数据(1)------GWAS catalog数据库

IEU OpenGWAS project (mrcieu.ac.uk) UK Biobank - UK Biobank GWAS Catalog 在孟德尔随机化&#xff08;Mendelian randomization&#xff0c;MR&#xff09;研究中&#xff0c;对于暴露数据我们只需要那些显著的SNP信息&#xff0c;这样的信息在各种GWAS数据库中都是很容…

C++使用Tensorflow2.6训练好的模型进行预测

要在C语言中调用训练好的TensorFlow模型,需要使用TensorFlow C API。 https://tensorflow.google.cn/install/lang_c?hl=zh-cnten TensorFlow 提供了一个 C API,该 API 可用于为其他语言构建绑定。该 API 在 c_api.h 中定义,旨在实现简洁性和一致性,而不是便利性。 下载…

Jenkins 下载安装

下载 Jenkins 选择Download LTS是稳定版本,尽量选择稳定版本,然后选择你的开发系统. 安装 Jenkins需要JAVA环境&#xff0c;所以安装JAVA环境 Java Jenkins支持17、21等几个版本的Java&#xff0c;OpenJDK JDK 21.0.1 GA Release 安装不要安装到C盘,这个后面会占较大的…

体感互动游戏VR游戏AR体感游戏软件开发

随着科技的不断发展&#xff0c;体感互动游戏正逐渐成为游戏行业的一个重要趋势。这类游戏通过利用传感器、摄像头和运动控制器等技术&#xff0c;使玩家能够通过身体动作与游戏进行实时互动&#xff0c;极大地提升了娱乐体验。 1. 游戏设计与互动元素 体感互动游戏的核心在于…

HTML5生成二维码

H5生成二维码 前言二维码实现过程页面实现关键点全部源码 前言 本文主要讲解如何通过原生HTML、CSS、Js中的qrcodejs二维码生成库&#xff0c;实现一个输入URL按下回车后输出URL。文章底部有全部源码&#xff0c;需要可以自取。 实现效果图&#xff1a; 上述实现效果为&#…

LeetCode209.长度最小的子数组(滑动窗口法、暴力法)

LeetCode209.长度最小的子数组 1.问题描述2.解题思路3.代码4.知识点 1.问题描述 给定一个含有 n 个正整数的数组和一个正整数 target 。找出该数组中满足其总和大于等于 target 的长度最小的 连续子数组 [numsl, numsl1, ..., numsr-1, numsr] &#xff0c;并返回其长度。如果…

C++静态链接库的生成以及使用

目录 一.前言二.生成静态链接库三.使用静态链接库四.其他 一.前言 这篇文章简单讨论一下VS如何生成和使用C静态链接库&#xff0c;示例使用VS2022环境。 二.生成静态链接库 先创建C项目-静态库 然后将默认生成的.h和.cpp文件清理干净&#xff0c;当然你也可以选择保留。 然…

SpringBoot 自动装配原理 - 支付宝支付封装starter

SpringBoot 自动装配 SpringBoot 自动装配原理详细介绍自定义 Spring Boot Starter1.读取配置文件2.注册 AlipayClient bean3.核心代码编写4.注册 AlipayAPI bean5.编写 META-INF/spring.factories 文件6.项目结构测试1.创建一个测试项目&#xff0c;引入自定义 starter 依赖2.…

vue3+elementPlus登录向后端服务器发起数据请求Ajax

后端的url登录接口 先修改main.js文件 // 导入Ajax 前后端数据传输 import axios from "axios"; const app createApp(App) //vue3.0使用app.config.globalProperties.$http app.config.globalProperties.$http axios app.mount(#app); login.vue 页面显示部分…

数据结构之栈的讲解

&#x1f495;" 春宵一刻值千金&#xff0c;花有清香月有阴。 "&#x1f495; 作者&#xff1a;Mylvzi 文章主要内容&#xff1a;leetcode刷题之哈希表的应用(1) 1.栈的概念 栈是一种只允许在一端&#xff08;栈顶&#xff09;进行数据操作的数据结构&#xff0c;具…

如何把A3 pdf 文章打印成A4

1. 用Adobe Acrobat 打开pdf 2 打印 选择海报 进行调整即可如下图,见下面红色的部分。

说一下类的生命周期

&#x1f47d;System.out.println(“&#x1f44b;&#x1f3fc;嗨&#xff0c;大家好&#xff0c;我是代码不会敲的小符&#xff0c;双非大四&#xff0c;Java实习中…”); &#x1f4da;System.out.println(“&#x1f388;如果文章中有错误的地方&#xff0c;恳请大家指正&a…

MySQL MHA高可用配置及故障切换

一、MHA相关概念 1&#xff0e;什么是 MHA MHA&#xff08;MasterHigh Availability&#xff09;是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。 MHA 的出现就是解决MySQL 单点的问题。 MySQL故障切换过程中&#xff0c;MHA能做到0-30秒内自动完成故障切换操作。 …

二百零七、Flume——Flume实时采集5分钟频率的Kafka数据直接写入ODS层表的HDFS文件路径下

一、目的 在离线数仓中&#xff0c;需要用Flume去采集Kafka中的数据&#xff0c;然后写入HDFS中。 由于每种数据类型的频率、数据大小、数据规模不同&#xff0c;因此每种数据的采集需要不同的Flume配置文件。玩了几天Flume&#xff0c;感觉Flume的使用难点就是配置文件 二、…

信号的处理时机(内核态,用户态,如何/为什么相互转换,内核空间,cpu寄存器),信号的处理流程详细介绍+抽象图解

目录 信号的处理时机 引入 思考 -- 什么时候才能算合适的时候呢? 用户态转为内核态 引入 内核地址空间 引入 思考 -- 进程为什么能切换成内核态呢? 虚拟地址空间 注意点 原理 (总结一下) 为什么如何进入内核态 引入 介绍 底层原理(int 80) cpu的寄存器 用…

nodejs express vue uniapp新闻发布系统源码

开发技术&#xff1a; node.js&#xff0c;mysql5.7&#xff0c;vscode&#xff0c;HBuilder nodejs express vue uniapp 功能介绍&#xff1a; 用户端&#xff1a; 登录注册 首页显示搜索新闻&#xff0c;新闻分类&#xff0c;新闻列表 点击新闻进入新闻详情&#xff0…

计算机网络——网络可靠性及网络出口配置

1. 前言&#xff1a; 学习目标&#xff1a; 1.了解链路聚合的作用 2. 了解ACL的工作原理 3. 了解NAT的工作原理和配置 2. 网络可靠性方案 网络可靠性是指网络在面对各种异常情况或故障时&#xff0c;能够维持正常运行和提供服务的能力。这包括防止网络中断、减小数据丢失的可能…