pytestx容器化执行引擎

系统架构

前端、后端、pytest均以Docker容器运行服务，单独的容器化执行引擎，项目环境隔离，即用即取，用完即齐，简单，高效。

  • 前端容器：页面交互，请求后端，展示HTML报告

  • 后端容器：接收前端请求，启动任务，构建镜像，触发运行pytest，挂载HTML报告

  • pytest容器：拉取项目代码，指定目录执行，生成HTML报告

说明：构建镜像目前是在宿主机启动后端服务来执行docker命令的，暂未支持Kubernetes编排。宿主机安装了Docker，启动服务后，可以执行docker命令。如果采用容器部署后端，容器里面不包含Docker，无法构建，个人想法是可以借助K8S来编排，当前版本还未实现

系统流程

支持2种运行模式配置：容器和本地。

容器模式：判断是否支持docker，如果支持，构建pytest镜像，在构建时，通过git拉取项目代码，再运行容器，按照指定目录执行pytest，生成测试报告，并将报告文件挂载到后端。如果不支持，降级为本地运行。

本地模式：模拟容器行为，在本地目录拉取代码，执行pytest，生成测试报告。

效果展示

任务管理：

容器模式：

本地模式：

平台大改造

pytestx平台更轻、更薄，移除了用例管理、任务关联用例相关功能代码，只保留真正的任务调度功能，backend的requirements.txt解耦，只保留后端依赖，pytest相关依赖转移到tep-project。

那如何管理用例呢？约定大于配置，我们约定pytest项目已经通过目录维护好了一个稳定的自动化用例集，也就是说需要通过平台任务调度的用例，都统一存放在目录X下，这些用例基本不需要维护，可以每日稳定执行，然后将目录X配置到平台任务信息中，按指定目录执行用例集。对于那些不够稳定的用例，就不能放到目录X下，需要调试好以后再纳入。

为什么不用marker？pytest的marker确实可以给测试用例打标记，也有人是手动建立任务和用例进行映射，这些方式都不如维护一个稳定的自动化用例集方便，在我们公司平台上，也是维护用例集，作为基础用例集。使用pytest项目同理。

核心代码

一键部署

#!/bin/bash
PkgName='backend'Dockerfile='./deploy/Dockerfile.backend'
DockerContext=./echo "Start build image..."
docker build -f $Dockerfile -t $PkgName $DockerContext
if [ $? -eq 0 ]
thenecho "Build docker image success"echo "Start run image..."docker run -p 8000:80 $PkgName
elseecho "Build docker image failed"
fi
FROM python:3.8ENV LANG C.UTF-8
ENV TZ=Asia/ShanghaiRUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezoneWORKDIR /app
COPY ./backend .
RUN pip install -r ./requirements.txt -i \https://pypi.tuna.tsinghua.edu.cn/simple \--default-timeout=3000CMD ["python", "./manage.py", "runserver", "0.0.0.0:80"]

数据库表

更精简，只有project和task两张表，简化平台功能，聚焦任务调度：

需要说明的是，如果多人运行任务，只会存储最后一次执行结果，这个问题不是核心，个人精力有限，不打算在开源项目中开发，更侧重于实现任务调度，供大家参考

执行任务

settings配置任务模式，判断执行不同分支：

def run(self):logger.info("任务开始执行")if settings.TASK_RUN_MODE == TaskRunMode.DOCKER:  # 容器模式try:self.execute_by_docker()except Exception as e:logger.info(e)if e == TaskException.DockerNotSupportedException:logger.info("降级为本地执行")self.execute_by_local()if settings.TASK_RUN_MODE == TaskRunMode.LOCAL:  # 本地模式self.execute_by_local()self.save_task()

容器模式

先根据docker -v命令判断是否支持docker，然后docker build，再docker run

def execute_by_docker(self):logger.info("运行模式：容器")output = subprocess.getoutput("docker -v")logger.info(output)if "not found" in output:raise TaskException.DockerNotSupportedExceptionbuild_args = [f'--build-arg CMD_GIT_CLONE="{self.cmd_git_clone}"',f'--build-arg GIT_NAME="{self.git_name}"',f'--build-arg EXEC_DIR="{self.exec_dir}"',f'--build-arg REPORT_NAME="{self.report_name}"',]cmd = f"docker build {' '.join(build_args)} -f {self.dockerfile_pytest} -t {self.git_name} {BASE_DIR}"logger.info(cmd)output = subprocess.getoutput(cmd)logger.info(output)cmd = f"docker run -v {REPORT_PATH}:/app/{os.path.join(self.exec_dir, 'reports')} {self.git_name}"logger.info(cmd)output = subprocess.getoutput(cmd)logger.info(output)

将项目仓库、执行目录、报告名称信息，通过参数传入Dockerfile.pytest

FROM python:3.8ENV LANG C.UTF-8
ENV TZ=Asia/Shanghai
ARG CMD_GIT_CLONE
ARG GIT_NAME
ARG EXEC_DIR
ARG REPORT_NAMERUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezoneWORKDIR /app
RUN $CMD_GIT_CLONE
RUN pip install -r ./$GIT_NAME/requirements.txt -i \https://pypi.tuna.tsinghua.edu.cn/simple \--default-timeout=3000WORKDIR $EXEC_DIR
ENV HTML_NAME=$REPORT_NAME
CMD ["pytest", "--html=./reports/$HTML_NAME", "--self-contained-html"]

docker run的-v参数将容器报告挂载在后端服务，当报告生成后，后端服务也会生成一份报告文件。再将文件内容返给前端展示：

def report(request, *args, **kwargs):task_id = kwargs["task_id"]task = Task.objects.get(id=task_id)report_path = task.report_pathwith open(os.path.join(REPORT_PATH, report_path), 'r', encoding="utf8") as f:html_content = f.read()return HttpResponse(html_content, content_type='text/html')

测试报告使用的pytest-html，重数据内容，轻外观样式。

本地模式

模拟容器行为，把本地.local目录当做容器，拉代码，执行pytest，生成报告，复制报告到报告文件夹，删除本地目录：

def execute_by_local(self):logger.info("运行模式：本地")os.makedirs(self.local_path, exist_ok=True)os.chdir(self.local_path)cmd_list = [self.cmd_git_clone, self.cmd_pytest]for cmd in cmd_list:logger.info(cmd)output = subprocess.getoutput(cmd)if output:logger.info(output)os.makedirs(REPORT_PATH, exist_ok=True)shutil.copy2(self.project_report_path, REPORT_PATH)shutil.rmtree(LOCAL_PATH)

本地模式，主要用于本地调试，在缺失Docker环境时，也能调试其他功能。

配置

TASK_RUN_MODE = TaskRunMode.DOCKER
LOCAL_PATH = os.path.join(BASE_DIR, ".local")
REPORT_PATH = os.path.join(BASE_DIR, "task", "report")
class TaskRunner:def __init__(self, task_id, run_user_id):self.task_id = task_idself.directory = Task.objects.get(id=task_id).directoryself.project_id = Task.objects.get(id=task_id).project_idself.git_repository = Project.objects.get(id=self.project_id).git_repositoryself.git_branch = Project.objects.get(id=self.project_id).git_branchself.git_name = re.findall(r"^.*/(.*).git", self.git_repository)[0]self.local_path = os.path.join(LOCAL_PATH, str(uuid.uuid1()).replace("-", ""))self.run_user_id = run_user_idself.current_time = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime(time.time()))self.report_name = f"{str(self.git_name)}-{self.task_id}-{self.run_user_id}-{self.current_time}.html"self.project_report_path = os.path.join(self.local_path, self.git_name, "reports", self.report_name)self.dockerfile_pytest = os.path.join(DEPLOY_PATH, "Dockerfile.pytest")self.exec_dir = os.path.join(self.git_name, self.directory)self.cmd_git_clone = f"git clone -b {self.git_branch} {self.git_repository}"self.cmd_pytest = f"pytest {self.exec_dir} --html={self.project_report_path} --self-contained-html"

tep-project更新

1、整合fixture，功能类放在fixture_function模块，数据类放在其他模块，突出fixture存放数据概念，比如登录接口fixture_login存储用户名密码、数据库fixture_mysql存储连接信息、文件fixture_file_data存储文件路径

2、改造fixture_login，数据类fixture代码更简洁

import pytest
from loguru import logger@pytest.fixture(scope="session")
def login(http, file_data):logger.info("----------------开始登录----------------")response = http("post",url=file_data["domain"] + "/api/users/login",headers={"Content-Type": "application/json"},json={"username": "admin", "password": "qa123456"})assert response.status_code < 400logger.info("----------------登录成功----------------")response = response.json()return {"Content-Type": "application/json", "Authorization": f"Bearer {response['token']}"}@pytest.fixture(scope="session")
def login_xdist(http, tep_context_manager, file_data):"""该login只会在整个运行期间执行一次"""def produce_expensive_data(variable):logger.info("----------------开始登录----------------")response = http("post",url=variable["domain"] + "/api/users/login",headers={"Content-Type": "application/json"},json={"username": "admin", "password": "qa123456"})assert response.status_code < 400logger.info("----------------登录成功----------------")return response.json()response = tep_context_manager(produce_expensive_data, file_data)return {"Authorization": "Bearer " + response["token"]}

3、改造fixture_mysql，支持维护多个连接，并且保持简洁

fixture_function.py

@pytest.fixture(scope="class")
def executor():class Executor:def __init__(self, db):self.db = dbself.cursor = db.cursor()def execute_sql(self, sql):try:self.cursor.execute(sql)self.db.commit()except Exception as e:print(e)self.db.rollback()return self.cursorreturn Executor

fixture_mysql.py

@pytest.fixture(scope="class")
def mysql_execute(executor):db = pymysql.connect(host="host",port=3306,user="root",password="password",database="database")yield executor(db).execute_sqldb.close()@pytest.fixture(scope="class")
def mysql_execute_x(executor):db = pymysql.connect(host="x",port=3306,user="x",password="x",database="x")yield executor(db).execute_sqldb.close()

4、改造fixture_file_data，并添加示例test_file_data.py

import osimport pytestfrom conftest import RESOURCE_PATH@pytest.fixture(scope="session")
def file_data(resource):file_path = os.path.join(RESOURCE_PATH, "demo.yaml")return resource(file_path).get_data()@pytest.fixture(scope="session")
def file_data_json(resource):file_path = os.path.join(RESOURCE_PATH, "demo.json")return resource(file_path).get_data()

5、添加接口复用的示例代码

tests/base就是平台调度使用的稳定自动化用例集。

接口代码复用设计

5条用例：

  1. test_search_sku.py：搜索商品，前置条件：登录

  2. test_add_cart.py：添加购物车，前置条件：登录，搜索商品

  3. test_order.py：下单，前置条件：登录，搜索商品，添加购物车

  4. test_pay.py：支付，前置条件：登录，搜索商品，添加购物车，下单

  5. test_flow.py：完整流程

怎么设计？

  • 登录，每条用例前置条件都依赖，定义为fixture_login，放在fixtures目录下

  • 搜索商品，test_search_sku.py用例本身不需要复用，被前置条件依赖3次，可以复用

①定义为fixture_search_sku放在fixtures❌ 弊端：导致fixtures臃肿

②复制用例文件，允许多份代码，平行展开✅ 好处：高度解耦，不用担心依赖问题

总结，定义为fixture需要具备底层性，足够精炼。对于业务接口用例的前置条件，尽量在用例文件内部处理，保持文件解耦，遵循独立可运行的原则。

复制多份文件？需要修改的话要改多份文件？

是的，但这种情况极少。我能想到的情况：一、框架设计不成熟，动了底层设计，二、接口不稳定，改了公共接口，三、用例设计不合理，不能算是自动化。接口自动化要做好的前提，其实就是框架成熟，接口稳定，用例设计合理，满足这些前提以后，沉淀下来的自动化用例，几乎不需要大批量修改，更多的是要针对每条用例，去修改内部的数据，以满足不同场景的测试需要。也就是说，针对某个用例修改这个用例的数据，是更常见的行为。

如果项目变动实在太大，整个自动化都不能用了，不管是做封装还是平行展开，维护量都非常大，耦合度太高的话，反而还不好改。

跟着pytestx学习接口自动化框架设计，更简单，更快速，更高效

https://github.com/dongfanger/pytestx

https://gitee.com/dongfanger/tep-project

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/54751.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

华为云渲染实践

华为云渲染实践

// 编者按&#xff1a;云计算与网络基础设施发展为云端渲染提供了更好的发展机会&#xff0c;华为云随之长期在自研图形渲染引擎、工业领域渲染和AI加速渲染三大方向进行云渲染方面的探索与研究。本次LiveVideoStackCon 2023上海站邀请了来自华为云的陈普&#xff0c;为大家分…
阅读更多...
【ag-grid-vue】column

【ag-grid-vue】column

网格中的每一列都使用列定义(ColDef)来定义。列根据在网格选项中指定的列定义的顺序在网格中定位。 列定义 下面的例子展示了一个定义了3列的简单网格: <template><ag-grid-vuestyle"height: 300px; width: 1000px"class"ag-theme-balham":colum…
阅读更多...
自动化的驱动力，工控机助您实现智能生产！

自动化的驱动力，工控机助您实现智能生产！

“智能工厂建设如火如荼&#xff0c;部分成果已经落地&#xff0c;在大规模资金投入的市场催化下&#xff0c;海尔、海信等制造企业通过智能工厂手段推进生产效率成倍增长的新闻层出不穷。在工业4.0时代&#xff0c;“中国制造2025”战略中&#xff0c;智能工厂构建都是其中不可…
阅读更多...
【KMP算法-代码随想录】

【KMP算法-代码随想录】

目录 1.什么是KMP2.什么是next数组3.什么是前缀表&#xff08;1&#xff09;前后缀含义&#xff08;2&#xff09;最长公共前后缀&#xff08;3&#xff09;前缀表的必要性 4.计算前缀表5.前缀表与next数组&#xff08;1&#xff09;使用next数组来匹配 6.构造next数组&#xf…
阅读更多...
1.linux的常用命令

1.linux的常用命令

目录 一、Linux入门 二、Linux文件系统目录 三、Linux的vi和vim的使用 四、Linux的关机、重启、注销 四、Linux的用户管理 五、Linux的运行级别 六、Linux的文件目录指令 七、Linux的时间日期指令 八、Linux的压缩和解压类指令 九、Linux的搜索查找指令 ​​​​​​…
阅读更多...
windows可视化界面管理服务器上的env文件

windows可视化界面管理服务器上的env文件

需求&#xff1a;在 Windows 环境中通过可视化界面编辑位于 Linux 主机上的 env 文件的情况&#xff0c;我现在环境是windows环境&#xff0c;我的env文件在linux的192.168.20.124上&#xff0c;用户是op&#xff0c;密码是op&#xff0c;文件绝对路径是/home/op/compose/env …
阅读更多...
无涯教程-PHP - 性能优化

无涯教程-PHP - 性能优化

根据Zend小组的说明,以下插图显示了PHP 7与PHP 5.6和基于流行的基于PHP的应用程序上的HHVM 3.7。 Magento 1.9 与执行Magento事务的PHP 5.6相比&#xff0c;PHP 7的运行速度证明是其两倍。 Drupal 7 在执行Drupal事务时&#xff0c;与PHP 5.6相比&#xff0c;PHP 7的运行速度…
阅读更多...
SQL 大小敏感问题

SQL 大小敏感问题

在SQL中&#xff0c;关键字和函数名 是不区分 大小写的 比如&#xff08;select、where、order by 、group by update 等关键字&#xff09;&#xff0c;以及函数(ABS、MOD、round、min等) window系统默认是大小写不敏感 &#xff08;ZEN文件和zen 文件 不能同时存在&#xff…
阅读更多...
【vue3+ts项目】配置husky+配置commitlint

【vue3+ts项目】配置husky+配置commitlint

上一篇文章中配置了eslint校验代码工具 【vue3ts项目】配置eslint校验代码工具&#xff0c;eslintprettierstylelint 1、配置husky 每次手动执行命令才能格式化代码&#xff0c;如果有人没有格式化就提交到远程仓库&#xff0c;这个规范就起不到作用了&#xff0c;所有需要强…
阅读更多...
Arcgis colorRmap

Arcgis colorRmap

arcgis中colorRmap对应的名称&#xff1a; 信息来源&#xff1a;https://developers.arcgis.com/documentation/common-data-types/raster-function-objects.htm 在arcpy中使用方法&#xff1a; import arcpy cr arcpy.mp.ColorRamp("Yellow to Red")python中 ma…
阅读更多...
wqs二分

wqs二分

前提&#xff1a;答案满足凸性 题目类似为 n n n 个里面选 m m m 个求某种代价&#xff0c;暴力二维dp复杂度大&#xff0c;但容易计算不限制选的次数。 由于不限制选的次数&#xff0c;所以给选一个东西给一个代价 v v v&#xff0c;然后判断最后选了多少个&#xff0c;再…
阅读更多...
Docker（md版）

Docker（md版）

Docker 一、Docker二、更换apt源三、docker搭建四、停启管理五、配置加速器5.1、方法一5.2、方法二 六、使用docker运行漏洞靶场1、拉取tomcat8镜像2、拉取成功3、开启服务4、查看kali的IP地址5、访问靶场6、关闭漏洞靶场 七、vulapps靶场搭建 一、Docker Docker是一个开源的应…
阅读更多...
2023国赛数学建模思路 - 案例：随机森林

2023国赛数学建模思路 - 案例：随机森林

文章目录 1 什么是随机森林&#xff1f;2 随机深林构造流程3 随机森林的优缺点3.1 优点3.2 缺点 4 随机深林算法实现 建模资料 ## 0 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 1 什么是随机森林&#xff…
阅读更多...
python网络编程

python网络编程

文章目录 socket套接字客户端/服务模型linux文件描述符fdLinux网络IO模型详解网络服务器Apache VS Nginx生产者消费者-生成器版客户端/服务端-多线程版IO多路复用TCPServer模型异步IO多路复用TCPServer模型 socket套接字 套接字&#xff08;socket&#xff09;是抽象概念,表示T…
阅读更多...
c++ qt--事件（第六部分）

c++ qt--事件（第六部分）

c qt–事件&#xff08;第六部分&#xff09; 一.编辑伙伴&#xff0c;编辑顺序&#xff08;按TAB进行切换&#xff09; 1.编辑伙伴 此功能在设计界面如下的位置 1.设置伙伴关系 鼠标左键长按一个Label组件然后把鼠标移到另一个组件上 2.伙伴关系的作用 伙伴关系的作用就是…
阅读更多...
HoudiniVex笔记_P26_RecursionBasics递归基础

HoudiniVex笔记_P26_RecursionBasics递归基础

原视频&#xff1a;https://www.youtube.com/playlist?listPLzRzqTjuGIDhiXsP0hN3qBxAZ6lkVfGDI Bili&#xff1a;Houdini最强VEX算法教程 - VEX for Algorithmic Design_哔哩哔哩_bilibili Houdini版本&#xff1a;19.5 1、概述 递归是一种直接或者间接地调用自身的算法&a…
阅读更多...
猜数游戏-Rust版

猜数游戏-Rust版

cargo new guessing_game 创建项目 输入任意内容&#xff0c;并打印出来 main.rs: use std::io; // 像String这些类型都在预先导入的prelude里&#xff0c;如果要使用的不在prelude里&#xff0c;则需要显式导入fn main() { println!("猜数"); println!("…
阅读更多...
37、springboot 为 spring mvc 提供的自动配置及对自动配置的一些自定义定制（大体思路）

37、springboot 为 spring mvc 提供的自动配置及对自动配置的一些自定义定制（大体思路）

springboot 为 spring mvc 提供的自动配置及对自动配置的一些自定义定制&#xff08;大体思路&#xff09; ★ Spring Boot主流支持两个MVC框架&#xff1a; Spring MVC&#xff08;基于Servlet&#xff09; Spring WebFlux&#xff08;基于Reactive&#xff0c;属于响应式AP…
阅读更多...
vcomp140.dll丢失的修复方法分享，电脑提示vcomp140.dll丢失修复方法

vcomp140.dll丢失的修复方法分享，电脑提示vcomp140.dll丢失修复方法

今天&#xff0c;我的电脑出现了一个奇怪的问题&#xff0c;打开某些程序时总是提示“找不到vcomp140.dll文件”。这个问题让我非常头疼&#xff0c;因为我无法正常使用电脑上的一些重要软件。为了解决这个问题&#xff0c;我在网上查找了很多资料&#xff0c;并尝试了多种方法…
阅读更多...
使用Aircrack-ng进行无线网络破解

使用Aircrack-ng进行无线网络破解

Aircrack-ng是一款流行的无线网络渗透测试工具&#xff0c;主要用于密码破解和网络分析。但是&#xff0c;请注意&#xff0c;仅在有合法授权的情况下使用这些工具。 以下是一个使用Aircrack-ng进行无线网络破解的示例&#xff0c;以及一些步骤和注意事项&#xff1a; 步骤&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023