file | 某文件夹【解耦合】下的文件查找功能实现及功能单元测试

文件查找工具

  • 概要
  • 思路
  • OS模块 --- 学习版
    • os.getcwd()
    • os.path.dirname(os.getcwd())
    • os.path.dirname() 和 os.path.basename()
  • OS模块 — 实战版
      • 单元测试
        • 解耦合

概要

  • 梳理业务主逻辑:
  1. 查看存放被采集JSON数据的文件夹内的文件列表【所有 包含文件夹下的文件夹下的文件
    这是本节内容聚焦的点
  2. 和MySQL内记录的信息做比对,判断哪些文件是新文件,需要采集的。
  3. 读取JSON文件,执行ETL操作(读取->写入CSV->写入MySQL(目的地库))。
  4. 将被处理的JSON信息,记录到MySQL数据库(元数据库)

思路

读取某个文件中的文件名--------------------set()

读取数据库中已经处理过的文件名称-----set()
做处理 – 得到未处理过的文件名-----------set()-set()

如何处理?

  • 思路1:集合相减得到的结果是在第一个集合且不在第二个集合中的元素
  • 思路2: for循环

在这里插入图片描述

OS模块 — 学习版

  • 耦合

和固定路径绑定在一起,若是将这部分代码给其他人,他们需要创建对应文件夹才可以使用

# 学习OS 接口模块
import os# 输出文件下的子文件  - 不包括子文件下的文件 仅返回子文件夹的名称
files = os.listdir(r'E:\pythonProject\ETL\day04_商品数据采集\04_数据\采集JSON')
print(files)# 输出文件下的子文件 包括子文件夹呢?
# 递归调用
def read_dir(dir):results =[]files = os.listdir(dir)for file in files:# 判断是否是目录if os.path.isdir(file):results += read_dir(dir+'/'+file)else:results.append(dir+'/'+file)return results
  • 调用

print(read_dir(os.getcwd()))

['E:\\pythonProject\\pythonetl\\learning/learning_os.py', 'E:\\pythonProject\\pythonetl\\learning/learning_time.py', 'E:\\pythonProject\\pythonetl\\learning/learning_unittest.py', 'E:\\pythonProject\\pythonetl\\learning/learn_logging.py', 'E:\\pythonProject\\pythonetl\\learning/log_t1.py', 'E:\\pythonProject\\pythonetl\\learning/mycode.py']

当前路径E:\pythonProject\pythonetl\learning\learning_os.py,在learning_os.py中执行以下代码

os.getcwd()

print('getcwd',os.getcwd())

getcwd E:\pythonProject\pythonetl\learning

os.path.dirname(os.getcwd())

print('dirname',os.path.dirname(os.getcwd()))

dirname E:\pythonProject\pythonetl

os.path.dirname() 和 os.path.basename()

stra = ['E:\pythonProject\pythonetl']
for i in stra:print(os.path.dirname(i))print(os.path.basename(i))

E:\pythonProject
pythonetl

OS模块 — 实战版

  • 在until文件夹下创建filr_until.py文件
import osdef get_dir_files_list(path="./",recursive=False):# 判断文件夹下面,有哪些文件# :param path:被判断的文件夹的路径,默认当前路径# :param recursive:是否递归读取,默认不递归# :return:1ist对象,list里面存储的是文件的路径#os.listdir这个API返回的是你给定的path下面有哪些`文件和文件夹`、dir_names = os.listdir(path)# print('dir_names',dir_names)# if not dir_names:#     return os.path.basename(path)files =[]#定义一个list,用来记录文件for dir_name in dir_names:absolute_path = f"{path}/{dir_name}"if not os.path.isdir(absolute_path):# print('not a dir')#如果进来这个if,表明这个是:文件files.append(absolute_path)else:# print('is a dir')#表明是文件夹if recursive:#如果recursive是True,表明要进到文件夹里面继续找文件files += get_dir_files_list(absolute_path,recursive)return files

单元测试

  • test文件夹下的test_file_until.py文件
    在这里插入图片描述
import os.path
from unittest import TestCase
from util.file_util import get_dir_files_listclass TestFileUtil(TestCase):# 确定手动创建的测试目录的绝对路径def setUp(self) -> None: # 测试前需要提前执行的代码  例如连接数据库self.project_root_path = os.path.dirname(os.getcwd())print('解耦合获得路径:',self.project_root_path)passdef test_myfunc(self): # 要以test开头运行# 测试get_dir_files_list 函数# 该以哪一个作为我们的测试目录# 解耦合  ---'''请在工程根目录的test文件夹内建立:test_dir /inner1 /iner2 /innner3/53412的目录结构用于进行此方法的单元测试不递归结果应该是1和2递归结果应该是1, 2, 3, 4, 5'''# 测试没有开启递归调用的代码result1 = get_dir_files_list(path = self.project_root_path + '/' + 'test_dir',recursive=False)predicted_result= ['1', '2']# self.assertEqual(results, predicted_result)result_1 = []for p in predicted_result:result_1.append(self.project_root_path + '/' + 'test_dir'+'/'+p)# 排除顺序对结果的影响result1.sort()result_1.sort()# 这里断言 函数获得的结果和预期的结果路径是一致的self.assertEqual(result1, result_1)# 测试开启递归调用的代码  不包括inner3这种情况result2 = get_dir_files_list(path = self.project_root_path + '/' + 'test_dir',recursive=True)predicted_result = ['1', '2','inner1/3','inner1/4','inner1/inner2/5',]# 若是  'inner1/4','inner1/3'  则会出现错误   因此 我们要加上一道保险  调整顺序# 使用sort()函数  没有返回值result_2 = []for p in predicted_result:result_2.append(self.project_root_path + '/' + 'test_dir'+'/'+p)result2.sort()result_2.sort()self.assertEqual(result2, result_2)# 测试开启递归调用的代码  测试空文件夹  针对 inner3这种情况'''实际上输出  不应该出现  'E:\\pythonProject\\pythonetl/test_dir/inner1/inner2/inner3'这种情况因为我们遍历的是可以用的文件   而非目录     所以想办法排除目录'''result3 = get_dir_files_list(path = self.project_root_path + '/' + 'test_dir',recursive=True)predicted_result = ['1', '2','inner1/3','inner1/4','inner1/inner2/5','inner1/inner2/inner3'] ## 若是  'inner1/4','inner1/3'  则会出现错误   因此 我们要加上一道保险  调整顺序# 使用sort()函数  没有返回值result_3 = []for p in predicted_result:result_3.append(self.project_root_path + '/' + 'test_dir'+'/'+p)#if os.path.isdir(result_3[-1]):if not os.listdir(result_3[-1]):result_3.pop(-1)result3.sort()result_3.sort()self.assertEqual(result3, result_3)def tearDown(self)-> None: # 收尾工作pass
解耦合

在软件开发中,解耦合(Decoupling)是指减少或去除系统中各组件之间的相互依赖关系,以提高系统的灵活性和可维护性。

解耦合的目标是创建松散耦合的系统,其中每个组件或模块都可以独立于其他组件进行开发、测试和维护。

例如:

我的一个系统的文件路径是绝对路径, 若是我将该系统给另一个人,他会因为文件夹是否存在的问题而出现报错的风险,因此我们要做解耦合的措施

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/878669.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Anaconda】修改jupyter notebook默认打开的工作目录、jupyter notebook快捷键

jupyter notebook快捷键 针对单元格的颜色蓝色命令行模式绿色编辑模式 两种模式的切换编辑模式切换到命令行模式 >>> esc键命令行模式切换到编辑模式 >>> 鼠标左键或者直接按enter键1.标题的书写方式1:1.esc进入命令行模式2.按m键3.写内容4.运行单元格即可方…

livekitAI对话实践(python+next)

https://docs.livekit.io/home/self-hosting/local/ 1)根据上面的教程启动livekit服务 livekit-server --dev --bind 0.0.0.0 保证局域网内都可以访问 启动成功后访问页面192.168.1.138:7800 是一个ok 2)根据下面的教程启动前端(next&#…

ArkTS 页面和自定义组件的生命周期

自定义组件:是使用Component 装饰的 UI 单元,可以使用多个系统组件来封装可以复用的组件。 页面:就是应用的 UI 页面,可以由一个或者多个自定义组件构成,页面则是使用Entry 装饰的自定义组件作为页面的入口组件&#…

SprinBoot+Vue健康管管理微信小程序的设计与实现

目录 1 项目介绍2 项目截图3 核心代码3.1 Controller3.2 Service3.3 Dao3.4 application.yml3.5 SpringbootApplication3.5 Vue3.6 uniapp代码 4 数据库表设计5 文档参考6 计算机毕设选题推荐7 源码获取 1 项目介绍 博主个人介绍:CSDN认证博客专家,CSDN平…

LabVIEW水泵机组监控系统

介绍了一种基于LabVIEW的水泵机组智能监控系统。该系统结合先进的传感器和数据采集技术,实时监控水泵机组的运行状态,有效预防故障,提高运行效率。通过LabVIEW平台的集成开发环境,系统实现了高效的数据处理和友好的用户界面。 项…

SpringCloud-02 Consul服务注册与发现

Consul是一种用于服务发现、配置和分布式协调的开源工具。Consul提供了以下主要功能: 1.服务发现:Consul允许开发人员在微服务架构中注册和发现服务。它可以自动检测新添加的服务并为它们分配唯一的网络地址。 2.健康检查:Consul可以定期检查…

一篇文档教会你从JavaScript语法走进DOM,让你的网页动起来

目录 JavaScript与WebAPI WebAPI简介 DOM 获取元素 事件 事件三要素 常见的事件类型 获取修改元素属性 基本介绍和使用 案例1:实现文本框内数字计数 案例2:实现“全部选中”按钮触发时相应的效果(worth trying for a freshman&…

【为项目做准备】Linux操作系统day2

这两天学校的事情总压着,day2拖了好几天..day2内容是进程数据结构 进程数据结构信号处理任务状态进程调度运行统计信息进程亲缘关系进程权限用户和组标识符(IDs)linux capabilities 内存管理文件与文件系统用户态与内核态用户态与内核态的转换函数调用栈内核栈和tas…

turbovnc 服务端、客户端安装

turbovnc 可以方便地远程登录带界面的linux系统,比如xbuntu、kali等;远程windows11系统,经过亲身测试体验,感觉还是不如windows自带的rdp服务(mstsc命令连接)好用。 一、安装客户端 下载最新版本的客户端…

力扣面试经典算法150题:接雨水

接雨水 今天的题目是力扣面试经典算法150题中的困难难度数组题目:分发糖果。 题目链接:https://leetcode.cn/problems/trapping-rain-water/description/?envTypestudy-plan-v2&envIdtop-interview-150 题目描述 给定 n 个非负整数表示每个宽度为…

常见的管理系统简称

1. ERP (Enterprise Resource Planning) - 企业资源计划 定义: ERP是一种集成了企业各个业务模块(如财务、人力资源、生产、供应链、销售等)的管理系统,旨在通过统一的平台来优化企业资源的配置和使用。 功能和特点: 集成性: ERP系统将企业…

python库pdf转word

要在 Python 中将 PDF 文件转换为 Word 文档(.doc 或 .docx 格式),您可以使用几个不同的库来实现这一目标。这里介绍几种常用的库及其使用方法: 1. 使用 pdf2docx pdf2docx 是一个流行的 Python 库,用于将 PDF 文件转换…

【Rust】006-Rust 枚举与`match`、`if let`、`let else`

【Rust】006-Rust 枚举与match、if let、let else 文章目录 【Rust】006-Rust 枚举与match、if let、let else一、简介二、使用场景三、基本使用1、定义枚举2、使用枚举 四、功能详解1、带数据的枚举2、使用match进行模式匹配3、使用if let简化特定变体的处理4、使用let else处…

0904作业+思维导图

一、作业 &#xff08;将昨天的作业修改为标准模板类的&#xff09; 1、代码 #include <iostream> #include <stack> using namespace std; //队列模板类 template<typename T> class Queue { private:int max; //队列最大容量int num; //队列内…

pikachu文件包含漏洞靶场通关攻略

本地文件包含 首先&#xff0c;在靶场根目录下创建一个php文件&#xff0c;内容是phpinfo(); 其次&#xff0c;上传一个任意球星图片&#xff0c;会跳转到带有filename参数的php文件下 然后&#xff0c;将filename的参数改为可以访问到我们创建的php文件的地址 ../../../../…

【计算机】1GB与1Gb与MB的关系

背景 看到个规格书列的芯片规格参数有错误&#xff0c;给对方指出来了下&#xff0c;并做了下科普。做下记录。 关系 1 Gb&#xff08;Gigabit&#xff09;和1 GB&#xff08;Gigabyte&#xff09;之间的区别主要在于“b”和“B”的含义。通常&#xff1a; 1 Gb (Gigabit) 中…

TCP协议多进程多线程并发服务器

TCP多进程多线程并发服务器 1.多进程并发服务器 #include <myhead.h>#define SERPORT 6666 #define SERIP "192.168.0.136" #define BLACKLOG 10void hande(int a) {if(aSIGCHLD){while(waitpid(-1,NULL,WNOHANG)!-1);//回收僵尸进程} }int main(int argc, c…

【Grafana】Prometheus结合Grafana打造智能监控可视化平台

✨✨ 欢迎大家来到景天科技苑✨✨ &#x1f388;&#x1f388; 养成好习惯&#xff0c;先赞后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者简介&#xff1a;景天科技苑 &#x1f3c6;《头衔》&#xff1a;大厂架构师&#xff0c;华为云开发者社区专家博主&#xff0c;…

Oracle 客户端 PL/SQL Developer 15.0.4 安装与使用

目录 官网下载与安装 切换中文与注册 连接Oracle数据库 tnsnames.ora 文件使用 Oracle 客户端 PL/SQL Developer 12.0.7 安装、数据导出、Oracle 执行/解释计划、for update。 官网下载与安装 1、官网&#xff1a;https://www.allroundautomations.com/products/pl-sql-d…

Redis的配置和启动+Redis Insight连接

一、安装 Redis的安装&#xff1a;从镜像站下载&#xff1a;索引 redis-local (huaweicloud.com)&#xff0c;然后将其传到Linux虚拟机中进行解压&#xff0c;解压之后需要下载gcc&#xff0c;因为Redis底层是用c写的&#xff0c;所以要编译一下生成redis文件&#xff0c;然后…