python使用多进程加快处理数据

最近需要用python循环遍历xlsx文件,但总感觉特慢,于是记录一下使用多进程让cpu性能拉满,加快速度。

python使用多进程加快处理数据

  • 1.原始代码
  • 2.使用多进程改写代码

1.原始代码

下面展示 原始代码

这个举例代码的是用来循环遍历我文件夹下的每一个xlsx文件,
并读取时间以及对应的电流信息,
并将label为0以及为1的时间和对应的电流分别读取保存。
'''这个函数文件是将把时间加进去,将时间和电流转换为二维矩阵,构建:时域特征'''
import osimport pandas as pd
import numpy as npfile_dir = r'D:\交流并联(正常=0有弧=1)'
file_dir_list = os.listdir(file_dir)
final_data_0 = []  # 初始化一个空列表用于存储每次循环得到的data_0
final_data_1 = []  #
# 循环遍历xlsx文件
for xlsx in file_dir_list:curr_xlsx = os.path.join(file_dir, xlsx)# 读取xlsx文件df = pd.read_excel(curr_xlsx, engine='openpyxl')# 读取xlsx文件列数据time_data = np.array(df['TIME'])current_data = np.array(df['Current'])label_data = np.array(df['Label'])#将label中为0对应的时间-电流(时域)数据筛选出来time_0 = time_data[label_data == 0]current_0 = current_data[label_data == 0]#将label中为1对应的时间-电流(时域)数据筛选出来time_1 = time_data[label_data == 1]current_1 = current_data[label_data == 1]data_0 = np.concatenate((np.expand_dims(time_0, 1), np.expand_dims(current_0, 1)), axis=1)data_1 = np.concatenate((np.expand_dims(time_1, 1), np.expand_dims(current_1, 1)), axis=1)final_data_0.append(data_0)  # 将当前循环得到的data_0添加到final_data_0列表final_data_1.append(data_1)print(data_0.shape)print("H_W_0 is :{}".format(np.sqrt(data_0.shape[0])))print(data_1.shape)print("H_W_1 is :{}".format(np.sqrt(data_1.shape[0])))print('-----------')
# 将所有循环得到的data_0和data_1按照第一个维度进行拼接
final_data_0 = np.concatenate(final_data_0, axis=0)
final_data_1 = np.concatenate(final_data_1, axis=0)

2.使用多进程改写代码

下面展示 改写使用多进程的代码

其实主要还是这个代码:
# 创建进程池with Pool(processes=os.cpu_count()) as pool:results = pool.map(process_file, file_dir_list)
流程也就是:
(1)将原始代码封装成函数(不要用循环)
(2)pool.map(process_file, file_dir_list)第一参函数就是(1)封装好的函数,
然后第二个参数就是原始代码中循环的每个xlsx文件名。
记住这个流程,你就学会多进程的使用啦!
import os
import pandas as pd
import numpy as np
from multiprocessing import Pool# 定义处理每个文件的函数
def process_file(xlsx):file_dir = r'D:\交流并联(正常=0有弧=1)'curr_xlsx = os.path.join(file_dir, xlsx)df = pd.read_excel(curr_xlsx, engine='openpyxl')time_data = np.array(df['TIME'])current_data = np.array(df['Current'])label_data = np.array(df['Label'])time_0 = time_data[label_data == 0]current_0 = current_data[label_data == 0]data_0 = np.concatenate((np.expand_dims(time_0, 1), np.expand_dims(current_0, 1)), axis=1)time_1 = time_data[label_data == 1]current_1 = current_data[label_data == 1]data_1 = np.concatenate((np.expand_dims(time_1, 1), np.expand_dims(current_1, 1)), axis=1)return (data_0, data_1)# 使用多进程读取和处理文件
def main():file_dir = r'D:\交流并联(正常=0有弧=1)'file_dir_list = os.listdir(file_dir)# 创建进程池with Pool(processes=os.cpu_count()) as pool:results = pool.map(process_file, file_dir_list)final_data_0 = np.concatenate([result[0] for result in results], axis=0)final_data_1 = np.concatenate([result[1] for result in results], axis=0)print('final_data_0 shape:', final_data_0.shape)print('final_data_1 shape:', final_data_1.shape)if __name__ == '__main__':main()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/855789.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023年全国大学生数学建模竞赛A题定日镜场的优化设计(含word论文和源代码资源)

文章目录 一、部分题目二、部分论文基于数学算法研究定日镜场的优化设计一、 问题重述1.1 问题背景1.2 需要解决的问题 二、 模型假设三、 问题分析3.1 问题一的分析3.2 问题二的分析 四、 符号说明五、 模型的建立与求解5.1 问题一模型的建立与求解 三、完整word版论文和源代码…

MYSQL基础查询

示例:user_profile iddevice_idgenderageuniversityprovince12138male21北京大学Beijing23214male复旦大学Shanghai36543female20北京大学Beijing42315female23浙江大学Zhejiang55432male25山东大学Shandong 查询所有列 select * from user_profile;查询…

各种文件类型

一、pkl结尾的文件 .pkl结尾的文件通常是指使用Python的pickle模块序列化后的文件。Pickle是Python中的一个模块,用于将Python对象转换为字节流,以便保存到文件中或者通过网络传输。这个过程被称为“序列化”,而将字节流重新转换回Python对象…

React最新面试攻略

一.简单聊聊React中的组件生命周期及其作用解: React组件的生命周期可以分为三个阶段:挂载阶段、更新阶段和卸载阶段。 挂载阶段包括constructor、componentWillMount、render和componentDidMount等生命周期方法,用于初始化组件和挂载后的操…

项目训练营第二天

项目训练营第二天 用户登录逻辑 1、账户名不少于4位 2、密码不少于8位 3、数据库表中能够查询到账户、密码 4、密码查询时用同样加密脱敏处理手段处理后再和数据库中取出字段进行对比,如果账户名未查询到,直接返回null 5、后端设置相应的脱敏后用户的s…

就因为没在大屏项目加全屏按钮,早上在地铁挨了领导一顿骂

“嗯嗯”,“嗯嗯”,“那产品也没说加呀”,“按F11不行吗?”,“嗯嗯”,“好的”。 早上在4号线上,我正坐在地铁里,边上站着的妹子,我看他背着双肩包,打着电话…

零停机部署——特征开关(Feature Toggles)的应用

引言 在现代软件开发和部署中,零停机部署技术是实现高可用性和无缝用户体验的关键。本文将讨论功能开发开关(Feature Toggles)的类型并分析它们的优缺点,同时提供相关的例子和演示。 PS: https://github.com/WeiXiao-Hyy/blog整理了后端开发的知识网络…

即时到账支付系统源码第四方支付平台源码(支付宝/QQ钱包/微信二维码收款+附配套软件)

即时到账支付系统源码第四方支付平台源码价值10万,支付宝/QQ钱包/微信二维码收款,附配套软件 开发语言:phpmysql 这个是一个可以跟码支付一样用自己的二维码收款的网站 还可以作为即时到账 代收款 或者易支付使用后台配置好就行&#xff…

python 微信群发工具

效果如下 python 微信消息群发工具 1、环境安装依据python手机app自动化测试环境搭建-CSDN博客 2、元素获取 启动uiautomatorviewer.bat工具,如下图 点击获取手机界面,如下图 3、根据获取的界面元素id或class名称编写代码 python简易代码如下 from appium import webdrive…

2024.06.19 刷题日记

41. 缺失的第一个正数 这个题目的通过率很低,是一道难题,类似于脑筋急转弯,确实不好想。实际上,对于一个长度为 N 的数组,其中没有出现的最小正整数只能在 [1,N1] 中。 这个结论并不好想,举个例子&#x…

移动硬盘在苹果电脑上无法识别的诊断与恢复策略

一、问题描述 在数字时代,移动硬盘已成为我们存储和传输数据的重要工具。然而,当我们将移动硬盘插入苹果电脑时,有时会遇到无法识别的情况,这让我们感到十分困扰。本文将详细探讨移动硬盘插苹果电脑后读不出来的现象,…

浸没式液冷服务器的换热效率及节能潜力分析

服务器浸没式液冷的换热效率及节能潜力 摘要:我们针对服务器浸没式液冷实验台进行了深入测试,探究了不同室外温度和服务器发热功率对系统制冷PUE的影响。实验数据显示,该系统的制冷PUE值介于1.05至1.28之间,高效节能特点显著。 在…

坚持刷题|反转链表

文章目录 题目思考实现1. 迭代方式实现链表翻转2. 递归方式实现链表翻转 Hello,大家好,我是阿月。坚持刷题,老年痴呆追不上我,今天继续链表:反转链表 题目 LCR 024. 反转链表 思考 翻转链表是一个常见的算法问题&a…

为什么带上符号位计算,仍然可以算出正负数对应的补码

文章目录 🚀前言🚀 为什么要引入原反补码✈️ 利用加法表示减法✈️ 关于数字在计算机中的存储🚀 数学解释 🚀 为什么带上符号位计算,仍然可以算出正负数对应的补码 🚀前言 为应付期末,速成数电…

Linux系统之配置Nginx负载均衡

Linux系统之配置Nginx负载均衡 一、Nginx介绍1.1 Nginx简介1.2 Nginx反向代理1.3 相关概念二、本次实践介绍2.1 本次实践简介2.2 本次实践环境规划三、部署两台web服务器3.1 运行两个Docker容器3.2 编辑测试文件四、配置负载均衡4.1 安装nginx软件4.2 编辑nginx配置文件4.3 启动…

基于PHP的奶茶商城系统

有需要请加文章底部Q哦 可远程调试 基于PHP的奶茶商城系统 一 介绍 此奶茶商城系统基于原生PHP开发,数据库mysql,ajax实现数据交换。系统角色分为用户和管理员。系统在原有基础上添加了糖度的选择。 技术栈 phpmysqlajaxphpstudyvscode 二 功能 用户…

CVE-2020-1957 漏洞复现

先声明一下,免杀还是会更的,不过中间可能会穿插一下渗透的内容!!! 踩坑点: 在一开始翻阅了CSDN之后,发现不同文章之间存在出入,于是最后去了CVE的官方文档,和参考一些国…

【TB作品】MSP430G2553,单片机,口袋板, 交通灯控制系统

题8 交通灯控制系统 十字路口交通灯由红、绿两色LED显示器(两位8段LED显示器)组成,LED显示器显示切换倒计时,以秒为单位,每秒更新一次;为确保安全,绿LED计数到0转红,经5秒延时&#…

深度学习(十三)——损失函数与反向传播

一、损失函数:Loss Function 官网文档:torch.nn — PyTorch 2.0 documentation 1. Loss Function的作用 每次训练神经网络的时候都会有一个目标,也会有一个输出。目标和输出之间的误差,就是用\(Loss\) \(Function\)来衡量的。所以…

UniAudio 1.5:大型语言模型(LLMs)驱动的音频编解码器

大型语言模型(LLMs)在文本理解和生成方面展示了卓越的能力,但它们不能直接应用于跨模态任务,除非进行微调。本文提出了一种跨模态上下文学习方法,使未进行进一步训练的LLMs能够在少量示例的情况下,无需任何…