python 批量读取xlsx并合并_如何用Python快速导入多个excel文件并合并文件数据

日常工作中,每个月都会遇到那么个固定的工作,将业务方同事整理的数据导入GP数据库中的某张表中;听起来是很简单的活呢!

但每次业务MM总会发来一个文件夹,里面有三四十个Excel文件(.xlsx格式,且字段名称相同)。据业务MM说,分那么多文件是为了方便对账,所以不能合放在一起。

作为一个小菜鸟,拿到这个数据,我先想到的做法是:

(1)新建一个excel文件A;

(2)将这三、四十个文件数据分别复制到A中。

(3)将文件A另存为csv文件;

(4)利用copy指令将数据导入GP数据库中的表。

一个文件一个文件的导入或者复制再导入,确实是重复劳动、浪费时间;几次操作下来,枯燥又心累~

心里想一定得找到新的方法,提高效率,同时解放自己。刚好在学习python,那就用python试试把这些数据合并在一起吧!经过在网上搜索的资料,拼拼凑凑,,终于弄好了一个自动合并数据的小脚本。

思路如下:

(1)用python读取固定文件夹下所有的excel(.xlsx)文件

(2)合并这些文件数据,并将结果存在同一个文件中

脚本如下:

#导入需要用到的模块

import os

import pandas as pd

import numpy as np

#需要处理的文件夹所在的路径

dir = "e:\\test"

#新建列表,存放文件名(可以忽略,但是为了做的过程能心里有数,先放上)

filename_excel = []

#新建列表,存放每个文件数据框(每一个excel读取后存放在数据框)

frames = []

#循环读取文件夹下的文件名

for root, dirs, files in os.walk(dir):

for file in files:

filename_excel.append(os.path.join(root,file))

frames.append(df)

#打印文件名

print(filename_excel)

#合并所有数据

result = pd.concat(frames)

#查看合并后的数据

result.head()

result.shape

#将合并后的数据放在E盘的ceshi.csv文件中,这里可以根据实际需求存放文件格式

result.to_csv('e:\\ceshi.csv, sep=',',index = False)

稍微处理一下合并后的文件,例如删除标题行等(为什么这一步在前面没做,是因为每个文件的标题行一致,如果用skiprows=[0]会导致每个文件都少了一行)。最后用copy语句导入GP数据库表。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/506272.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ie8 html 编辑器 为word,ie8生成word

1. 兼容IE8 导出Wrod方法直接var wordnew ActiveXObject("word.Application");word.visibletrue;(这句不要就不显示word出来,后台处理)var docword.ActiveDcouemnt;doc.content.text"导出内容"doc.save(如果要选择存放路径)就用doc.…

git 创建邮箱 用户名_厉害了!IDEA中如何使用Git进行项目管理,完整教程来了?...

第一部分:安装1. 下载地址: https://git-scm.com/download/win如果速度慢, 使用 迅雷下载;2. 点击安装, 然后下一步, 直到下面这个页面:建议: 按照上面所示方式选中复选框 ;3. 点击下一步, 直到出现这个页面:建议: 这个页面是选择git使用的命令行, 建议使用第一个git自带的;4. …

程序员操作系统推荐_为什么程序员要会 Linux

(给伯乐在线加星标,看经典文章)作者:猫嗅花https://www.jianshu.com/p/5020fbd76d0c三大操作系统概述三大操作系统概述windows, macOS, linux是当今主流三大操作系统,普通用户一般是选择windows或macOS, linux主要是占据服务器领域市场。这三…

url中能出现的字符_网站URL配置4个技巧,轻松获得更多流量

对于刚入行的SEO新人,我们在做企业网站优化的时候,通常都是按照程序员设置的网站架构进行线上基础性内容的优化,特别是在使用一些固定CMS系统的时候,大量的站内URL都是配置固定的,很少有人去关注这方面对SEO的影响。那…

关于计算机网络的短文英语,英语翻译哪个心心好嘛!帮我用英语写一段关于计算机网络的100多个字的短文嘛!内容随便写!只要是关于计算机网络的!...

计算机网络,可以参考内容:)~~Computer Network is A software/hardware infrastructure Share resources data, files, computing power Information highway communication between geographically dispersed users Electronic Society Cyberspace Virtual global …

python 调用mysql_Python调用Mysql

最近在学习Python,发现Python的众多类库给Python开发带来了极大的便利性。 由于项目中使用Mysql,就考虑尝试使用Python调用Mysql,方便写一些调试用的小程序代码。花了半天差了些资料,自己动手,做了个简单的demo&#x…

arm export 汇编_C/C++与汇编混合编程有什么好处?

1.导语当需要C/C与汇编混合编程时,可以有以下两种处理策略:若汇编代码较短,则可在C/C源文件中直接内嵌汇编语言实现混合编程。若汇编代码较长,可以单独写成汇编文件,最后以汇编文件的形式加入项目中,通过AT…

html调整文字位在基线显示,html – 将标题对齐到相同的基线,无论后续文字是什么?...

有没有办法将不同大小的多个标题的第一行与同一基线对齐?也不管后面的文本,也应该对齐.编辑:重新上传:在我看来,唯一的解决方案是将每个标题和每个正文文本放入单独的DIV,然后使用标题来填充顶部或边缘顶部以对齐它们(例如H1将是36px,0px边距…

论文速递|Management Science 11月文章合集(上)

编者按 在本系列文章中,我们梳理了运筹学顶刊Management Science11月份发布的47篇文章的基本信息,旨在帮助读者快速洞察行业最新动态。本文为第一部分。 文章1 ● 题目:Discrimination and Economic Expectations 歧视与经济期望 ● 原文链…

不属于微型计算机特点的是什么,2017计算机应用基础模拟题及答案

2017计算机应用基础模拟题及答案一、选择题:1.过程控制的特点是( D )A.计算量大,数值范围广 B.数据输入输出量大,计算相对简单C.进行大量的图形交互操作 D.具有良好的实时性和高可靠性2.世界第一台电子计算机ENIAC诞生于(B )A.1945 B.1946 C.…

怎么修剪_幸福树怎么修剪——武汉花卉租摆

幸福树,一种寓意美好的观赏型植物,它生长非常迅速,稍不注意就长的非常茂盛。而要想保证幸福树的美貌,跟人的头发一样,我们要给它适当的修剪,那幸福树怎么修剪呢?为了大家能养出美丽的幸福树来&a…

mybatis传递多个参数_MyBatis 映射器

ps 一个用于生成MyBatis配置文件的插件 mybatis-generator使用方法呢, 是加入maven插件中 然后执行相关命令可以实现自动生成MyBatis配置文件自动映射首先编写无参的javabeanpackage com.ming.MyBatis.POJO;/** * author ming */public class Role { private int id; private S…

redis将散裂中某个值自增_Redis总结

一 初识Redis1,Redis 使用内存存储的非关系型数据库,除了各种数据类型的专有命令,还支持批量操作(bulk operation)和不完全(partial)的事务。Memcached 使用内存存储的键值对缓存。MongoDB使用硬盘存储的非关系性数据库.2,Redis可以存储键与5种不同数据结…

计算机软件水平考试什么题型,计算机软考考什么内容

原标题:计算机软考考什么内容计算机软考考试内容有哪些?软考包含三个级别,各级别有多个考试项目,不同的考试项目考试内容也是不同的。软考考试内容大家可以参考各考试项目的考试大纲,包括新版的系统分析师考试大纲、系…

python rest api_Python调用REST API接口的几种方式汇总

相信做过自动化运维的同学都用过REST API接口来完成某些动作。API是一套成熟系统所必需的接口,可以被其他系统或脚本来调用,这也是自动化运维的必修课。 本文主要介绍python中调用REST API的几种方式,下面是python中会用到的库。 - urllib2 -…

mac os 开启redis_关于Redis,学会这8点就够了

一、redis是什么redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景。该数据库使用ANSI C语言编写,支持网络,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。二…

python第八周小测验_Python语言程序设计第2周测验+练习题复盘

嘿,这里是目录! 练习网址 https://python123.io/index 测验2 单项选择题 1. 哪个选项不能正确引用turtle库进而使用setup()函数?‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬…

计算机设备管理器驱动,驱动技巧:解决设备管理器中声卡驱动安装不正确的问题...

分类:声卡驱动问题:设备管理器中声卡驱动安装不正确描述:电脑没有声音,有部分朋友是因为声卡驱动没有正确安装,除了我们常见到的设备管理器出现黄色感叹号之外,另一种情况就是让一般人很难发现的问题&#…

lisp对excel其他行列写入_【极简Python 自动化办公】Python写入Excel表格

【极简Python 自动化办公】Python写入Excel表格【极简Python 自动化办公】专栏是介绍如何利用python办公,减少工作负荷。篇幅精炼,内容易懂,无论是否有编程基础,都非常适合。在上次文章中,我们学习了【用python读取exc…

全国大学生计算机应用大赛有什么好处,我校学生喜获第十一届全国大学生计算机应用能力与信息素养大赛冠军...

2021年6月,第十一届全国大学生计算机应用能力与信息素养大赛通过腾讯会议视频全程监控在线作答的形式圆满结束。本届大赛共有来自117所院校932名选手参加全国总决赛。经过校园赛选拔,考前集训,我校共选出3名40本科班同学参加了该赛项&#xf…