alter table add column多个字段_利用Python将多个excel合并到一个文件中

数据岗位的小伙伴可能经常会遇到这样一个问题:多个来源返回的数据怎么整合到一个文件中?手动经常会出错,下面介绍一种利用Python处理的方式:

前期准备:

1、多个excel需要进行数据整理,保证文件的结构一致,这里主要用到的字段是:姓名、证件号、以及所在单位(文件名)

eda35a85978d971a63cc2dd0a5b7977f.png
原始文件结构

2、因为每个返回回来的文件可能结构不同,所以进行第二步前一定要保证第一步处理好,接下来第二步,所有文件放在同一个文件夹,当然也可以做遍历展开所有文件夹,此过程本篇不做展开

3、开干。基本思路:获取每个excel中的所有sheet文件,并读取前两列的所有数据,将对应文件名称设为第三列(即为对应单位)。直接上代码:

# -*- coding: utf-8 -*-#将多个Excel文件合并成一个
import xlrd
import xlsxwriter
import os#打开一个excel文件
def open_xls(file):fh=xlrd.open_workbook(file)return fh#获取excel中所有的sheet表
def getsheet(fh):return fh.sheets()#获取sheet表的行数
def getnrows(fh,sheet):table=fh.sheets()[sheet]return table.nrows#读取文件内容并返回行内容
def getFilect(file,shnum):fh=open_xls(file)table=fh.sheets()[shnum]num=table.nrowsfor row in range(num):rdata=table.row_values(row)datavalue.append(rdata)return datavalue#添加列并返回行内容
def addcol(file,shnum):fh=open_xls(file)table=fh.sheets()[shnum]num=table.nrowsfilename = os.path.basename(file)index = filename.rfind('.')name = filename[:index]for row in range(num):acol.append(name)return acol#获取sheet表的个数
def getshnum(fh):x=0sh=getsheet(fh)for sheet in sh:x+=1return x#遍历文件夹下所有文件并输出文件名
def allxls(rootdir):allxls = []for parent, dirnames, filenames in os.walk(rootdir):for filename in filenames:if os.path.splitext(filename)[1] == '.xls':allxls.append(filename)return allxlsif __name__=='__main__':#定义要合并的excel文件列表
rootdir = "K:/7 数据分析/3 PYTHON/15 excel合并/广西"
allxls = allxls(rootdir)#存储所有读取的结果
datavalue=[]acol = []for fl in allxls:filename = os.path.basename(fl)fh=open_xls(fl)x=getshnum(fh)for shnum in range(x):print("正在读取文件:"+str(fl)+"的第"+str(shnum)+"个sheet表的内容...")rvalue = getFilect(fl,shnum)acol = addcol(fl, shnum)#定义最终合并后生成的新文件
endfile = xlsxwriter.Workbook('demo.xls')#创建一个sheet工作对象
ws=endfile.add_worksheet()for a in range(len(rvalue)):for b in range(0,2):c = rvalue[a][b]d = acol[a]ws.write(a, b, c)ws.write(a, b+1, d)endfile.close()print("文件合并完成")

执行结果:

f930e62ee59512341243977299761860.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/551632.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

单链表操作实现getelem_c语言实现--带头结点单链表操作

可能是顺序表研究的细致了一点,单链表操作一下子就实现了。这里先实现带头结点的单链表操作。大概有以下知识点.1;结点:结点就是单链表中研究的数据元素,结点中存储数据的部分称为数据域,存储直接后继地址的部分称为指针域。2;结点…

php ouput buffer,Redis配置详解-客户端缓冲区 output buffer

客户端缓冲区 output buffer大概已经知道Redis是一个内存数据库,这意味着所有的数据都由RAM直接管理和提供的。因此Redis有着卓越的交付性能,Redis可以以亚毫秒级的延迟处理几万、几十万的请求。Redis,如同它的名字和设计,是一个移…

python布尔测试_Python布尔函数:用真值优化代码

Python布尔类型是Python的内置数据类型之一。它用来表示表达式的真实值。例如&#xff0c;表达式1<2为True&#xff0c;而表达式01为False。了解Python布尔值的行为对于在Python中良好编程是非常重要的。Python布尔类型Python布尔类型只有两个可能的值&#xff1a;TrueFalse…

结构体中vector自动为0_面试题:你是如何选择顺序存储数据结构的?

作者&#xff1a;Tarun Telang 来源&#xff1a;https://dzone.com/articles/arraylist-or-linkedlist本文为Java开发人员选择适当的顺序数据结构提供指导。ArrayList 和 LinkedList 是 Java 集合框架中用来存储对象引用列表的两个类。ArrayList 和 LinkedList 都实现 List 接口…

python 公开课_python公开课视频(11~20)

Python基础教程视频教程 各集内容简介 通俗易懂&#xff0c;语言简练&#xff0c;保证入门。 11. Python基础教程视频教程 第 11 集 Python的分支语句if基础 本集主要讲述Python条件分支语句if的基本使用和语法结构&#xff0c;if嵌套和多分支if语句程序设计等问题。 12. Pytho…

oracle 随机排列,oracle的随机排序

oracle的随机排序项目里一个功能要用到随机排序&#xff0c;但是后来又因为数据量大的原因&#xff0c;要分页去查询数据&#xff0c;结果导致查询出来的数据出现重复。原sql如下select * from ( select row_.*, rownum rownum_ from(select * from tble order by dbms_random.…

c# 低功耗蓝牙_c# - 如何使用C#手动绑定到WinForm中的蓝牙低能耗设备? - 堆栈内存溢出...

我想到了。 我走在正确的轨道上。使用以下连接后&#xff1a;var dev await BluetoothLEDevice.FromBluetoothAddressAsync(args.BluetoothAddress);您需要执行自定义配对&#xff1a;var prslt await device.DeviceInformation.Pairing.Custom.PairAsync(DevicePairingKinds…

python字典求平均值_Python - 字典中各个键的每个值的均值

我在跨整个字典进行迭代时遇到问题&#xff0c;无法对键的值中的每个元素进行简单的汇总统计&#xff08;平均值&#xff09;。Python - 字典中各个键的每个值的均值 我的字典由那些号码清单键和值&#xff1a; test_dict{NJ:[20,50,70,90,100],NY:[10,3,0,99,57],CT:[90,1000,…

数字填图问题matlab上机实验报告,数学建模实验报告数字填图问题

数字填图问题一、实验目的及意义本实验旨在通过生活中几个常见的数字填图问题的探究&#xff0c;探究这类问题的逻辑推理解法和计算机解法&#xff0e;二、实验内容1. 数字填图的逻辑推理&#xff1b;2. 数字填图的计算机解法。三、实验步骤1.开启软件平台——MA TLAB&#xff…

c++ 函数指针_进化论——从函数指针到被结构封装的函数指针及参数的应用举例...

↑↑↑ 点击上方公众号名称关注&#xff0c;不放过任何转变的机会。✎ 编 者 悟 语借口再小也会瓦解人的意志。文 章 导 读今天带大家用下函数指针&#xff0c;然后将函数指针和函数参数封装到结构体中&#xff0c;接着将数据用动态分配和静态分配的方式赋值给相应的函数&#…

domino流程图_OA实施工程师一线解读Java与Domino优劣

南宁OA软件泛微运营中心云腾为您分享&#xff1a;作为企业的CIO&#xff0c;不仅要面对企业内部的各类需求&#xff0c;还需要管理理念以及对市面上的信息化系统和技术了如指掌&#xff0c;否则很有可能在自己的职业生涯中划上遗憾的一笔。固然是吃一堑长一智&#xff0c;但谁不…

oracle中packages使用,oracle中packages的使用

最近&#xff0c;由于开发的功能较多&#xff0c;对于编写的很多过程&#xff0c;看着英文名字觉得挺熟悉&#xff0c;但要看功能&#xff0c;则需要每个点开去开备注或者代码&#xff0c;觉得很是郁闷。突见packages&#xff0c;想将所有写的过程放到一起&#xff0c;这样下次…

python怎么做软件界面_python – 如何自定义桌面应用程序的标题栏和窗口

我如何自定义标题栏(包括&#xff1a;关闭,最大化,最小化按钮,标题)和用PyQt编写的桌面应用程序框架,使其看起来像下面的图像&#xff1f;我需要一种方法来指定我想用于标题栏元素的颜色(按钮,文本标题和条形和按钮的背景颜色).我需要更改其窗口的代码&#xff1a; import sys …

树莓派存储方案_如何增加树莓派的存储量

大多数人仅使用8GB SD卡来运行Raspberry Pi。但这真的够了吗&#xff1f;如果您需要更多空间怎么办&#xff1f;这是通过删除不需要的软件包或简单地添加存储来在Raspbian上腾出更多空间的方法。使用更大的microSD卡您应该考虑在Raspberry Pi上增加空间的第一个选择是更大的SD卡…

linux中进程优先级,linux下调整进程优先级

linux下调整进程优先级进程的优先级决定了进程是否优先被cpu分配资源进行处理。在cpu资源十分充足时&#xff0c;每个正在运行的进程都能分配到足够的资源进行处理&#xff0c;此时调整进程的优先级是没有什么意义的&#xff1b;如果cpu资源紧张时&#xff0c;top查看cpu使用达…

华为交换机 查ip冲突_交换机如何解决IP地址冲突?

如何防止IP地址冲突故障&#xff1f;这个在实际项目中经常会遇到&#xff0c;网络用户如果没有按照规定设置IP地址的话&#xff0c;IP地址冲突现象就不可避免&#xff0c;一旦这种现象频繁发生&#xff0c;不但会影响上网效率&#xff0c;而且也不利于局域网网络的稳定运行。为…

python绘制社会关系网络图_Python networkx 网络图绘制

简单演示import networkx as nx import matplotlib.pyplot as plt # 定义空图 g nx.Graph() # 增加节点 g.add_node(1) g.add_node(A) g.add_nodes_from([2, 3]) g.add_edge(2, 3) g.add_edges_from([(1, 2), (1, 3)]) nx.draw(g, with_labelsTrue) plt.show() 一次增加多个点…

查看LINUX放开端口,linux如何查看端口是否开放?

在linux中我们可以通过在命令行中使用lsof命令、netstat命令来检查端口是否开放。方法一&#xff1a;使用lsof命令我们可以使用lsof命令来检查某一端口是否开放&#xff0c;基本语法如下&#xff1a;lsof -i:端口号如果没有任何输出则说明没有开启该端口号下图以80端口和53端口…

vue如何把数组转为json数组_vue.js,_vuejs Ajax取得一个数据json数组,vue.js - phpStudy...

vuejs Ajax取得一个数据json数组vuejs Ajax取得一个数据json数组后&#xff0c;要通取回的数据再做判断一定只能通这种方式或者 套template标签{{item.displayWords}}{{item.displayWords}}或者{{item.displayWords}}{{item.displayWords}}这样才行吗&#xff1f;&#xff1f;&…

python数据处理框架_python 最快 web 框架 Sanci 快速入门

简介 Sanic 是一个和类Flask 的基于Python3.5的web框架&#xff0c;它编写的代码速度特别快。 除了像Flask 以外&#xff0c;Sanic 还支持以异步请求的方式处理请求。这意味着你可以使用新的 async/await 语法&#xff0c;编写非阻塞的快速的代码。 关于 asyncio 包的介绍&…