Python 利用pandas处理CSV文件(DataFrame的基础用法)

前面介绍过通过Python标准库中的CSV模块处理CSV文件:
Python 利用CSV模块处理数据

相比CSV模块,pandas的功能更加强大,本文将简单介绍如何通过pandas来处理CSV文件。

文章目录

  • 一、pandas简介
  • 二、用法示例
    • 2.1 读取CSV文件
      • 2.1.1 read_csv参数
      • 2.1.2 "坏行"的处理
    • 2.2 引用数据
      • 2.2.1 位置索引和标签索引
      • 2.2.2 使用[]引用数据
      • 2.2.3 使用.loc属性通过标签引用数据
      • 2.2.4 使用.iloc属性通过位置引用数据
    • 2.3 数据过滤
    • 2.3 写回csv文件

一、pandas简介

pandas是一个第三方数据分析库,其集成了大量的数据分析工具,可以方便的处理和分析各类数据。这是一个第三方库,使用下面的命令可以安装pandas:

pip install pandas

利用pandas处理CSV文件主要分为3步:

  1. 通过read_csv()函数,将数据转化为pandas的DataFrame(数据帧)对象,这是一个二维数据对象,集成了大量数据处理方法。
  2. 操作DataFrame对象,通过自带的方法,完成各种数据处理。
  3. 通过DataFrame对象的to_csv()方法将数据写回CSV文件。

二、用法示例

我们先创建一个示例文件,将下面的数据拷贝到文件employees.csv中并保存:

emp_no,birth_date,first_name,last_name,gender,salary
1,1953-09-02,Georgi,Facello,M,1000
2,1964-06-02,Bezalel,Simmel,F,2000
3,1959-12-03,Parto,Bamford,M,3000
4,1954-05-01,Chirstian,Koblick,M,4000
5,1955-01-21,Kyoichi,Maliniak,M,5000
6,1953-04-20,Anneke,Preusig,F,6000
7,1957-05-23,Tzvetan,Zielinski,F,7000
8,1958-02-19,Saniya,Kalloufi,M,8000
9,1952-04-19,Sumant,Peac,F,9000

数据对应的excel格式,作为参考:
在这里插入图片描述

2.1 读取CSV文件

保证employees.csv文件在当前目录下(或提供文件的绝对路径也可以),例如示例文件保存在d:\dir1目录下,先切换到该目录下:

import os
os.chdir(r'd:\dir1')

在这里插入图片描述

pandas的read_csv函数可以读取CSV文件,并返回一个DataFrame对象,首次使用要先导入pandas模块,使用read_csv()函数读取csv文件,并将返回的DataFrame对象赋给变量名df:

import pandas as pd
df = pd.read_csv('employees.csv')
df

在这里插入图片描述

2.1.1 read_csv参数

read_csv()在读取过程中有很多自定义设置,上面的示例中只提供了文件名,其他参数都采用了默认值。根据数据格式的不同,可能需要对某些参数进行调整,read_csv函数的常用参数如下:

  • sep/delimiter:分隔符,默认为逗号,相当于sep=‘,’,如果文件内容以非逗号分隔,需要显式指定此参数或者使用sep=None来让pandas自己判断分隔符。
  • delim_whitespace:是否以空格作为分隔符,相当于sep=‘\s+’,当这个参数被设置为True时,不能使用sep参数。
  • header:指定第几行作为列名,并指定数据的起始行,默认header=0,表示第1行作为列名(编号从0开始),数据从第二行开始。如果数据中没有列名,需要指定header=None,这样从第1行开始全部都会当成数据。
  • names:用来自定义列名
  • index_col:指定某一列作为行索引(默认是0开始的整数)
  • usecols:选择列的子集,即只读取指定列

示例:仅选取部分列,只读取emp_no,first_name, salary 这3列,使用参数usecols指定这3列:

df1 = pd.read_csv('employees.csv', usecols=['emp_no', 'first_name', 'salary'])

在这里插入图片描述

自定义列名:读取数据并使用col1~col6定义列名,由于原数据第一行为列名,使用header=0指定第一行为列名,这样第一行不会被读作数据。然后使用names参数重新指定列名:

name_list = ['col1', 'col2', 'col3','col4','col5','col6'] 
df2 = pd.read_csv('employees.csv', header=0, names=name_list)

在这里插入图片描述

2.1.2 "坏行"的处理

很多时候我们得到数据格式并不规范,可能出现有些行数据缺失,有些行数据又多。read_csv函数在遇到数据缺失的列会自动用NaN(在pandas中代表空值)来填充(我们把文件中第七行的salary删除,重新读取后,可以看到会用自动用NaN填充):

df2 = pd.read_csv('employees.csv')

在这里插入图片描述

但是对于数据列多的行,默认是报错的。在文件第8行后多加一列数据,提示解析错误,期望6列,但是有7列:

df3 = pd.read_csv('employees.csv')

在这里插入图片描述

对于这类错误,我们可以用on_bad_lines='skip’来跳过这些行,不影响其他数据的读取,从结果也上可以看到emp_no为8的数据被忽略了:

df3 = pd.read_csv('employees.csv', on_bad_lines='skip')

在这里插入图片描述

2.2 引用数据

在完成文件的读取后我们就获得了一个DataFrame对象,利用其自带的方法可以快速进行数据预处理,相对于使用Python代码,可以节约大量逻辑编写的时间。

对数据进行处理的第一步就是引用数据,pandas常用的数据引用方法有:

  • 使用[]对数据进行引用
  • 使用.loc属性通过标签对数据进行引用
  • 使用.iloc属性通过位置对数据进行引用

2.2.1 位置索引和标签索引

在引用数据前先弄清楚位置索引和标签索引:

  • 位置索引:行/列的位置编号,从0开始,公差为1的等差数列,0,1,2,3,4….,一定是数字
  • 标签索引:行/列的"别名",可以自定义。其中行方向的标签索引又叫"索引标签",列方向的标签索引又叫"列标签"。
    标签索引如果未显式指定,则默认和位置索引相同。

例如下面的df,红框中的都是索引标签:

  • 列标签是emp_no, birth_date ……,
  • 索引标签由于未显式指定,所以和位置索引相同,为0,1,2,3,4….,但它不是位置索引。
    在这里插入图片描述
    在标签索引中,可以通过df.index和df.columns属性来分别查看索引标签和列标签:
df.index
df.columns

在这里插入图片描述

通过给对应的属性赋值,可以改变标签,通过下面的例子可以直观看到,红框中的0,1,2,3…是索引标签,而不是位置标签:

df.index = [0,1,2,3,'a','b','c','d','e']

在这里插入图片描述

2.2.2 使用[]引用数据

使用df[‘列标签’]的格式,通过列标签可以引用数据列,例如选择frist_name列:

df['first_name']

在这里插入图片描述

如果要引用多个列,以列表的形式传入多个列,例如选择emp_no, first_name, last_name这3列:

df[['emp_no', 'first_name', 'last_name']]

在这里插入图片描述

使用df[start:stop:step]的格式,可以通过位置索引引用行,这和标准的Python切片语法相同(这里不详细介绍):

df[0:4] # 注意[0:4]含头不含尾,即位置索引为0,1,2,3的行

在这里插入图片描述

df[::2]  # 每隔一行选择,start和stop省略代表全部,2代表步长

在这里插入图片描述

df[::-1] # 负的步长代表从结尾开始选择,-1即相当于倒序

在这里插入图片描述

2.2.3 使用.loc属性通过标签引用数据

使用[]的引用方式可能有些复杂,它在引用列的时候用的是标签索引,而在引用行的时候是位置索引。

pandas提供了更直观的.loc和.iloc属性:

  • .loc专门使用标签索引来引用数据(分片含结尾)
  • .iloc专门使用位置索引来引用数据(分片不含结尾)

使用df.loc[‘索引标签’, ‘列标签’]可以引用数据。标签之间用逗号分隔,标签内部的分片用冒号分隔,省略则代表全部。注意,.loc属性中的分片是包含结尾的,这和标准的python分片语法不同。

引用a行(返回的是pandas一维数据类型Series):

df.loc['a']    # 列标签省略,代表所有列,相当于df.loc['a',:]

在这里插入图片描述

引用birth_date列:

df.loc[:,'birth_date']    # 行标签省略,代表所有行,用:占位

在这里插入图片描述

引用a-e行,及emp_no到last_name列,注意e行和last_name列都是包含在分片结果中的:

df.loc['a':'e', 'emp_no':'last_name']

在这里插入图片描述

引用a行,birth_date列的单一元素(没有分片):

df.loc['a', 'birth_date']

在这里插入图片描述

2.2.4 使用.iloc属性通过位置引用数据

.iloc的使用方式和.loc很像,只是将索引标签换成了位置标签。语法为df.iloc[‘行位置索引’, ‘列位置索引’],注意.iloc的分片是不包含结尾的(和python相同)。

引用第1,2行:

df.iloc[0:2]    # 引用行位置索引为0,1的行,2是不包含在结果中的,相当于df.iloc[0:2, :]

在这里插入图片描述

引用第1,2列:

df.iloc[:,0:2]    # 行位置索引的:表示全部行

在这里插入图片描述

引用1,2行的3,4列数据:

df.iloc[0:2, 2:4]

在这里插入图片描述

数据引用配合赋值符号’=',即可以修改DataFrame中的值,例如将emp_no为9的salary改为9999

df.loc['e', 'salary'] = 9999

在这里插入图片描述

其他的数据引用方式还有通过属性进行引用,但这种方式存在缺陷,不推荐,这里也不进行介绍。重点掌握.loc和.iloc的方法即可。

2.3 数据过滤

DataFrame的数据过滤非常方便,例如我要选择salary大于5000的数据,下面表达式即是salary列测试结果,由bool型数据组成:

df['salary']>5000

在这里插入图片描述

只需要将其再代入df,即可筛选出满足条件的数据:

df[ df['salary']>5000 ]

在这里插入图片描述

或者使用query方法,基于字符串形式的条件,直接过滤出结果:

df.query('salary>5000')

在这里插入图片描述

2.3 写回csv文件

完成数据处理后,使用DataFrame对象自带的to_csv方法来将数据写回文件,主要参数与read_csv类似:

  • sep:分隔符,默认是逗号。
  • columns:指定哪些列写入文件
  • header:是否将标题写入文件,默认是True
  • index:是否将行索引写入文件,默认是True

假设要将salary>5000的数据筛选出来后,重新写入一个CSV文件,你可以直接调用DataFrame的to_csv方法:

df_result = df.query('salary>5000')
df_result.to_csv('result.csv', index=False)

在这里插入图片描述
在这里插入图片描述

本文的案例只是展示了最简单及最常用的DataFrame数据处理方法,实际pandas的数据处理功能远远不止这些,有兴趣的同学可以自行深入探索。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/43569.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

设计模式使用场景实现示例及优缺点(创建型模式——单例模式、建造者模式、原型模式)

创建型模式 单例模式(Singleton Pattern) 单例模式(Singleton Pattern)在Java中的使用场景与在其他编程语言中类似,其主要目的是确保一个类只有一个实例,并提供一个全局的访问点。以下是单例模式的一些常…

现代化3D Web轻量引擎HOOPS Communicator:基于ESM的代码库转型!

HOOPS Communicator自2024.2.0版本起,向基于ECMAScript Modules (ESM)的系统迁移的决策和技术细节。文章分析了这一转型对代码组织、封装、依赖管理、性能以及与现代JavaScript开发实践兼容性的积极影响,并讨论了IIFE和UMD的兼容性支持。 引言 随着Jav…

聊聊springboot项目如何利用jmh来进行基准测试

前言 1、什么是JMH JMH(Java Microbenchmark Harness)是由OpenJDK团队开发的一个用于Java微基准测试工具套件,主要是基于方法层面的基准测试,精度可以达到纳秒级。它提供了一种标准、可靠且可重复的方式来衡量Java代码的性能&…

[kuangbin]基础dp

Max Sum Plus Plus 题目大意:从一串数组中挑选连续m段子数组,使得最后的sum最大。 思路:首先考虑开二维数组,那么动态转移方程为: dp[i][j]max(dp[i-1][k]a[j],dp[i][j-1]a[j]) 其中dp表示枚举到第 j 个数的时候&#…

【深度学习(42)】通过vscode使用anaconda的python环境

按ctrlshiftp,选择Python:Select Interpreter 选择anaconda下的python虚拟环境

Elasticsearch 高亮搜索结果:提升用户体验的关键技术

在构建搜索引擎或任何需要快速、准确信息检索的应用时,搜索结果的高亮显示是一项至关重要的功能。它不仅能够显著提升用户的搜索体验,还能帮助用户更快地定位到他们感兴趣的内容。Elasticsearch,作为当今最流行的开源搜索和分析引擎之一&…

【k8s安装redis】k8s环境无pvc的情况下安装redis哨兵集群

文章目录 简介一.条件及环境说明:二.需求说明:三.实现原理及说明四.详细步骤4.1.规划节点标签4.2.创建configmap配置4.3.创建三个statefulset和service headless配置4.4.创建哨兵deployment配置和service配置 五.安装说明 简介 k8s集群中搭建有状态的服务…

大模型备案全网最详细流程说明【附附件】

下图为最新的直至第五批深度合成服务算法备案信息的公告 根据目前公开的国内大模型算法备案统计来看,首批境内深度合成服务算法备案清单,总共通过了五批。 以第二批举例,境内深度合成服务算法备案清单,总共通过110家&…

秒与时间转换器

目录 开头程序程序的流程图程序输入与输出的效果例1输入输出 例2输入输出 例3输入输出 结尾 开头 大家好,我叫这是我58。在这里,我要给大家介绍一下我用C语言编译的秒与时间转换器和与之相关的一些东西。 程序 #define _CRT_SECURE_NO_WARNINGS 1 #in…

基于FaceX-Zoo里的faceSDK实现人脸识别(与人脸库结合比对人脸)

目录 一、简介 二、face SDK 1、环境需要 2、功能实现 2.1人脸库搭建 2.2人脸识别 3、测试结果 4、总结 本文根据京东开源的人脸识别工具包FaceX-Zoo,实现了人脸识别功能。对代码中的faceSDK部分做了修改,并搭建了自己的人脸库,识别结果准确度较高,后期可以打包SDK…

HTTP Client

从jdk9开始引入HTTP Client标准化,在jdk10开始更新。通过CompletableFutures提供了非阻塞请求和响应式。流量控制在java.util.concurrent.Flow API提供支持。更容易的跟踪数据流:从用户请求发布者和响应订阅者,一直到底层套接字。 public void get(String uri) throws Exce…

uni app for()在App上不运行

项目场景&#xff1a; uniapp单选 文字 显示 text &#xff1a; 问题描述 h5 有效 安卓App 无效 for(var i 0;i<from.length();i){}解决方案&#xff1a; this.from.forEach((itme,index)>{this.sex.push({value:itme.nodeCode,text:itme.nodeName});this.sex1.pus…

Python的异常处理(与C++对比学习)

一、C语言中错误的处理方式 用assert来判断一个表达式是否出错&#xff1b;在调用接口函数时&#xff0c;接口函数会设置errno&#xff0c;我们可以通过errno&#xff0c;strerror(errno)来拿到错误码和错误信息。在自定义函数中&#xff0c;我们设置函数错误信息处理的时候&a…

告别堆积,迎接清新:回收小程序,打造无废生活新选择

在快节奏的现代生活中&#xff0c;物质的丰富与便利似乎成为了我们日常的一部分&#xff0c;但随之而来的&#xff0c;是日益增长的废弃物堆积问题。街道边、社区里&#xff0c;甚至是我们的家中&#xff0c;废弃物品仿佛无孔不入&#xff0c;逐渐侵蚀着我们的生活空间与环境质…

element-tree树半勾选+根据id查找树的某一项

需要添加定时器才可以及时勾选上 // 半勾选回显permissions && permissions.forEach(item > {const a setTimeout(() > {this.$nextTick(() > {this.$refs.menuTreeRef.setChecked(Number(item), true, false)clearTimeout(a)})this.$forceUpdate()}, 100)})…

基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境

01 前言 Kafka 作为流处理平台&#xff0c;在实时流计算和在线业务场景&#xff0c;追尾读追求端到端低延迟。在离线批处理和削峰填谷场景&#xff0c;数据冷读追求高吞吐。两个场景都需要很好的数据缓存设计来支撑&#xff0c;Apache Kafka 的数据存储在本地文件&#xff0c…

抖音蓝V商家采集软件使用指南

抖音是目前非常流行的短视频平台之一&#xff0c;许多商家在抖音上通过发布视频来推广自己的产品和品牌。而蓝V商家采集软件是一款可以帮助商家快速采集蓝V用户信息的工具。本文将为大家介绍如何使用抖音蓝V商家采集软件&#xff0c;并提供相应的代码示例。 安装和配置抖音蓝V商…

pointnet2_ops_lib/.安装报错解决方案

问题 3D点云相关的代码例如pointnn、pointmlp都需要安装pointnet2_ops&#xff0c;可是基本上在安装pointnet2_ops时总会报错&#xff0c;终归原因是虚拟环境的cuda版本和安装的torch&#xff0c;torchvision&#xff0c; torchaudio版本不一致导致。 方案 这里以pointmlp&am…

智能信息检索:布尔查询

函数介绍&#xff1a; 本次实验利用了上一次实验构建成功的倒排表 send为评测提交函数 and_search为AND逻辑布尔查询 and_search_sort增添了相关度排序的功能 mul_search函数接受不同参数来确定查询的逻辑 test支持用户手动输入测试 代码实现&#xff1a; bool_search.…

Sharding-JDBC分库分表之SpringBoot主从配置

Sharding-JDBC系列 1、Sharding-JDBC分库分表的基本使用 2、Sharding-JDBC分库分表之SpringBoot分片策略 3、Sharding-JDBC分库分表之SpringBoot主从配置 前言 在开发中&#xff0c;如果对数据库的读和写都在一个数据服务器中操作&#xff0c;面对日益增加的访问量&#x…