Python数据清洗 - 洗什么?怎么洗?看完就明白了

目录

缺失值处理

删除缺失值

插补缺失值

不处理缺失值

重复值处理

异常值处理

遍历查找异常值,并根据规则调整大小 

删除异常值

视为缺失值后进行插补

数据挖掘过程中,采集的原始数据里存在着各种不利于分析与建模工作的因素,比如数据不完整、数据矛盾、异常值等。这些因素不仅影响建模的执行过程,更有甚者在不知不觉间给出错误的建模结果,这就使得数据清洗显得尤为重要。但是数据清洗并不是数据预处理的全部内容,它只是第一步而已,接下来还有数据集成、数据转换和数据规约等一系列处理。在实际应用中,数据预处理的工作量占整个建模过程的60%,可以说,预处理做得好,模型基本就出来了。

数据预处理的主要内容包括:

  1. 数据清洗;
  2. 数据集成;
  3. 数据转换;
  4. 数据规约;

但是在这一篇里,我们只讲数据清洗,其他部分会慢慢整理。

数据清洗主要是删除原始数据中的无关数据,重复数据,平滑噪声数据,筛选掉与建模目的无关的数据,处理缺失值与异常值等。

缺失值处理

除了很明显的缺失值(单元格处无值)之外,还有一种隐形的缺失值,比如,你要分析一个人从2018年初到现在每个月的收入情况,加入某个月这个人完全没有收入,账单流水中是不会显示这种情况的,如果你想把对这些没有收入的月份进行缺失值处理的话,首先你就要找出哪些月份不在账单流水中。那么请看下面这个链接中的文章吧,文章会给出2018年初到现在连续的日期,你只需要匹配一下就知道哪些月份不在账单中了。

缺失值处理 - 获取一段时间内所有日期的列表 - (Python、MySQL)

处理缺失值的方法分为3类:删除、插补、不处理。

删除缺失值

如果通过删除小部分的数据就可以达到目标,那么这无疑是最简单高效的办法。但是考虑到数据采集的不易,因此一般不会轻易删除数据。

先来看看数据的大致情况

import pandas as pd#读取文件
datafile = u'E:\\pythondata\\tt.xlsx'#文件所在位置
data = pd.read_excel(datafile)#如果是csv文件则用read_csv
print("显示缺失值,缺失则显示为TRUE:\n", data.isnull())#是缺失值返回True,否则范围False
print("---------------------------------\n显示每一列中有多少个缺失值:\n",data.isnull().sum())#返回每列包含的缺失值的个数

运行结果:

显示缺失值,缺失则显示为TRUE:姓名     身高     性别     血型   出生年份     籍贯
0  False  False  False  False  False  False
1  False  False  False  False  False   True
2   True   True   True   True   True   True
3  False  False  False  False  False  False
4  False  False  False  False  False  False
5  False  False  False  False  False  False
6  False   True   True  False   True   True
7  False  False  False  False  False  False
---------------------------------
显示每一列中有多少个缺失值:姓名      1
身高      2
性别      2
血型      1
出生年份    2
籍贯      3
dtype: int64

删除缺失值具体的情况是一下几种:

  • data.dropna() #直接删除含有缺失值的行
  • data.dropna(axis = 1) #直接删除含有缺失值的列
  • data.dropna(how = 'all') #只删除全是缺失值的行
  • data.dropna(thresh = 3) #保留至少有3个非空值的行
  • data.dropna(subset = [u'血型 ']) #判断特定的列,若该列含有缺失值则删除缺失值所在的行

dropna官网介绍文档

插补缺失值

常见的插补方法:

看一眼源数据:

import pandas as pd#读取文件
datafile = u'E:\\pythondata\\ttt.xlsx'#文件所在位置
data = pd.read_excel(datafile)#如果是csv文件则用read_csv
print("显示源数据data:\n", data)#是缺失值返回True,否则范围False
print("------------------\n用均值插补后的数据data:\n", data.fillna(data.mean()))

运行结果:

显示源数据data:姓名       工资
0  张三  11687.0
1  李四  10237.0
2  王五   8971.0
3  赵六   9310.0
4  马七  15890.0
5  杨八      NaN
6  谭九  12361.0
7  黄十   9219.0
------------------
用均值插补后的数据data:姓名            工资
0  张三  11687.000000
1  李四  10237.000000
2  王五   8971.000000
3  赵六   9310.000000
4  马七  15890.000000
5  杨八  11096.428571
6  谭九  12361.000000
7  黄十   9219.000000

简单的缺失值插补方法:

  • data.fillna(data.mean())  #均值插补
  • data.fillna(data.median()) #中位数插补
  • data.fillna(data.mode())  #众数插补
  • data.fillna(data.max())   #最大值插补
  • data.fillna(data.min())   #最小值插补
  • data.fillna(0)         #固定值插补--用0填充
  • data.fillna(5000)       #固定值插补--用已知的行业基本工资填充
  • data.fillna(method='ffill')#最近邻插补--用缺失值的前一个值填充
  • data.fillna(method='pad') #最近邻插补--用缺失值的前一个值填充

通过拟合函数来插补的方法:

主要说一说拉格朗日插值法吧,除了拉格朗日插值法,还有牛顿插值法、Hermite插值法、分段插值法和样条插值法。有兴趣的可以把后几种方法的代码也研究出来。

下面是拉格朗日插值法的博客链接,因为写的很细,所以就不重复了,点击链接跳转去看一看吧。

文章链接:数据预处理 - 缺失值处理 - 拉格朗日插值法

或者,也可以使用缺失值所在行的上一行填补缺失值:

文章链接:缺失值处理 - 定位空值并用空值的上一个值填充 - (Excel)_Not Found黄小包-CSDN博客_excel填充空值

不处理缺失值

不处理就是不管,所以此处省略一万字......

重复值处理

在Pandas中,.duplicated()表示找出重复的行,默认是判断全部列,返回布尔类型的结果。对于完全没有重复的行,返回 False,对于有重复的行,第一次出现的那一行返回 False,其余的返回 True。

与.duplicated()对应的,.drop_duplicates()表示去重,即删除布尔类型为 True的所有行,默认是判断全部列。

import pandas as pd
import numpy as np
from pandas import DataFrame,Series#读取文件
datafile = u'E:\\pythondata\\tt.xlsx'#文件所在位置,u为防止路径中有中文名称,此处没有,可以省略
data = pd.read_excel(datafile)#datafile是excel文件,所以用read_excel,如果是csv文件则用read_csv
examDf = DataFrame(data)#去重
print(examDf.duplicated())#判断是否有重复行,重复的显示为TRUE,
examDf.drop_duplicates()#去掉重复行#指定某列判断是否有重复值
print(examDf.duplicated('name'))#判断name列是否有重复行,重复的显示为TRUE,
examDf.drop_duplicates('name')#去掉重复行#根据多列判断是否有重复值
print(examDf.duplicated(['name','sex','birthday']))#判断name,sex,birthday列是否有重复行,重复的显示为TRUE,
examDf.drop_duplicates(['name','sex','birthday'])#去掉重复行

此处只是放出代码来,若想要了解更多,比如数据源和代码运行结果比较,可点击下面链接查看:

Python数据预处理 - 数据清洗 - 重复值处理

异常值处理

数据清洗过程中的异常值的处理,是选择剔除还是用其他值代替,需要视情况而定。有些异常值可能包含某些信息,需认真思考后采取处理方法。

常见的异常值处理办法:

遍历查找异常值,并根据规则调整大小 

文章链接:异常值处理 - iterrows()对 DataFrame 进行遍历,并修改遍历中的异常值 - Python代码

删除异常值

import pandas as pd #导入pandas库inputfile = u'E:\\pythondata\\ttt.xlsx'data= pd.read_excel(inputfile)#将工资低于1000或者高于10万的异常值清空
data[u'工资'][(data[u'工资']<1000) | (data[u'工资']>100000)] = None #清空后删除
print(data.dropna())

视为缺失值后进行插补

#将工资低于1000或者高于10万的异常值清空
data[u'工资'][(data[u'工资']<1000) | (data[u'工资']>100000)] = None #清空后用均值插补
print(data.fillna(data.mean()))

除了用均值插补之外还可以用中位数、众数、最值、固定值、最近邻值、拉格朗日等插值,具体方法往前翻,上面刚写完。

OVER!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/475571.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 1090. 受标签影响的最大值(优先队列)

1. 题目 我们有一个项的集合&#xff0c;其中第 i 项的值为 values[i]&#xff0c;标签为 labels[i]。 我们从这些项中选出一个子集 S&#xff0c;这样一来&#xff1a; |S| < num_wanted对于任意的标签 L&#xff0c;子集 S 中标签为 L 的项的数目总满足 < use_limit…

PHP中的get_defined_funciton和get_defined_vars

1 <?php 2 $zongzi "adfasdf"; 3 //将$zongzi作为数组的key,adfasdf作为数组的值返回 4 $val (get_defined_vars()); 5 echo $val[zongzi]; 6 7 8 function zongzi(){ 9 echo "adfads";10 }11 1…

合并数据 - 合并多个Excel文件并转成CSV - Python代码

在工作中&#xff0c;有时候因为部门间的数据权限问题&#xff0c;推送数据的时候往往是通过邮件完成&#xff0c;对于量大的数据&#xff0c;往往会拆成很多个excel发送&#xff0c;到下一个部门导入数据库之前&#xff0c;总是需要先将所有excel合成一个excel&#xff0c;再导…

LeetCode 524. 通过删除字母匹配到字典里最长单词(双指针)

1. 题目 给定一个字符串和一个字符串字典&#xff0c;找到字典里面最长的字符串&#xff0c;该字符串可以通过删除给定字符串的某些字符来得到。 如果答案不止一个&#xff0c;返回长度最长且字典顺序最小的字符串。如果答案不存在&#xff0c;则返回空字符串。 示例 1: 输入…

poj 3748 位操作

#include<iostream> //位运算using namespace std;int main(){int r,x,y; scanf("%x,%d,%d",&r,&x,&y); rr&(~(1<<x)); rr|(1<<y); rr|(1<<(y-1)); rr&(~(1<<(y-2))); printf("%x\…

Python - Excel文件与CSV文件相互转化

Excel文件转化成CSV - pandas #excel文件转化成csv import pandas as pdfileE:\\pythondata\\union\\test_3.xlsx outfileE:\\pythondata\\union\\test_3.csvdef xlsx_to_csv_pd():data_xls pd.read_excel(file, index_col0)data_xls.to_csv(outfile, encodingutf-8)if __nam…

LeetCode 743. 网络延迟时间(最短路径)

文章目录1. 题目2. 解题2.1 弗洛伊德1. 题目 有 N 个网络节点&#xff0c;标记为 1 到 N。 给定一个列表 times&#xff0c;表示信号经过有向边的传递时间。 times[i] (u, v, w)&#xff0c;其中 u 是源节点&#xff0c;v 是目标节点&#xff0c; w 是一个信号从源节点传递到…

SQL Server T-SQL高级查询

SQL Server T-SQL高级查询&#xff08;转&#xff09; 高级查询在数据库中用得是最频繁的&#xff0c;也是应用最广泛的。 基本常用查询 --select select * from student; --all 查询所有 select all sex from student; --distinct 过滤重复 select distinct sex from student…

逻辑回归 - sklearn (LR、LRCV、MLP、RLR)- Python代码实现

目录 LR&#xff08;LogisticRegression&#xff09; - 线性回归 LRCV&#xff08;LogisticRegressionCV &#xff09;- 逻辑回归 MLP&#xff08;MLPRegressor&#xff09; - 人工神经网络 RLR&#xff08;RandomizedLogisticRegression&#xff09;-随机逻辑回归 logisti…

LeetCode 810. 黑板异或游戏(博弈推理)

1. 题目 一个黑板上写着一个非负整数数组 nums[i] 。 小红和小明轮流从黑板上擦掉一个数字&#xff0c;小红先手。 如果擦除一个数字后&#xff0c;剩余的所有数字按位异或运算得出的结果等于 0 的话&#xff0c;当前玩家游戏失败。 (另外&#xff0c;如果只剩一个数字&#x…

[Socket]BSD socket简易入门

介绍 当你进入 UNIX 的神秘世界后&#xff0c;立刻会发现越来越多的东西难以理解。对于大多数人来说&#xff0c;BSD socket 的概念就是其中一个。这是一个很短的教程来解释他们是什么、他们如何工作并给出一些简单的代码来解释如何使用他们。 类比 (什么是 socket &#xff1f…

轻松看懂机器学习十大常用算法 - 基础知识

通过本篇文章可以对机器学习ML的常用算法有个常识性的认识&#xff0c;没有代码&#xff0c;没有复杂的理论推导&#xff0c;就是图解一下&#xff0c;知道这些算法是什么&#xff0c;它们是怎么应用的&#xff0c;例子主要是分类问题。 算法如下&#xff1a; 决策树随机森林算…

LeetCode 68. 文本左右对齐(字符串逻辑题)

1. 题目 给定一个单词数组和一个长度 maxWidth&#xff0c;重新排版单词&#xff0c;使其成为每行恰好有 maxWidth 个字符&#xff0c;且左右两端对齐的文本。 你应该使用“贪心算法”来放置给定的单词&#xff1b;也就是说&#xff0c;尽可能多地往每行中放置单词。必要时可…

VBA之六--EXCEL VBA两则

函数作用:自动获取指定月的工作日 ################################################################Sub 自动填充工作日(month1 As Integer)获取指定月份天数Dim days As IntegerDim xdate As Datexdate CDate("2008-" CStr(month1))初始化公共变量Col2的值col2…

数据离散化 - 等宽等频聚类离散 - Python代码

目录 等宽离散 等频离散 聚类离散 附录&#xff1a; rolling_mean函数解释 cut函数解释 其他数据预处理方法 一些数据挖掘算法中&#xff0c;特别是某些分类算法&#xff08;eg:ID3算法、Aprioroi算法等&#xff09;&#xff0c;要求数据是分类属性形式。因此常常需要将…

LeetCode 1444. 切披萨的方案数(DP)

1. 题目 给你一个 rows x cols 大小的矩形披萨和一个整数 k &#xff0c;矩形包含两种字符&#xff1a; ‘A’ &#xff08;表示苹果&#xff09;和 ‘.’ &#xff08;表示空白格子&#xff09;。 你需要切披萨 k-1 次&#xff0c;得到 k 块披萨并送给别人。 切披萨的每一刀…

C#动态调用Web服务的3种方法

我们在开发C# WinForm时&#xff0c;有时会调用Web服务&#xff0c;服务是本地的当前好办&#xff0c;只要在Project中的Web References中引入就可以在代码中直接创建一个Web服务对象来引用&#xff0c;其实其原理是C#帮你自动创建客户端代理类的方式调用WebService&#xff0c…

合并数据 - 方法总结(concat、append、merge、join、combine_first)- Python代码

描述 分析一个业务的时候往往涉及到很多数据&#xff0c;比如企业融资信息、投资机构信息、行业标签、招聘数据、政策数据等&#xff0c;这些数据分别存储在不同的表中。通过堆叠合并和主键合并等多种合并方式&#xff0c;可以将这些表中需要的数据信息合并在一张表中供分析使…

LeetCode 592. 分数加减运算(字符串+最大公约数)

1. 题目 给定一个表示分数加减运算表达式的字符串&#xff0c;你需要返回一个字符串形式的计算结果。 这个结果应该是不可约分的分数&#xff0c;即最简分数。 如果最终结果是一个整数&#xff0c;例如 2&#xff0c;你需要将它转换成分数形式&#xff0c;其分母为 1。 所以在…

18、Linux下编程风格

在前面曾总结过微软环境下编程的规范【1】&#xff0c;但是在linux下&#xff0c;没有自动补起&#xff0c;以及没有像VS那样高级好用的可视化开发工具&#xff0c;如果变量&#xff0c;函数定义太复杂&#xff0c;敲的也累&#xff0c;下面总结linux下编程风格&#xff0c;资料…