1.缺失值概要

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响扥方面展开分析。

（1）缺失值产生的原因

1）有些信息暂时无法获取，或者获取信息的代价太大；

2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设置的故障、存储介质的故障、传输媒体的故障灯非人为原因而丢失；

3）属性值不存在。在某些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属性是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。

（2）缺失值的影响

1）数据挖掘建模将丢失大量的有用信息；

2）数据挖掘模型所表现出的不确定性更加显著，模型中蕴涵的规律更难把握。

3）包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。

（3）缺失值的分析

使用简单的统计分析，可以得到含有缺失值的属性的个数，以及每个属性的未缺失数、缺失数与缺失率等。

从总体上来说，缺失值的处理分为删除存在缺失值的记录、对可能值进行插补和不处理3种情况。

2.缺失值处理

import pandas as pd
import numpy as np
df = pd.read_csv('data/table_missing.csv')
#默认输出DataFrame的前5行
df.head()  

（1）了解缺失数据

函数isna和notna方法

df['Physics'].isna().head()

df['Physics'].notna().head()

统计每列（每行）的缺失情况

#统计每列的缺失
df.isna().sum()#或者df.isnull().sum()
#统计每行的缺失
df.isna(axis=0).sum()#或者df.isnull(axis=0).sum()

挑出该列缺失值的行

df[df['Physics'].isna()]

挑选出所有非缺失值的列

这里介绍了all和any的用法，all是全部值，any是至少有一个值

#all是全部非缺失值
df[df.notna().all(1)]
#any至少有一个不是缺失值
df[df.notna().any(1)]

（2）三种缺失符号

（a）np.nan

它不等与任何东西，甚至不等于自己¶

在用equals函数比较时，自动略过两侧全是np.nan的单元格

        在numpy中的类型为浮点，由此导致数据集读入时，即使原来是整数的列，只要有缺失值就会变为浮点型

        对于布尔类型的列表，如果是np.nan填充，那么它的值会自动变为True而不是False，但当修改一个布尔列表时，会改变列表类型，而不是赋值为True

         在所有的表格读取后，无论列是存放什么类型的数据，默认的缺失值全为np.nan类型，因此整型列转为浮点；而字符由于无法转化为浮点，因此只能归并为object类型（'O'），原来是浮点型的则类型不变。

         （b）None

           None比前者稍微好些，至少它会等于自身

           它的布尔值为False

           修改布尔列表不会改变数据类型

           在传入数值类型后，会自动变为np.nan

          只有当传入object类型是保持不动，几乎可以认为，除非人工命名None，它基本不会自动出现在Pandas中

           在使用equals函数时不会被略过，因此下面的情况下返回False¶

        （c）NaT

           NaT是针对时间序列的缺失值，是Pandas的内置类型，可以完全看做时序版本的np.nan，与自己不等，且使用equals是也会被跳过。

        （3）Nullable类型与NA符号

        （a）Nullable整形

          对于该种类型而言，它与原来标记int上的符号区别在于首字母大写：‘Int’，好处在于缺失值的类型都被替换成统一的NA符号，且不改变数据类型。

（b）Nullable布尔 

与Nullable整型一致，且数据类型不会变成浮点型

（c）string类型

为了区分开原本含糊不清的object类型，它本质上也属于Nullable类型，因为不会含有缺失而改变类型；

与object类型的一点重要区别就在于，在调用字符方法后，string类型返回的是Nullable类型，object则会根据缺失类型和数据类型而改变。

（4）NA的特性

（a）逻辑运算

只需看该逻辑运算的结果是否依赖pd.NA的取值，如果依赖，则结果还是NA，如果不依赖，则直接计算结果，取值不明直接报错

（b）算术运算和比较运算

当出现pd.NA**0和1**pd.NA时结果为1，其他情况为NA

（5）convert_dtypes方法

在读取数据时，就把数据列转为Nullable，是pandas1.0的新函数。

pd.read_csv('data/table_missing.csv').convert_dtypes().dtypes

3.缺失数据的运算与分组

（a）加号和乘号规则

使用加法时，缺失值为0；

使用乘法时，缺失值为1；

使用累计函数时，缺失值自动略过

（b）groupby方法中的缺失值

自动忽略为缺失值的组

df_g = pd.DataFrame({'one':['A','B','C','D',np.nan],'two':np.random.randn(5)})
print(df_g)
df_g.groupby('one').groups

4.填充与剔除

（a）fillna方法（值填充与前后向填充，methods=ffill or bfill）

#值填充
df['Physics'].fillna('missing').head()
#前向填充
df['Physics'].fillna(method='ffill').head()
#后向填充
df['Physics'].fillna(method='backfill').head()

指定列填充

df_f = pd.DataFrame({'A':[1,3,np.nan],'B':[2,4,np.nan],'C':[3,5,np.nan]})
#填充全部列
df_f.fillna(df_f.mean())
#填充A,B两列
df_f.fillna(df_f.mean()[['A','B']])

（b）dropna方法

axis参数是行或列的参数，如果axis=0，则对应是每一行，如果axis=1,则对应没一列

how参数是可以选择all或者是any，表示全为缺失去除或存在缺失去除

subset参数是在某一列范围中搜索缺失值

5.插值（interpolation）

常见的数据插补方法有：

（1）线性插值

（a）与索引无关的线性插值

默认状态下，interpolate会对缺失的值进行线性插值

s = pd.Series([1,10,15,-5,-2,np.nan,np.nan,28])
s.interpolate()

（b）与索引有关的线性插值

method中的index和time选项可以是插值线性地依赖索引，即插值为索引的线性函数

s.interpolate(method='index')

如果索引是时间，那么可以按照时间长短插值。

s_t = pd.Series([0,np.nan,10],index=[pd.Timestamp('2012-05-01'),pd.Timestamp('2012-05-07'),pd.Timestamp('2012-06-03')])
#未按照time插值（图1）
s_t.interpolate()
#按照time插值（图2）
s_t.interpolate(method='time')

 

（2）高级插值方法

与线性插值相比较，例如样条插值、多项式插值、阿基玛插值等，可进一步学习。

ser = pd.Series(np.arange(1, 10.1, .25) ** 2 + np.random.randn(37))
missing = np.array([4, 13, 14, 15, 16, 17, 18, 20, 29])
ser[missing] = np.nan
methods = ['linear', 'quadratic', 'cubic']
df = pd.DataFrame({m: ser.interpolate(method=m) for m in methods})
df.plot()

（3）interpolate的限制参数

（a）limit最多插入多少个，s.interpolate(limit=2)

（b）limit_direction表示插值方向，可选forword，backward，both，默认前向，s.interpolate(limit_direction='backward')

（c）limit_area表示插值区域，可选inside，outside，默认None，s.interpolate(limit_area='inside')

练习题：

（1）如何删除缺失值在25%以上的列

s.drop(s.columns[s.isna().sum()/s.shape[0]>0.25],axis=1)