在数据处理相关工作中,读取的数据中常常会有缺失值的情况,为顺利进行后续的操作,需要首先对缺失值进行处理,处理的方式一般为删除或填充,Python中提供了专门的工具包,可以方便地进行实现。读取操作可以由pandas模块实现,通常直接读一个excel或csv文件,创建为DataFrame对象,模块中的dropna方法和fillna方法可以实现对缺失值的删除和填充。
现有下列数据文件,文件命名为testdata.xlsx,对它进行缺失值处理。
读取数据:
import pandas as pd
data = pd.read_excel("./testdata.xlsx")
易知数据中第4行第1列、第6行第2列、第2行第4列、第3行第4列是缺失的。
1.删除
对于缺失的地方,可以删除所在的行或所在的列。
(1).删除含空值的行,在dropna()中加参数axis=0.
data.dropna(axis=0,inplace=True)
(2).删除含空值的列,在dropna()中加参数axis=1.
data.dropna(axis=1,inplace=True)
2.填充
对于缺失的地方,也可以填入一个值使之不再空缺。通常填0、指定字符、中位数、均值、相邻值或拟合值。
(1).填充0
data.fillna(0,inplace=True)
(2) 填充指定字符
data.fillna('无',inplace=True)
(3) 填充整体的均值、中位数
均值(保留一位小数):
t = np.round(np.mean(data),1)
data.fillna(t,inplace=True)
中位数:
dnr = np.array(data)
dnr = dnr[~np.isnan(dnr)] # 非nan元素
t = np.median(dnr) # 整体中位数
data.fillna(t,inplace=True)
(4)填充所在列的均值、中位数
均值:
data.fillna(data.mean(),inplace=True)
中位数:
(奇数个元素取中间的,偶数个元素取中间两个的均值)
data.fillna(data.median(),inplace=True)
(5)填充相邻值
a. 填充列的前相邻值
data.fillna(method='ffill',axis=0,inplace=True)
或
data.ffill(axis=0,inplace=True)
b. 填充列的后相邻值
data.fillna(method='bfill',axis=0,inplace=True)
或
data.bfill(axis=0,inplace=True)
c. 填充行的前相邻值
data.fillna(method='ffill',axis=1,inplace=True)
或
data.ffill(axis=1,inplace=True)
d. 填充行的后相邻值
data.fillna(method='bfill',axis=1,inplace=True)
或
data.bfill(axis=1,inplace=True)
(6)按列填充指定内容
有时不同列空缺数据的填充需求是不一致的,此时可以按列进行填充。
a.填充某一列
对第4列空缺处填充列均值
mean_c4 = data['TitleC4'].mean()
data['TitleC4'].fillna(mean_c4, inplace=True)
对第4列空缺处填充前相邻值
data['TitleC4'].fillna(method='ffill',axis=0,inplace=True)
或
data['TitleC4'].ffill(axis=0,inplace=True)
b,用字典指定填充多列
fill_values = {'TitleC1':1111,'TitleC2':2222,'TitleC4':4444,'TitleC5':5555}
data.fillna(value=fill_values, inplace=True)
(7)填充拟合值(插值算法)
对于元素仅为数字的数据,缺失部分也可用插值算法填充,如线性插值、二次插值、三次插值、样条插值等。
data.interpolate(method='slinear',inplace=True) #线性插值
data.interpolate(method='quadratic',inplace=True) #二次插值
data.interpolate(method='cubic',inplace=True) #三次插值
参考:
1.https://www.python100.com/html/L1PK07477FUQ.html
2.https://www.python100.com/html/120094.html
3.https://www.python100.com/html/75400.html
4.https://blog.csdn.net/weixin_46277779/article/details/126224097