用Python做数据分析之数据表清洗

对数据表中的问题进行清洗。主要内容包括对空值，大小写问题，数据格式和重复值的处理。这里不包含对数据间的逻辑验证。

处理空值(删除或填充)

我们在创建数据表的时候在 price 字段中故意设置了几个 NA 值。对于空值的处理方式有很多种，可以直接删除包含空值的数据，也可以对空值进行填充，比如用 0 填充或者用均值填充。还可以根据不同字段的逻辑对空值进行推算。

Excel中可以通过“查找和替换”功能对空值进行处理，将空值统一替换为 0 或均值。也可以通过“定位”空值来实现。

查找和替换空值

Python中处理空值的方法比较灵活，可以使用 Dropna 函数用来删除数据表中包含空值的数据，也可以使用 fillna 函数对空值进行填充。下面的代码和结果中可以看到使用 dropna 函数后，包含 NA 值的两个字段已经不见了。返回的是一个不包含空值的数据表。

1#删除数据表中含有空值的行

2df.dropna(how=‘any’)

除此之外也可以使用数字对空值进行填充，下面的代码使用 fillna 函数对空值字段填充数字 0。

1#使用数字0 填充数据表中空值

2df.fillna(value=0)

我们选择填充的方式来处理空值，使用 price 列的均值来填充 NA 字段，同样使用 fillna 函数，在要填充的数值中使用 mean 函数先计算 price 列当前的均值，然后使用这个均值对 NA 进行填充。可以看到两个空值字段显示为 3299.5。

1#使用price 均值对 NA 进行填充

2df[‘price’].fillna(df[‘price’].mean())

40 1200.0

51 3299.5

62 2133.0

73 5433.0

84 3299.5

95 4432.0

10Name: price, dtype: float64

清理空格

除了空值，字符中的空格也是数据清洗中一个常见的问题，下面是清除字符中空格的代码。

1 #清除 city 字段中的字符空格

2 df[‘city’]=df[‘city’].map(str.strip)

大小写转换

在英文字段中，字母的大小写不统一也是一个常见的问题。Excel 中有 UPPER，LOWER等函数，python 中也有同名函数用来解决大小写的问题。在数据表的 city 列中就存在这样的问题。我们将 city 列的所有字母转换为小写。下面是具体的代码和结果。

1#city列大小写转换

2df[‘city’]=df[‘city’].str.lower()

更改数据格式

Excel中通过“设置单元格格式”功能可以修改数据格式。Python 中通过 astype 函数用来修改数据格式。

设置单元格格式

Python中 dtype 是查看数据格式的函数，与之对应的是 astype 函数，用来更改数据格式。下面的代码中将 price 字段的值修改为 int 格式。

1#更改数据格式2df[‘price’].astype(‘int’)340 120051 329962 213373 543384 329995 443210Name: price, dtype: int32

更改列名称

Rename是更改列名称的函数，我们将来数据表中的 category 列更改为 category-size。下面是具体的代码和更改后的结果。

删除重复值

很多数据表中还包含重复值的问题，Excel 的数据目录下有“删除重复项”的功能，可以用来删除数据表中的重复值。默认Excel 会保留最先出现的数据，删除后面重复出现的数据。

删除重复项

Python中使用 drop_duplicates 函数删除重复值。我们以数据表中的 city 列为例，city 字段中存在重复值。默认情况下 drop_duplicates()将删除后出现的重复值(与 excel 逻辑一致)。增加 keep=’last’参数后将删除最先出现的重复值，保留最后的值。下面是具体的代码和比较结果。

原始的 city 列中 beijing 存在重复，分别在第一位和最后一位。

1 df[‘city’]

2 0 beijing

3 1 sh

4 2 guangzhou

5 3 shenzhen

6 4 shanghai

7 5 beijing

8 Name: city, dtype: object

使用默认的 drop_duplicates()函数删除重复值，从结果中可以看到第一位的beijing 被保留，最后出现的 beijing 被删除。

1 #删除后出现的重复值

2 df[‘city’].drop_duplicates()