案例 17: 处理重复数据 - 删除重复行

知识点讲解

在数据分析过程中，处理重复的记录是一个常见的任务。Pandas 提供了方便的方法来删除重复行，保证数据的准确性和可靠性。

• 删除所有列重复的行: 使用 drop_duplicates() 方法可以删除 DataFrame 中所有列值完全相同的重复行。
• 基于特定列删除重复行: 你可以指定一个或多个列作为依据，只删除在这些列上具有重复值的行。

示例代码

# 准备数据和示例代码的运行结果，用于案例 17# 示例数据
data_duplicate_removal = {'Product': ['Apple', 'Banana', 'Cherry', 'Apple', 'Banana'],'Price': [5, 3, 9, 5, 3]
}
df_duplicate_removal = pd.DataFrame(data_duplicate_removal)# 删除重复行
df_no_duplicates = df_duplicate_removal.drop_duplicates()# 删除特定列的重复行
df_no_duplicates_specific = df_duplicate_removal.drop_duplicates(subset=['Product'])df_duplicate_removal, df_no_duplicates, df_no_duplicates_specific

在这个示例中，我们有一个包含产品和价格的 DataFrame。首先，我们删除所有列完全相同的重复行。然后，我们仅根据 Product 列删除重复行。

示例代码运行结果

原始 DataFrame (df_duplicate_removal):

  Product  Price
0   Apple      5
1  Banana      3
2  Cherry      9
3   Apple      5
4  Banana      3

删除所有列重复的行后 (df_no_duplicates):

  Product  Price
0   Apple      5
1  Banana      3
2  Cherry      9

仅基于 Product 列删除重复行 (df_no_duplicates_specific):

  Product  Price
0   Apple      5
1  Banana      3
2  Cherry      9

这个案例展示了如何删除重复数据，确保数据集的唯一性和准确性。