深入理解Python中的Pandas库

Pandas简介
安装Pandas
Pandas的核心数据结构
- Series
- DataFrame
数据加载与存储
- 从CSV文件读取数据
- 从Excel文件读取数据
- 从SQL数据库读取数据
- 数据存储
数据操作
- 数据选择
- 数据过滤
- 数据排序
- 数据分组与聚合
- 数据透视表
数据清洗与处理
- 处理缺失值
- 数据转换
- 数据合并
数据可视化
实战案例
总结

Pandas简介

Pandas是基于NumPy构建的，主要用于数据处理和分析的开源库。它提供了高效、便捷的数据结构和分析工具，尤其适用于处理结构化数据。Pandas的名字来源于“Panel Data”和“Python Data Analysis Library”。

安装Pandas

在开始使用Pandas之前，需要先安装它。可以使用pip或conda进行安装：

pip install pandas

或者使用conda：

conda install pandas

Pandas的核心数据结构

Pandas有两个核心数据结构：Series和DataFrame。

Series

Series是一种类似于一维数组的对象，由一组数据（各种NumPy数据类型）和与之相关的数据标签（即索引）组成。以下是创建Series的例子：

import pandas as pd# 创建一个简单的Series
s = pd.Series([1, 2, 3, 4, 5])
print(s)# 指定索引的Series
s = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])
print(s)

DataFrame

DataFrame是一个二维的、带有标签的数据结构，可以看作是Series的容器。它可以存储不同数据类型的列，是Pandas中最常用的数据结构。以下是创建DataFrame的例子：

import pandas as pd# 创建一个简单的DataFrame
data = {'name': ['Alice', 'Bob', 'Charlie'],'age': [25, 30, 35],'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)# 从CSV文件读取DataFrame
df = pd.read_csv('data.csv')
print(df)

数据加载与存储

Pandas支持从多种数据源加载数据，如CSV文件、Excel文件、SQL数据库等，同时也支持将数据存储到这些格式中。

从CSV文件读取数据

import pandas as pd# 从CSV文件读取数据
df = pd.read_csv('data.csv')
print(df)

从Excel文件读取数据

import pandas as pd# 从Excel文件读取数据
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
print(df)

从SQL数据库读取数据

import pandas as pd
import sqlite3# 创建数据库连接
conn = sqlite3.connect('database.db')# 从SQL查询结果读取数据
df = pd.read_sql_query('SELECT * FROM table_name', conn)
print(df)

数据存储

将DataFrame存储到不同格式的文件中：

import pandas as pd# 存储到CSV文件
df.to_csv('output.csv', index=False)# 存储到Excel文件
df.to_excel('output.xlsx', index=False)# 存储到SQL数据库
import sqlite3
conn = sqlite3.connect('database.db')
df.to_sql('table_name', conn, if_exists='replace', index=False)

数据操作

Pandas提供了丰富的数据操作功能，包括数据选择、过滤、排序、分组和聚合等。

数据选择

可以通过标签或位置选择数据：

import pandas as pddata = {'name': ['Alice', 'Bob', 'Charlie'],'age': [25, 30, 35],'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)# 选择单列数据
print(df['name'])# 选择多列数据
print(df[['name', 'age']])# 选择单行数据
print(df.iloc[0])# 选择多行数据
print(df.iloc[1:3])

数据过滤

可以根据条件过滤数据：

import pandas as pddata = {'name': ['Alice', 'Bob', 'Charlie'],'age': [25, 30, 35],'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)# 筛选年龄大于30的数据
filtered_df = df[df['age'] > 30]
print(filtered_df)

数据排序

可以对数据进行排序：

import pandas as pddata = {'name': ['Alice', 'Bob', 'Charlie'],'age': [25, 30, 35],'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)# 按年龄排序
sorted_df = df.sort_values(by='age')
print(sorted_df)

数据分组与聚合

Pandas提供了强大的分组与聚合功能：

import pandas as pddata = {'name': ['Alice', 'Bob', 'Charlie', 'David'],'age': [25, 30, 35, 40],'city': ['New York', 'Los Angeles', 'Chicago', 'New York']
}
df = pd.DataFrame(data)# 按城市分组并计算平均年龄
grouped_df = df.groupby('city').mean()
print(grouped_df)

数据透视表

透视表是数据聚合的一种强大工具：

import pandas as pddata = {'name': ['Alice', 'Bob', 'Charlie', 'David'],'age': [25, 30, 35, 40],'city': ['New York', 'Los Angeles', 'Chicago', 'New York'],'sales': [200, 300, 400, 500]
}
df = pd.DataFrame(data)# 创建透视表
pivot_table = df.pivot_table(values='sales', index='city', aggfunc='sum')
print(pivot_table)

数据清洗与处理

在实际应用中，数据往往是杂乱和不完整的，需要进行清洗和处理。

处理缺失值

Pandas提供了多种处理缺失值的方法：

import pandas as pddata = {'name': ['Alice', 'Bob', None, 'David'],'age': [25, None, 35, 40],'city': ['New York', 'Los Angeles', 'Chicago', None]
}
df = pd.DataFrame(data)# 检查缺失值
print(df.isnull())# 删除缺失值
cleaned_df = df.dropna()
print(cleaned_df)# 填充缺失值
filled_df = df.fillna({'name': 'Unknown', 'age': 0, 'city': 'Unknown'})
print(filled_df)

数据转换

可以对数据进行转换和处理：

import pandas as pddata = {'name': ['Alice', 'Bob', 'Charlie', 'David'],'age': [25, 30, 35, 40],'city': ['New York', 'Los Angeles', 'Chicago', 'New York']
}
df = pd.DataFrame(data)# 添加新列
df['age_group'] = df['age'].apply(lambda x: 'Young' if x < 30 else 'Old')
print(df)# 替换值
df['city'] = df['city'].replace('New York', 'NY')
print(df)

数据合并

可以将多个数据集合并为一个：

import pandas as pddata1 = {'name': ['Alice', 'Bob'],'age': [25, 30]
}
data2 = {'name': ['Charlie','David'],'age': [35, 40]
}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)# 合并数据
merged_df = pd.concat([df1, df2])
print(merged_df)# 基于列合并
data3 = {'name': ['Alice', 'Bob'],'city': ['New York', 'Los Angeles']
}
df3 = pd.DataFrame(data3)
merged_df = pd.merge(df1, df3, on='name')
print(merged_df)

数据可视化

Pandas与Matplotlib和Seaborn等可视化库集成良好，可以方便地进行数据可视化：

import pandas as pd
import matplotlib.pyplot as pltdata = {'name': ['Alice', 'Bob', 'Charlie', 'David'],'age': [25, 30, 35, 40],'sales': [200, 300, 400, 500]
}
df = pd.DataFrame(data)# 绘制柱状图
df.plot(kind='bar', x='name', y='sales')
plt.show()# 绘制折线图
df.plot(kind='line', x='name', y='age')
plt.show()

实战案例

为了更好地理解Pandas的强大功能，我们通过一个实际案例来展示如何使用Pandas进行数据分析。假设我们有一个包含销售数据的CSV文件，文件内容如下：

date,product,quantity,price
2023-01-01,apple,10,0.5
2023-01-01,banana,5,0.3
2023-01-02,apple,8,0.5
2023-01-02,banana,7,0.3

我们将使用Pandas对这些数据进行分析。

加载数据

import pandas as pd# 从CSV文件读取数据
df = pd.read_csv('sales.csv')
print(df)

数据预处理

# 转换日期列为日期类型
df['date'] = pd.to_datetime(df['date'])# 计算总销售额
df['total_sales'] = df['quantity'] * df['price']
print(df)

数据分析

# 按日期聚合销售数据
daily_sales = df.groupby('date').sum()
print(daily_sales)# 按产品聚合销售数据
product_sales = df.groupby('product').sum()
print(product_sales)

数据可视化

import matplotlib.pyplot as plt# 绘制每日销售额
daily_sales['total_sales'].plot(kind='line')
plt.title('Daily Sales')
plt.xlabel('Date')
plt.ylabel('Total Sales')
plt.show()# 绘制产品销售额
product_sales['total_sales'].plot(kind='bar')
plt.title('Product Sales')
plt.xlabel('Product')
plt.ylabel('Total Sales')
plt.show()

总结

Pandas是一个强大且灵活的数据分析库，适用于处理和分析各种结构化数据。通过本篇博客，我们介绍了Pandas的核心数据结构和功能，并通过实际案例展示了如何使用Pandas进行数据分析。希望这篇文章能够帮助你更好地理解和掌握Pandas，提高数据处理和分析的效率。如果你有任何疑问或需要进一步的帮助，欢迎随时联系我。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/49433.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！