1 数据连接 concat merge join （append 作为了解）

• append 竖直方向追加， 在最新的pandas版本中已经被删除掉了， 这里推荐使用concat

1.1 pd.concat

两张表， 通过行名、列名对齐进行连接

import pandas as pd
df1 = pd.DataFrame([[1, 2, 3], [1, 10, 20], [5, 6, 7], [3, 9, 0], [8, 0, 3]], columns=['x1', 'x2', 'x3'])
df2 = pd.DataFrame([[1, 2], [1, 10], [1, 3], [4, 6], [3, 9]], columns=['x1', 'x4'])
pd.concat([df1, df2], axis=1)
pd.concat([df1, df2],join='inner')

axis=1 默认是0 ， 上下连接， 用列名做对齐 = 1 左右连接 用行名对齐

join = 'inner' 默认 ‘outer’ outer 会保留连接的两张表的所有的信息， 有列名、行名不匹配的时候， 用NaN填充， 如果是inner 只会连接 行名、列名相同的部分

1.2 merge 连接 类似于SQL的join

# 写法1
df1.merge(df2, on='列名', how='固定值')
# 写法2
pd.merge(df1, df2, on='列名', how='固定值')

• merge函数有2种常用参数，参数说明如下

  • 参数on='列名'，表示基于哪一列的列值进行合并操作

  • 参数how='固定值'，表示合并后如何处理行索引，固定参数具体如下：

    • how='left' 对应SQL中的left join，保留左侧表df1中的所有数据

    • how='right' 对应SQL中的right join，保留右侧表df2中的所有数据

    • how='inner' 对应SQL中的inner，只保留左右两侧df1和df2都有的数据

    • how='outer' 对应SQL中的join，保留左右两侧侧表df1和df2中的所有数据

• merge横向连接多个关联数据集具体使用

  df3 = pd.merge(df1, df2, how='left', on='x1')
  df4 = pd.merge(df1, df2, how='right', on='x1')
  df5 = pd.merge(df1, df2, how='inner', on='x1')
  df6 = pd.merge(df1, df2, how='outer', on='x1')

df1.merge(df2, left_on='x1', right_on='x4', how='inner',suffixes=('_left', '_right'))

两张表要关联的字段名字不同， left_on 左表用于关联的字段名 right_on 右表用于关联的字段名

suffixes 后缀， 当关联结果中，出现了同名的字段， 用于区分哪个字段来自于哪一张表， 默认是(' _ x', '_ y')

1.3 join合并

df1.join(df2,lsuffix='left',rsuffix='right')

如果这里不写on 这个参数， 和pd.concat axis=1 的时候完全相同

df1.join(df2,on='x1',lsuffix='left',rsuffix='right')

df1 用x1 和 df2的index 做join 左表的一列数据和右表的行索引 进行合并

join功能可以用concat 和 merge 替代。 这部分作为了解就可以了

2 转置和透视表

df.T 行变列， 列变行

2.1 透视表

• 计算的结果可以通过分组聚合来实现， 只不过是展示的方式跟分组聚合有差异

• 统计每个城市线下门店各种品类商品总销售额

uniqlo_df_offline = uniqlo_df[uniqlo_df['销售渠道']=='线下'] # 筛选出线下的销售数据
result_df = uniqlo_df_offline.groupby(['城市','产品名称'])['销售金额'].sum()
# 通过分组聚合统计不同城市不同产品的总销售额

• 通过透视表实现

uniqlo_df_offline.pivot_table(index='城市',columns='产品名称',values='销售金额',aggfunc='sum')

index 分组字段之一， 在结果中作为行索引

columns 分组字段之一， 在透视表结果中作为列名

values 聚合字段， 在透视表的结果中展示在值的位置上

aggfunc 聚合函数， 对聚合字段使用的统计函数名字

需要注意的是， index columns values 都可以传列表， aggfunc 可以针对不同的value 选择不同的聚合方式， 此时需要传入字典 但是不推荐把表做的过于复杂

df.groupby()[].mean()

df['列名'].value_counts()

df['列名'].unique()

df.sort_values()

df.drop()

df.drop_duplicates()

pd.cut()

pd.to_datetime() 转日期时间类型

• s[日期].dt.year weekday

df.merge()

pd.concat()

df.head()

df.info()

df.describe()

df[''].apply()

df.loc /df.iloc

max() min() mean() count() sum() std() quantile() df.corr()

根据条件筛选数据

分组聚合

pd.cut()

3 Matplotlib数据可视化

数据可视化的库一共有两类

基于Matplotlib的， 绘制的是静态的图形

• pandas

• seaborn

用javascript 实现的 比如 echarts → pyecharts plotly

• 随着使用的时候再去讲

对大家的要求

• 知道什么场景选择什么样的图表

• 代码能够看懂， 基于已有的代码可以修改实现自己想要的效果

3.1 Matplotlib 的绘图套路

import pandas as pd
import matplotlib.pyplot as plt
​
x = [-3, 5, 7] #准备数据的x轴坐标
y = [10, 2, 5] #准备数据的y轴坐标
# 面向过程的API 通过plt 绘图工具， 调用方法， 画图
plt.figure(figsize=(15,3)) # 创建绘图区域  figsize指定区域大小  15 宽度 3高度
plt.plot(x, y)
plt.xlim(-8,8)
plt.xlabel('X Axis',size=15)   # 设置X轴的标题
plt.ylabel('Y Axis',size=10)  # 设置Y轴标题
plt.title('Line plot',size=15) # 添加 图大标题
plt.grid(True) # 网格线
plt.show()
# 面向对象的API  先获取坐标轴的对象， 通过坐标轴对象调用方法 设置属性
fig,ax = plt.subplots(figsize=(15,3)) # 返回fig ax（坐标轴）
ax.plot(x,y)
ax.set_xlim(-3,8)
ax.set_ylim(-3,8)
ax.set_xlabel('X Axis',size=15)
ax.set_ylabel('Y Axis',size=10)
ax.set_title('Line plot',size=15)
plt.show()

基本套路

import matplotlib.pyplot as plt

plt.figure(figsize=(15,3))

plt.plot(x, y)

plt.show()

3.2 单变量可视化——绘制直方图

这里使用seaborn提供的餐馆小费数据

tips = pd.read_csv('C:/Develop/顺义48/day01/02_代码/data/tips.csv')

对餐馆消费账单的分布情况进行可视化

# 单变量的分布 可以绘制直方图
plt.figure(figsize=(16,8))
plt.hist(tips['total_bill'],bins=8)
# 直方图使用场景， 单独的取值是连续值（数值型) 变量，看这个变量的分布情况就可以选择直方图
# 绘制的过程， 把数据从小到大排序， bins 数量决定了数据要分成几组， 分组的方式等距分组（每组的上下边界的差值尽可能一样）
# 统计落在每一组的数据的条目数， 通过一个柱状图绘制出来，一个柱子代表一组， 柱子的高度取决于这一组有多少条数据

3.3 双变量可视化 ——散点图

plt.figure(figsize=(8,6))
plt.scatter(tips['total_bill'],tips['tip'])
plt.xlabel('Total Bill')
plt.ylabel('Tip')
plt.show()

散点图的使用场景

# 散点图使用场景 两个连续型变量 发现他们之间是否存在关联（ 一个变量是否随着另一个变量的变化而变化） 
# scatter 一个变量作为x轴坐标， 另一个变量做为y轴坐标

4 pandas 数据可视化

pandas 集成了Matplotlib， 画图功能就是对Matplotlib的封装

画图API

df1.plot()  # 默认折线图
df1['x'].plot.bar()
​
# df.plot.line() # 折线图的全写方式
# df.plot.bar() # 柱状图
# df.plot.barh() # 横向柱状图 （条形图）
# df.plot.hist() # 直方图
# df.plot.box() # 箱形图
# df.plot.kde() # 核密度估计图
# df.plot.density() # 同 df.plot.kde()
# df.plot.area() # 面积图
# s.plot.pie() # 饼图
# df.plot.scatter() # 散点图
# df.plot.hexbin() # 六边形箱体图，或简称六边形图
plt.show()

柱状图

• 多个类别， 取值不同在一起比大小

• 举例使用小费数据， 统计周四周五周六周日， 平均账单金额

# 对day 进行分组， 对账单总金额求平均， 结果会返回Series 这里直接使用了Series的绘图API
tips.groupby('day')['total_bill'].mean().plot(kind='bar')

Series 调用plot方法， index 会作为x轴坐标 值values 会作为y轴坐标

饼图

• 整体部分的关系， 所有的部分加到一起一定组成一个整体

tips.groupby('day')['total_bill'].sum().plot(kind='pie',autopct='%.2f%%')

假设这个餐馆每周只有周四到周日营业， 统计一下数据集中这段时间内， 周四~周日， 哪一天销售额占比更高

箱线图

蜂巢图 作为了解

• 作用和散点图类似， 当数据量比较大的时候， 绘制散点图， 好多点会重复绘制到相同的位置， 普通的散点图不能读出这个信息来

movie_df = pd.read_csv('C:/Develop/顺义48/day01/02_代码/data/movie.csv')
# 加载电影数据， 查看收入gross 和 imdb_score 之间是否有关
# 绘制散点图，有些点覆盖到一起了
movie_df.plot.scatter(x='gross',y='imdb_score',figsize=(18,10))

绘制蜂巢图

movie_df.plot.hexbin(x='gross',y='imdb_score',figsize=(18,10),gridsize=20)
# 下图中， 颜色深的部分数据量比较大