pandas包含数据结构和数据处理工具的设计使得在Python中进行数据清洗和分析非常快捷。pandas经常是和NumPy,Scipy以及数据可视化工具matplotlib一起使用的。pandas支持大部分NumPy语言风格的数组计算，但最大的不同在于pandas是用于处理表格型或异质型数据的。而NumPy更适合处理同质型的数值类数组数据。

    在第一次学习Pandas的过程中，你会发现你需要记忆很多的函数和方法。所以在这里我们汇总一下Pandas官方文档中比较常用的函数和方法，以方便大家记忆。

df：任意的Pandas DataFrame对象
s：  任意的Pandas Series对象

一、关键包导入：

• import pandas as pd

• import numpy as np

二、导入数据：

• pd.read_csv(filename)      逗号是默认分隔符

• pd.read_table(filename)    制表符('\t')是默认分隔符

• pd.read_excel(filename)    读取Excel数据

• pd.read_sql(query, connection_object)：从SQL表/库导入数据

• pd.read_json(json_string)：读JSON格式

• pd.DataFrame(dict)：从字典对象导入数据，Key是列名，Value是数据

pd.read_csv(flie,header=,sep=,na_values=,skiprows=,nrows=,chunksize=,index_col=,names=)    

• header：用作列名的行号，默认是0(第一行)，如果没有列名的话，应该是None

• sep：用于分隔每行字段的字符序列或是正则表达式

• na_values：需要用NA替换的值序列

• skiprows：从文件开头处起，需要跳过的行数或行号列表

• nrows：从文件开头处读入的行数

• chunksize：用于迭代的块大小

• index_col：用作结果中行索引的列号或列名，可以是一个单一的名称/数字,也可以是一个分层索引

• names：结果的列名列表

三、导出数据：

• df.to_csv(filename)：导出数据到CSV文件

• df.to_excel(filename)：导出数据到Excel

• df.to_sql(table_name, connection_object)：导出数据到SQL表

• df.to_json(filename)：以Json格式导出数据到文本文件

四、创建对象

• obj=pd.Series([4,7,-5],index=['a','b','c'])

• obj=pd.DataFrame(data,columns=['year'],index=['one'])

五、查看数据：

• df.head(n)：查看DataFrame对象的前n行

• df.tail(n)：查看DataFrame对象的最后n行

• df.info()：查看索引、数据类型和内存信息

• df.shape：查看行数和列数

• df.describe()：查看数值型列的汇总统计

• df.dtypes：每一列数据的格式

• df.isnull()：查看某一列空值

• df.columns ：查看列名称

• df.values：查看数据表的值

• df['B'].unique()：查看某一列的唯一值

• s.value_counts()：查看Series对象的唯一值和计数

• df.apply(pd.value_counts).fillna(0)：查看DataFrame对象中每一列的唯一值和计数,并对NA填充0

六、数据选取：

• df[col]：根据列名，并以Series的形式返回列

• df[[col1, col2]]：以DataFrame形式返回多列

• df[n:m]：以DataFrame形式返回n到m-1行

• df.loc[val]：根据标签选择单行或多行

• df.loc[:,val]：根据标签选择单列或多列

• df.loc[val1,val2]：同时选择行和列的一部分

• df.iloc[where]：根据整数位置选择单行或多行

• df.iloc[:,where]：根据整数位置选择单列或多列

• df.iloc[where_i,where_j]：根据整数位置选择行和列

*loc切片是首尾闭区间；iloc切片是首闭尾开

七、数据清洗：

• df.columns = ['a','b','c']：重命名列名

• pd.isnull()：检查DataFrame对象中的空值

• pd.notnull()：检查DataFrame对象中的非空值

• df.dropna()：删除所有包含空值的行

• df.dropna(axis=1)：删除所有包含空值的列

• df.dropna(axis=1,thresh=n)：删除所有小于n个非空值的行

• df.fillna(x)：用x替换DataFrame对象中所有的空值

• s.astype(float)：将Series中的数据类型更改为float类型

• s.replace(1,'one')：用‘one’代替所有等于1的值

• s.replace([1,3],['one','three'])：用'one'代替1，用'three'代替3

• df.rename(columns=lambda x: x + 1)：批量更改列名

• df.rename(columns={'old_name': 'new_ name'})：选择性更改列名

• df.set_index('column_one')：更改索引列

• df.rename(index=lambda x: x + 1)：批量重命名索引

• df.drop_duplicates() ：删除后出现的重复值

• df.drop_duplicates(keep='last')：删除先出现的重复值

• df.drop_duplicates(['k1']) ：基于k1列删除重复值

• df['city']=df['city'].map(str.strip) 

• pd.cut(data,4) ：分箱

八、数据处理：

• df[df[col] > 0.5]：选择col列的值大于0.5的行

• df.sort_values(col1)：按照列col1排序数据，默认升序排列

• df.sort_values(col2, ascending=False)：按照列col1降序排列数据

• df.sort_values([col1,col2], ascending=[True,False])：先按列col1升序排列，后按col2降序排列数据

• df.groupby(col)：返回一个按列col进行分组的Groupby对象

• df.groupby([col1,col2])：返回一个按多列进行分组的Groupby对象

• df.groupby('city')['id'].count() ：按城市对id字段进行计数

• df.groupby('city')['price'].agg([np.sum, np.mean])：对city字段进行汇总，并分别计算prince的合计和均值

• df.pivot_table(index=col1,values=[col2,col3], aggfunc=max)：创建一个按列col1进行分组，并计算col2和col3的最大值的数据透视表

• df.groupby(col1).agg(np.mean)：返回按列col1分组的所有列的均值

• data.apply(np.mean)：对DataFrame中的每一列应用函数np.mean

• data.apply(np.max,axis=1)：对DataFrame中的每一行应用函数np.max

九、数据合并：

• df1.append(df2)：将df2中的行添加到df1的尾部

• pd.concat([df1, df2],axis=1)：将df2中的列添加到df1的尾部

• df1.join(df2,on=col1,how='inner')：对df1的列和df2的列执行SQL形式的join

• pd.merge(df1,df2,on='key') :  按指定连接健合并

*pd.concat():join接收inner或outer。表示其他轴向上的索引是按交集(inner)还是并集(outer)进行合并。默认为outer。当axis=1的时候，concat做行对齐，然后将不同列名称的两张或多张表合并。当两个表索引不完全一样时，可以使用join参数选择是内连接还是外连接。在内连接的情况下，仅仅返回索引重叠部分。在外连接的情况下，则显示索引的并集部分数据，不足的地方则使用空值填补。axis=0时同理

*df.append():append方法也可以用于纵向合并两张表。但是append方法实现纵向表堆叠有一个前提条件，那就是两张表的列名需要完全一致

*pd.merge()常用参数：

十、数据统计：

• df.describe()：查看数据特征的汇总统计

• df.mean()：返回所有列的均值

• df.corr()：返回列与列之间的相关系数

• df.count()：返回每一列中的非空值的个数

• df.max()：返回每一列的最大值

• df.min()：返回每一列的最小值

• df.idxmin()：返回最小值所在的索引标签

• df.argmin()：返回最小值所在的索引位置

• df.median()：返回每一列的中位数

• df.std()：返回每一列的标准差

*传入axis=’columns'或者axis=1，则会对一行上各列值进行操作。

除非整个切片都是NA，否则NA值是自动被排除的，可以通过禁用skipna来实现不排除NA值：skipna=False

---

文末福利：

    网上可以搜到大量的Pandas教程和官方文档，但没有简单的方法来练习。教程是很好的资源，但要付诸实践。只有实践，才能更好的加深学习。针对pandas库函数的一些常用用法，本站搜索到了一些关于Pandas的练习题含答案，每一个类型包含了相应的练习数据、题目、注释以及解答等4个文件。大家可以根据自己的薄弱点针对性训练，相信一定能有所提高！

关注本公众号，后台回复【Pandas学习】即可获得这些练习题资料

长

按

关

注

一路同行

ID : 进阶的CVCoder

一起寻找生命中的光.....