一、数据读取与保存

pd.read_csv()/df.to_csv() 从CSV文件读取数据
pd.read_excel()/df.to_excel() 从Excel文件读取数据
pd.read_json()/df.to_json()
pd.read_html()
pd.read_clipboard()
数据库读取
连接MySQL数据库的基本语句如下：

import pymysql
# 建立数据库连接
conn = pymysql.connect(host="localhost",user="username",password="password",database="database_name",port = 3306
)
# 创建游标对象
cursor = conn.cursor()
# 执行SQL查询语句
sql_query = "SELECT * FROM table_name"
cursor.execute(sql_query)
# 获取查询结果
result = cursor.fetchall()
# 关闭游标和连接
cursor.close()
conn.close()使用create_engine连接MySQL数据库的基本语句如下：
import sqlalchemy
engine = sqlalchemy.create_engine('mysql+mysqlconnector://username:password@localhost/database_name')
df = pd.read_sql_query('SELECT * FROM table_name', engine) 读取
df.to_sql('',engine,index = False,if_exists = 'replace')  #保存

连接SQL Server数据库的基本语句如下：

import pyodbc
# 建立数据库连接
conn = pyodbc.connect('DRIVER={SQL Server};''SERVER=server_name;''DATABASE=database_name;''UID=username;''PWD=password'
)
# 创建游标对象
cursor = conn.cursor()
# 执行SQL查询语句
sql_query = "SELECT * FROM table_name"
cursor.execute(sql_query)
# 获取查询结果
result = cursor.fetchall()
# 关闭游标和连接
cursor.close()
conn.close()使用create_engine连接SQL Server数据库的基本语句如下：
from sqlalchemy import create_engine
# 建立数据库连接
engine = create_engine('mssql+pyodbc://username:password@server_name/database_name')
# 执行SQL查询语句
sql_query = "SELECT * FROM table_name"
result = engine.execute(sql_query)
# 获取查询结果
result_list = result.fetchall()
# 关闭连接
engine.dispose()

二、数据查看

df.head() 查看前n行数据，默认为前5行
df.tail() 查看最后n行数据，默认为最后5行
df.sample() 随机采样
df.shape 形状
df.info() 查看数据的基本信息
df.describe() 统计描述性信息，可查看数值型和类别型
df.T 转置
df.values 值
df.index 索引
df.columns 列名
df.types 数据类型

三、索引设置与修改

df.set_index() 将某列设置为索引
df.reset_index() 恢复默认索引
df.reindex() 重新索引
df.index = []
df.columns = []
df.rename(columns = {‘’:‘’},inplace = True) 修改某列名字

# 创建一个DataFrame
data = {'A': [1, 2, 3, 4],'B': [5, 6, 7, 8],'C': [9, 10, 11, 12]}
df = pd.DataFrame(data)# 将列'A'设置为索引
df.set_index('A', inplace=True)
# 恢复默认索引
df.reset_index(inplace=True)
# 重新索引
new_index = ['a', 'b', 'c', 'd']
df_reindexed = df.reindex(new_index)
# 修改索引
new_index = ['w', 'x', 'y', 'z']
df.index = new_index
# 修改列名
new_columns = ['Column1', 'Column2', 'Column3']
df.columns = new_columns
# 修改列名为'A'为'NewColumn'
df.rename(columns={'Column1':'NewColumn'}, inplace=True)

四、选择与过滤

df[‘column_name’] 选择指定列
df[[‘column1’, ‘column2’]] 选择多列
df.loc[row_index] 选择指定行
df[df[‘column’] > 10] 选择column列大于10的行
df.loc[‘a’:‘c’] 选择多行，显示索引，左闭右闭
df.loc[‘a’:‘c’,[‘A’:‘C’]] 选择特定行和列
df.loc[‘a’:‘c’,‘A’:‘C’]
df.iloc[3:6]
df.iloc[1:3,4:8] 隐式索引，左闭右开
df.loc[df[‘A’]>0,df.loc[‘a’]>2] 选择a行大于2,A列大于0的所有行
df.loc[df[‘column’] > 10, [‘column1’, ‘column2’]]
df[df[‘column’].notnull()] 选择某列非空的所有行

五、缺失值重复值处理

df.isnull()/df.notnull() 缺失值判断
df.isnull().sum() 缺失值统计，返回一个以 df各列值为nan个数为元素的序列
df.isnull().sum().sum() 返回 df所有值为nan的个数和。
df.dropna() 删除指定列
df.duplicated() 重复值
df.dupicated().sum()
df.drop_duplicated() 重复值删除，保留第一次出现的行数据，删除其他的重复行数据 keep=‘first’ 可缺省
df.drop_duplicated(keep=‘last’) # 保留最后一次出现的行数据，删除其他的重复行数据
df.drop_duplicated(subset=[‘sex’,‘year’],keep=‘last’) # 移除以指定列(‘sex’,‘year’)所谓判断重复标准的的行
df.replace() 替换
df.fillna(0,inplace=False) # 将 DataFrame中的所有 NaN填充为 0 inplace缺省时默认 inplace=False
df.fillna(0,inplace=True) # 就地修改
df[0].fillna(df[0].mean()) # 填充第 1列,使用第一列的统计非 NaA的平均值。
df[0:2]=df[0:2].fillna(‘enene’) # 填充第 1-3列,使用’enene’
df2.fillna({0:0,2:‘aa’}) # 给指定的列填充第一列的填充值为 0，第 3列的填充值为 ‘aa’
df.loc[0].fillna(df.loc[0].mean(),inplace=True) # 填充第 1行,使用第一行的统计非 NaA的平均值。
df.loc[0:2]=df.loc[0:2].fillna(‘enene’) # 填充第 1-3行,使用’enene’
df.dropna(how=‘any’,axis=0) 删除含有 NaN的整行数据当 how='any’时，可以缺省
df.dropna(how=‘all’,axis=0) 删除所有值为 NaN的整行数据
df.dropna(how=‘any’,axis=1) 删除含有 NaN的整列数据当 how='any’时，可以缺省
df.dropna(how=‘all’,axis=1) 删除所有值为 NaN的整列数据

六、异常值处理

df.replace(‘’,‘未知’) 将 df中所有的 ""替换为 “未知”
df.replace([‘’,2001],[‘未知’,2002]) 将 df中所有的 ""替换为 “未知”,将 2001替换为 2002
df.replace({‘’:‘未知’,2001:2002}) 将 df中所有的 ""替换为 “未知”,将 2001替换为 2002

七、行列增加与删除

df[‘c’] = [1,1,1] 增加行
df.loc[‘c’] = [1,1,1] 增加行
df[‘column4’] = [3,5,7,8] 增加列
df.drop([‘one’,‘two’],axis = 0)
df.pop()
df.insert() 插入

八、拼接与合并

df = df.append(df1) 纵向拼接
pd.concat([df1,df2],axis = 1) 纵向拼接
pd.concat([df1,df2],axis = 0) 横向拼接
pd.merge(left,right,on = ‘key’) 主键合并
df1.join(df2)

九、统计与排序

S.value_counts() 计数
S.nlargest()
S.nsmallest()
S.unique() 唯一值
S.nunique() 唯一值数量
df.sum()
df.mean()
df.var()
df[‘column’].mean() 计算某列均值
df[‘column’].sum() 计算某列总和 max() 最大值 min() 最小值
data.count()
df.sort_index() 按照索引排序
df.sort_values(by=‘column’) 按照某列值排序
df.sort_values(by=‘column’,by=‘column’) 按列降序排序

十、重塑与轴向旋转

df.stack() 数据堆叠
df.unstack() 数据展开
df.pivot_table(values=‘value’, index=‘index_column’, columns=‘columns’) 数据透视表

十一、数据运算

s1+s2
df1 + df2 索引自动对齐
s.map() 映射
s.apply()
df.apply(function)
df.applymap()

十二、数据类型变换

s.astype(str) 转换为指定类型
pd.to_numeric()
pd.to_datetime() 将日期字符串转换为日期类型

十三、分组运算

df.groupby(‘column’).mean() 按列进行分组并计算统计量
df.groupby([‘column1’, ‘column2’]).sum() 按多列进行分组并计算统计量
pd.groupby().std() #var,min,max,sum
df.groupby().agg([np.mean]) 标准的函数 std,var,min,max
df.groupby().agg([ppp]) 自定义函数
df.groupby().agg([np.mean,ppp]) 多个聚合函数
df.pivot_table() 透视表，先groupby,再求mean
pd.crosstab() 交叉表，统计分组频率

详细讲解请看历史文章
Python学习——pandas库的使用之series及DataFrame创建、查看、切片、运算
Python学习——缺失值、重复值处理及替换
Python学习——数据排序及分箱pd.cut\pd.qcut
Python学习——数据分组统计、分组运算及透视
Python学习——时间序列
Python学习——字符串序列

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/6403.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！