Pandas基础知识

文章目录

  • Pandas的数据结构
    • Series --- 由数据和索引组成(索引(index)在左,数据(values)在右)
    • DataFrame --- 索引包括行索引和列索引,每列数据可以是不同的类型
  • Pandas的索引操作 --- 索引对象index
    • Series
    • DataFrame
  • Pandas的对齐运算
    • Series
    • DataFrame
  • Pandas的函数应用
  • 层级索引
  • Pandas的统计和计算
  • Pandas分组与聚合
    • 分组
    • 聚合
  • 时间序列
  • 分组和连接
  • 数据合并

Pandas的数据结构

Series — 由数据和索引组成(索引(index)在左,数据(values)在右)

在这里插入图片描述

import pandas as pd# 生成一个series
ser_obj = pd.Series(range(10, 20))
print(ser_obj)
print("--" * 20)# 获取数据
print(ser_obj.values)print("--" * 20)# 获取索引
print(ser_obj.index)print("--" * 20)# 下面对ser_obj的计算都不改变ser_obj的实际值# 所有的值 * 2  注:索引不变
print(ser_obj * 2)
print("--" * 20)# 值满足条件的为True  不满足为False  注:索引不变
print(ser_obj > 15)
print("--" * 20)# 通过索引下标访问值  索引下标不存在报错
print(ser_obj[1])  # 11  上面的运算 并没有 改变ser_obj的值
# ser_obj[10]  # KeyError: 10
print("----------------  通过字典变series  --------------------")# 字典变为series
year_data = {2001: 1, 2013: 13, 2016: 16, 2019: 19, 2023: 23}
ser_obj2 = pd.Series(year_data)
print(ser_obj2)
print("--" * 20)
print(ser_obj2.index)
print("--" * 20)
print(ser_obj2.values)
print("--" * 20)
print(type(ser_obj2.values))  # <class 'numpy.ndarray'>
print(type(ser_obj2.index))  # <class 'pandas.core.indexes.base.Index'>
print("--" * 20)
print(ser_obj2[2023])  # 23print("***" * 14)# index.name 索引列的名字    name 整个Series的名字
# head  所有的名字 值  类型
print(ser_obj2.name)
ser_obj2.name = "temp"
print(ser_obj2.index.name)
ser_obj2.index.name = "year1"
print("--" * 20)
print(ser_obj2.head())
# print(ser_obj2.head(n))  # 打印前n行的信息,但是索引列的名字和 series的名字都会显示 还有dtype

在这里插入图片描述

DataFrame — 索引包括行索引和列索引,每列数据可以是不同的类型

在这里插入图片描述

import pandas as pd
import numpy as np# 通过 ndarray 构建 DataFrame
arr = np.arange(18).reshape((3, 6))
print(pd.DataFrame(arr))
print("---" * 20)# 通过 dict 构建 DataFrame
d = [{"name": "xiaohong", "age": 23, "tel": 10086},{"name": "xiaogang", "tel": 10087},{"name": "xiaowang", "age": 22, "tel": 10088}]
df = pd.DataFrame(d)
print(df)
print("---" * 20)# 列 要不相等 要不为1
dict_data = {'A': 1,'B': pd.Timestamp("20190926"),'C': pd.Series(1.5, index=list(range(4))),'D': np.array([3] * 4, dtype='int32'),'E': ["python", "c", "c++", "java"],'F': 'wangdao'}
df_obj = pd.DataFrame(dict_data)
print(df_obj)
print("--" * 20)
print(df_obj.columns)  # Index(['A', 'B', 'C', 'D', 'E', 'F'], dtype='object')
print("--" * 20)# 感受日期 date_range
# random.randn(x,y)  生成 x行 y列 随机数
dates = pd.date_range('20130101', periods=6)
df1 = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
print(df1)
print("--" * 20)# 把df的某一列取出来是Series 且 名字是 series的名字
print(df_obj['B'])
print(type(df_obj['B']))
print("--" * 20)# 增加列数据  列名 自定义
df_obj['G'] = df_obj['D'] + 4
print(df_obj)# 删除列
del (df_obj['G'])
print("--" * 20)
print(df_obj)

在这里插入图片描述

Pandas的索引操作 — 索引对象index

在这里插入图片描述

Series

import pandas as pd# Series 索引# Series(值,索引)
# ser_obj = pd.Series(range(5), index=['a', 'b', 'c', 'd', 'e'])  # 和下面这句功能一样
ser_obj = pd.Series(range(5), index=list("abcde"))
print(ser_obj)# 行索引  可以用索引名  也可以用0123(默认都有  即使取了别名)
print("按索引名索引为")
print(ser_obj['a'])
print("按0123索引为")
print(ser_obj[1])
print("--" * 20)# 切片索引
print(ser_obj[1:3])  # 按0123索引 左闭右开
print(ser_obj['a':'c'])  # 按索引名  左右都闭---因为你不知道c前面是谁 所以不知道到哪停止
print("--" * 20)# 不连续索引 [[]]
print(ser_obj[[0, 2, 4]])
print(ser_obj[['a', 'e']])
print("--" * 20)# 布尔索引
ser_bool = ser_obj > 2
print(ser_bool)
# 下面两个结果一样
print(ser_obj[ser_bool])
# print(ser_obj[ser_obj > 2])

在这里插入图片描述

DataFrame

import numpy as np
import pandas as pd# DataFrame索引  index=行   columns=列
df_obj = pd.DataFrame(np.random.randn(5, 4),index=['a', 'b', 'c', 'd', 'e'],columns=['a', 'b', 'c', 'd'])
print(df_obj)
print("--" * 20)# 列索引
print(df_obj['a'])  # []返回Series类型
print("--" * 20)
print(df_obj[['a']])  # [[]]返回DataFrame类型
print("--" * 20)# 标签索引 loc 索引---(名)  [] 左右都是闭区间 名只能用名字 不能用0123
# Series
print(df_obj.loc['a'])  # 推荐 取---行
# print(df_obj['a'])  # 建议不用  取---列
print("--" * 20)
# 第一个参数是行,第二个参数是列
print(df_obj.loc['a':'c', 'b'])
print("--" * 20)# iloc ---(位置) 索引 是 前闭后开 [)  位置只能用 数字0123
print(df_obj.iloc[0:2, 1:2])
print(type(df_obj.iloc[0:2, 1:2]))

在这里插入图片描述

Pandas的对齐运算

Series

import pandas as pd# 对齐运算  缺失数据 默认是nan  注:只有float类型才有nan和inf
# Series
s1 = pd.Series(range(10, 20), index=range(10))
s2 = pd.Series(range(25, 30), index=range(5))
s3 = s1 + s2
print(s3)  # 缺失数据 默认是nan
print("--" * 20)
# 未对齐的数据(nan) 和 填充值fill_value ---做 ---运算
# 注:不是---计算完 ---以后 在把nan填充成fill_value
print(s1.add(s2, fill_value=0))

在这里插入图片描述

DataFrame

import pandas as pd# np.ones(x,y)  用 1. 填充x行y列
df1 = pd.DataFrame(np.ones((2, 2)), columns=list('ab'))
df2 = pd.DataFrame(np.ones((3, 3)), columns=['a', 'b', 'c'])
print(df1 - df2)
print("--" * 20)
print(df1.sub(df2, fill_value=2.)) # nan 的位置用 2. 来计算 (写成2也行)

在这里插入图片描述

Pandas的函数应用

import pandas as pd
import numpy as np# 函数应用  Series
df = pd.DataFrame(np.random.randn(5, 4) - 1)
print(df)
print("绝对值如下np.abs():")
print(np.abs(df))  # 绝对值
print("--" * 20)# apply 作用在 列上  axis 默认为0
print(df.apply(lambda x: x.max()))
print("--" * 20)# apply 作用在 行上
print(df.apply(lambda x: x.max(), axis=1))
print("--" * 20)# applymap 作用到 每个数据
print(df.applymap(lambda x: '%.2f' % x))  # 保留两位小数
# print(df.dtypes)
print("--" * 20)s = pd.Series(range(10, 15), index=np.random.randint(5, size=5))  # 必须加size=5
print(s)
print("--" * 20)# 索引排序(sort_index)
print(s.sort_index())
print("--" * 20)# DataFrame
df = pd.DataFrame(np.random.randn(5, 5),index=np.random.randint(5, size=5),columns=np.random.randint(5, size=5))
print(df)
print("--" * 20)
# 轴0是行索引排序
# sort_index 默认是升序排序     ascending=False 为降序排序
df_rSort = df.sort_index(axis=0, ascending=False)
print(df_rSort)
print("--" * 20)
# 轴1是列索引排序
df_cSort = df.sort_index(axis=1, ascending=False)
print(df_cSort)
print("--" * 20)# 按值排序(sort_values) by后是column的值
import randoml = [random.randint(0, 100) for i in range(24)]
df2 = pd.DataFrame(np.array(l).reshape(6, 4))
print(df2)
print("--" * 20)
# 按轴0排序  by后是列名  ---结果以 行的形式展示
df2_cSort = df2.sort_values(by=3, axis=0, ascending=False)
print(df2_cSort)
print("--" * 20)
# 按轴1排序  by后是行名  ---结果以 列的形式展示
df2_rSort = df2.sort_values(by=3, axis=1, ascending=False)
print(df2_rSort)

在这里插入图片描述

# 处理缺失数据
df = pd.DataFrame([np.random.randn(3), [1., 2., np.nan], [np.nan, 4., np.nan], [1., 2., 3.]])
print(df.head())# df.isnull()  nan 为True 其他为 False
print(df.isnull())
print("--" * 20)# df.dropna() 默认是删除行      ---加axis=1 就是删除列(一般不用)
print(df.dropna())
print("--" * 20)# fillna 把nan填成某值
print(df.fillna(-100.))
print("--" * 20)

在这里插入图片描述

层级索引

index1 = pd.MultiIndex.from_arrays([['a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'c'], [0, 1, 2, 0, 1, 2, 0, 1, 2]],names=['cloth', 'size'])
ser_obj = pd.Series(np.random.randn(9), index=index1)print(ser_obj)
print("--" * 20)
print(ser_obj.index)
# [['a', 'b', 'c'], [0, 1, 2]]
print(ser_obj.index.levels)
print("--" * 20)# 层级索引如何获取数据
print(ser_obj['c'])   # 外层索引
print("--" * 20)
print(ser_obj['c', 1]) # 内层索引
print("--" * 20)
print(ser_obj[:, 2])
print("--" * 20)# 交换层级 swaplevel()
print(ser_obj.swaplevel())
print("--" * 20)
print(ser_obj)
print("--" * 20)
# 层级索引按那个索引级别排序
print(ser_obj.sort_index(level=1))# unstack 可以放索引名  或者索引位置
print("--" * 20)
df_obj = ser_obj.unstack(1)  # 把1层索引 放到上面 变成dataframe
print(df_obj)
print("--" * 20)# stack 把行、列索引进行堆叠  变成Series
print(df_obj.stack())

在这里插入图片描述

Pandas的统计和计算

import numpy as np
import pandas as pd# pandas统计和计算
# axis = 1 统计每一行   axis = 0 统计每一列
df_obj = pd.DataFrame(np.random.randn(5, 4), columns=list('abcd'))
print(df_obj)
df_obj.loc[1, 'b'] = np.nan
print(df_obj)
print("--" * 20)
# skipna 是否跳过nan  默认是True  axis=1 表示每一行的最小值   axis=0表示每一列的最小值
print(df_obj.min(axis=1, skipna=False))
print("--" * 20)
# describe()  最大值 最小值 数值的个数 方差 等等都有
print(df_obj.describe())
print("--" * 20)# 计算最大值或者最小值的 位置
# argmin 和 argmax 只能是Series  不能是 DataFrame
print(type(df_obj.loc[:, 'c']))  # Series
print(df_obj.loc[:, 'c'].argmin())
print("--" * 20)# 计算最大值或者最小值的 索引  idxmax idxmin
print(df_obj.idxmax(axis=0)) # axis=0 表示每一 列

在这里插入图片描述
在这里插入图片描述

Pandas分组与聚合

分组

import numpy as np
import pandas as pd# 分组  都是按 轴1分组  因为每一列代表一种类型
# 字典默认作为列名
dict_obj = {'key1': ['a', 'b', 'a', 'b', 'a', 'b', 'a', 'a'],'key2': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],'data1': np.random.randn(8),'data2': np.random.randn(8)}
df_obj = pd.DataFrame(dict_obj)
print(df_obj)
print("--" * 20)# dataframe根据key1进行分组,分组后的对象类型
print(df_obj.groupby('key1'))
print(type(df_obj.groupby('key1')))
print("--" * 20)
print(df_obj['data1'])
# dataframe 的 data1 列 根据key1 进行分组
print(type(df_obj['data1'].groupby(df_obj['key1'])))
print("--" * 20)# 分组运算
grouped2 = df_obj['data1'].groupby(df_obj['key1'])
print(grouped2.mean())
print("--" * 20)# 按自定义的key分组
self_def_key = [0, 1, 2, 3, 3, 4, 4, 7]
print(df_obj.groupby(self_def_key).size())  # 等于mysql的count
print(df_obj.groupby(self_def_key).sum())
print("--" * 20)# 按自定义key分组,多层列表
print(df_obj.groupby([df_obj['key1'], df_obj['key2']]).size())
print("--" * 20)# 按多个列 多层分组
grouped3 = df_obj.groupby(['key1', 'key2'])
print(grouped3.size())
print("--" * 20)# 多层分组 按key的顺序进行
grouped4 = df_obj.groupby(['key2', 'key1'])
print(grouped4.size())
print(grouped4.mean())
print("--" * 20)# unstack 可以将多层索引的结果换成单层的dataframe
print(grouped4.mean().index)
print(type(grouped4.mean().unstack()))
print(grouped4.mean().unstack())
print(grouped4.mean().unstack().columns)
print("--" * 20)# 多层分组,根据key1 和 key2
for group_name, group_data in grouped4:print(group_name)print(group_data)print(type(group_data))
print("--" * 20)# 按类型分组
print(df_obj.dtypes)
# 一列数据类型必须一致,对应现实生活的一个特征
df_obj['data3'] = df_obj['data2'] + 1
print(df_obj)
print("--" * 20)
print(df_obj.groupby(df_obj.dtypes, axis=1).size())  # 按轴0没有意义
print(df_obj.groupby(df_obj.dtypes, axis=1).sum())
self_column_key = [1, 2, 3, 3, 4]
print(df_obj.groupby(self_column_key, axis=1).sum())  # 通过自定义索引去让不同列相加
print("--" * 20)# 通过字典分组  randint(1, 10, (5, 5)) 1-10之间 5行5列
df_obj2 = pd.DataFrame(np.random.randint(1, 10, (5, 5)), columns=list('abcde'), index=list('ABCDE'))
print(df_obj2)
# 给指定某个部分的数据重新赋值为np.NaN
df_obj2.loc['B', 'b':'d'] = np.nan
print(df_obj2)
print("**" * 20)# 通过字典分组
mapping_dict = {'a': 'python', 'b': 'python', 'c': 'java', 'd': 'c', 'e': 'java'}print(df_obj2.groupby(mapping_dict, axis=1).size())  # 值 对应的个数 c -- 1  java  --  2  python --  2
print(df_obj2.groupby(mapping_dict, axis=1).count())  # 非nan的个数
print(df_obj2.groupby(mapping_dict, axis=1).sum())  # 求和不记录nan  nan当作0了
print("--" * 20)# 通过函数分组
df_obj3 = pd.DataFrame(np.random.randint(1, 10, (5, 5)), columns=list('abcde'),index=['AA', 'BBBB', 'CCC', 'D', 'EEE'])
print(df_obj3)def group_key(idx):return len(idx)  # 默认传的是行索引  因为列索引都是1print(df_obj3.groupby(group_key).size())  # axis 默认是0
# 上面自定义函数等价于
print(df_obj3.groupby(len).size())
print("--" * 20)# 通过索引级别分组
columns = pd.MultiIndex.from_arrays([['python', 'java', 'python', 'java', 'c'], ['A', 'A', 'C', 'B', 'B']],names=['language', 'index1'])
df_obj4 = pd.DataFrame(np.random.randint(1, 10, (5, 5)), columns=columns)
print(df_obj4)
print("--" * 20)# 根据language进行分组
print(df_obj4.groupby(level='language', axis=1).sum())
print("--" * 20)# 根据index进行分组
print(df_obj4.groupby(level='index1', axis=1).sum())

在这里插入图片描述
在这里插入图片描述

聚合

在这里插入图片描述

import numpy as np
import pandas as pd# 聚合
# 字典默认作为列名
dict_obj = {'key1': ['a', 'b', 'a', 'b', 'a', 'b', 'a', 'a'],'key2': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],'data1': np.random.randn(8),'data2': np.random.randn(8)}
df_obj = pd.DataFrame(dict_obj)
print(df_obj)# 自定义聚合函数
def peak_range(df):'''df 参数是 groupby后的groupby对象:param df::return:'''return df.max() - df.min()df_obj2 = df_obj.loc[:, ['key1', 'data1', 'data2']]
print(df_obj2.groupby('key1').agg(peak_range))
print(df_obj2.groupby('key1').agg(lambda df: df.max() - df.min()))
print("--" * 20)# 同时应用多个聚合函数
print(df_obj2.groupby('key1').agg(['mean', 'std', 'count', peak_range]))
print("--" * 20)# 每列作用不同的聚合函数
dict_mapping = {'data1': 'mean','data2': 'count'
}
print(df_obj2.groupby('key1').agg(dict_mapping))

在这里插入图片描述

时间序列

在这里插入图片描述

import numpy as np
import pandas as pd# 设置索引
# 索引中单项不可以改变,但是整体可以换掉
a = pd.DataFrame({'a': range(7), 'b': range(7, 0, -1),'c': ['one', 'one', 'two', 'one', 'two', 'two', 'two'],'d': list("hjklmno")})
print(a)
c = a.copy()
a.index = list("abcdefg")
print("c的索引没变")
print(c)
print(a)  # a的索引变了
print("--" * 20)
b = c.reindex(list('abcdefg'))  # 返回一个新的df,b没有值,c的索引不变
print(b)
print("--" * 20)# 让某些列变为索引
print(a)
print(a.set_index(['c', 'd']))  # a没变,返回修改后的df
print("a没变")
print(a)
print("--" * 20)# 时间序列   date_range  注意是 date  e
pd.date_range(start="20190101", end="20190924")# periods 长度   B 工作日  M 每月最后一天  W 每周周日
pd.date_range(start="20190101", periods=10, freq="B")
pd.date_range(start="20190819", periods=8, freq="M")
pd.date_range(start="20230819", periods=8, freq="W")

在这里插入图片描述

分组和连接

import numpy as np
import pandas as pd# 分组和连接
dict_obj = {'key1': ['a', 'b', 'a', 'b', 'a', 'b', 'a', 'a'],'data1': np.random.randn(8),'data2': np.random.randn(8)}
df_obj = pd.DataFrame(dict_obj)
print(df_obj)
print("--" * 20)
# add_prefix  增加前缀
key1_sum = df_obj.groupby('key1').sum().add_prefix('sum_')
print(key1_sum)
print("--" * 20)# 两个df之间进行连接
# 和mysql的join是一致的  on 连接条件
# 左边以key1为关键词进行连接,右边选True
key1_sum_merge = pd.merge(df_obj, key1_sum, left_on='key1', right_index=True)
print(key1_sum_merge)
print("--" * 20)# 方法二  使用transform  把分组后的结果放到原处
key1_sum_tf = df_obj.groupby('key1').transform(np.sum).add_prefix('sum_')
print(key1_sum_tf)
print("--" * 20)# 算自己比平均值高多少 或者少多少
def diff_mean(s):return s - s.mean()print(df_obj.groupby('key1').transform(diff_mean))# 星际争霸
dataset_path = "starcraft.csv"
df_data = pd.read_csv(dataset_path, usecols=['LeagueIndex', 'Age', 'HoursPerWeek', 'TotalHours', 'APM'])
print(df_data)
print("--" * 20)def top_n(df, n=3, column='APM'):'''返回每个分组按 column 的 top n 数据'''return df.sort_values(by=column, ascending=False)[:n]# apply 可以用自定义函数
print(df_data.groupby('LeagueIndex').apply(top_n))
# group_keys 为 False后,groupby的列不会变为索引
print(df_data.groupby('LeagueIndex', group_keys=False).apply(top_n))
# 可以自己传参
print(df_data.groupby('LeagueIndex').apply(top_n, n=4, column='Age'))
print("---" * 20)# 连接两个dataframe
df_obj1 = pd.DataFrame({'key': list('bbacaab'),'data1': np.random.randint(0, 10, 7)})
df_obj2 = pd.DataFrame({'key': list('abd'),'data2': np.random.randint(0, 10, 3)})
print(df_obj1)
print(df_obj2)
print("--" * 20)# 1 默认使用相同的列命进行连接,连接方式是内连接
print(pd.merge(df_obj1, df_obj2))# 2 左表索引和右表索引进行连接  _index 索引连接
print(pd.merge(df_obj1, df_obj2, left_index=True, right_index=True))# 3 使用相同的列命进行连接,连接方式是内连接  和 1 一样
pd.merge(df_obj1, df_obj2, on='key')
print("--" * 20)# 4 左右只能出现一次,但是连接方式可以任意
df_obj1 = df_obj1.rename(columns={'key': 'key1'})
df_obj2 = df_obj2.rename(columns={'key': 'key2'})print(pd.merge(df_obj1, df_obj2, left_on='key1', right_on='key2'))
print("--" * 20)# 全外连接
print(pd.merge(df_obj1, df_obj2, left_on='key1', right_on='key2', how='outer'))
print("--" * 20)# left join 等价于 left  outer  join  左表为主
print(pd.merge(df_obj1, df_obj2, left_on='key1', right_on='key2', how='left'))
print("--" * 20)# right 等价于  right outer join 右表为主
print(pd.merge(df_obj1, df_obj2, left_on='key1', right_on='key2', how='right'))
print("--" * 20)# 处理重复列命
df_obj3 = pd.DataFrame({'key': list('bbacaab'),'data': np.random.randint(0, 10, 7)})
df_obj4 = pd.DataFrame({'key': list('abd'),'data': np.random.randint(0, 10, 3)})
# 给相同的数据列添加后缀   on=列
print(pd.merge(df_obj3, df_obj4, on='key', suffixes=('_left', '_right')))

在这里插入图片描述
在这里插入图片描述

数据合并

import numpy as np
import pandas as pd# 数据合并
# numpy 里面的合并
arr1 = np.random.randint(0, 10, (3, 4))
arr2 = np.random.randint(0, 10, (3, 4))
print(arr1)
print(arr2)
print("--" * 20)# 默认按轴0合并
print(np.concatenate([arr1, arr2]))
print(np.concatenate([arr1, arr2], axis=1))
print("--" * 20)# pandas 合并
# index 没有重复的情况
ser_obj1 = pd.Series(np.random.randint(0, 10, 5), index=range(0, 5))
ser_obj2 = pd.Series(np.random.randint(0, 10, 5), index=range(5, 10))
ser_obj3 = pd.Series(np.random.randint(0, 10, 5), index=range(10, 15))
print(ser_obj1)
print(ser_obj2)
print(ser_obj3)
print("--" * 20)print(pd.concat([ser_obj1, ser_obj2, ser_obj3]))
print(pd.concat([ser_obj1, ser_obj2, ser_obj3], axis=1))
print("---" * 20)# index 有重复的情况
ser_obj1 = pd.Series(np.random.randint(0, 10, 5), index=range(0, 5))
ser_obj2 = pd.Series(np.random.randint(0, 10, 5), index=range(3, 8))
ser_obj3 = pd.Series(np.random.randint(0, 10, 5), index=range(6, 11))
print("--" * 20)print(pd.concat([ser_obj1, ser_obj2, ser_obj3]))
print("--" * 20)
print(pd.concat([ser_obj1, ser_obj2, ser_obj3], axis=1, join='inner'))  # 内连接  没有nan
print(pd.concat([ser_obj1, ser_obj2, ser_obj3], axis=1, join='outer'))  # 全外连接  有 nan
print(pd.concat([ser_obj1, ser_obj2, ser_obj3], axis=1))  # 默认外连接 有nan
print("--" * 20)# 数据重构
df_obj = pd.DataFrame(np.random.randint(0, 10, (5, 2)), columns=['data1', 'data2'])
print(df_obj)# 对df进行stack,就会变成mutiindex的series
stacked = df_obj.stack()  # stack 内部带的参数是 level  选择哪一个 column 变为 index
print(stacked)
print(stacked.unstack())  # 又回去了
print("--" * 20)
print(stacked.unstack(level=0))
print("--" * 20)# 处理重复数据
df_obj = pd.DataFrame({'data1': ['a'] * 4 + ['b'] * 4, 'data2': np.random.randint(0, 4, 8)})
print(df_obj)
print(df_obj.duplicated())  # 把从上到下重复的变为True
df_obj[~df_obj.duplicated()]  # 取出不重复行# 按某列去重
print(df_obj.duplicated('data2'))
print("--" * 20)df_obj1 = pd.DataFrame({'data1': [np.nan] * 4,'data2': list('1234')})
print(df_obj1)
print(df_obj1.duplicated('data1'))  # 空值认为相等  实际上 np.nan != np.nan 为True
print(df_obj1.drop_duplicates('data1'))  # 去除重复行
print("--" * 20)# series 替换值
ser_obj = pd.Series(np.arange(10))
print(ser_obj)
# 单个值替换成单个值
print(ser_obj.replace(1, -100))# 多个值替换成单个值
print(ser_obj.replace(range(6, 9), -100))# 多个值替换成多个值
print(ser_obj.replace([4, 6], [-100, -200]))
print("--" * 20)# dataframe 替换值
df = pd.DataFrame({'A': [0, 1, 2, 3],'B': [4, 5, 6, 7],'C': list('abcd')})
print(df)
# regex=True 正则表达式  前面用了正则 就需要变为True
print(df.replace(to_replace=r'^a', value=100, regex=True))
print(df.dtypes)  # C列变为object类了

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/48746.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringMVC拦截器学习笔记

SpringMVC拦截器 拦截器知识 拦截器(Interceptor)用于对URL请求进行前置/后置过滤 Interceptor与Filter用途相似但实现方式不同 Interceptor底层就是基于Spring AOP面向切面编程实现 拦截器开发流程 Maven添加依赖包servlet-api <dependency><groupId>javax.se…

nginx代理webSocket链接,webSocket频繁断开重连

一、场景 1、使用nginx代理webSocket链接&#xff0c;消息发送和接收都是正常的&#xff0c;但webSocket链接会频繁断开重连 2、如果不使用nginx代理则一切正常 3、程序没有做webSocket心跳处理 如下图 二、nginx代理配置 upstream cloud_ass {#ip_hash;server 192.168.1.…

2023年国赛数学建模思路 - 案例:随机森林

文章目录 1 什么是随机森林&#xff1f;2 随机深林构造流程3 随机森林的优缺点3.1 优点3.2 缺点 4 随机深林算法实现 建模资料 ## 0 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 1 什么是随机森林&#xff…

从2023年世界机器人大会发现机器人新趋势

机器人零部件为何成2023年世界机器人大会关注热门&#xff1f; 在原先&#xff0c;机器人的三大核心零部件是控制系统中的控制器、驱动系统中的伺服电机和机械系统中的精密减速器。如今&#xff0c;机器人的主体框架结构已经落实&#xff0c;更多机器人已经开始深入到各类场景中…

Prompt本质解密及Evaluation实战(一)

一、基于evaluation的prompt使用解析 基于大模型的应用评估与传统应用程序的评估不太一样&#xff0c;特别是基于GPT系列或者生成式语言模型&#xff0c;因为模型生成的内容与传统意义上所说的内容或者标签不太一样。 以下是借用了ChatGPT官方的evaluation指南提出的对结果的具…

kali的一些使用和ms08-067、ms17-010漏洞

VM虚拟机-三种网络连接方式&#xff08;桥接、NAT、仅主机模式&#xff09; 虚拟机网络连接 一、Bridged&#xff08;桥接&#xff09; 二、NAT&#xff08;网络地址转换&#xff09; 三、Host-Only&#xff08;仅主机&#xff09; 在vmware软件中&#xff0c;选项栏的“编…

[计算机入门] 窗口操作

3.3 窗口操作 之前介绍过如何调整窗口大小。接下来介绍如何对窗口进行排布等操作。 当我们想要将某个窗口调整到整个屏幕的左边或者右边(占整个屏幕的一半)&#xff0c;可以在选中并激活窗口后&#xff0c;按Win ←/→ 进行调整。 此时&#xff0c;还可以通过Win↑/↓调整该…

docker版jxTMS使用指南:使用jxTMS提供数据

本文讲解了如何jxTMS的数据访问框架&#xff0c;整个系列的文章请查看&#xff1a;docker版jxTMS使用指南&#xff1a;4.4版升级内容 docker版本的使用&#xff0c;请查看&#xff1a;docker版jxTMS使用指南 4.0版jxTMS的说明&#xff0c;请查看&#xff1a;4.0版升级内容 4…

Python 合并多个 PDF 文件并建立书签目录

今天在用 WPS 的 PDF 工具合并多个文件的时候&#xff0c;非常不给力&#xff0c;居然卡死了好几次&#xff0c;什么毛病&#xff1f;&#xff01; 心里想&#xff0c;就这么点儿功能&#xff0c;居然收了我会员费都实现不了&#xff1f;不是吧…… 只能自己来了&#xff0c;…

Android6:片段和导航

创建项目Secret Message strings.xml <resources><string name"app_name">Secret Message</string><string name"welcome_text">Welcome to the Secret Message app!Use this app to encrypt a secret message.Click on the Star…

maven 从官网下载指定版本

1. 进入官网下载页面 Maven – Download Apache Maven 点击下图所示链接 2. 进入文件页&#xff0c;选择需要的版本 3. 选binaries 4. 选文件&#xff0c;下载即可

JMETER基本原理

Jmeter基本原理是建立一个线程池&#xff0c;多线程运行取样器产生大量负载&#xff0c;在运行过程中通过断言来验证结果的正确性&#xff0c;可以通过监听来记录测试结果&#xff1b; JMETER是运行在JVM虚拟机上的&#xff0c;每个进程的开销比loadrunner的进程开销大&#x…

Windows系统下安装Nginx以及相关端口问题的解决方法详解

系列文章目录 安装Tomac服务器——安装步骤以及易出现问题的解决方法 文章目录 系列文章目录 一 背景 二 安装 2.1 下载Nginx 2.2 选择Nginx版本 2.3 解压Nginx 三 Nginx的使用 3.1 Nginx基本目录 3.2查看80端口是否被占用 3.3 Nginx启动方式 第一种&#xff1a;双…

飞天使-k8s基础组件分析-控制器

文章目录 控制器含义解释pod的标签与注释ReplicaControllerReplicaSetDeploymentsDaemonSetJobCronjob参考文档 控制器含义解释 空调遥控器知道吧ReplicationController: ReplicationController确保在任何时候都运行指定数量的pod副本。换句话说&#xff0c;一个ReplicationCo…

【Rust】Rust学习 第十七章Rust 的面向对象特性

面向对象编程&#xff08;Object-Oriented Programming&#xff0c;OOP&#xff09;是一种模式化编程方式。对象&#xff08;Object&#xff09;来源于 20 世纪 60 年代的 Simula 编程语言。这些对象影响了 Alan Kay 的编程架构中对象之间的消息传递。他在 1967 年创造了 面向对…

vim 常见操作

Vim 工作模式 1、vim 三种基本的工作模式 vim有三种基本的工作模式&#xff0c;分别为&#xff1a;命令模式、末行模式、编辑模式。关于这三种工作模式的介绍&#xff0c;请见下文。 1.1、命令模式 使用vim打开文件之后&#xff0c;首先进入命令模式&#xff0c;它是vim编辑…

C#,数值计算——用算法加速序列的收敛的计算方法与源程序

算法对序列的收敛加速。初始化方式使用参数nmax调用构造函数&#xff0c;nmax是要求和的项数&#xff0c;以及eps&#xff0c;即所需的精度。然后连续调用next函数&#xff0c;参数为next部分和序列的。序列极限的当前估计值为next返回。检测到收敛设置标志cnvgd。 using Syst…

C# 设置、获取程序,产品版本号

右键&#xff0c;程序属性。打开“程序集信息” 选择需要设置的版本信息。下面的代码&#xff0c;获取不同的设置内容。 string 其他 Assembly.GetExecutingAssembly().FullName; string 程序集版本 Assembly.GetExecutingAssembly().G…

优化学习体验是在线培训系统的关键功能

在线培训系统是当今教育领域的一个重要工具&#xff0c;帮助学生和教师提高学习效果和教学质量。一个功能完善的在线培训系统可以提供丰富多样的学习资源和交互方式&#xff0c;以满足不同学生的需求。 个性化学习路径 每个学生的学习需求和进度都不同。通过个性化学习路径功…

考研C语言进阶题库——更新41-50题

目录 41.编写程序要求输出整数a和b若a和b的平方和大于100&#xff0c;则输出a和b的平方和&#xff0c;否则输出a和b的和 42.现代数学的著名证明之一是Georg Cantor证明了有理数是可枚举的。他是用下面这一张表来证明这一命题的&#xff1a;第一项是1/1&#xff0c;第二项是是…