参考资料:活用pandas库
1、向量化函数
使用apply时,可以按行或按列应用函数。如果想应用自定义的函数,必须重写它,因为整列或整行传递到了函数的第一个参数中。可以利用向量化函数和装饰器对所有函数进行向量化。对代码进行向量化也可以提升运行性能。
# 导入pandas库
import pandas as pd#创建一个DataFrame
df=pd.DataFrame({'a':[10,20,30],'b':[20,30,40]
})# 创建自定义函数
def avg_2(x,y):return (x+y)/2.
对于向量函数,我们希望向上述自定函数中的x和y分别传入一个值向量,结果应该是给定x值和y值得平均值,并且顺序保持不变,即能写成avg_2(df['a'],df['b']),并且结果类似于[15,25,35]。
使用numpy库的vetorize函数。把要向量化的函数传递给np.vectorize,创建新函数。
如果函数是自定义的,也可以使用python装饰器“自动”把函数向量化。装饰器是函数,它们以其他函数为输入并修改其行为。
# 导入 numpy库
import numpy as np
# 自定义函数
# 此函数无法用于向量计算,但可以用于单个值的计算
def avg_2_mod(x,y):"""当x不等于20时,计算平均值"""if(x==20):return np.NaNelse:return (x+y)/2# np.vectorize创建向量化函数
avg_2_mod_vec=np.vectorize(avg_2_mod)
print(avg_2_mod_vec(df['a'],df['b']))# 装饰器
# 为了使用vectorize装饰器,要在函数定义之前使用@符号
@np.vectorize
def v_avg_2_mod(x,y):"""当x不等于20时,计算平均值和前面一样,但这里使用vectorize装饰器"""if x==20:return np.nanelse:return (x+y)/2
# 可以直接使用此向量化的函数
print(v_avg_2_mod(df['a'],df['b']))
2、lambda函数
有时,apply方法中使用的函数非常简单,无须单独创建。
编写lambda函数需要使用lambda关键字。由于apply函数会把整行或整列作为第一个参数传递过来,所以lambda函数只有一个参数x。然后可以直接编写函数,而不必定义它,而且结果结果会自动返回。
虽然可以编写复杂的lambda函数,但通常只在需要单行计算时,才会使用lambda函数。如果lambda函数中包含过多代码,会难以阅读。
import re
docs=pd.read_csv(r"...\data\doctors.csv",header=None)
p=re.compile('\w+\s+\w+')# 方法1,先编写一个函数,在调用apply应用它
# 自定义函数
def get_name(s):return p.match(s).group()
docs['name_func']=docs[0].apply(get_name)
print(docs)# 方法2,直接用lambda函数
docs['name_lamb']=docs[0].apply(lambda x: p.match(x).group())
print(docs)