Python 中的可执行对象 eval,exec 和 compile 与其在深度学习训练中的应用实例
eval
计算指定表达式的值。也就是说它要执行的python代码只能是单个表达式(注意eval不支持任何形式的赋值操作),而不能是复杂的代码逻辑。
eval(source, globals=None, locals=None, /)
obj可以是字符串对象或者已经由compile编译过的代码对象。globals和locals是可选的,分别代表了全局和局部名称空间中的对象,其中globals必须是字典,而locals是任意的映射对象。
参数说明:
source:必选参数,可以是字符串,也可以是一个任意的code(代码)对象实例(可以通过complie函数创建)。如果它是一个字符串,它会被当作一个(使用globals和locals参数作为全局和本地命名空间的)python表达式进行分析和解释。
globals:可选参数,表示全局命名空间(存放全局变量),如果被提供,则必须是一个字典对象。
locals:可选参数,表示全局命名空间(存放局部变量),如果被提供,可以是任何映射对象。如果参数被忽略,那么它将会取与globals相同的值。
如果globals与locals都被忽略,那么它们将取eval()函数被调用环境下的全局命名空间和局部命名空间。
返回值:
如果source是一个code对象,且创建该code对象时,complie函数的mode参数是‘exec’,那么eval()函数的返回值是None;
否则,如果source是一个输出语句,如print(),则eval()返回结果为None;
否则,source表达式的结果就是eval()函数的返回值
例:
x = 10
def func():y = 20 #局部变量ya = eval("x+y")print("a:",a) #x没有就调用全局变量b = eval("x+y",{"x":1,"y":2}) #定义局部变量,优先调用print("b:",b)c = eval("x+y",{"x":1,"y":2},{"y":3,"z":4}) print("c:",c) d = eval("print(x,y)")print("d:",d) #对于变量d,因为print()函数不是一个计算表达式,因此没有返回值
func()
输出:
a: 30
b: 3
c: 4
10 20
d: None
注意eval不能用于变量的赋值,例如:
eval('x = 3')
print(x)
输出:
Traceback (most recent call last):File "111111.py", line 1, in <module>eval('x = 3')File "<string>", line 1x = 3^
SyntaxError: invalid syntax
exec
动态执行python代码。也就是说exec可以执行复杂的python代码,而不像eval函数那样只能计算一个表达式的值。
exec(source, globals=None, locals=None, /)
source:必选参数,表示需要被指定的python代码。它必须是字符串或code对象。如果source是一个字符串,该字符串会先被解析为一组python语句,然后执行。如果source是一个code对象,那么它只是被简单的执行。
返回值:
exec函数的返回值永远为None。
eval()函数和exec()函数的区别:
eval()函数只能计算单个表达式的值,而exec()函数可以动态运行代码段。
eval()函数可以有返回值,而exec()函数返回值永远为None。
例:
我们把eval中的例子拿过来执行
x = 10
def func():y = 20a = exec("x+y")print("a:",a)b = exec("x+y",{"x":1,"y":2})print("b:",b)c = exec("x+y",{"x":1,"y":2},{"y":3,"z":4})print("c:",c)d = exec("print(x,y)")print("d:",d)
func()
输出:
#exec不会有任何返回值
a: None
b: None
c: None
10 20
d: None
例:
x = 10
expr = """
z = 30
sum = x + y + z #一大包代码
print(sum)
"""
def func():y = 20exec(expr) 10+20+30exec(expr,{'x':1,'y':2}) 30+1+2exec(expr,{'x':1,'y':2},{'y':3,'z':4}) #30+1+3,x是定义全局变量1,y是局部变量func()
输出:
60
33
34
并且exec可用于赋值,例如:
exec('x = 3')
print(x)
输出:
3
complie
compile(source, filename, mode, flags=0, dont_inherit=False, optimize=-1)
参数说明:
source:字符串或AST对象,表示需要进行编译的python代码
filename:指定需要编译的代码文件,如果不是文件读取代码则传递一些可辨认的值。
mode:用于标识必须当做那类代表来编译;如果source是由一个代码语句序列组成,则指定mode=‘exec’,如果source由单个表达式组成,则指定mode=‘eval’;如果source是由一个单独的交互式语句组成,则指定modo=‘single’。必须要指定,不然肯定会报错。
例:
s = """ #一大段代码
for x in range(10):print(x, end='')
print()
"""
code_exec = compile(s, '<string>', 'exec') #必须要指定mode,指定错了和不指定就会报错。
code_eval = compile('10 + 20', '<string>', 'eval') #单个表达式
code_single = compile('name = input("Input Your Name: ")', '<string>', 'single') #交互式a = exec(code_exec) #使用的exec,因此没有返回值
b = eval(code_eval) c = exec(code_single) #交互
d = eval(code_single)print('a: ', a)
print('b: ', b)
print('c: ', c)
print('name: ', name)
print('d: ', d)
print('name; ', name)
输出:
0123456789 #有print就会打印
Input Your Name: kebi
Input Your Name: kebi
a: None
b: 30
c: None
name: kebi
d: None
name; kebi
在深度学习训练中的应用实例
首先介绍一个比较常用的记录指标和损失的util。
class AverageMeter(object):'''Computes and stores the average and current value'''def __init__(self):self.reset()def reset(self):self.val = 0self.avg = 0self.sum = 0self.count = 0def update(self, val, n=1):self.val = valself.sum += val * nself.count += nself.avg = self.sum / self.count
使用这个AverageMeter类,在每个step内update以下要记录的指标或者损失值,在每个epoch最后输出其avg到tensorboard即可。
配合上面介绍的可执行对象。
def epoch_forward(metrics_list):for metric in metrics_list:exec("{} = AverageMeter()".format(metric)) # 实例化一个对象,注意这里相当于是在赋值,要用exec,不能用evalfor data in loader:'''training loop'''for metric in metrics_list: # 每个step更新记录eval("{}.update(_{})".format(metric, metric)) # 这里在训练时统一用下划线加指标名命名每个step的值 如:_loss# 简单表达式 eval,exec都可 metrics_res_list = [] # 每个epoch结束,返回记录的指标值for metric in metrics_list:metrics_res_list.append(eval("{}.avg".format(metric)))return metrics_res_list # 返回记录的指标值def store_curve(writer, metrics_list, metrics_res_list, epoch):for i in range(len(metrics_list)):exec("writer.add_scalar('{}', {}, {})".format(metrics_list[i], metrics_res_list[i], epoch)) # 将记录的指标值输出到tensorboardif __name__ == "__main__":'''preparision for training (model, dataset, ...)'''writer = SummaryWriter("runs")for epoch in epochs:metrics_list = ['acc', 'loss'] # 给定要记录的指标或损失列表metrics_res_list = epoch_forward(metrics_list)store_curve(writer, metrics_list, metrics_res_list, epoch)
主要想法就是在之前保存指标时要写一大列相似的东西,觉得很繁琐,就想找到一个比较优雅的解决办法,以上这个自己设计的用可执行对象做的方法是比较不错的,每次要记录的指标有变动时只需在training loop里面计算好,然后改一下metrics_list即可。
注意在赋值时只能用exec。
留存问题
exec
为什么不能在函数中用,只能在全局用。
前半部分介绍可执行对象参考博客:https://www.cnblogs.com/yangmingxianshen/p/7810496.html