文章目录固定部分层参数固定指定层的参数不同层设置不同的学习率固定部分层参数
class RESNET_attention(nn.Module):def __init__(self, model, pretrained):super(RESNET_attetnion, self).__init__()self.resnet model(pretrained) # 这个model被固定for p in self.parame…
在进行深度学习训练的过程中,往往会跑很多实验,这就导致有的实验设置会忘记或者记混淆,我们最好把train test model 的代码都copy一遍到指定文件夹中,这样后面检查也方便。 用shell指令保存文件
#!/bin/sh
GRUB_CMDLINE_LINUX&qu…
1.DataParallel
DataParallel更易于使用(只需简单包装单GPU模型)。
model nn.DataParallel(model)它使用一个进程来计算模型参数,然后在每个批处理期间将分发到每个GPU,然后每个GPU计算各自的梯度,然后汇总到GPU0中…