【Pytorch 第三讲】如何使用pre-trained weights 来训练自己的模型

# 理由#

有时在训练自己的模型时，如果从头开始训练自己的模型，不但费时费力，有时可能训练了很久，好不容易收敛，发现结果不是太好。如果能够基于被人已经训练好的权重，初始化自己的模型。那么在训练自己的模型时会事半功倍。

一. Check Pre-trained Weights

import torch
from icecream import ic
ckpt=torch.load("/home/ggl/full_skip.pth")
ic(ckpt.keys())

Output:

ic| ckpt.keys(): odict_keys(['patch_embed.conv_down.0.weight', 'patch_embed.conv_down.1.weight', ..........................................

import torch
from icecream import ic
tar_ckpt=torch.load("/home/ggl/Downloads/224_1k.pth.tar")
ic(tar_ckpt.keys())

Output: ic| tar_ckpt.keys(): dict_keys(['epoch', 'arch', 'state_dict', 'optimizer', 'version', 'args', 'amp_scaler', 'metric'])

根据上面的输出，可以看到，保存的权重中的键值对是不一样的。

第一个，保存的直接是 ‘state_dict"

第二个，保存的信息更加全面。 tar_ckpt["state_dict"] ,相当于第一个。

--------------------------------------------------- 补充信息 -------------------------------------------------------

补充信息：

dict 和 OrderedDict（odict）都是 Python 中的字典数据结构，但它们在维护元素顺序上有所不同。

1. dict（字典）:

示例：

my_dict = {'a': 1, 'b': 2, 'c': 3} 
for key, value in my_dict.items(): print(key, value)

在 Python 3.7 之前，字典并不保持元素的插入顺序。即，当你迭代一个字典时，元素的顺序不一定与添加它们的顺序相同。
从 Python 3.7 开始，字典开始维护元素的插入顺序。但是，这是在 CPython 的具体实现上，并不是 Python 语言规范的一部分。

在 Python 3.7 及之后的版本中，以上代码输出的顺序将是 'a', 'b', 'c'。

2. OrderedDict（有序字典）:

示例：

from collections import OrderedDict 
my_ordered_dict = OrderedDict([('a', 1), ('b', 2), ('c', 3)]) 
for key, value in my_ordered_dict.items(): print(key, value)输出的顺序将始终是 'a', 'b', 'c'。

python