batch、batch_size、epoch、iteration关系:
epoch:整个数据集
batch: 整个数据集分成多少小块进行训练
batch_size: 一次训练(1 batch)需要 batch_size个样本
iteration: 整个数据集需要用batch_size训练多少轮
例如:训练集1000个样本,分成100小块batch,batch_size=10,则iteration=100轮,epoch=1
小样本中episode、support set、query set关系
小样本中分为meta-training和meta-testing
meta-testing从总类中随机选择N个类,每个类选k+x个样本,k个样本用作support set,x用作query set,同理可得meta-training中的S和Q(此时不一定和testing选N个类或者k个样本)
一个episode/task 就是一次Support set + Query set训练(包含数据集划分,训练,反向传播,更新参数过程),下一个episode,再选择其他几个类训练模型。
假设上述是5-way-1-shot,一个episod训练过程如下:
- backbone从S的5类图片中提一个 5x1600 维的 support feature Zs(假设每一类图片用一个1600维向量表示,5类就是一个5x1600 维的矩阵)
- 将这个 support feature 送入 classifier 中
- Query set 将一张图片送入 backbone ,提出一个1x1600 维的 query feature Zq (因为 Query set 中的这张图片肯定是属于 5 类中的某一类,而一类图片是用一个 1600 维的向量来表征的,因此这里将会得到一个 1x1600 维的矩阵)
- 将这个 query feature 送入 classifier 中
- classifier 中接收到了两个feature: Z’s ( 5x1600 维 ) 和 Zq( 1x1600 维 ),计算两个feature之间的距离(余弦距离就是做内积得到一个5x1的向量)
- 经过sofmax得到值最大的一个或者one-hot编码为1就是query set属于哪一类
- 预测结果和真实标签计算loss ,梯度反向传播来更新backbone的网络参数
参考文章:
神经网络中episode、epoch、iteration、batch_size的理解
episode、epoch、batch-size、iteration区别
小样本学习中的一些基本概念
小样本学习(Few-Shot Learning)训练参数意义