目标: 让机器自己学会学习,学会理解和判断事物的异同(如,区分两张图片内是相同的东西还是不同的东西,不是识别出是什么东西)
Pretraining
前景知识
- C o s i n e S i m i l a r i t y Cosine \ Similarity Cosine Similarity
作用: 衡量两个向量之间的相似度
- S o f t m a x Softmax Softmax:
- S o f t m a x C l s s i f i e r Softmax \ Clssifier Softmax Clssifier
具体过程
- 利用深度神经网络来提取特征,该网络需要被预训练 —— 结构和预训练方法会对最终结果产生影响
- 拿预训练的网络对 S u p p o r t S e t Support \ Set Support Set 中的各任务(各类别, K W a y K \ Way K Way)提取特征—— 每个任务中的各元素分别提取特征( N S h o t N \ Shot N Shot),再合起来做均值,再做归一化,成为该任务(类别)的表征
- 对 Q u e r y Query Query 做分类
F i n e T u n i n g Fine \ Tuning Fine Tuning
背景: P r e t r a i n i n g Pretraining Pretraining 中的分类一步即 S o f t M a x SoftMax SoftMax函数的输入可以是 w × x + b w \times x + b w×x+b,但之前设定 W = M , b = 0 W=M,b=0 W=M,b=0
Fine \ Tuning: 在 s u p p o r t t u n i n g support \ tuning support tuning中训练分类器,即训练 w w w和 b b b—— 可以提高准确性
小技巧:
- 好的初始化:原先就直接拿 M M M进行分类的
- E n t r o p y R e g u l a r i z a t i o n Entropy \ Regularization Entropy Regularization
- C o s i n e S i m i l a r i t y Cosine \ Similarity Cosine Similarity + S o f t m a x C l a s s i f i e r Softmax \ Classifier Softmax Classifier
就是内积前做了一个归一化