为什么需要迁移学习

使用深度学习技术解决问题的过程中，最常见的障碍在于，因为模型有大量
的参数需要训练，因此需要海量训练数据作支撑。
Ø 在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据。
Ø 借助迁移学习，在一个模型训练任务中针对某种类型数据获得的关系也可以
轻松地应用于同一领域的不同问题。

模型Fine-­‐tune

• 例子: (有监督学习) 电商小品类商品识别
• 源数据: Imagenet多种物体图片
• 目标数据: 电商小品类商品图片
• 基本思想:
• 由原始的imagenet图像训练一个模型(其实大家可以
去下载GoogLeNet/ResNet等)，在自己数据集上调优
• 可能的问题: 在小量调优数据上可能过拟合

保守训练

层迁移

我们应该拷贝（复用）那些层呢？
• 语音: 通常是最后一些层
• 图像: 通常是开始的一些层

Multitask Learning

原来任务和现在任务效果都好，不同网络组合共用

渐进式神经网络/Progressive Neural Networks

域对抗

既要抽取特征分不来，又要让预测尽可能精准

零样本学习

通过属性来表征类

Self-­‐taught learning

• 尝试通过无监督方法从源数据抽取更好的表达
• 对目标数据也进行更好地表达