深度学习500问——Chapter11:迁移学习(1)

文章目录

11.1 迁移学习基础知识

11.1.1 什么是迁移学习

11.1.2 为什么需要迁移学习

11.1.3 迁移学习的基本问题有哪些

11.1.4 迁移学习有哪些常用概念

11.1.5 迁移学习与传统机器学习有什么区别

11.1.6 迁移学习的核心及度量准则

11.1.7 迁移学习与其他概念的区别

11.1.8 什么是负迁移?产生负迁移的原因有哪些?

11.1.9 迁移学习的基本思路


11.1 迁移学习基础知识

11.1.1 什么是迁移学习

找到目标问题的相似性,迁移学习任务就是从相似性出发,将旧领域(domain)学习过的模型应用在新领域上。

11.1.2 为什么需要迁移学习

1. 大数据与少标注的矛盾:虽然有大量的数据,但往往都是没有标注的,无法训练机器学习模型。人工进行数据标定太耗时。

2. 大数据与弱计算的矛盾:普通人无法拥有庞大的数据量与计算资源。因此需要借助于模型的迁移。

3. 普适化模型与个性化需求的矛盾:即使是在同一个任务上,一个模型也往往难以满足每个人的个性化需求,比如特定的隐私设置。这就需要在不同人之间做模型的适配。

4. 特定应用(如冷启动)的需求。

11.1.3 迁移学习的基本问题有哪些

基本问题主要有3个:

  • How to transfer:如何进行迁移学习?(设计迁移方法)
  • What to transfer:给定一个目标领域,如何找到相对应的源领域,然后进行迁移?(源领域选择)
  • When to transfer:什么时候可以进行迁移,什么时候不可以?(避免负迁移)

11.1.4 迁移学习有哪些常用概念

基本定义:

  •         域(Domain):数据特征和特征分布组成,是学习的主体

                        源域(Source domain):已有知识的域

                        目标域(Target domain):要进行学习的域

  •         任务(Task):由目标函数和学习结果组成,是学习的结果。

按特征空间分类:

  •         同构迁移学习(Homogeneous TL):源域和目标域的特征空间相同,D_s=D_t
  •         异构迁移学习(Heterogeneous TL):源域和目标域的特征空间不同,D_s\ne D_t

按迁移情景分类:

  •         归纳式迁移学习(Inductive TL):源域和目标域的学习任务不同
  •         直推式迁移学习(Transductive TL):源域和目标域不同,学习任务相同
  •         无监督迁移学习(Unsupervised TL):源域和目标域均没有标签

按迁移方法分类:

  •         基于实例的迁移(Instance based TL):通过权重重用源域和目标域的样例进行迁移
  •         基于特征的迁移(Feature based TL):将源域和目标域的特征变换到相同空间
  •         基于模型的迁移(Parameter based TL):利用源域和目标域的参数共享模型
  •         基于关系的迁移(Relation based TL):利用源域中的逻辑网络关系进行迁移

11.1.5 迁移学习与传统机器学习有什么区别

迁移学习传统机器学习
数据分布训练和测试数据不需要分布训练和测试数据同分布
数据标签不需要足够的数据标注足够的数据标注
建模可以重用之前的模型每个任务分分别建模

11.1.6 迁移学习的核心及度量准则

迁移学习的总体思路可以概括为:开发算法来最大限度地利用有标注的领域的知识,来辅助目标领域的知识获取和学习。

迁移学习的核心是:找到源领域和目标领域之间的相似性,并加以合理利用。这种相似性非常普遍。比如,不同人的身体构造是相似的;自行车和摩托车的骑行方式是相似的;国际象棋和中国象棋是相似的;羽毛球和网球的打球方式是相似的。这种相似性也可以理解为不变量。以不变应万变,才能立于不败之地。

有了这种相似性后,下一步工作就是,如何度量和利用这种相似性。度量工作的目标有两点:一是很好地度量两个领域的相似性,不仅定性地告诉我们它们是否相似,更定量地给出相似程度。二是以度量为准则,通过我们所采用的学习手段,增大两个领域之间的相似性,从而完成迁移学习。

一句话总结:相似性是核心,度量准则是重要手段。

11.1.7 迁移学习与其他概念的区别

1. 迁移学习与多任务学习关系:

        多任务学习:多个相关任务一起协同学习;

        迁移学习:强调信息复用,从一个领域(domain)迁移到另一个领域。

2. 迁移学习与领域自适应:领域自适应:使两个特征分布不一致的domain一致。

3. 迁移学习与协方差漂移:协方差漂移:数据的条件概率分布发生变化。

11.1.8 什么是负迁移?产生负迁移的原因有哪些?

负迁移(Negative Transfer)指的是,在源阈上学习到的知识,对于目标域上的学习产生负面作用。

产生负迁移的原因主要有:

  • 数据问题:源域和目标域压根不相似,谈何迁移?
  • 方法问题:源域和目标域是相似的,但是,迁移学习方法不够好,没找到可迁移的成分。

负迁移给迁移学习的研究和应用带来了负面影响。在实际应用中,找到合理的相似性,并且选择或开发合理的迁移学习方法,能够避免负迁移现象。

11.1.9 迁移学习的基本思路

迁移学习的总体思路可以概括为:开发算法来最大限度地利用有标注的领域的知识,来辅助目标领域的知识获取和学习。

  1. 找到目标问题的相似性,迁移学习任务就是从相似性出发,将旧领域(domain)学习过的模型应用在新领域上。
  2. 迁移学习,是指利用数据、任务或模型之间的相似性,将在旧领域学习过的模型,应用于新领域的一种学习过程。
  3. 迁移学习最有用的场合是,如果你尝试优化任务B的性能,通常这个任务数据相对较少。例如,在放射科中你知道很难收集很多射线扫描图来搭建一个性能良好的放射科诊断系统,所以在这种情况下,你可能会找到一个相关但不同的任务上做的更好,尽管任务没有那么多数据。
  4. 迁移学习什么时候是有意义的?它确实可以显著提高你的学习任务的性能,但我有时候也见过有些场合使用迁移学习时,任务实际上数据量比任务要少,这种情况下增益可能不多。

什么情况下可以使用迁移学习?

假如两个领域之间的区别特别的大,不可以直接采用迁移学习,因为在这种情况下效果不是很好。在这种情况下,推荐使用[3]的工作,在两个自相似度很低的domain之间一步步迁移过去(踩着石头过河)。

  1. 迁移学习主要解决方案有哪些?
  2. 除直接看infer的结果的Accurancy以外,如何衡量迁移学习学习效果?
  3. 对抗网络是如何进行迁移的?

Reference:

  1. 王晋东,迁移学习简明手册
  2. Ben-David, S., Blitzer, J., Crammer, K., Kulesza, A., Pereira, F., & Vaughan, J. W. (2010). A theory of learning from different domains. Machine learning, 79(1-2), 151-175.
  3. Tan, B., Song, Y., Zhong, E. and Yang, Q., 2015, August. Transitive transfer learning. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1155-1164). ACM.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/852429.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

服务器再升级!64线程服务器震撼上线,全新渲染体验等你来解锁

秉承着 “科技赋能创意,连接创造价值”的使命, 经过精心的策划和筹备, 蓝海创意云 64线程服务器, 以全新的面貌,优惠的价格, 与大家见面了! 诚邀您一起,解锁全新的渲染体验&am…

《软件定义安全》之八:软件定义安全案例

第8章 软件定义安全案例 1.国外案例 1.1 Fortinet:传统安全公司的软件定义方案 Fortinet的软件定义安全架构强调与数据中心的结合,旨在将安全转型为软件定义的模式,使安全运维能够与数据中心的其他部分一样灵活、弹性。在Fortinet看来&…

MySQL为何不支持函数索引的使用

MySQL不支持函数索引的使用,主要基于以下几个原因: 索引机制:MySQL的索引主要是基于B树结构来构建的,这种结构通过保持数据的顺序性和层级性来实现高效的查询。然而,当在查询条件中使用函数时,MySQL需要先…

随着开源程序的发展,越来越多的程序员开始关注并加入开源大模型的行列,对于开源行业和开源项目不同人有不同的关注点,推荐几个热门项目

随着开源软件的普及和开源项目的蓬勃发展,越来越多的程序员开始关注并加入开源大模型的行列。开源项目的好处是显而易见的,它们提供了一种共享的方式,让人们能够自由地使用、复制、修改和分发软件。这种模式不仅有利于技术的进步和创新&#…

网络协议五

一、RPC协议 【整体都没仔细研究 无论是什么 RPC,底层都是 Socket 编程 二、结合双十一项目 【没仔细研究 VPC 1. 创建一个 VPC 并指定一个 IP 段 解释:虚拟私有云(VPC)是一个虚拟的网络环境,它与互联网隔离&…

ABAP 私人小笔记

最近没事&#xff0c;把笔记上的东西慢慢移到CSDN上&#xff0c;持续完善中~ 1&#xff1a;/nsxi_monitor查看接口日志 2&#xff1a;内表数据拼接 2.1、给内表加一个空行并修改他的值 APPEND INITIAL LINE TO GT_ALV ASSIGNING FIELD-SYMBOL(<FS>) .2.2、将内表数据拼接…

亿达四方:一站式SolidWorks代理服务,打造设计竞争力

在当今瞬息万变的设计与制造领域&#xff0c;高效、精准的3D设计软件已成为推动企业创新与发展的核心驱动力。作为业界知名的SolidWorks一站式代理服务商&#xff0c;亿达四方致力于为企业搭建从软件采购到技术应用的全方位桥梁&#xff0c;全面赋能设计团队&#xff0c;助力企…

stable-diffusion.cpp 文字生成图片

纯 C/C 中 [Stable Diffusion] 的推断 https://github.com/CompVis/stable-diffusion ## 特点 - 基于 [ggml]&#xff08;https://github.com/ggerganov/ggml&#xff09; 的普通 C/C 实现&#xff0c;工作方式与 [llama.cpp]&#xff08;https://github.com/ggerganov/llam…

微信小程序请求request封装

公共基础路径封装 // config.js module.exports {// 测试BASE_URL: https://cloud.chejj.cn,// 正式// BASE_URL: https://cloud.mycjj.com };请求封装 // request.js import config from ../config/baseUrl// 请求未返回时的loading const showLoading () > wx.showLoadi…

蓝桥杯软件测试第十五届蓝桥杯模拟赛1期题目解析

PS 需要第十五界蓝桥杯模拟赛1期功能测试模板、单元测试被测代码、自动化测试被测代码请加&#x1f427;:1940787338 备注&#xff1a;15界蓝桥杯省赛软件测试模拟赛1期 题目1 功能测试用例1&#xff08;测试用例&#xff09;&#xff08;15分&#xff09; 【前期准备】 按步…

后端开发面试题5(附答案)

前言 在下首语言是golang,所以会用他作为示例。 原文参见 @arialdomartini的: Back-End Developer Interview Questions 数据库相关问题 1. 如果要你将一个项目从MySQL迁移至PostgreSQL中,你会如何迁移? 迁移一个项目从MySQL到PostgreSQL涉及多个步骤,主要包括数据备份、…

网页元素解析元素标签和style变更

前言 如何解析html标签&#xff1f; 如何给标签增加样式&#xff1f; <div class"related-tags"><span>相关主题推荐&#xff1a;</span>a<a hrefhttp://www.csdn.net/tag/标签 target"_blank">标签</a><a href"h…

【STM32】输入捕获应用-测量脉宽或者频率(方法1)

图1 脉宽/频率测量示意图 1 测量频率 当捕获通道TIx 上出现上升沿时&#xff0c;发生第一次捕获&#xff0c;计数器CNT 的值会被锁存到捕获寄存器CCR中&#xff0c;而且还会进入捕获中断&#xff0c;在中断服务程序中记录一次捕获&#xff08;可以用一个标志变量来记录&#…

CC攻击的有效应对方案

随着互联网的发展&#xff0c;网络安全问题愈发突出。CC攻击&#xff08;Challenge Collapsar Attack&#xff09;&#xff0c;一种针对Web应用程序的分布式拒绝服务&#xff08;DDoS&#xff09;攻击方式&#xff0c;已经成为许多网络管理员和网站拥有者不得不面对的重大挑战。…

跨越式发展:中小型企业如何争取水库枢纽乙级资质

1. 明确目标&#xff0c;深入了解资质要求 首先&#xff0c;全面研究水利行业乙级设计资质的具体标准&#xff0c;包括企业规模、人员构成、技术能力、财务状况、管理体系等&#xff0c;确保每项要求都能精准对应并准备充分。 2. 强化内部管理与体系建设 建立或优化组织架构…

Fantasy Icons Megapack(梦幻盔甲宝石图标魔法道具图标集)

所有图标都具备高质量&#xff0c;并以专业水平实施。任何幻想风格游戏的上佳选择。 - 可更新的超级资源包&#xff1b; - 每个图标的大小均为 256x256 像素 (PNG)&#xff1b; - 总计 2672 个独一无二的图标&#xff1b; - 所有图标均具有透明背景。 超级资源包内置&#xff1…

Redisson原理解析

Hi~&#xff01;这里是奋斗的小羊&#xff0c;很荣幸您能阅读我的文章&#xff0c;诚请评论指点&#xff0c;欢迎欢迎 ~~ &#x1f4a5;&#x1f4a5;个人主页&#xff1a;奋斗的小羊 &#x1f4a5;&#x1f4a5;所属专栏&#xff1a;C语言 &#x1f680;本系列文章为个人学习…

如何通过“小猪APP分发”轻松实现应用分发

你是否也在为应用分发发愁&#xff1f; 还记得那些日子吗&#xff1f;你花费了大量的时间和精力开发了一款出色的应用&#xff0c;但却在分发和推广环节遇到了瓶颈。是的&#xff0c;无论你的应用多么优秀&#xff0c;如果不能顺利分发给用户&#xff0c;那一切都是徒劳的。别…

[c++刷题]贪心算法.N01

题目如上: 首先通过经验分析&#xff0c;要用最少的减半次数&#xff0c;使得数组总和减少至一半以上&#xff0c;那么第一反应就是每次都挑数组中最大的数据去减半&#xff0c;这样可以是每次数组总和值减少程度最大化。 代码思路:利用大根堆去找数据中的最大值&#xff0c;…

[数据集][实例分割]减速带分割数据集json+yolo格式5400张1类别

数据集格式&#xff1a;labelme格式(不包含mask文件&#xff0c;仅仅包含jpg图片和对应的json文件以及对应yolo格式txt) 图片数量(jpg文件个数)&#xff1a;5400 标注数量(json文件个数)&#xff1a;5400 标注数量(txt文件个数)&#xff1a;5400 标注类别数&#xff1a;1 标注…