机器学习的遗忘——基于文章“Forgetting“ in Machine Learning and Beyond: A Survey

文章概要

这篇调查文章仅关注选择性遗忘,承认遗忘某些信息可以通过允许模型优先考虑和保留更重要或相关的信息,以及保护用户隐私,从而带来好处。选择性遗忘(Selective forgetting)涉及有选择地忽略无关或噪声数据。这种形式的遗忘有助于优化模型的内存利用,提高其概括能力,并增强其对不同数据集和任务的适应性。
本文调查了机器学习文献中的遗忘现象,以回答以下研究问题:
[RQ1]:遗忘在不同知识领域(如心理学、哲学、神经科学)中是如何体现的?这个研究问题探讨了遗忘的多方面性质,以激发在机器学习方法中开发新的遗忘模型。
[RQ2]: 遗忘如何用于遵守数据隐私法,减少偏见并在机器学习方法中优先处理相关信息?
[RQ3]: 在机器学习中实施遗忘机制有哪些未来的研究机会和挑战?在这里,我们探索当前的研究空白,以推动该领域的发展。

机器学习中的遗忘

  • 遗忘过程如何被塑造?
    一个关键方法是建立反馈机制或控制和监控回路。遗忘是一个依赖于反馈信号的动态系统,这些信号表现为认知感受,作为现象学反馈,指导我们在何时以及如何遗忘。

  • 遗忘中的挑战
    一个值得注意的关注点是哲学和语言学中讨论的伦理问题。遗忘作为对记忆的反映,显著地塑造了我们对伦理、道德责任、历史、政治以及过去和未来的看法。鉴于这种影响,当处理机器学习系统的遗忘行为时,必须谨慎行事。不同类型的数据及其在模型训练过程中的权重可能会影响模型的推理和决策能力。因此,在这个背景下,仔细考虑与遗忘相关的伦理关切和偏见是至关重要的。另一个需要考虑的重要方面是偶然遗忘的界限,因为并非所有的遗忘情况都会产生积极的结果。在教育理论中,过度遗忘可能会使问题解决变得过于具有挑战性,潜在地阻碍学生的学习流程通道,从而产生负面体验 同样,不适当的存档实践可能会导致机器学习模型的灾难性遗忘和荒谬的决策制定,这给我们带来了新的挑战,即确定不同类型训练任务中适当的遗忘界限,确保遗忘被有效和适当地应用。

机器学习的分类

请添加图片描述

  • Dimension
    • Content遗忘的内容:物体、标签、类别、任务、数据流
    • Recoverabilty可恢复性:
      • 不可恢复遗忘【信息无法恢复,通常涉及隐私或版权,处理更广泛的记忆】
      • 可恢复性遗忘【暂时搁置预训练的知识后引入模型、提供灵活的学习策略】
        • 短暂遗忘:模型对特定事物的记忆会随着时间的推移而减弱,但有可能恢复
        • 抑制遗忘:模型故意对某些记忆设置障碍,除非移除障碍,否则很难回忆起那些特定的细节
        • 梯度遗忘:以不同的速度遗忘不同的事物,因为它的学习或优化知识的方式是可以调整的
    • Extent遗忘程度:
      • 精确遗忘:移除样本后,模型的输出与从未在移除的样本上训练过的模型的输出相同
      • 近似遗忘:保留了被遗忘知识的缩小版或效力较低的版本,无需从头训练模型(常用于当人们想要保持一定程度的适应性或重新审视和微调以前学习过的信息的能力,同时减少其对模型的当前影响时)
  • Approch
    • active forgetting主动遗忘:目标是更新信息以提高性能。这是迁移学习的主要内容,使用不同域的知识提升机器学习模型。通过遗忘改善消极迁移NT,增强模型的泛化能力,防止模型对训练数据出现过拟合。模型可以采用选择性遗忘来丢弃噪音和不相关的细节,而不是保留所有信息。
    • passive forgetting被动遗忘:仅在响应特定请求以保护用户隐私和增强安全性时发生。除了删除对应的训练数据,还要消除其对模型训练结果的影响(反学习)。重新训练显然在计算时费时费力,应i希望修改机器模型和数据集进行近似反学习
      请添加图片描述
      反学习:
      请添加图片描述

遗忘方法(主动学习)

三个研究方向:遗忘以减轻负迁移;遗忘以增强对未见数据的泛化能力;遗忘以释放存储空间

1. 域相似估计——for NT

由于源域和目标域的差距导致NT,因此在NT前实施主动遗忘策略。

  • Feature statistics-based approaches
  • Test-prediction-based approaches
  • Fine-tuning-based approaches:通过修改较高层的参数同时保留较低层的权重,将预训练模型调整到新的目标域
2. NT mitigation approaches

该过程通过主动遗忘得到有效管理,即故意丢弃或淡化特定知识以增强目标域的结果

  • data transferability:多域、多类
  • model transferability:对于模型可迁移性,通过可迁移批量规范化等方法增强源模型训练,使模型能够优先考虑更具适应性的特征并“忘记”不太相关的特征
    • Training process enhancement涉及管理训练动态,例如在优化过程中改变步长和方向,由超参数𝜆引导。
    • Target prediction enhancement目标预测增强采用软伪标记、选择性伪标记、聚类增强伪标记和熵正则化等技术。这些方法通过“忘记”嘈杂或不相关的标签和数据,使模型能够适应新的领域,从而提高目标领域的预测精度。
3.Iterative training

通过迭代改进机器学习模型以增强其泛化能力。Knowledge Evolution、Iterative Magnitude Pruning
Eg.RIFLE,这是一种定期重新初始化模型最后一层以减少对特定特征的依赖的方法,从而鼓励学习更广泛的模式。这种方法以及利用合成机器翻译语料库和迭代自提炼的策略,通过利用反向翻译和连续教学迭代有效地增强了学习。
“迭代学习”方法在增强组合性方面非常有效。Eg.later-layer forgetting (LLF)策略,该策略涉及重新初始化网络的后层以专门删除与复杂示例相关的信息,从而促进“遗忘和重新学习”范式。迭代再训练过程”中,一致理解的特征会得到强化。

4.Improve attention’s efficiency
  • Yuhuai Wu等人通过引入 kNN 查找和不可微分的外部存储器,提供了一种 scale transformers的创新方法。这些技术使模型能够有效地管理其注意力机制,专注于必要的细节,同时“忘记”不必要的计算。
  • 用于组织巩固记忆的各种控制策略被总结为一个统一的抽象:具有有界记忆控制的注意力(ABC)[170]。
  • [169] 中引入的𝐴𝐵𝐶𝑀𝐿𝑃作为 ABC 的一个实例,引入了一个神经网络来确定如何将每个标记存储在记忆中,以在准确性和效率之间取得更好的平衡。
5. Lossless compression
  • [203]引入了 Expire-span ,为每个内存计算特定的使用寿命(图 9)。一旦内存超过其使用寿命,它就无法访问。
  • RECOMP[250] 是为提高视觉语言模型性能而提出的,其操作方式是先检索文档,然后将其压缩为摘要,然后再进行同化。该模型使用两种压缩器类型:一种是选择关键句子的提取式压缩器,另一种是从多个来源生成摘要的抽象式压缩器。这些压缩器旨在增强语言模型的任务性能,如果文档不相关,还可以选择“选择性增强”,即返回空字符串。这种选择性方法反映了 transformer 中的“遗忘”概念,简化了信息输入,以确保模型准确性和效率之间的最佳权衡。
  • TRIME [268] 强调记忆类型分类,引入了在测试期间针对不同记忆类型的记忆构建和数据批处理方法。
  • Item2Vec++ (AI2V++) 模型提出了一种神经注意力协同过滤方法,其中用户表征在推荐项目存在的情况下会动态调整 [67]。

https://mp.weixin.qq.com/s/ddGhxUwHpx3PJD3dJmZQ6w
https://arxiv.org/pdf/2405.20620v1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/868314.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

128陷阱(超详细)

int x 128;int y 128;int n 127;int m 127;Integer d Integer.valueOf(x);Integer g Integer.valueOf(y);Integer z Integer.valueOf(n);Integer v Integer.valueOf(m);System.out.println(d g);System.out.println(z v); 思考一下他的结果是什么? 为什么…

快速搭建发卡独立站(完全免费)

本文介绍如何使用开源项目,零成本,无需服务器的方式搭建一套自己的数字商品/发卡独立站,不需要任何开发能力,即便是小白用户也能搭建。 感兴趣可直接查看开源项目地址👉 https://github.com/iDataRiver/theme-basic …

JavaScript基础笔记

前言 在JavaScript诞生的前几年,有人说: JavaScript是一门四不像的语言;JavaScript是一门没有规范的语言;JavaScript是一门兼容糟糕的语言;JavaScript是一门不精准的语言;JavaScript是一个半成品语言;JavaScript是一门糟糕的语言;JavaScript只是一个玩具胶水语言;…

基于java+ssm+jsp实现的网上购物系统(文末源码+lw+ppt)23-45

1 摘 要 本文首先实现了网上购物系统设计与实现管理技术的发展随后依照传统的软件开发流程,最先为系统挑选适用的言语和软件开发平台,依据需求分析开展控制模块制做和数据库查询构造设计,随后依据系统整体功能模块的设计,制作系…

掌上教务系统-计算机毕业设计源码84604

摘要 在数字化教育日益成为主流的今天,教务管理系统的智能化和便捷性显得尤为重要。为满足学校、教师、学生及家长对教务管理的高效需求,我们基于Spring Boot框架设计并实现了一款掌上教务系统。该系统不仅具备课程分类管理功能,使各类课程信…

Node.js介绍 , 安装与使用

1.Node.js 1 什么是Node.js 官网:https://nodejs.org/zh-cn/ 中文学习网:http://nodejs.cn/learn1.Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型,使其轻量又高效。 2.前端的底层 html…

Java-Redis-Clickhouse-Jenkins-MybatisPlus-Zookeeper-vscode-Docker

文章目录 Clickhouse基础实操windows docker desktop 下载clickhousespringboot项目配置clickhouse Redis谈下你对Redis的了解?Redis一般都有哪些使用的场景?Redis有哪些常见的功能?Redis支持的数据类型有哪些?Redis为什么这么快…

《Nature》文章:ChatGPT帮助我学术写作的三种方式

图片翻译 ** 文章内容** 忏悔时间:我使用生成式人工智能(AI)。尽管在学术界关于聊天机器人是积极力量还是消极力量的争论不休,但我几乎每天都使用这些工具来完善我所写论文中的措辞,并寻求对我被要求评估的工作进行替…

人脸检测(Python)

目录 环境: 初始化摄像头: 初始化FaceDetector对象: 获取摄像头帧: 获取数据: 绘制数据: 显示图像: 完整代码: 环境: cvzone库:cvzone是一个基于…

视频翻译英文的软件有哪些?打破语言障碍就用这5个

打算趁着暑假假期悄悄努力惊艳所有人的小伙伴在哪呢~ 相信不少朋友自学都会首选在家看网课,不过有时候面对全英的外语课程,难免总会听得一头雾水~ 但其实这个问题很好解决!码好以下这5款视频翻译工具,语言障碍的问题也就都迎刃而…

数据中台设计书及建设指南(中台及大数据解决技术方案)

1. 中台概念 2. 推动企业组织模式演进 3. 建设方法 4 .中台内容 5. 数据安全体系 中台内容围绕数据中台建设评估、整体框架、数据采集,结构化、半结构化、非结构化的数据采集,数据计算能力、存储计算引擎、数据架构、数据挖掘、各种不同数据层建设、模型…

Redis官方可视化管理工具

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl RedisInsight是一个Redis可视化工具,提供设计、开发和优化 Redis 应用程序的功能。RedisInsight分为免费的社区版和一个付费的企业版,免费版具有基本…

RPA影刀 | 循环 + 嵌套循环 + 循环中的continue和break

一、循环 循环的构成 重复在做的事(不变的):循环体每次操作的对象(变化的):循环项 二、ForEach列表循环 三、循环相似元素 四、For次数循环 五、嵌套循环 测试目标:遍历所有页面&#xff0…

蓝牙资讯|三星新智能戒指专利曝光,将搭载屏幕显示心率

科技媒体 91Mobile 挖掘美国专利数据库,发现三星获批一项新的设计专利,展示了全新的智能戒指设计方案,未来可能以 Galaxy Ring 2 的名义发布。 根据专利分享的外观设计,采用了有别于 Galaxy Ring 的全圆环设计,专利中智…

YOLOv5+DecoupleHead解耦头(YOLOx)

一、解耦头原理 在目标检测中,分类任务和回归任务之间的冲突是一个众所周知的问题。因此,用于分类和定位的解耦头被广泛应用于大多数一级和二级探测器。但是,由于YOLO系列的主干和特征金字塔(如FPN, PAN)不断演化,它们的检测头仍然是耦合的。 从下表可以看出,头耦合时端…

深入探索Python库的奇妙世界:赋能编程的无限可能

在编程的浩瀚宇宙中,Python以其简洁的语法、强大的功能和广泛的应用领域,成为了众多开发者心中的璀璨明星。而Python之所以能够如此耀眼,很大程度上得益于其背后庞大的库生态系统。这些库,如同一块块精心雕琢的积木,让…

音视频开发35 FFmpeg 编码- 将YUV 和 pcm合成一个mp4文件

一 程序的目的 /*** *该程序的目的是: * 将 一个pcm文件 和 一个 yuv文件,合成为一个 0804_out.mp4文件 * pcm文件和yuv文件是从哪里来的呢?是从 sound_in_sync_test.mp4 文件中,使用ffmpeg命令 抽取出来的。 * 这样做的目的是为了对比前…

关于振动盘正反料下料逻辑编写

写在前文 借鉴某个程序的逻辑套路写的 1.就是第一个料是正方向,第二个料是反方向。 (* 基础逻辑应该都差不多,这个是一个振动盘,振动盘的末端是一个上下对射的感应器,这个感应器的作用是对射感应到物料的到位信号,末端…

【解码ChatGPT⑯】深入ChatGPT的热潮:为何我们需要对热门话题保持冷静分析?

2022年11月起,美国OpenAI公司开发的聊天机器人ChatGPT迅速崛起,成为增长最快的消费级应用,引起全球广泛关注。ChatGPT的出现标志着人工智能领域的新纪元,推动全球科技创新的竞争。技术进步引发对应用场景的深度探讨,无…

哪个牌子的护眼大路灯质量好呢?性价比高的五款护眼大路灯分享

护眼大路灯可以说是是每个有娃家庭必不可少的照明神器。但面对市场上琳琅满目的护眼落地灯品牌和型号,很多消费者在选购时都会犯难:究竟哪个牌子的护眼大路灯质量好呢?哪个性价比高呢?本文将根据市场反馈以及性价比等各方面&#…