CCSI: 数据无关类别增量学习的持续类特定印象| 文献速递-基于深度学习的多模态数据分析与生存分析

Title

题目

CCSI: Continual Class-Specific Impression for data-free class incremental learning

CCSI: 数据无关类别增量学习的持续类特定印象

01

文献速递介绍

当前用于医学影像分类任务的深度学习模型表现出令人鼓舞的性能。这些模型大多数需要在训练之前收集所有的训练数据并指定所有的类别。它们在部署期间训练一次深度学习模型,并期望其在所有后续数据上执行。然而,这种要求限制了在实际临床环境中的可行性,因为医学图像数据会不断收集并随着时间而变化,例如,当新疾病类型出现时。

一种解决这一挑战的有前途的方法是使系统能够进行持续或终身学习,这意味着部署的模型可以适应新数据,同时保持从以前数据中获得的信息。结合这些学习技术将使深度学习模型更灵活地适应医学数据集的不断扩展。医学持续学习已在各种增量场景中被利用(van de Ven等人,2022),考虑到新进数据的非静态特性。这些场景包括任务增量学习(González等人,2023;Liao等人,2022;Xu等人,2022;Kaustaban等人,2022;Chakraborti等人,2021),在这些场景中,引入了新的医学任务,例如,扩展一个分割网络到另一个身体区域;类别增量学习(Chee等人,2023;Yang等人,2021a;Li等人,2022),其中引入了新的疾病类别。

Abstract

摘要

在实际临床环境中,传统基于深度学习的分类方法在诊断新引入的疾病类型时会遇到困难,因为这些方法需要从所有疾病类别中获取样本进行离线训练。类别增量学习提供了一种有前途的解决方案,它通过适应已训练在特定疾病类别上的深度网络来处理新疾病。然而,灾难性遗忘问题会在适应模型到新数据时出现,导致早期类别的性能下降。之前提出的解决这一问题的方法需要永久存储以前的样本,这在医疗保健领域可能会带来隐私和存储法规方面的实际问题。为此,我们提出了一种新颖的无数据类别增量学习框架,通过对已学习类别进行数据合成,而不是存储先前类别的数据。我们的主要贡献包括获取称为“持续类特定印象”(CCSI)的合成数据,这些数据用于以前无法访问的训练类别,并提出了一种有效利用这些数据在引入新类别时更新网络的方法。我们通过对以前类别的训练分类模型的梯度进行数据反演,从每个类别的平均图像开始获取CCSI,这个过程受到医学图像中常见标志的启发,并在这个逐像素优化过程中使用持续归一化层统计作为正则化器。随后,我们通过结合合成数据和新类别数据来更新网络,并结合多种损失函数,包括一个用于在合成数据上训练的深度网络泛化到真实数据的域内对比损失、一个增加以前类别和新类别间分离的边缘损失,以及一个缓解训练数据中分布不平衡负面影响的余弦归一化交叉熵损失。大量实验表明,该框架在四个公共MedMNIST数据集和内部的心超电影系列中实现了最先进的性能,相较于基线无数据方法,分类准确率提高了高达51%。

Method

方法

This section is structured as follows. We begin by explaining theproblem setting of data-free incremental learning in Section 3.1. Next,in Section 3.2, we identify the challenges in the setting and give anoverview of our proposed pipeline, emphasizing three crucial factorsthat drive our design: (1) normalization layer, (2) data synthesis, and (3)loss functions*. Furthermore, we elaborate on the techniques suggestedto tackle the first two factors in Section 3.3. Finally, we present the newloss terms utilized to address the third factor in Section 3.4.

本节结构如下。我们首先在第3.1节解释无数据增量学习的问题设定。接下来,在第3.2节中,我们识别该设定中的挑战并概述我们提出的流程,强调驱动我们设计的三个关键因素:(1) 归一化层,(2) 数据合成,和 (3) 损失函数。此外,我们在第3.3节详细介绍了应对前两个因素的建议技术。最后,在第3.4节中,我们介绍了用于解决第三个因素的新损失项。

Conclusion

结论

In this work, we propose CCSI, a novel data-free class incrementallearning framework for medical image classification. In CCSI, we synthesize class-specific images by inverting from the trained model withclass-mean image initialization. We explore a recently introduced normalization layer – CN, to reduce overwriting moments during continualtraining and propose a novel statistic regularization using the frozenCN moments for image synthesis. Subsequently, we continue trainingon new classes and synthesized images using the proposed novel lossesto increase the utility of synthesized data by mitigating domain shiftbetween new synthesized and original images of old classes and alleviating catastrophic forgetting and imbalanced data issues among newand past classes. Experimental results for four MedMNIST datasets asbenchmark public datasets and in-house echocardiography cines as thelarge-scale and more complex dataset validate that CCSI outperformsthe state-of-the-art methods in data-free class incremental learningwith an improbable gap of up to 51% accuracy in the final task andget comparable results with the state-of-the-art data-saving rehearsalbased methods. Our proposed method shows the potential to applyincremental learning in many healthcare applications that cannot savedata due to memory constraints or private issues.

在这项工作中,我们提出了一种新颖的无数据类别增量学习框架——CCSI,用于医学图像分类。在CCSI中,我们通过从训练模型中反演并使用类别均值图像初始化来合成类别特定图像。我们探索了一种最近引入的归一化层——CN,以减少在持续训练期间的重写现象,并提出使用冻结的CN时刻进行图像合成的统计正则化。随后,我们继续在新类别和合成图像上进行训练,使用提出的新损失函数,通过缓解新合成图像与旧类别原始图像之间的域偏移,减轻灾难性遗忘和新旧类别之间数据不平衡问题,从而提高合成数据的实用性。对四个MedMNIST数据集作为基准公共数据集和内部心超电影系列作为大型和更复杂的数据集的实验结果验证了,CCSI在无数据类别增量学习中以高达51%的不可思议的准确率差距超越了最先进的方法,并且与最先进的数据保存演练方法取得了可比的结果。我们提出的方法显示了在许多由于内存限制或隐私问题而无法保存数据的医疗应用中应用增量学习的潜力。

Figure

图片

Fig. 1. Representation of data-free class incremental learning. 𝑓𝑖  −1 is the model trainedon previous data, while 𝑓𝑖 is the updated model with new classes. This approach enablesthe incremental learning of new classes added to a previously trained model withouthaving access to previous data. We propose to tackle this problem by synthesizingsamples of previous classes as the continual class-specific impression and adding themto the continual training paradigm. Best viewed in coloured print.

图1. 无数据类别增量学习的表示。𝑓𝑖  −1 是在先前数据上训练的模型,而 𝑓**𝑖 是包含新类别的更新模型。这种方法使得可以在不访问先前数据的情况下,对先前训练的模型进行新类别的增量学习。我们建议通过合成先前类别的样本作为持续类特定印象,并将其添加到持续训练范式中来解决这个问题。彩色打印效果最佳。

图片

Fig. 2. The class incremental learning pipeline of CCSI. Two main steps of CCSI contain: (1) Continual class-specific data synthesis (Section 3.3): Initialize a batch of images withthe mean of each class to synthesize images using a frozen model trained on the previous task, 𝑓**𝑖 ∗ −1. Update the batch by back-propagating with Eq. (1) and using the statisticssaved in the CN as a regularization term (Eq. (4)); (2) Model update on new tasks (Section 3.4): Leverage information from the previous model using the distillation loss. Toprevent catastrophic forgetting of past tasks, we mitigate domain shift between synthesized and original data with a novel intra-domain conservative (IdC) loss (Section 3.4.1), asemi-supervised domain adaptation technique and encourage robust decision boundaries and overcome data imbalance with the margin loss (Section 3.4.2) and cosine-normalizedcross-entropy (CN-CE) loss (Section 3.4.3). Best viewed in coloured print.

图2. CCSI的类别增量学习流程。CCSI的两个主要步骤包括:(1) 持续类特定数据合成(第3.3节):初始化一批图像,每个类别的图像以其平均值开始,通过使用在先前任务上训练的冻结模型 𝑓**𝑖 ∗ −1 来合成图像。通过反向传播更新图像批次(使用公式(1))并使用CN中保存的统计数据作为正则化项(公式(4));

(2) 新任务的模型更新(第3.4节):使用蒸馏损失从先前模型中获取信息。为了防止灾难性遗忘,我们通过一种新颖的域内保守(IdC)损失(第3.4.1节),一种半监督域适应技术,来缓解合成数据与原始数据之间的域偏移,并通过边缘损失(第3.4.2节)和余弦归一化交叉熵(CN-CE)损失(第3.4.3节)来鼓励稳健的决策边界并克服数据不平衡问题。彩色打印效果最佳。

图片

Fig. 3. The effect of each loss on the model’s latent space. 𝑓𝑖  −1 is the model trainedon previous data, and 𝑓𝑖 is the updated model with new classes. (a) The intra-domaincontrastive loss reduces the domain shift by minimizing the distance between thesynthesized and test data of the same class and maximizing the distance betweensynthesized data from different classes. (b) The margin loss enforces the separationbetween the latent representation of the new class and the previously trained classes.(c) The cosine-normalized cross-entropy loss balances the importance of the newclass against the previously trained classes in the latent space to achieve clear classboundaries. Best viewed in coloured print.

图3. 各损失对模型潜在空间的影响。𝑓𝑖  −1 是在先前数据上训练的模型,𝑓𝑖 是包含新类别的更新模型。

(a) 域内对比损失通过最小化同一类别的合成数据和测试数据之间的距离,以及最大化不同类别的合成数据之间的距离,来减少域偏移。

(b) 边缘损失强制新类别的潜在表示与先前训练的类别之间的分离。

(c) 余弦归一化交叉熵损失平衡新类别与先前训练的类别在潜在空间中的重要性,以实现清晰的类别边界。彩色打印效果最佳。

图片

Fig. 4. Datasets’ samples. Each dataset’s first row shows samples from two different classes, the second row is the mean initialization of the respective class, and the third row isthe synthesized images. Best view in coloured.

图4. 数据集样本。每个数据集的第一行显示来自两个不同类别的样本,第二行是相应类别的平均初始化图像,第三行是合成图像。彩色查看效果最佳。

图片

Fig. 5. Testing accuracies on all tasks compared with state-of-the-art class-incremental learning. Dashed lines represent non-data-free methods, while straight lines representdata-free methods. We outperform all data-free methods on all datasets except TissueMNIST. While we surpass some non-data-free methods, we achieve comparable results withothers.

图5. 在所有任务上的测试准确率与最先进的类别增量学习方法的比较。虚线表示非无数据方法,而实线表示无数据方法。除了TissueMNIST数据集外,我们在所有数据集上均超越了所有无数据方法。虽然我们超越了一些非无数据方法,但我们与其他方法取得了可比的结果。

图片

Fig. 6. Visual representations of both original and synthesized images for the BloodMNIST dataset in the latent space, utilizing various methods for the synthesis step usingUMAP (McInnes et al., 2018). We aim to show that the synthetic data generated via CCSI has the closest distribution with the original ones compared with alternatives. Wepresent the latent space representation of original samples from previous classes: the initial two classes (1 and 2), and current classes: the two most recently added classes (7 and8in the final task, using circle markers (∙). In addition, we showcase synthesized samples for the initial two classes, represented by star markers (⋆), which serve as exemplarsof original samples that are no longer available

图6. 使用UMAP(McInnes等人,2018)在潜在空间中可视化BloodMNIST数据集的原始图像和合成图像,采用各种方法进行合成步骤。我们旨在展示通过CCSI生成的合成数据与原始数据相比分布最接近。我们展示了来自先前类别的原始样本的潜在空间表示:初始两个类别(1和2),以及当前类别:最终任务中最近添加的两个类别(7和8),使用圆形标记(∙)。此外,我们展示了初始两个类别的合成样本,使用星形标记(⋆)表示,这些样本作为不再可用的原始样本的典范。

Table

图片

Table 1Class division for MedMNIST and Heart Echo datasets. In each task, we introducedifferent classes than previously learned tasks. Our goal is to have a model performingwell in all of the introduced classes.

表1MedMNIST和心脏回声数据集的类别划分。在每个任务中,我们引入了与先前学习任务不同的类别。我们的目标是让模型在所有引入的类别中表现良好。

图片

Table 2Conceptual comparison of CCSI and state-of-the-art class incremental learning methods. CCSI is a data-free approach thatsynthesizes data without pre-training using additional data. Moreover, we leverage the synthesized data to retain the memoryof previous classes, address inter-task confusion, and overcome task-recency bias.

表2CCSI与最先进的类别增量学习方法的概念比较。CCSI是一种无数据的方法,通过合成数据而无需使用额外数据进行预训练。此外,我们利用合成数据保留对先前类别的记忆,解决任务间混淆问题,并克服任务最近性偏差。

图片

图片

Table 3Testing accuracies of final task over MedMNIST and Heart Echo datasets compared with data-free baselines of class-incremental learning. CCSI shows consistently higher accuracy,up to 51% increase compared to the state-of-the-art data-free methods.

表3MedMNIST和Heart Echo数据集上最终任务的测试准确率,与无数据类别增量学习基线方法的比较。CCSI显示出始终更高的准确率,相较于最先进的无数据方法提高了高达51%。

图片

Table 4Testing accuracies of final task over MedMNIST and Heart Echo datasets compared with non-data-free baselines of class-incremental learning.

表4MedMNIST和Heart Echo数据集上最终任务的测试准确率,与非无数据类别增量学习基线方法的比较。

图片

Table 5Testing accuracy of ablation studies done on different configurations of the proposed framework. These experiments are divided into two maincategories: (1) Modifications over the synthesis Step; (2) Modifications over the training Step.

表5对所提出框架不同配置进行消融研究的测试准确率。这些实验分为两大类:(1) 对合成步骤的修改;(2) 对训练步骤的修改。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/46139.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

中间件——Kafka

两个系统各自都有各自要去做的事,所以只能将消息放到一个中间平台(中间件) Kafka 分布式流媒体平台 程序发消息,程序接收消息 Producer:Producer即生产者,消息的产生者,是消息的入口。 Brok…

[Vulnhub] Sedna BuilderEngine-CMS+Kernel权限提升

信息收集 IP AddressOpening Ports192.168.8.104TCP:22, 53, 80, 110, 111, 139, 143, 445, 993, 995, 8080, 55679 $ nmap -p- 192.168.8.104 --min-rate 1000 -sC -sV PORT STATE SERVICE VERSION 22/tcp open ssh OpenSSH 6.6.1p1 Ubuntu 2ubuntu2 …

在RHEL9.4上启用SFTP服务

FTP存在的不足: 明文传输 FTP传输的数据(包括用户名、密码和文件内容)都是明文的,这意味着数据可以被网络上的任何人截获并读取。没有内置的加密机制,容易受到中间人攻击。 被动模式下的端口问题 FTP的被动模式需要…

读人工智能全传12人工智能导致的问题1

1. 人工智能会导致什么问题 1.1. 人工智能是一门通用技术:它的应用仅仅受限于我们的想象 1.1.1. 所有的技术都可能产生意想不到的效果,未来几十年甚至几百年内都存在可能性 1.2. 所有的技术都可能被滥用 1.2.1. 我们的无名氏祖先率先用上了火&#x…

编写商品列表和商品编辑和商品新增页面

addvue <template><!-- 传过来的id --> <!-- {{ $route.query.id }} --> <el-formref"FormRef"style"max-width: 600px":model"FormData":rule"rules"status-iconlabel-width"auto"class"demo-r…

Golang | Leetcode Golang题解之第232题用栈实现队列

题目&#xff1a; 题解&#xff1a; type MyQueue struct {inStack, outStack []int }func Constructor() MyQueue {return MyQueue{} }func (q *MyQueue) Push(x int) {q.inStack append(q.inStack, x) }func (q *MyQueue) in2out() {for len(q.inStack) > 0 {q.outStack…

【web】-sql注入-login

根据网址提示打开如图&#xff1a; 查看源代码前台并没有过滤限制、扫描后台也没有发现特殊文件。看到标题显示flag is in database&#xff0c;尝试sql注入。 由于post,bp抓包如下&#xff1a; 运行python sqlmap.py -r 1.txt --dump 获取flag 42f4ebc342b6ed4af4aadc1ea75f…

昇思25天学习打卡营第20天 | 基于MindNLP+MusicGen生成自己的个性化音乐

基于MindNLPMusicGen生成个性化音乐 实验简介 MusicGen是Meta AI提出的音乐生成模型&#xff0c;能够根据文本描述或音频提示生成高质量音乐。该模型基于Transformer结构&#xff0c;分为三个阶段&#xff1a;文本编码、音频token预测和音频解码。此实验将演示如何使用MindSpo…

搞定ES6同步与异步机制、async/await的使用以及Promise的使用!

文章目录 同步和异步async/awaitPromisePromise的概念 同步和异步 ​ 同步&#xff1a;代码按照编写顺序逐行执行&#xff0c;后续的代码必须等待当前正在执行的代码完成之后才能执行&#xff0c;当遇到耗时的操作&#xff08;如网络请求等&#xff09;时&#xff0c;主线程会…

数据结构(初阶2.顺序表)

文章目录 一、线性表 二、顺序表 2.1 概念和结构 2.2 分类 2.2.1 静态顺序表 2.2.2 动态顺序表 2.3动态顺序表的实现 1.SeqList.h 2.SeqList.c 打印顺序表 初始化 销毁 增容 尾插 头插 在指定位置之前插入数据 尾删 头删 在指定位置删除数据 3.test.c 一、线性表 线性表&#…

如何解决VMware 安装Windows10系统出现Time out EFI Network...

一、问题描述 使用VMware 17 安装windows10出现如下图所示Time out EFI Network… Windows10镜像为微软官方下载的ISO格式镜像&#xff1b; 二、问题分析 VMware 17 默认的固件类型是UEFI(E)&#xff0c;而微软官网下载的Windows10 ISO格式镜像不支持UEFI(E)&#xff0c;支…

【中项第三版】系统集成项目管理工程师 | 第 4 章 信息系统架构④ | 4.7

前言 第4章对应的内容选择题和案例分析都会进行考查&#xff0c;这一章节属于技术相关的内容&#xff0c;学习要以教材为准。本章分值预计在4-5分。 目录 4.7 安全架构 4.7.1 安全威胁 4.7.2 定义与范围 4.7.3 整体架构设计 4.7.4 网络安全架构设计 4.7.5 数据库系统安…

C++基础语法:STL之迭代器

前言 "打牢基础,万事不愁" .C的基础语法的学习 引入 C基础:STL概述-CSDN博客 上一篇梳理了一些同STL有关的概念.同时对理解迭代器需要的类包含,内部类,链表等内容做了分析,这篇从<C Prime Plus> 6th Edition(以下称"本书")的P684,大标题16.4泛型编…

C++继承和多态

目录 继承 继承的意义 访问限定符、继承方式 赋值兼容规则&#xff08;切片&#xff09; 子类的默认成员函数 多继承 继承is a和组合has a 多态 什么是多态 形成多态的条件 函数重载&#xff0c;隐藏&#xff0c;重写的区别 override和final 多态原理 继承 继承的…

Algorithms,最全的Python算法仓库!

学习编程、学习Python最好的方式就是练习&#xff0c;哪怕是新手&#xff0c;只要不断地敲代码输出&#xff0c;肯定会有神效。 Python的练手项目很多&#xff0c;特别是Github上&#xff0c;建议不管新手、老司机都去看看。 这里推荐给大家一个Gitthub上练习的项目&#xff…

[C++]——同步异步日志系统(5)

同步异步日志系统 一、日志消息格式化设计1.1 格式化子项类的定义和实现1.2 格式化类的定义和实现 二、日志落地类设计2.1 日志落地模块功能实现与测试2.2 日志落地模块功能功能扩展 一、日志消息格式化设计 日志格式化模块的作用&#xff1a;对日志消息进行格式化&#xff0c…

深度学习工具和资源推荐:全面指南

今天我们来聊聊深度学习的工具和资源。要学好深度学习&#xff0c;除了理论知识&#xff0c;还需要掌握一些强大的工具和找到好的资源。以下是我在学习过程中发现的一些非常有用的工具和资源&#xff0c;希望对你们有帮助。 目录 工具推荐 1. Python编程语言 2. TensorFlow…

接口测试返回参数的自动化对比!

引言 在现代软件开发过程中&#xff0c;接口测试是验证系统功能正确性和稳定性的核心环节。接口返回参数的对比不仅是确保接口功能实现的手段&#xff0c;也是测试过程中常见且重要的任务。为了提高对比的效率和准确性&#xff0c;我们可以通过自动化手段实现这一过程。本文将…

WGCLOUD登录页面支持输入验证码吗

支持的 v3.5.3版本开始&#xff0c;WGCLOUD支持在登录页面配置输入验证码&#xff0c;我们可以根据自己的场景需要&#xff0c;配置是否在登录页面显示验证码&#xff0c;如下说明 登录页面添加验证码说明 - WGCLOUD

[超级详细系列]ubuntu22.04配置深度学习环境(显卡驱动+CUDA+cuDNN+Pytorch)--[3]安装cuDNN与Pytorch

本次配置过程的三篇博文分享分别为为&#xff1a; [超级详细系列]ubuntu22.04配置深度学习环境(显卡驱动CUDAcuDNNPytorch)--[1]安装显卡驱动 [超级详细系列]ubuntu22.04配置深度学习环境(显卡驱动CUDAcuDNNPytorch)--[2]安装Anaconda与CUDA [超级详细系列]ubuntu22.04配置深…