一个不知名大学生，江湖人称菜狗
original author: Jacky Li
Email : 3435673055@qq.comTime of completion：2024.04.03
Last edited: 2024.04.03代码：GitHub - liangyanshuo/InfLoRA：CVPR'2024 工作 Interference-Free Low-Rank Adaptation for Continual Learning 的正式实现
https://github.com/liangyanshuo/InfLoRA?tab=readme-ov-file
目录
InfLoRA：用于持续学习的无干扰低秩适应
介绍
必要
数据集准备
训练
CIFAR100：
对于 InfLoRA-b5
对于 InfLoRA+CA
ImageNet-R（10 个任务）：
对于 InfLoRA
对于 InfLoRA-b5
对于 InfLoRA+CA
ImageNet-R（20 个任务）：
对于 InfLoRA-b5
ImageNet-R（5 个任务）：
对于 InfLoRA-b5
域名网：
对于 InfLoRA-b5
InfLoRA：用于持续学习的无干扰低秩适应
这是 CVPR 2024 论文“持续学习的无干扰低秩适应”的正式实现。 在本文中，提出了一种新的参数高效持续学习方法，称为无干扰低秩自适应（InfLoRA）。
介绍
持续学习要求模型按顺序学习多个任务。在持续学习中，模型应具有在旧任务上保持其性能的能力（稳定性）和持续适应新任务的能力（可塑性）。最近，参数高效微调 （PEFT） 在持续学习中越来越受欢迎，它涉及冻结预训练模型并注入少量可学习参数以适应下游任务。尽管现有的基于PEFT的持续学习方法与不基于PEFT的学习方法相比表现出了更好的性能，但大多数方法没有考虑如何消除新任务对旧任务的干扰，这阻碍了模型在稳定性和可塑性之间做出良好的权衡。在这项工作中，我们提出了一种新的PEFT方法，称为无干扰低秩适应（InfLoRA），用于持续学习。InfLoRA 注入少量参数来重新参数化预训练的权重，并表明微调这些注入的参数等同于微调子空间内的预训练权重。此外，InfLoRA设计了这个子空间，以消除新任务对旧任务的干扰，在稳定性和可塑性之间做出良好的权衡。实验结果表明，InfLoRA在多个数据集上优于现有的最先进的持续学习方法。
必要
此代码在 PyTorch 中实现，我们在以下环境设置下执行实验：
- 蟒蛇 = 3.8
- 火炬 = 1.10.0
- 火炬视觉 = 0.11.1
- 蒂姆 = 0.6.7
我认为代码可以在其他版本的环境下运行，但我还没有尝试过。
数据集准备
- 创建文件夹
data/ - CIFAR 100：应自动下载
- ImageNet-R：请按照LAE[GitHub - gqk/LAE: A Unified Continual Learning Framework with General Parameter-Efficient Tuning, ICCV 2023 [PyTorch Code]]准备数据集并放入文件夹
data/ - DomainNet：从 Moment Matching for Multi-Source Domain Adaptation 下载，放入文件夹
data/
训练
所有命令都应在项目根目录下运行。目前，该代码针对 1 个 A6000 GPU （48G） 运行。
CIFAR100：
对于 InfLoRA<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config configs/cifar100_inflora.json
</code></span></span></span></span>对于 InfLoRA-b5
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config configs/cifar100_inflorab5.json
</code></span></span></span></span>对于 InfLoRA+CA
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config configs/cifar100_infloraca.json
</code></span></span></span></span>ImageNet-R（10 个任务）：
对于 InfLoRA
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config mimg10_inflora.json
</code></span></span></span></span>对于 InfLoRA-b5
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config mimg10_inflorab5.json
</code></span></span></span></span>对于 InfLoRA+CA
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config mimg10_infloraca.json
</code></span></span></span></span>ImageNet-R（20 个任务）：
对于 InfLoRA<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config mimg20_inflora.json
</code></span></span></span></span>对于 InfLoRA-b5
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config mimg20_inflorab5.json
</code></span></span></span></span>ImageNet-R（5 个任务）：
对于 InfLoRA<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config mimg5_inflora.json
</code></span></span></span></span>对于 InfLoRA-b5
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config mimg5_inflorab5.json
</code></span></span></span></span>域名网：
对于 InfLoRA<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config domainnet_inflora.json
</code></span></span></span></span>对于 InfLoRA-b5
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>python main.py --device "1" --config domainnet_inflorab5.json
</code></span></span></span></span>
![[计算机网络] 当输入网址到网页](http://pic.xiahunao.cn/[计算机网络] 当输入网址到网页)
