1 概念
在持续学习领域,Task incremental、Domain incremental、Class incremental 是三种主要的学习模式,它们分别关注不同类型的任务序列和数据分布变化。
1.1 Task Incremental Learning (Task-incremental)
任务增量学习,也称为任务增量式学习,是指在这种学习模式下,学习器依次面对不同的任务,每个任务有自己独特的类别集合。在推理时,学习器需要能够识别所有曾经学习过的任务。这种学习模式的挑战在于,学习新任务时可能会对旧任务的知识造成灾难性遗忘。代表性的数据集包括Split MNIST、Split CIFAR-10、Split CIFAR-100。
-
Split MNIST:MNIST数据集被分成多个任务,每个任务包含不同的数字。例如,第一任务为0-1,第二任务为2-3,依此类推。
-
Split CIFAR-10:CIFAR-10数据集被分为多个任务,每个任务包含不同的类别。例如,第一任务为飞机和汽车,第二任务为鸟和猫,依此类推。
-
Split CIFAR-100:CIFAR-100数据集被分为多个任务,每个任务包含不同的类别。例如,前20类作为第一任务,接下来的20类作为第二任务,依此类推。
1.2 Domain Incremental Learning (Domain-incremental)
域增量学习,又称为领域增量学习,是指学习器在面对一系列任务时,每个任务的数据输入分布(domain)可能不同,但任务的类别集合保持一致。这种学习模式模拟了现实世界中数据分布随时间变化的情况。领域增量学习的挑战在于如何适应新数据分布的同时,保持对旧数据的识别能力。代表性的数据集包括Permuted MNIST、Rotated MNIST、VLCS。
-
Permuted MNIST:对MNIST数据集的像素进行随机置换,产生多个任务。每个任务都有相同的类别(0-9),但输入数据的像素排列不同。
-
Rotated MNIST:将MNIST数据集的图像进行不同角度的旋转生成多个任务。例如,0度、15度、30度等。
-
VLCS:包含来自PASCAL VOC 2007, LabelMe, Caltech, 和Sun的数据,用于不同领域的图像分类任务。
1.3 Class Incremental Learning (Class-incremental)
类别增量学习,是指学习器在面对一系列任务时,每个任务引入新的类别,而旧类别不再出现。学习器需要在推理时能够区分所有曾经学习过的类别,但无法访问任务ID。这种学习模式的挑战在于,学习新类别的同时,要避免对旧类别的知识造成灾难性遗忘。代表性的数据集包括iCIFAR-100、iMNIST和CORe50等 。
-
iCIFAR-100(Incremental CIFAR-100):CIFAR-100数据集被分成多批,每一批包含不同的新类别。模型需在学习新类别的同时保留对旧类别的知识。
-
iMNIST(Incremental MNIST):类似于iCIFAR-100,但使用MNIST数据集。模型逐渐学习新的数字类别。
-
CORe50:一个包含50类物体的连续学习基准数据集,用于物体识别任务。