【持续学习系列(八)】《Continual Learning Through Synaptic Intelligence》

一、论文信息

1 标题

Continual Learning Through Synaptic Intelligence

2 作者

Friedemann Zenke, Ben Poole, Surya Ganguli

3 研究机构

Stanford University

二、主要内容

论文探讨了如何在人工神经网络（ANNs）中实现持续学习（continual learning），即在不断变化的数据分布中学习新任务时，如何避免遗忘旧任务。论文指出，尽管深度学习在许多应用领域取得了显著进展，但在数据分布随学习过程变化的领域中表现不佳。相比之下，生物神经网络能够不断适应变化的领域，可能通过复杂的分子机制同时解决多个任务。研究者引入了“智能突触”（intelligent synapses）的概念，将一些生物复杂性引入到ANNs中。每个突触随时间积累与任务相关的信息，并利用这些信息快速存储新记忆，同时不遗忘旧记忆。论文在分类任务的持续学习上评估了这种方法，并展示了它在保持计算效率的同时显著减少了遗忘。

三、相关研究

论文提到了解决灾难性遗忘（catastrophic forgetting）问题的一些先前研究，这些研究可以分为三类：（1）架构方法，通过改变网络结构来减少任务间的干扰；（2）功能方法，通过在目标函数中添加正则化项来惩罚神经网络输入输出函数的变化；（3）结构方法，通过对参数施加惩罚来鼓励它们保持接近旧任务的参数。

四、解决方案

论文提出了一种新的突触框架，其中每个突触都跟踪过去和当前的参数值，并维护一个在线估计，即突触在解决过去遇到的问题时的“重要性”。这种重要性度量可以在训练期间高效且局部地计算，并代表了每个突触对全局损失变化的局部贡献。当任务变化时，通过防止重要突触在未来任务中发生变化来巩固它们，从而主要通过对过去任务不重要的突触进行学习，避免灾难性遗忘。

突触重要性度量（ $ω^µ_k$ ）：
- 突触重要性度量 $ω^µ_k$ 反映了单个突触 $θ_k$ 对任务 $µ$ 目标函数 $L_µ$ 改进的贡献。这个度量是通过在线计算得到的，即在训练过程中不断更新。
- $ω^µ_k$ 的计算基于梯度和参数更新的乘积，即 $ω^µ_k = -∫ gk(t)θ^{\prime} k(t)dt$ ，其中 $g_{k(t)}$ 是梯度， $θ^{′}k(t)$ 是参数更新。
累积重要性度量（ $Ω^µ_k$ ）：
- 累积重要性度量 $Ω^µ_k$ 是突触重要性度量 $ω µ k$ 的累积版本，它代表了突触在解决过去任务时的总贡献。
- $Ω^µ_k$ 的计算涉及到参数更新的路径积分，即 $Ω^µ_k = ∑_{ν<µ}^ων(k)$ 。
突触状态的动态性：
- 突触状态不仅仅是一个单一的权重值，而是一个高维的动态系统，能够随时间积累任务相关的信息。
突触巩固（Consolidation）：
- 在新任务的学习过程中，通过引入一个代理损失函数˜Lµ，来近似先前任务的累积损失函数 $L (ν) （ ν < µ ）$ 。
- 代理损失函数确保在新任务的学习中，对过去重要突触的变化进行惩罚，从而避免灾难性遗忘。
理论分析：
- 文章通过理论分析展示了在特定情况下，Q矩阵（用于计算突触重要性度量的矩阵）可以简化为Hessian矩阵，这表明突触重要性度量与参数空间中的几何结构有关。
实验验证：
- 在实验中，通过在不同的数据集上测试智能突触框架，论文证明了这种方法能够有效地减少遗忘，并在多个任务上保持高准确率。