KAN: Kolmogorov-Arnold Networks

code：https://github.com/KindXiaoming/pykan

Background

​ 多层感知机（MLP）是机器学习中拟合非线性函数的默认模型，在众多深度学习模型中被广泛的应用。但MLP存在很多明显的缺点：

1. **参数量大：**Transformer中，MLP几乎消耗了所有非嵌入参数。
2. **缺乏可解释性：**在没有后期分析工具的情况下，相较于注意力层通常难以解释。

Novelty

​ 受到Kolmogorov-Arnold 表示定理启发，提出了一种有希望的MLP替代方案，称为Kolmogorov-Arnold Networks(KANs)。

​ MLP将固定的激活函数放在节点(“神经元”)上，而KAN将可学习的激活函数放在边缘(“权重”)上。

​ 对于PDE求解，2x10 的KAN比4x100 MLP精确100倍（10−7 vs 10−5 MSE），参数效率高100倍（$10^2$ vs $10^4$参数）。

Method

Kolmogorov-Arnold表示定理

基本形式：

​ 这个公式仅仅包含两层非线性和少量的隐藏层项（2n+1）。这意味着原始的表示方法虽然理论上是完备的，但在处理实际问题时可能因表达能力受限而不够有效。

​ 本文将把网络泛化到任意宽度和深度，可以增加模型的复杂度和学习能力，使得网络能够更好地逼近和表达各种复杂的函数。

KAN结构

把网络泛化到任意宽度和深度：

激活函数：

​ $c_i$是可训练的。原则上w是多余的，因为它可以被包括到b(x)和spline(x)中。然而，KAN中仍使用了w，以更好地控制激活函数的总体大小。

初始化：

​ 每个激活函数初始化为$spline(x)\approx 0$。w根据Xavier初始化进行初始化。

网格扩展

​ 增加MLP的宽度和深度可以提高性能，但不同大小的MLP训练是独立的，训练这些模型的成本很高。

​ KAN可以先用一个参数较少的模型进行训练，然后通过使其样条网格更精细，将其扩展到具有更多参数的KAN，而不需要从头开始重新训练更大的模型。通过以下公式利用最小二乘法来获得细网格的参数：

简化KAN

​ 从一个足够大的KAN开始，用稀疏性正则化训练它，然后进行修剪。

稀疏化

​ 在训练MLP时通常使用L1范数来鼓励模型的权重向量中有更多的零，从而达到稀疏化的效果。但L1不足以使KAN稀疏化，需要一个额外的熵正则化。

​ 定义每一个激活函数的L1范数为：

​ KAN的每一层的L1范数为所有激活函数的L1范数之和：

​ 定义KAN的每一层的熵为：

​ 总的训练损失为预测损失与所有KAN层的L1和熵正则化之和：

剪枝

​ 对于每个节点来对KAN进行剪枝，定义每个结点的传入和传出分数为：

如果传入和传出的分数都小于0.01，则认为该神经元时不重要的，将其修剪。

符号化

​ 一些激活函数实际上是符号函数（如cos、log等），作者提供了一个接口来将他们设置为制定的符号函数f的形式。但激活函数的输出和输出可能有偏移和缩放，因此从样本中获取预激活值x和后激活值y，并拟合仿射函数$y\approx cf(ax+b)+d$。

人类用户可以通过观察KAN可视化的激活函数，猜出这些符号公式，并将这些激活函数直接设置为该公式，再去拟合仿射函数。通过这样注入人类的归纳偏差或领域知识使得拟合的结果更加精准。

Experiment

神经标度律（scaling law）：KAN比MLP有着更快的标度变化速度。在求解偏微分方程任务中，KANs也展现出更快的收敛速度、达到更低的损失，并有着更陡峭的标度率表现。

**函数拟合：**KAN比MLP更准确，具有更好的Pareto边界

**偏微分方程求解：**在求解泊松方程时，KAN比MLP更准确，敛速度更快，损失更低，并且具有更陡峭的神经标度率表现。

**持续学习：**借助样条设计的局部性天然优势，KAN可以在新数据上实现持续学习，规避了机器学习中存在的灾难性遗忘问题。

**可解释性：**KAN能通过符号公式揭示合成数据集的组成结构和变量依赖性。

人类用户可以与 KANs 交互，使其更具可解释性。在 KAN 中注入人类的归纳偏差或领域知识非常容易。

Limitation

​ KAN最大的瓶颈在于训练速度慢。在参数数量相同的情况下，KAN通常比MLP慢10倍，这需要在未来加以改善。