1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU、FReLU、CReLU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：
在这里插入图片描述

2 激活函数

2.1 KAF激活函数

论文链接：Kafnets: kernel-based non-parametric activation functions for neural networks

KAF（Kernel Activation Function）旨在通过引入核函数的概念来提高神经网络的性能。KAF 激活函数的主要思想是将输入通过核函数进行映射，然后再应用标准的激活函数，从而实现更高维度的非线性变换。这可以帮助神经网络更好地建模非线性关系。其数学表达式和数学图像分别如下所示：
$\sum_{i=1}^D \alpha_i \kappa( s, d_i)$
在这里插入图片描述
其中，内核元素的字典 $d_0, \ldots, d_D$ 通过采样修复 $x$ 轴，在 0 附近具有均匀的步长; 用户选择内核函数（例如，高斯，ReLU，Softplus）和内核元素的数量 $D$ 作为超参数。更大的字典导致更具表现力的激活函数和更多的可训练参数; 线性系数通过标准反向传播在每个神经元上独立调整。

优点：

非线性建模： KAF 允许神经网络进行非线性映射，有助于更好地捕获数据中的复杂模式和关系。
核方法：引入核函数的思想可以使神经网络具备核方法的一些优点，如处理高维数据和学习复杂的非线性函数。

缺点：

计算成本：使用核函数意味着需要计算输入的非线性映射，这可能会增加计算成本，尤其是在大规模数据和深层网络中。
超参数调整：选择适当的核函数以及核函数的超参数可能需要一些经验和调整。
解释性： KAF 引入了更复杂的非线性映射，可能会降低模型的解释性。

在某些特殊情况下可能有所应用，尤其是使用核函数时，一般不使用。。。。

2.2 Siren激活函数

论文链接：Implicit Neural Representations with Periodic Activation Functions

Siren（Sinusoidal Representation Network）是隐式神经表示的周期性激活函数。具体来说，它使用正弦作为周期性激活函数。其数学表达式和数学图像分别如下所示：
$\Phi\left(x\right) = \textbf{W}_{n}\left(\phi_{n-1} \circ \phi_{n-2} \circ \dots \circ \phi_{0} \right)(x)+b_n \\ \phi_{i}(x_i)= sin(W_ix_i+b_i)$
在这里插入图片描述
优点：