激活函数大汇总（二十六）（Identity附代码和详细公式）

更多激活函数见激活函数大汇总列表

一、引言

欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。在人工智能的世界里，激活函数扮演着不可或缺的角色，它们决定着神经元的输出，并且影响着网络的学习能力与表现力。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，本篇详细介绍两种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。

在接下来的文章中，我们将逐一探讨各种激活函数，从经典到最新的研究成果。

限于笔者水平，对于本博客存在的纰漏和错误，欢迎大家留言指正，我将不断更新。

二、Identity

Identity激活函数，顾名思义，是一种输出直接等于输入的激活函数。这种激活函数在神经网络中的应用相对简单直接，但在某些情况下非常有用。

1. 数学定义

Identity激活函数可以定义为：

$$f(x)=x$$
这里，$\mathbf{x}$是输入值。

2. 函数特性

• 线性：Identity激活函数是完全线性的。这意味着输入值的任何线性变换（比如放大或缩小）都会直接反映在输出上。
• 无饱和区域：Identity函数在整个输入范围内都没有饱和区域，不会像Sigmoid或Tanh激活函数那样，在输入值较大或较小时渐近于某个值。
• 保持特征不变：应用Identity激活函数不会改变输入数据的特征，这在需要保持原始数据特性的场合特别有用。

3. 导数

Identity激活函数的导数非常简单：

$$f^{\prime }(x)=1$$
无论输入值$\mathbf{x}$是多少，导数（即梯度）始终为1。这意味着在反向传播过程中，梯度不会因通过Identity激活函数的层而发生衰减或增强。

4. 使用场景与局限性

使用场景：

• 输出层：在回归任务中，经常使用Identity激活函数作为输出层的激活函数，因为它允许模型预测任意范围内的实数值。
• 深度网络中的特定层：在某些深度网络架构中，可能希望在特定层上保持输入信号的线性特性，这时可以使用Identity激活函数。

局限性：

• 缺乏非线性：Identity激活函数本身不引入非线性，这限制了其在需要模型捕获复杂特征和模式的场合的应用。
• 难以捕获复杂模式：在分类任务和需要模型理解输入数据内在结构的场景中，使用Identity函数可能不足以提供良好的性能。

总的来说，Identity激活函数因其简单性在特定场景下非常有用，特别是在输出层进行回归预测时。然而，由于其线性特性，它在需要网络捕获复杂非线性模式的任务中使用受限。

5.代码实现

这段代码定义了Identity激活函数：

import numpy as npdef identity_activation(x):"""实现Identity激活函数。参数:x -- 输入的数值或NumPy数组。返回:输入x，即不进行任何变换的输出。"""return x# 示例输入
x = np.array([-3, -1, 0, 1, 3])# 应用Identity激活函数
output = identity_activation(x)print("Identity Activation Output:", output)

解释

• 函数定义：identity_activation函数接收一个输入x，这个输入可以是一个单一数值或一个NumPy数组。该函数的目的非常简单：直接返回输入的x，即它不对输入进行任何变换。

• Identity激活函数的特性：Identity激活函数，顾名思义，是一个恒等函数。它的输出完全等同于其输入，没有任何变换。这意味着，对于任何输入x，激活后的输出仍然是x。

• 示例应用：在给定的示例中，输入数组x = np.array([-3, -1, 0, 1, 3])直接通过Identity激活函数处理，结果显示激活函数的输出与输入完全相同。

三、参考文献

• 这个需要参考文献么…直接关于Identity激活函数的专门文献可能不多。
• Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville: 这本书是深度学习领域的经典参考书籍，详细介绍了包括恒等激活函数在内的多种激活函数，以及它们在神经网络设计中的作用。
• Neural Networks and Deep Learning: A Textbook by Charu C. Aggarwal: 这本教科书涵盖了神经网络的广泛主题，包括不同激活函数的讨论。恒等激活函数作为其中的基础部分，用于介绍激活函数的概念。
• Understanding Machine Learning: From Theory to Algorithms by Shai Shalev-Shwartz and Shai Ben-David: 虽然这本书更侧重于机器学习的理论基础，但它也涉及了模型的线性组件，可以帮助理解恒等激活函数在哪些场景下是有用的。