激活函数大汇总（四十二）（CosReLU附代码和详细公式）

更多激活函数见激活函数大汇总列表

一、引言

欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。在人工智能的世界里，激活函数扮演着不可或缺的角色，它们决定着神经元的输出，并且影响着网络的学习能力与表现力。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，本篇详细介绍两种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。

在接下来的文章中，我们将逐一探讨各种激活函数，从经典到最新的研究成果。

限于笔者水平，对于本博客存在的纰漏和错误，欢迎大家留言指正，我将不断更新。

二、CosReLU

CosReLU激活函数结合了ReLU（Rectified Linear Unit）和余弦函数的特性。这种激活函数尝试利用ReLU的线性正向激活特性，并通过加入余弦函数来引入额外的非线性和周期性。

1. 数学定义

CosReLU激活函数定义为：

$$f(x)=\max (0,x)+$$