【DL经典回顾】激活函数大汇总(二十七)(Bent Identity附代码和详细公式)

激活函数大汇总(二十七)(Bent Identity附代码和详细公式)

更多激活函数见激活函数大汇总列表

一、引言

欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。在人工智能的世界里,激活函数扮演着不可或缺的角色,它们决定着神经元的输出,并且影响着网络的学习能力与表现力。鉴于激活函数的重要性和多样性,我们将通过几篇文章的形式,本篇详细介绍两种激活函数,旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。

在接下来的文章中,我们将逐一探讨各种激活函数,从经典到最新的研究成果。

限于笔者水平,对于本博客存在的纰漏和错误,欢迎大家留言指正,我将不断更新。

二、Bent Identity

Bent Identity激活函数是一种非线性激活函数,它在神经网络中引入轻微的非线性,同时保留了接近恒等函数(Identity function)的特性。这使得它可以用于在模型中引入非线性,而不会过度扭曲数据。

1. 数学定义

Bent Identity激活函数定义为:

f ( x ) = x 2 + 1 − 1 2 + x f(x)=\frac{\sqrt{x^2+1}-1}{2}+x f(x)=2x2+1 1+x
其中, x x x是输入信号。
在这里插入图片描述

2. 函数特性

  • 轻微的非线性:Bent Identity函数在原点附近提供了轻微的非线性变形,随着输入值 x x x的增加,函数趋近于线性。
  • 连续可导:该函数在整个实数域内都是连续且可导的,这一点对于使用基于梯度的优化算法训练神经网络是非常重要的。
  • 非饱和性:与Sigmoid或Tanh激活函数不同,Bent Identity函数不会在输入值很大时饱和,这有助于减少梯度消失问题。

3. 导数

Bent Identity函数的导数为:

f ′ ( x ) = x 2 x 2 + 1 + 1 f^{\prime}(x)=\frac{x}{2 \sqrt{x^2+1}}+1 f(x)=2x2+1 x+1
导数显示了在原点附近,随着 x x x的增大,函数变化率从大于1渐渐趋近于1,这有助于保持梯度的传播。

4. 使用场景与局限性

使用场景

  • 轻度非线性引入:在需要在模型中引入非线性,但又不希望非线性太强时,Bent Identity是一个合适的选择。
  • 改善梯度流:用于减轻梯度消失问题,特别是在深层网络中,可以作为一种补充激活函数来使用。

局限性

  • 计算复杂性:与简单的ReLU或者线性激活函数相比,Bent Identity函数的计算更为复杂,可能会增加模型训练的计算成本。
  • 轻微的非线性可能不足:对于需要强烈非线性以捕捉复杂模式的任务,Bent Identity激活函数可能不足以提供所需的模型复杂度。

总体而言,Bent Identity激活函数提供了一种介于线性和非线性之间的激活机制,适合于那些需要轻微非线性而不希望引入太强非线性效果的应用场景。然而,设计神经网络时需要权衡其带来的计算成本和所需的非线性程度。

5.代码实现

这段代码定义了Bent Identity激活函数:

import numpy as npdef bent_identity(x):"""实现Bent Identity激活函数。参数:x -- 输入的数值或NumPy数组。返回:经过Bent Identity激活的输出。"""return (np.sqrt(x**2 + 1) - 1) / 2 + x# 示例输入
x = np.array([-3, -1, 0, 1, 3])# 应用Bent Identity激活函数
output = bent_identity(x)print("Bent Identity Activation Output:", output)
解释
  • 函数定义bent_identity函数接收一个输入x,可以是单个数值或一个NumPy数组。该函数的目的是对x中的每个元素应用Bent Identity激活函数,产生一个经过非线性变换的输出。

  • Bent Identity激活:Bent Identity函数通过np.sqrt(x**2 + 1) - 1) / 2 + x实现,其中x**2 + 1先确保了表达式在整个实数范围内都是正的,从而可以安全地应用平方根。计算平方根之后,减去1、除以2、并加上原始的x值,这样在x接近0时引入轻微的非线性,而当x的绝对值很大时,函数接近于线性。

  • 示例应用和输出:对于示例输入x = [-3, -1, 0, 1, 3],Bent Identity激活函数的输出显示了在原点附近的轻微非线性变化,以及在远离原点时的接近线性行为。特别是,对于0输入,输出恰好是0,证明了在原点附近的非线性特性。

三、参考文献

  • 鉴于Bent Identity函数相对直观的特性,专门聚焦于它的研究论文或文章可能较少,就不给了。
  • 《深度学习》一书(作者:Ian Goodfellow, Yoshua Bengio, 和 Aaron Courville)提供了对激活函数在神经网络中作用的基础性理解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/755840.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

直观与交互:山海鲸可视化软件与Excel传统表格的对比

作为一名长期使用Excel进行数据处理和分析的用户,最近我尝试了一款名为山海鲸的可视化软件,发现它与Excel传统表格之间存在诸多明显的差异。接下来,我将从个人体验视角出发,谈谈这两种工具的不同之处。 首先,从数据呈…

汇编语言和IBM的关系

一 缺乏汇编的硬件没有灵魂 1964年,在IBM没有发明System 360大型计算机之前,IBM已经发明了很多计算机。如IBM 1952年发布的第一台商用计算机:701计算机。1959年,IBM首次利用晶体管、磁芯存储器、印刷电路技术,发明了小…

家谱系统的app的主要功能介绍

家谱系统的app通常具备一系列功能,这些功能旨在帮助用户更好地记录、管理和分享家族的历史和文化。以下是一些常见的家谱系统app的功能介绍: 家谱查看:用户可以通过app登录自己的账号,查看对应的家谱信息。这包括家族成员的基本信…

组件化开发

一、引言 Vue.js 的组件化开发是其核心特性之一,它允许开发者将复杂的界面拆分为可复用的、独立的、小的组件,从而提高开发效率和代码的可维护性。 二、关键点 1.组件的定义 在components下创建.vue文件timecard.vue用来编辑内容。 文件创建完毕后&am…

Linux Shell中的echo命令详解

Linux Shell中的echo命令详解 在Linux Shell中,echo命令是一个常用的内置命令,用于在终端上显示文本或字符串。它主要用于显示变量的值,创建文件的内容,或者简单地输出一些信息。在本文中,我们将详细探讨echo命令的用…

迷宫问题(c++题解)

题目描述 设有一个 N*N(2<N<10)方格的迷宫&#xff0c;入口和出口分别在左上角和右上角。迷宫格子中 分别放 0 和 1&#xff0c;0 表示可通&#xff0c;1 表示不能&#xff0c;入口和出口处肯定是 0。迷宫走的规则如下所示&#xff1a; 即从某点开始&#xff0c;有八个方…

000_【基础篇】SpringBoot概述

介绍 springboot 是 spring 提供的一个子项目&#xff0c;用于快速构建 spring 应用程序 传统的 SSM 框架要导入很多依赖的 jar 包以及配置很多的配置文件&#xff0c;麻烦、繁琐 springboot 特性 springboot 主要&#xff08;还有其他的一些特性&#xff09;有起步依赖和…

精酿啤酒:开启时尚派对的钥匙

Fendi club啤酒&#xff0c;一个代表着时尚与品味的品牌&#xff0c;如今进入了啤酒市场&#xff0c;推出了名为“Fendi club”的啤酒。这一创新的举措不仅展现了品牌的多元化发展&#xff0c;更为消费者提供了一种全新的时尚生活方式。 Fendi club啤酒不仅仅是一种产品&#x…

柠檬酸行业调研:市场预计将继续保持稳健增长

一、市场趋势 柠檬酸作为一种广泛使用的有机酸&#xff0c;其应用领域包括食品饮料、医药、化妆品和工业清洗等。随着消费者对健康饮食的关注增加&#xff0c;以及工业应用的扩展&#xff0c;柠檬酸的需求有望继续增长。 二、主要竞争者 全球柠檬酸市场的主要生产商包括中国的A…

Java修饰符

目录 1.访问修饰符 2.非访问修饰符 3.应用实例 4.继承与访问控制 5.小结 6.代码示例 public修饰符示例 private修饰符示例 protected修饰符示例 static和final修饰符示例 Java修饰符主要分为访问修饰符和非访问修饰符两大类。通过这些修饰符&#xff0c;可以控制类、…

Linux系统编程

文章目录 1. 文件里面存放了5行数据&#xff0c;使用追加模式打开文件&#xff0c;打印前3行&#xff0c;并写入一行&#xff0c;期间使用ftell打印当前位置。2. 修改文件的权限&#xff0c;注意必须使用命令行参数。3. 使用两种方法打印当前目录。4. 传递一个路径名&#xff0…

【C++庖丁解牛】继承的概念及定义 | 继承中的作用域 | 继承与友元继承与静态成员 | 复杂的菱形继承及菱形虚拟继承

&#x1f341;你好&#xff0c;我是 RO-BERRY &#x1f4d7; 致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f384;感谢你的陪伴与支持 &#xff0c;故事既有了开头&#xff0c;就要画上一个完美的句号&#xff0c;让我们一起加油 目录 1.继承的概念及定义1.1继…

C++ 中this指针归纳

在C中&#xff0c;this指针是一个隐含于每一个非静态成员函数中的特殊指针。它指向调用该成员函数的对象&#xff0c;使得在成员函数中能够访问到当前对象的数据成员和其他成员函数。以下是关于this指针的一些重要信息&#xff1a; 指针类型&#xff1a;this指针是一个指向当前…

【漏洞复现】用友U8Cloud base64 SQL注入漏洞

0x01 产品简介 用友U8 Cloud是用友推出的新一代云ERP&#xff0c;主要聚焦成长型、创新型企业&#xff0c;提供企业级云ERP整体解决方案。 0x02 漏洞概述 用友U8 Cloud 存在SQL注入漏洞&#xff0c;未授权的攻击者可通过此漏洞获取数据库权限&#xff0c;从而盗取用户数据&a…

FFmpeg-- c++实现:pcm和yuv编码

文章目录 流程音频视频 api核心代码audioencoder.haudioencoder.cppvideoencoder.hvideoencoder.cpp pcm和yuv编码为aac和h264&#xff0c;封装为c的AudioEncoder类和VideoEncoder类 流程 音频 初始化音频参数 int InitAAC(int channels, int sample_rate, int bit_rate); 音…

KVM安装-kvm彻底卸载-docker安装Webvirtmgr

KVM安装和使用 一、安装 检测硬件是否支持KVM需要硬件的支持,使用命令查看硬件是否支持KVM。如果结果中有vmx(Intel)或svm(AMD)字样,就说明CPU的支持的 egrep ‘(vmx|svm)’ /proc/cpuinfo关闭selinux将 /etc/sysconfig/selinux 中的 SELinux=enforcing 修改为 SELinux=d…

AI预测福彩3D第13弹【2024年3月19日预测--第3套算法重新开始计算第2次测试】

今天咱们继续对第3套算法进行第2次测试&#xff0c;第3套算法加入了012路的权重。废话不多说了&#xff0c;直接上结果吧~ 最终&#xff0c;经过研判分析&#xff0c;2024年3月19日福彩3D的七码预测结果如下&#xff1a; 百位&#xff1a;0 1 3 4 2 7 9&#xff08;6换9&#x…

LCR144翻转二叉树(力扣简单题,Java,递归+非递归)

目录 题目描述&#xff1a; 递归代码1&#xff1a; 递归代码2&#xff1a; 非递归代码&#xff08;层次遍历&#xff09;&#xff1a; 题目描述&#xff1a; 给定一棵二叉树的根节点 root&#xff0c;请左右翻转这棵二叉树&#xff0c;并返回其根节点。 示例 1&#xff1a;…

synchronized锁升级的过程

在Java中&#xff0c;锁的状态分为四种&#xff0c;分别是无锁状态、偏向锁状态、轻量级锁状态和重量级锁状态 无锁 当一个线程第一次访问一个对象的同步块时&#xff0c;"JVM会在对象头中设置该线程的Thread ID&#xff0c;并将对象头的状态位设置为“偏向锁”。这个过…

mysql 主从复制、读写分离、高可用

MySQL 的主从复制、读写分离和高可用性是数据库架构中常见的概念&#xff0c;它们旨在提高数据库的可靠性、性能和可扩展性。下面我将分别解释这三个概念&#xff1a; 1. MySQL 主从复制 主从复制 是 MySQL 中的一个功能&#xff0c;允许数据从一个 MySQL 数据库服务器&#…