2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]

机器学习中的特殊函数

  • Sigmoid
  • softplus函数
  • tanh
  • ReLu(x)
  • Leaky-Relu
  • ELU
  • SiLu/ Swish
  • Mish
  • 伽玛函数
  • beta函数
  • Ref

Sigmoid

在这里插入图片描述

在这里插入图片描述

值域: 【0,1】
定义域:【负无穷,正无穷】
特殊点记忆: 经过 [0 , 0.5]
关键点[0,0.5]处的导数是 0.025

相关导数:
在这里插入图片描述

softplus函数

在这里插入图片描述

值域: (0,无穷大】
定义域:【负无穷,正无穷】
特殊点记忆: 经过 [0 , 1]
关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值
在这里插入图片描述
其中:

在这里插入图片描述

相关的导数性质:
在这里插入图片描述
关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值

在这里插入图片描述
在这里插入图片描述

tanh

tanh ⁡ ( x ) = e x − e − x e x + e − x \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} tanh(x)=ex+exexex

值域: 【-1,1】
定义域:【负无穷,正无穷】
特殊点记忆: 经过 [0 , 0]
关键点[0,0]处的导数是 1
在这里插入图片描述
相关导数:
d d x tanh ⁡ ( x ) = 1 − tanh ⁡ 2 ( x ) \frac{d}{dx}\tanh(x) = 1 - \tanh^2(x) dxdtanh(x)=1tanh2(x)
关键点[0,0]处的导数是 1

ReLu(x)

这个很简单
m a x ( 0 , x ) max(0,x) max(0,x)

在这里插入图片描述

Leaky-Relu

m a x ( α ∗ x , x ) max(\alpha * x, x) max(αx,x)

在这里插入图片描述

α = 0.1 \alpha = 0.1 α=0.1时:
在这里插入图片描述

ELU

在这里插入图片描述
ELU是结合了sigmoid的左侧软饱和性和ReLU的右侧无饱和性而提出的一种新的激活函数。从上面图中不难看到这一特点。右侧线性部分使得ELU可以缓解梯度消失问题,而左侧软饱和性能让ELU对输入变化或噪声更鲁棒。而且ELU的输出均值接近于0,所以没有严重的偏移现象,所以收敛速度更快。但是计算复杂了些
在这里插入图片描述

SiLu/ Swish

SiLU(Sigmoid Linear Unit)函数的 LaTeX 表达式是:

S i L U ( x ) = x ⋅ σ ( x ) SiLU(x) = x \cdot \sigma(x) SiLU(x)=xσ(x)

其中, σ ( x ) \sigma(x) σ(x) 表示 sigmoid 函数,即 σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1+e^{-x}} σ(x)=1+ex1

SiLU 函数的值域是 ( − ∞ , ∞ ) (-\infty, \infty) (,),因为该函数在输入值 x x x 的正负范围内都有输出。

SiLU 函数的导数表达式是:

( S i L U ( x ) ) ′ = σ ( x ) + x ⋅ σ ( x ) ⋅ ( 1 − σ ( x ) ) (SiLU(x))' = \sigma(x) + x \cdot \sigma(x) \cdot (1 - \sigma(x)) (SiLU(x))=σ(x)+xσ(x)(1σ(x))

这里的导数表达式是基于 SiLU 函数的定义和求导法则计算得出的。

需要注意的是,SiLU 函数是一种较为新型的激活函数,与传统的 sigmoid 和 ReLU 函数相比,它在某些任务上可能具有更好的性能表现。

相对于ReLU函数,SiLU函数在接近零时具有更平滑的曲线,并且由于其使用了sigmoid函数,可以使网络的输出范围在0和1之间。这使得SiLU在一些应用中比ReLU表现更好,例如在语音识别中使用SiLU比ReLU可以取得更好的效果。

在这里插入图片描述
导数:
在这里插入图片描述

Mish

Mish激活函数的LaTeX表达式是:

M i s h ( x ) = x ⋅ tanh ⁡ ( ln ⁡ ( 1 + e x ) ) Mish(x) = x \cdot \tanh(\ln(1 + e^x)) Mish(x)=xtanh(ln(1+ex))

Mish激活函数的值域是 ( − ∞ , ∞ ) (-\infty, \infty) (,),与SiLU函数类似,它在输入值 x x x的正负范围内都有输出。

关于Mish激活函数的导数,其LaTeX表达式相对复杂。根据导数的定义和链式法则,我们可以推导出:

( M i s h ( x ) ) ′ = tanh ⁡ ( ln ⁡ ( 1 + e x ) ) + 4 e x ( 1 + e x ) 2 (Mish(x))' = \tanh(\ln(1 + e^x)) + \frac{4e^x}{(1 + e^x)^2} (Mish(x))=tanh(ln(1+ex))+(1+ex)24ex

需要注意的是,Mish激活函数是一种相对较新的激活函数,被提出用于改善神经网络的性能。它具有一些有趣的特性,例如非单调性和自门控性质,这使得它在某些任务上可能具有更好的性能表现。与SiLU相比,Mish在一些实验中被证明能够取得更好的结果。

在这里插入图片描述

导数图:
在这里插入图片描述

引用原始论文,Mish 是“通过系统分析和实验发现并使 Swish 更加有效”。 就目前来说Mish可能是
最好的激活函数,但请原始论文仅在计算机视觉任务上对其进行了测试。

伽玛函数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

beta函数

在这里插入图片描述

Ref

huaxiaozhuan

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/179276.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

『VUE3 の 要点摘录』

✅v-model 用法 v-model 原生方法: v-model computed : 更改名字: 多个 v-model 绑定 处理 v-model 修饰符 ✅TS项目报错 1、TypeScript 错误 “Module ‘…index’ has no default export” // tsconfig.json {...."compilerOpt…

备份恢复作业

备份恢复作业: 异机恢复recover database报如下错误: archived log file name/oradata/arch/1_237_1151011666.dbf thread1 sequence237 archived log file name/oradata/arch/2_256_1151011666.dbf thread2 sequence256 unable to find archived log ar…

路径规划型线性dp

题目来源:acwing 275 传纸条 分析:这题和两人同时摘樱桃之类的题一样,一个人从左上角走到右下角,再从右下角走回左上角,相同地点的分数只能得一次(或者不能走相同地点)。这种题统一可以按照两…

大金仓数据库:kingbase学习

kingbase学习 1.简介2. 安装3. 基础使用3.1 客户端连接3.2 表数据测试3.2.1 建表创建字段备注 3.2.2 数据写入测试3.2.2 json测试3.2.2.1 json查询测试3.2.2.2 json修改测试3.2.2.3 json数据迁移测试 4.springboot实战4.1 maven依赖4.2 连接配置4.3 mybatis-plus测试4.4 liquib…

QTextEdit 是 Qt 框架中的一个小部件(Widget),用于显示和编辑多行文本内容

QTextEdit 是 Qt 框架中的一个小部件(Widget),用于显示和编辑多行文本内容。 QTextEdit 提供了一个可编辑的文本区域,可以用于显示和编辑富文本或纯文本。它支持基本的文本格式设置(如字体、颜色、样式等)…

【AI认证笔记】NO.2人工智能的发展

目录 一、人工智能的发展里程碑 二、当前人工智能的发展特点 1.人工智能进入高速发展阶段 2.人工智能元年 三、人工智能高速发展的三大引擎 1.算法突破 2.算力飞跃 3.数据井喷 四、AI的机遇 五、AI人才的缺口 六、行业AI 人工智能算法,万物互联&#xff…

从家暴谈中国女性在社会中的艰难处境

1、引言 2023年8月17日,一部名叫《我经过风暴》的电影悄然上映,引发了我的诸多思考。我研究过很多类似的案例,例如2020年的“拉姆案”、2021年的“禹秀英案”、2022年的“西安家暴事件”、2023年的“重庆杀妻案”…等等。这一系列案件&#…

qInstallMessageHandler的学习

背景:需要做一个日志系统。 把信息重定向到txt文件中。 参考: QT 调试信息如何输出到文件(qDebug/qWarning/qCritical/qFatal)-CSDN博客 Qt 之 qInstallMessageHandler(重定向至文件)-CSDN博客 demo…

Python小技巧:探索函数调用为何加速代码执行

更多资料获取 📚 个人网站:ipengtao.com Python 作为一种解释型语言,其执行速度相对于编译型语言可能会较慢。然而,在Python中,通常观察到代码在函数中运行得更快的现象。这个现象主要是由于函数调用的内部优化和解释…

神器!使用 patchworklib 库进行多图排版真棒啊

如果想把多个图合并放在一个图里,如图,该如何实现 好在R语言 和 Python 都有对应的解决方案, 分别是patchwork包和patchworklib库。 推介1 我们打造了《100个超强算法模型》,特点:从0到1轻松学习,原理、…

整车测试中的UDS诊断

UDS(Unified Diagnostic Services,统一的诊断服务)诊断协议是在汽车电子ECU环境下的一种诊断通信协议。这种通信协议被用在几乎所有由OEM一级供应商所制造的新ECU上面。这些ECU控制车辆的各种功能,包括电控燃油喷射系统&#xff0…

Week-T11-优化器对比试验

文章目录 一、准备环境二、准备数据三、搭建训练网络三、训练模型(1)VSCode训练情况:(2)jupyter notebook训练情况: 四、模型评估 & 模型预测1、绘制Accuracy-Loss图2、显示model2的预测效果 五、总结1…

域名与服务器负载均衡技术学习总结

域名与服务器负载均衡技术学习总结_域名负载均衡-CSDN博客 OSI七层网络模型和TCP/IP四层网络模型的异同_七层模型和四层模型的区别-CSDN博客

C++类与对象(7)—友元、内部类、匿名对象、拷贝对象时编译器优化

目录 一、友元 1、定义 2、友元函数 3、友元类 二、内部类 1、定义 2、特性: 三、匿名对象 四、拷贝对象时的一些编译器优化 1、传值&传引用返回优化对比 2、匿名对象作为函数返回对象 3、接收返回值方式对比 总结: 一、友元 1、定义…

RPC之grpc重试策略

1、grpc重试策略 RPC 调用失败可以分为三种情况: 1、RPC 请求还没有离开客户端; 2、RPC 请求到达服务器,但是服务器的应用逻辑还没有处理该请求; 3、服务器应用逻辑开始处理请求,并且处理失败; 最后一种…

2020年3月2日 Go生态洞察:Go协议缓冲区的新API发布

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

如何轻松将 4K 转换为 1080p 高清视频

由于某些原因,你可能有一些 4K 视频,与1080p、1080i、720p、720i等高清视频相比,4K 视频具有更高的分辨率,可以给您带来更多的视觉和听觉享受。但是,播放4k 视频是不太容易的,因为超高清电视没有高清电视那…

ubuntu重启后下无wifi,蓝牙和飞行模式切换问题

问题: 打开ubuntu后发现wifi没了,图标也找不到,蓝牙打不开,而打开飞行模式后就可以打开蓝牙了,关闭蓝牙就自动打开了飞行模式,这都是什么奇奇怪怪的问题。然后就是重装wifi驱动,无效。之前我也…

线性表之栈

文章目录 主要内容一.栈1.栈的初始化、判空、进栈、出栈和栈顶元素操作代码如下(示例): 2.共享栈3.栈的链式存储结构 总结 主要内容 栈 一.栈 栈是一种数据结构,它是一种只能在一端进行插入或删除操作的线性表。栈的特点是后进先出&#xf…

C#面向对象

过程类似函数只能执行没有返回值 函数不仅能执行,还可以返回结果 1、面向过程 a 把完成某一需求的所有步骤 从头到尾 逐步实现 b 根据开发需求,将某些 功能独立 的代码 封装 成一个又一个 函数 c 最后完成的代码就是顺序的调用不同的函数 特点 1、…