python与机器学习2,激活函数

目录

1 什么是激活函数? activation function

1.1 阈值

1.2 激活函数a(x) ,包含偏置值θ

1.3 激活函数a(x) ,包含偏置值b

2 激活函数1: 单位阶跃函数

2.1 函数形式

2.2 函数图形

2.3 函数特点

2.4 代码实现这个 单位阶跃函数

3 激活函数2  sigmoid函数

3.1 函数形式

3.2 函数图形

3.3 函数特点

3.3.1 是一个连续函数,且是一个渐变的曲线

3.3.2 是连续区间的[0,1] , 可以天然等价视为概率!

3.3.3 计算方便,求导数方便,

3.4 代码实现

3.4.1 sigmoid函数的实现,和 跃迁函数 对比

3.4.2 容易犯的错误

3.4.3 标准函数代码写法


1 什么是激活函数? activation function

一般是神经网络/ 感知机 用到的判断 神经元是否被激活的函数

1.1 阈值

  • 阈值判断
  • 阈值θ 太高神经容易被激活,很容易兴奋
  • 阈值θ 太低神经不容易被激活,不够敏感
  • if/当 w1x1+w2x2+w3x3+.....<θ   不能激活
  • if/当 w1x1+w2x2+w3x3+.....>=θ 才能激活
  • 因此 w1x1+w2x2+w3x3+.....=θ 时,就是刚好可以激活的阈值

1.2 激活函数a(x) ,包含偏置值θ

  • y=a(w1x1+w2x2+w3x3+.....-θ)
  • y=a(w,x,θ)
  • x  是输入的多个信息,w是每个信息的权重,θ是判断是否激活的阈值
  • a(x) 就是激活函数

1.3 激活函数a(x) ,包含偏置值b

  • y=a(w1x1+w2x2+w3x3+.....+b)
  • θ是判断是否激活的阈值 变成了偏置值b

2 激活函数1: 单位阶跃函数

2.1 函数形式

函数形式 y=f(x)

  • 可以说是 分段函数,或 阶跃函数/单位阶跃函数
  • f(x)=0, if x<0
  • f(x)=1, if x>=0

2.2 函数图形

  • 从图形上看,
  • 可以说是 分段函数
  • 或 阶跃函数/单位阶跃函数

2.3 函数特点

  • 设置函数的结果在0-1之间,
  • 天生的符合概率的[0,1] 设计
  • 一个最简单的函数,分段函数图形是直的,但是上下限也是[0,1]

2.4 代码实现这个 单位阶跃函数

import numpy as np
import matplotlib.pyplot as pltplt.figure()
X=np.linspace(-5,5,100)
Y=[]
for x in X:if x<0:y=-1Y.append(y)elif x>=0:y=1Y.append(y)
plt.plot(X,Y)
plt.show

3 激活函数2  sigmoid函数

sigmod函数比较经典

3.1 函数形式

  • sigmod函数形式,y=f(x)
  • f(x)=1/(1+e^(-x))
  • f(x)=1/(1+np.exp(-X))   #python内调用 numpy写法

3.2 函数图形

  • 函数图形是连续的
  • 函数的范围是[0,1]
  • 完全可以假设看作一种概率分布曲线pdf

3.3 函数特点

3.3.1 是一个连续函数,且是一个渐变的曲线

  • 一个比较连续的
  • sigmod函数图形是曲线

3.3.2 是连续区间的[0,1] , 可以天然等价视为概率

  • 上下限也是[0,1]
  • 并且在[0,1] 上是连续的,可以天然视为概率

3.3.3 计算方便,求导数方便,

  • 其中 (e^(-x))' = -e^(-x) ,可以通过复合函数求导推出
  • 为了不同情况下计算方便
  • 因为 e^(-x)' = 
  • f(x)=1/(1+e^(-x))

3.4 代码实现

3.4.1 sigmoid函数的实现,和 跃迁函数 对比

import numpy as np
import matplotlib.pyplot as pltplt.figure()
X=np.linspace(-5,5,100)
Y=[]
y2=1/(1+np.exp(-X))  # 注意写法需要用数组X,用x是错的  y2=1/(1+np.exp(-x))
for x in X:if x<0:y=-1Y.append(y)elif x>=0:y=1Y.append(y)
plt.plot(X,Y)
plt.plot(X,y2)
plt.show


3.4.2 容易犯的错误

  • ValueError: x and y must have same first dimension, but have shapes (100,) and (1,)
  • 因为 X是数组,维度是1,而x只是代表数组X里的某个变量,维度是100
  • y需要和X对应,而不能和x对应

3.4.3 标准函数代码写法

  • 先def sigmoid() 函数,return 1/(1+np.exp(-x)) 
  • 然后y 或者f(x)调用 sigmoid函数
def sigmoid(x):return 1/(1+np.exp(-x))plt.figure()
X=np.linspace(-10,10,100)
y2=sigmoid(X)
# y2=1/(1-np.exp(-x))  #这样不行plt.plot(X,y2)
plt.show


 

激活函数2,另外一种

还有的函数,分段函数图形是直的,但是上下限也是[-1,1]

f(x)=1, if x>0
f(x)=-1, if x<=0
类似的例子比如

1/2Σi=1~n(Yi-f(x)i)^2 ,加上1/2 就是为了微分结果导数更简单
 

激活函数3

如果有2个输出结果,就不适合 感知机的模式了?

最原始的

最小二乘法

最小误差之和

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/231875.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Convolutional Neural Network(CNN)——卷积神经网络

1.NN的局限性 拓展性差 NN的计算量大性能差&#xff0c;不利于在不同规模的数据集上有效运行若输入维度发生变化&#xff0c;需要修改并重新训练网络容易过拟合 全连接导致参数量特别多&#xff0c;容易过拟合如果增加更多层&#xff0c;参数量会翻倍无法有效利用局部特征 输入…

结构型设计模式(三)享元模式 代理模式 桥接模式

享元模式 Flyweight 1、什么是享元模式 享元模式的核心思想是共享对象&#xff0c;即通过尽可能多地共享相似对象来减少内存占用或计算开销。这意味着相同或相似的对象在内存中只存在一个共享实例。 2、为什么使用享元模式 减少内存使用&#xff1a;通过共享相似对象&#…

汽车UDS诊断——SecureDataTransmission 加密数据传输(0x84)

诊断协议那些事儿 诊断协议那些事儿专栏系列文章,本文介绍诊断和通讯管理功能单元下的84服务SecureDataTransmission,在常规诊断通信中,数据极易被第三方获取,所以在一些特殊的数据传输时,标准定义了加密数据传输的服务。 简而言之,就是在发送诊断数据时,发送方先把数…

leetCode算法—7. 整数反转

给你一个 32 位的有符号整数 x &#xff0c;返回将 x 中的数字部分反转后的结果。 如果反转后整数超过 32 位的有符号整数的范围 [−231, 231 − 1] &#xff0c;就返回 0。 假设环境不允许存储 64 位整数&#xff08;有符号或无符号&#xff09;。 示例 1&#xff1a; 输入…

fragstats:景观指数的时间序列分析框架

作者&#xff1a;CSDN _养乐多_ 本文将介绍景观指数的时间序列分析计算的软件使用方法和 python 代码&#xff0c;该框架可用于分析景观指数时间序列图像的趋势分析、突变分析、机器学习&#xff08;分类/聚类/回归&#xff09;、相关性分析、周期分析等方面。 文章目录 一、…

智能优化算法应用:基于人工电场算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于人工电场算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于人工电场算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.人工电场算法4.实验参数设定5.算法结果6.…

C#连接数据库40错误

与 SQL Server 2012 建立连接时出现与网络相关的或特定于实例的错误。_server sql2012数据库建立连接时出现与网络相关的或特定于实例的错误-CSDN博客

04-Revision和流量管理

1 Revision 关于Revision 应用程序代码及相关容器配置某个版本的不可变快照KService上的spec.template的每次变动&#xff0c;都会自动生成一个新的Revision通常不需要手动创建及维护 Revision的使用场景 将流量切分至不同版本的应用程序间&#xff08;Canary Deployment、Blu…

MySQL查询语句基础解析

一般查询&#xff1a; ## 直接查询 语法&#xff1a;select 字段 from 表名&#xff1b; 举例&#xff1a;select name, age from student; 解析&#xff1a;从 student 表中查询 name 与 age## 条件查询 语法&#xff1a;select 字段 from 表名 where 条件&#xff1b; 举例&…

静态路由及动态路由

文章目录 静态路由及动态路由一、静态路由基础1. 静态路由配置2. 负载分担3. 路由备份4. 缺省路由5. 静态路由实操 二、RIP 动态路由协议1. RIP 协议概述2. RIP 协议版本对比2.1 有类路由及无类路由 3. RIP 路由协议原理4. RIP 计时器5. 度量值6. 收敛7. 示例 静态路由及动态路…

Kafka基本原理及使用

目录 基本概念 单机版 环境准备 基本命令使用 集群版 消息模型 成员组成 1. Topic&#xff08;主题&#xff09;&#xff1a; 2. Partition&#xff08;分区&#xff09;&#xff1a; 3. Producer&#xff08;生产者&#xff09;&#xff1a; 4. Consumer&#xff08;…

使用TensorRT对Yolov5进行部署【基于Python】

如果还未配置TensorRT&#xff0c;请看这篇博文&#xff1a;Win11下TensorRT环境部署 这里使用TensorRT对Yolov5进行部署流程比较固定&#xff1a;先将pt模型转换为onnx&#xff0c;再将onnx模型转为engine&#xff0c;所以在执行export.py时要将onnx、engine给到include。 P…

Linear Regression线性回归(一元、多元)

目录 介绍&#xff1a; 一、一元线性回归 1.1数据处理 1.2建模 二、多元线性回归 2.1数据处理 2.2数据分为训练集和测试集 2.3建模 介绍&#xff1a; 线性回归是一种用于预测数值输出的统计分析方法。它通过建立自变量&#xff08;也称为特征变量&#xff09;和因变…

【Redis】五、Redis持久化、RDB和AOF

文章目录 Redis持久化一、RDB&#xff08;Redis DataBase&#xff09;触发机制如何恢复rdb文件 二、AOF&#xff08;Append Only File&#xff09;三、扩展 Redis持久化 面试和工作&#xff0c;持久化都是重点&#xff01; Redis 是内存数据库&#xff0c;如果不将内存中的数据…

微服务实战系列之ZooKeeper(实践篇)

前言 关于ZooKeeper&#xff0c;博主已完整的通过庖丁解牛式的“解法”&#xff0c;完成了概述。我想掌握了这些基础原理和概念后&#xff0c;工作的问题自然迎刃而解&#xff0c;甚至offer也可能手到擒来&#xff0c;真实一举两得&#xff0c;美极了。 为了更有直观的体验&a…

@Resource 和 @Autowired区别是什么?

Resource 和 Autowired 时&#xff0c;它们都是用于依赖注入的注解&#xff0c;但它们有一些不同之处。 来源&#xff1a; Resource 是Java EE标准的一部分&#xff0c;而且是JDK提供的&#xff0c;不属于Spring框架的注解。它的使用范围更广泛&#xff0c;不仅可以用在Spring中…

uniapp 预览图片

preImg(index){let urls []this.images.map((item,i) > {if(indexi){urls.unshift(item.file_path)}else{urls.push(item.file_path)}})uni.previewImage({urls})}

linux之Samba服务器

环境&#xff1a;虚拟机CENTOS 7和 测试机相通 一、Samba服务器_光盘共享&#xff08;匿名访问&#xff09; 1.在虚拟机CENTOS 7安装smb服务&#xff0c;并在防火墙上允许samba流量通过 2. 挂载光盘 3.修改smb.conf配置文件&#xff0c;实现光盘匿名共享 4. 启动smb服务 5.在…

JVM基础扫盲

什么是JVM JVM是Java设计者用于屏蔽多平台差异&#xff0c;基于操作系统之上的一个"小型虚拟机"&#xff0c;正是因为JVM的存在&#xff0c;使得Java应用程序运行时不需要关注底层操作系统的差异。使得Java程序编译只需编译一次&#xff0c;在任何操作系统都可以以相…

《C++并发编程》《线程管理》

文章目录 一、线程的基本管控1.1发起线程1.2等待线程完成1.3出现异常情况下等待1.4后台运行线程 二、向线程函数传递参数三、转移线程归属权四、运行时选择线程数量五、识别线程六、总结七、参考书籍 一、线程的基本管控 1.1发起线程 线程通过构建std::thread对象而启动&…