神经网络笔记:感知机+激活函数+全连接神经网络简介

神经网络

单层神经网络

  • 感知机模型 + 激活函数输出

感知机

  • MP模型

激活函数

把神经网络模型线性输出变为非线性输出

常用激活函数

sigmoid
  • sigmoid(x) = 1 / (1 + exp(-x))
  • 适用于预测概率作为输出的模型
  • 优点
    • 把输入值压缩到0-1之间
    • 物理意义上最接近生物神经元
  • 缺点
    • 存在梯度消失问题
    • 梯度过早消失,进而导致收敛速度较慢
ReLU
  • ReLU(x) = max( 0, x )
  • 优点
    • 解决了梯度消失问题
    • 计算速度非常快
  • 缺点
    • 不是以0为均值的函数
    • 某些神经元可能永远不会被激活
tanh
  • tanh(x) = ( exp(x) - exp(-x) ) / ( exp(x) ± exp(-x) )
  • 优点
    • 是以0为均值的函数
    • 输出范围-1到1
  • 缺点
    • 存在梯度消失问题

数据预处理

归一化 Normalization 或 Min-Max Scaling

归一化常用公式
  • (x - min(x)) / (max(x) - min(x))
  • x / max(x)
归一化指数函数 Softmax
  • 把数据转为0-1之间的数值
  • Softmax(x) = exp(x) / sum( exp(c1) + exp(c2) + … )

One-Hot编码:一位有效编码

常用的对分类变量进行编码的方法

自定义分类类型

例如猫、狗,one-hot设定:

  • [0, 1]:表示猫
  • [1, 0]:表示狗

全连接神经网络

网络结构

  • 输入层
  • 隐藏层
  • 输出层

前向传播

  • 输入层–>…–>输出层

损失函数

  • 均方差损失函数
  • 交叉熵损失函数

反向传播

  • 前向传播–>loss–>反向传播(更新参数)
  • 链式法则

梯度下降算法

  • 一种优化算法

全连接-矩阵相乘

  • 神经网络运算==矩阵相乘
  • 更好的表示能力影响点
    • 更深的层数
    • 更多的神经元节点

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/836829.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenBayes 一周速览|SegmentAnything 分割万物教程上新、MiniGemini 多模态模型天花板一键 input

公共资源速递 This Weekly Snapshots ! 5 个数据集: * SAOKE 人工标注数据集 * AG News 新闻文章数据集 * VQA-HAT 智能问答数据集 * EQA 问答数据集 * HotpotQA 问答数据集 1 个模型: * MiniGemini-34B-HD 2 个教程: …

什么是 RAG,大模型微调,向量数据库的应用场景

原来向量数据库的应用场景是这样的!按照我的理解,大模型其实是没有学习能力的,它就相当于一个真值表或者矩阵,给它输入,它就输出,在使用它的过程中它不会自己训练自己,改变既有的参数&#xff0…

IPC通信中间件综述

IPC通信中间件综述 DBus(Desktop Bus)FDBusDDS(Data Distribution Service)Fast DDS(Fast Data Distribution Service)OpenDDS(Open Data Distribution Service)IceoryxCyberRTZeroM…

亲测-原生android 跳转到flutter页面

当前状态: 原生android 和flutter都能跑通 android studio 版本2023.3.1 解决方式 1.新建flutter项目 点击new flutter 点next 点project type 选module 2(如果快速的话,此处将 flutter的lib和assets考过来)也可以后面在搞 且将pubspec.yaml …

3W 3KVAC隔离 宽电压输入 AC/DC 电源模块——TP03AL系列

TP03AL系列产品具有交直流两用、输入电压范围宽、高可靠性、低功耗、安全隔离等优点。广泛适用于工控和电力仪器仪表、智能家居等对体积要求苛刻、并对EMC 要求不高的场合,如果需要应用于电磁兼容恶劣的环境下必须添加EMC 外围电路。

栈结构(详解)

1.栈的概念 栈:一种特殊的线性表,其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶,另一端称为栈底。栈中的数据元素遵守后进先出LIFO(Last In First Out)的原则。 压栈&am…

java super关键字

在Java中,super是一个关键字,用于引用父类的成员(字段、方法、构造方法)。主要有两种用法: 1. 调用父类的构造方法:在子类的构造方法中,使用super()调用父类的构造方法。如果子类没有显式地调用…

立聪堂助听器29周年暨第九届助听使者活动圆满落幕

5月10日对于立聪堂来说是个特别的日子,这家专注于听力健康领域的公司迎来了29周年。同时,立聪堂第九届助听使者代表及其家人也受邀参观立聪堂南京总部,共庆29周年。 易被忽视的老人听力健康 大数据显示,我国65岁以上老人&#x…

SQLZOO:The JOIN operation

数据表:game-gaol-eteam game idmdatestadiumteam1team210018 June 2012National Stadium, WarsawPOLGRE10028 June 2012Stadion Miejski (Wroclaw)RUSCZE100312 June 2012Stadion Miejski (Wroclaw)GRECZE100412 June 2012National Stadium, WarsawPOLRUS... goal …

【重装系统】U盘制作软件——Rufus

Rufus 是一款格式化和创建 USB 启动盘的辅助工具。 本软件适用于以下场景: 需要将可引导 ISO (Windows、Linux、UEFI 等) 刻录到 USB 安装媒介的情况 需要处理未安装操作系统的设备的情况 需要在 DOS 环境下刷写 BIOS 或其他固件的情况 需要运行低级工具的情况 官…

WebSocket建立网络连接——小案例

WebSocket是一种实现全双工通信的网络技术标准,它允许在用户的浏览器和服务器之间进行持久的、双向的通信。以下是对WebSocket的具体介绍: 实时性:与传统HTTP请求相比,WebSocket提供了更高效的实时数据交换方式。一旦建立连接&am…

数据可视化(九):Pandas北京租房数据分析——房源特征绘图、箱线图、动态可视化等高级操作

Tips:"分享是快乐的源泉💧,在我的博客里,不仅有知识的海洋🌊,还有满满的正能量加持💪,快来和我一起分享这份快乐吧😊! 喜欢我的博客的话,记得…

【Golang】基于 excelize 的 Excel 工具包

目录 1. 安装excelize库2. Excel工具代码2.1 初始化Excel对象2.2. 常用操作2.2.1 设置窗格冻结2.2.2 设置工作表名称2.2.3 创建工作表2.2.4 设置单元格值2.2.5 设置单元格样式2.2.6 合并单元格2.2.7 设置行高和列宽 3.使用示例4.完整代码5.总结 在日常的开发中,我们…

操作抖音小店亏钱?是哪方面导致的?赶紧自查!

大家好,我是电商小V 我也经常去浏览网上的一些帖子,一些帖子就是说开抖音小店运营一年多了不出单,不转化,还亏钱,做不起来,很多人来问我,做抖音小店是不是不能赚钱? 关于这个问题&am…

04、 .java程序用 editplus 工具打开的过程及在 editplus 工具中配置 java/javac 命令的过程

EditPlus 工具的使用: 1、安装 editplus 工具的过程:其一、安装包地址:其二、安装步骤: 2、使用 editplus 工具打开 .java 程序的过程:其一、修改默认打开 .java 的工具:其二、效果展示: 3、在 …

安全测试工具BurpSuite安装和使用

1.安装 下载地址:https://pan.baidu.com/s/1YJbZGAfVKLsQmNeZYZXEeQ 提取码: yyds 打开cmd,运行以下指令,打开keygen界面: java -jar "C:\soft\BurpSuite v2.1\burp-loader-keygen-2.jar" 点击Run按钮,弹…

flash attention的CUDA实现探讨-V3

之前关于flash attention的实现参考添加链接描述,添加链接描述,添加链接描述 lash attention的数学变换:给定三个矩阵Q,K,V,形状都是[N,d],计算S=QK.T,然后针对dim=1做softmax,然后和V继续做矩阵乘法得到形状为[N,d]的输出矩阵O,即O=softmax(QK.T,dim=1)V。 下面本人的…

【网络】tcp如何保证可靠 总结

1.确认应答机制 在一方收到另一方的数据报后需要返回ack数据报,以此让对方知道自己收到了该数据报,防止通信双方认知不一致。 2.序号和确认序号 TCP通过序列号和确认号来保证数据的有序传输。每个TCP数据包都有一个唯一的序列号,接收方通过…

01-02-1

1、day10作业 使用的代码 #include<stdio.h> void change(int* i) {*i(*i) / 2; } int main() {int i 0;scanf("%d", &i);change(&i);printf("%d", i);return 0; } ​ ​ 2、day11作业 使用的代码 #include<stdio.h> #include<…

【HIVE】(04)学会理解Hive支持的存储数据格式

系列文章回顾 【HIVE】(01)学会使用JOIN语句 【HIVE】(02)学会理解explain 【HIVE】(03)学会hive中的压缩和解压进行资源优化 【HIVE】(04)学会如何优化hive任务的mapper和reducer个数 文章目录 一.2大类存储方式二.TextFile格式三.Orc格式四.Parquet格式五.存储和压缩结合 Hiv…