深度学习03-神经网络01-什么是神经网络?

神经网络的基本概念

  1. 人工神经网络(Artificial Neural Network,ANN)

    • 是一种模仿生物神经网络的计算模型。由多个神经元(或称为节点)组成,这些节点通过不同的连接来传递信息。

    • 每个神经元可以接收来自其他神经元的信息,经过加权和激活函数的处理后,再将信息传递到下一个神经元。

神经元的结构

在人工神经网络中,每个神经元都通过公式来处理输入信息并生成输出。神经元的核心组成部分包括:

  • 输入(Input):来自前一层的输入数据。

  • 加权求和:每个输入都会乘以一个权重(w),加上偏置项(b)。

  • 激活函数(Activation Function):对加权和的结果进行非线性变换,使得模型能够处理复杂的非线性关系。常见的激活函数包括 Sigmoid、ReLU 和 Tanh。

  • 输出(Output):经过激活函数处理后的值,作为传递到下一层的输入。

公式表达: [ f(x) = \text{Activation Function} \left( b + \sum_{i=1}^{n} x_i w_i \right) ]  其中,(x_i) 是输入,(w_i) 是权重,(b) 是偏置项,激活函数 (f(x)) 用来引入非线性。

神经网络的层次结构

  1. 输入层(Input Layer)

    • 输入层的神经元接收外界输入数据。这些数据可以是图像的像素值、文本的词向量等。输入层本身不做任何处理,只是将输入信息传递到下一个层。

  2. 隐藏层(Hidden Layer)

    • 隐藏层是神经网络的中间层,它负责对输入数据进行复杂的特征提取。一个神经网络可以包含多个隐藏层,每个隐藏层都对前一层的输出进行处理。

    • 每个隐藏层的神经元通过权重与前一层的神经元连接,并使用激活函数将线性变换结果转化为非线性输出。

  3. 输出层(Output Layer)

    • 输出层的神经元数量取决于任务类型,例如,回归任务可能只有一个输出节点,而分类任务则有多个输出节点,表示不同的类别。

    • 输出层的输出经过处理后用于做出最终的预测。

全连接神经网络(Fully Connected Neural Network)

我们可以看到一个全连接神经网络的结构示意图:

  • 全连接(Fully Connected):在全连接网络中,当前层的每个神经元都会与下一层的每个神经元进行连接。这意味着每个神经元的输出都会影响下一层所有神经元的输入。

  • 层与层之间的连接:输入层连接到隐藏层,隐藏层再连接到输出层。每一层的输出都作为下一层的输入。

特点:

  1. 前向传播:信息从输入层经过隐藏层逐层传递到输出层。

    • 输入层 -> 隐藏层 -> 输出层。

  2. 每一层之间的全连接:每个神经元都会通过特定的权重连接到下一层的所有神经元,称为全连接层。

  3. 激活函数的作用:隐藏层中通常会使用激活函数引入非线性,使得网络能够学习到复杂的映射关系。

  4. 权重和偏置:每个神经元的输出都取决于输入、权重和偏置,通过反向传播和梯度下降,神经网络会调整这些参数以最小化损失函数。

可以使用这个进行跳转链接到谷歌的神经网络可视化网站

http://playground.tensorflow.org/#activation=relu&batchSize=11&dataset=spiral&regDataset=reg-gauss&learningRate=0.01&regularizationRate=0.1&noise=0&networkShape=7,5,4,3,2&seed=0.54477&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false

从一个神经网络看,这里就是两部分是我们人关注的,第一部分是我们如何进行权重参数的初始化, 第二部分我们怎么选择激活函数。

架构决定了,同一层一般是使用同一个非线性激活函数

深度学习03-神经网络02-激活函数

深度学习03-神经网络02-激活函数-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/54838.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

淘客系统开发之卷轴模式系统源码功能分析

随着互联网技术的快速发展,电商行业不断创新,探索更加高效、有趣的用户参与机制。其中,卷轴模式作为一种新兴的商业模式,以其独特的积分兑换和任务系统,在淘客系统开发中得到了广泛应用。本文将从技术角度,…

C#基础(16)实践:学生成绩管理系统

简介 通过基础部分的学习,我们已经能进行一些实际应用的开发,学生成绩系统我相信是大家基本在大学期间上程序课必定会经历的一个小项目。 这个小项目看上去简单,但是思考量却不少。 这里就不带着大家一步一步讲解了,因为里面涉…

美团测开OC!

大家好,我是洋子,最近测试社区里面的一个25届同学参加秋招,已经拿到美团测开offer,今天来分享一下他的求职经历,文末附面经 他求职目前的进展如下: 互联网大厂:字节,阿里&#xff…

shell配置文件介绍

~/.bash_profile 和 ~/.zshrc 是两种不同的 shell 配置文件,分别用于配置 Bash 和 Zsh shell 的环境。它们的主要功能是初始化 shell 环境、设置环境变量、别名、函数等,并在启动 shell 时自动加载。 1. ~/.bash_profile 作用: ~/.bash_profile 是 Bash shell 的启动配置文件…

Kafka-Manager安装及操作

文章目录 一、kafka-manager介绍二、kafka-manager安装三、Kafka-Manager操作 一、kafka-manager介绍 CMAK (Cluster Manager for Apache Kafka, previously known as Kafka Manager) CMAK (previously known as Kafka Manager) is a tool for managing Apache Kafka cluster…

LeetCode 每周算法 6(图论、回溯)

LeetCode 每周算法 6(图论、回溯) 图论算法: class Solution: def dfs(self, grid: List[List[str]], r: int, c: int) -> None: """ 深度优先搜索函数,用于遍历并标记与当前位置(r, c)相连的所有陆地&…

切换淘宝最新npm镜像源

👨‍⚕️ 主页: gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏:前端工程师 文章目录 一、🌎前言二、🌎切换淘宝最新npm镜像源2.…

[Linux] Linux操作系统 进程的状态

标题:[Linux] Linux操作系统 进程的状态 个人主页:水墨不写bug (图片来源于网络) 目录 一、前置概念的理解 1.并行和并发 2.时间片 3.进程间具有独立性 4.等待的本质 正文开始: 在校的时候,你一定学过《…

9.25度小满一面

1.map的底层 2.unorder_map哈希表有自己实现过吗?哈希冲突 3.poll和epoll和select的优缺点、 4.线程同步机制是用来做什么的? 5.五子棋项目问题-- 算法题: 6.LeetCode.重排链表 给定一个单链表 L 的头节点 head ,单链表 L 表示为: L0…

LeetCode 滑动窗口 最少交换次数来组合所有的 1 II

最少交换次数来组合所有的 1 II 交换 定义为选中一个数组中的两个 互不相同 的位置并交换二者的值。 环形 数组是一个数组,可以认为 第一个 元素和 最后一个 元素 相邻 。 给你一个 二进制环形 数组 nums ,返回在 任意位置 将数组中的所有 1 聚集在一起需…

通信工程学习:什么是VPN虚拟专用网络

VPN:虚拟专用网络 VPN(Virtual Private Network),即虚拟专用网络,是一种通过公共网络(如互联网)建立私有网络连接的技术。以下是关于VPN的详细解释: 一、VPN虚拟专用网络的定义与原理 VPN通过公共网络(通常是互联网)建立一个临时的、安全的连接,形…

JavaEE: 深入探索TCP网络编程的奇妙世界(四)

文章目录 TCP核心机制TCP核心机制四: 滑动窗口为啥要使用滑动窗口?滑动窗口介绍滑动窗口出现丢包咋办? TCP核心机制五: 流量控制 TCP核心机制 上一篇文章 JavaEE: 深入探索TCP网络编程的奇妙世界(三) 书接上文~ TCP核心机制四: 滑动窗口 为啥要使用滑动窗口? 之前我们讨…

stm32单片机个人学习笔记6(EXTI外部中断)

前言 本篇文章属于stm32单片机(以下简称单片机)的学习笔记,来源于B站教学视频。下面是这位up主的视频链接。本文为个人学习笔记,只能做参考,细节方面建议观看视频,肯定受益匪浅。 STM32入门教程-2023版 细…

thinkphp8 从入门到放弃(后面会完善用到哪里写到哪)

thinkphp8 从入门到放弃 引言 thinkphp* 大道至简一、 thinkphp8 安装安装Composerthinkphp 安装命令(tp-项目名称)多应用安装(一个项目不会只有一个应用)安装完文件目录如下本地部署配置伪静态好了项目可以run 二、架构服务(Service&#xf…

【数学分析笔记】第3章第4节闭区间上的连续函数(1)

3. 函数极限与连续函数 3.4 闭区间上的连续函数 3.4.1 有界性定理 【定理3.4.1】 f ( x ) f(x) f(x)在闭区间 [ a , b ] [a,b] [a,b]上连续,则 f ( x ) f(x) f(x)在闭区间 [ a , b ] [a,b] [a,b]上有界。 【证】用反证法,假设 f ( x ) f(x) f(x)在 [ …

Linux文件IO(二)-文件操作使用详解

前篇已经讲过open打开文件的操作使用,本篇文章介绍剩余的wirte、read、close、lseek等操作。 1.write写文件 调用 write 函数可向打开的文件写入数据,其函数原型如下所示(可通过"man 2 write"查看): #inc…

uniApp 解决uniapp三方地图获取位置接口的请求次数限制问题,分别提供 Android 和 iOS 的实现方法(原生插件获取)

以下是使用 UniApp 编写获取位置信息的原生插件步骤,这里分别提供 Android 和 iOS 的实现方法。 一、Android 端实现 创建原生插件模块 在 UniApp 项目目录下创建一个目录,比如 nativeplugins/android/locationPlugin。使用 Android Studio 创建一个 An…

Java项目: 基于SpringBoot+mybatis+maven中小型医院网站管理系统(含源码+数据库+开题报告+毕业论文)

一、项目简介 本项目是一套基于SpringBootmybatismaven中小型医院网站管理系统 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试,eclipse或者idea 确保可以运行! 该系统功能完善、界面美观、…

用户反馈与商品改进:API返回值中的用户声音

在产品设计和迭代过程中,用户反馈是极其宝贵的信息来源。它可以帮助团队了解用户在使用产品时的真实体验、遇到的问题以及改进建议。当通过API(应用程序编程接口)收集和处理用户反馈时,确保API能够有效地返回“用户声音”&#xf…

MySql数据库---子查询,多表连接查询,自连接查询,串联查询,数学函数,字符串函数,时间日期函数,判断分支语句

思维导图 子查询[分步走] 1:一个sql的查询结果当做另一个sql的查询条件. 2:内层的那个sql语句要先执行 -- todo --------------子查询---(嵌套查询)--------------- -- 例如,使用命令完成: -- (1)使用数据库班级db_product3下的商…