【深度学习】单层神经网络

单层神经网络

  • 神经元
  • 感知机

1943年,心理学家McCulloch和数学家Pitts共同发表了神经网络的开山之作A Logical Calculus of the Ideas Immanent in Nervours Activity1,提出了神经网络的第一个数学模型——MP模型。该模型也成为了人工神经网络的基础。

神经元

生物神经元有树突、轴突和细胞核等,人工神经元对其进行模拟,每个人工神经元模型包含3个输入、1个输出和两个计算功能:神经元模型

计算公式如下:
z = S g n ( a 1 w 1 + a 2 w 2 + a 3 w 3 ) z = Sgn(a_1w_1+a_2w_2+a_3w_3) z=Sgn(a1w1+a2w2+a3w3)

  • z z z为输出
  • a 1 , a 2 , a 3 a_1, a_2, a_3 a1,a2,a3为输入
  • w 1 , w 2 , w 3 w_1, w_2, w_3 w1,w2,w3为权重
  • SUM 为求和运算
  • S g n Sgn Sgn为取符号函数

如果函数和权重已知,那么就可以通过神经元模型得到相应的结果。但这样的模型是固化的,无法学习。

1949年,心理学家Hebb提出了著名的Hebb定律。他认为人脑神经细胞间连接的强度是可变的,当两个细胞同时兴奋时,它们之间的连接强度就会增加:
Δ w i j = η z i a j \Delta w_{ij} =\eta z_ia_j Δwij=ηziaj

  • Δ w i j \Delta w_{ij} Δwij为节点 i i i到节点 j j j间连接权重的增量;
  • η \eta η为学习率;
  • z i z_i zi为节点 i i i的输出;
  • a i a_i ai为节点 j j j的输入;

尽管神经元模型和Hebb定律早已提出,但是由于计算能力的限制,直到1957年,第一个神经网络才真正诞生。

感知机

1957年,Frank Rosenblatt提出感知机(Perceptron)理论2,并搭建出了首个可以学习的由两个神经元组成的神经网络:
z 1 = S g n ( a 1 w 1 , 1 + a 2 w 1 , 2 + a 3 w 1 , 3 ) z 2 = S g n ( a 1 w 2 , 1 + a 2 w 2 , 2 + a 3 w 2 , 3 ) z_1 = Sgn(a_1w_{1,1}+a_2w_{1,2}+a_3w_{1,3}) \\ z_2 = Sgn(a_1w_{2,1}+a_2w_{2,2}+a_3w_{2,3}) z1=Sgn(a1w1,1+a2w1,2+a3w1,3)z2=Sgn(a1w2,1+a2w2,2+a3w2,3)
示意图如下:
感知机示意图
感知机也成为单层神经网络。其计算方式也可以进一步转化为矩阵乘法的形式:

  • 3个输入可以组成一个输入矩阵:
    a = [ a 1 , a 2 , a 3 ] T \bm{a} = [a_1, a_2, a_3]^T a=[a1,a2,a3]T
  • 2个输出可以组成一个输出矩阵:
    z = [ z 1 , z 2 ] T \bm{z}=[z_1,z_2]^T z=[z1,z2]T
  • 权重为一个两行三列的矩阵:
    W = [ w 1 , 1 , w 1 , 2 , w 1 , 3 w 2 , 1 , w 2 , 2 , w 2 , 3 ] \bm{W}=\begin{bmatrix} w_{1,1}, w_{1,2},w_{1,3} \\ w_{2,1}, w_{2,2}, w_{2,3} \end{bmatrix} W=[w1,1,w1,2,w1,3w2,1,w2,2,w2,3]

感知机只能完成线性分类任务,甚至连简单的XOR(异或)问题都无法解决3。这也导致神经网络的相关研究一度陷入冰河期。


  1. McCulloch, Warren S. and Walter Pitts. “A logical calculus of the ideas immanent in nervous activity.” Bulletin of Mathematical Biology 52 (1990): 99-115. ↩︎

  2. Mulmuley, Ketan. “Computational geometry - an introduction through randomized algorithms.” (1993). ↩︎

  3. Rosenblatt, Frank. “The perceptron: a probabilistic model for information storage and organization in the brain.” Psychological review 65 6 (1958): 386-408 . ↩︎

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/51988.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AXI DMA IP的MICRO DMA模式和去掉SG(Scatter-Gather)功能的模式

AXI DMA IP的MICRO DMA模式和去掉SG(Scatter-Gather)功能的模式确实有一些区别。让我们详细比较这两种模式: 功能复杂度: MICRO DMA模式:设计为更简单、更轻量级的DMA解决方案。无SG模式:仍保留了基本DMA的…

Error hdl vendor backen is missing

跑vcs时报这个错, // hdl vendor backends are defined for VCS,QUESTA,INCA #if defined(VCS) || defined(VCSMX) #include "uvm_hdl_vcs.c" #else #ifdef QUESTA #include "uvm_hdl_questa.c" #else #if defined(INCA) || defined(NCSC) #in…

leetcode-448. 找到所有数组中消失的数字

题目描述 给你一个含 n 个整数的数组 nums ,其中 nums[i] 在区间 [1, n] 内。请你找出所有在 [1, n] 范围内但没有出现在 nums 中的数字,并以数组的形式返回结果。 示例 1: 输入:nums [4,3,2,7,8,2,3,1] 输出:[5,6…

代码随想录算法训练营第十四天| 226.翻转二叉树 101. 对称二叉树 104.二叉树的最大深度 111.二叉树的最小深度

目录 一、LeetCode 226.翻转二叉树思路:C代码 二、LeetCode 101. 对称二叉树思路C代码 二、LeetCode 104.二叉树的最大深度思路C代码 二、LeetCode 111.二叉树的最小深度思路C代码 总结 一、LeetCode 226.翻转二叉树 题目链接:LeetCode 226.翻转二叉树 …

Redis缓存配置

redis缓存 使用redis缓存的原因是因为在可能的高并发环境下,mysql数据库无法承受大量的请求,可能会导致数据库崩溃。而这些请求很大一部分都是查询请求,因此采用redis这样的以内存作为存储数据空间的数据库来存储查询请求的数据,…

springboot静态资源访问问题归纳

以下内容基于springboot 2.3.4.RELEASE 1、默认配置的springboot项目,有四个静态资源文件夹,它们是有优先级的,如下: "classpath:/META-INF/resources/", (优先级最高) "classpath:/reso…

【Android】android,震动一下,50ms,震动等级设置低一点

要在Android中实现震动50ms,并将震动等级设置为低,你可以使用Vibrator类。下面是一个简单的代码示例,展示如何实现这个功能: import android.content.Context; import android.os.VibrationEffect; import android.os.Vibrator

React+Vis.js(03):设置节点形状

文章目录 Vis支持的形状类型代码实现完整代码实现效果Vis支持的形状类型 circle(圆形)box(盒子)dot(点)star(五角星)triangle(三角形)ellipse(椭圆形)triangleDown(倒三角形)diamond(菱形)代码实现 通过shape属性来定义每个节点的形状 const nodes = new vis…

Unified 阻抗控制 architecture、framework、approach

Unified 阻抗控制(Unified Impedance Control)作为一种控制策略,其architecture(架构)、framework(框架)和approach(方法)为: 一、Unified 阻抗控制 Archite…

骨板和螺钉市场分析:前五大厂商占有大约78.0%的市场份额

据QYResearch调研团队最新报告“全球骨板和螺钉市场报告2024-2030”显示,预计2030年全球骨板和螺钉市场规模将达到76.2亿美元,未来几年年复合增长率CAGR为3.7%。 根据QYResearch头部企业研究中心调研,全球范围内骨板和螺钉生产商主要包括J &a…

视频美颜SDK与直播美颜工具的开发详解与技术优化

本篇文章,小编将为开发者提供一份详细的美颜指南。 一、视频美颜SDK的核心功能 视频美颜SDK是一种嵌入式软件开发工具包,允许开发者在应用中轻松实现实时美颜效果。其核心功能主要包括: 1.实时磨皮 2.美白功能 3.瘦脸与大眼 4.智能滤镜…

AWS 消息队列服务 SQS

AWS 消息队列服务 SQS 引言什么是 SQSSQS 访问策略 Access Policy示例:如何为 DataLake Subscription 配置 SQS 引言 应用系统需要处理海量数据,数据发送方和数据消费方是通过什么方式来无缝集成消费数据的,AWS 提供 SQS 消息队列服务来解决…

设计模式21-组合模式

设计模式21-组合模式(Composite Pattern) 写在前面 动机定义与结构定义结构主要类及其关系 C代码推导优缺点应用场景总结补充叶子节点不重载这三个方法叶子节点重载这三个方法结论 写在前面 数据结构模式 常常有一些组件在内部具有特定的数据结构。如何…

相机光学(三十四)——色差仪颜色观察者视角

1.为什么会有观察者视角 颜色观察角度主要涉及到人眼观察物体时,‌视角的大小以及屏幕显示颜色的方向性对颜色感知的影响。‌ 人眼观察物体的视角:‌在黑暗条件下,‌人眼主要依靠杆体细胞来分辨物体的轮廓,‌而杆体细胞分布在视网…

牛客网SQL进阶135 :每个6/7级用户活跃情况

每个67级用户活跃情况_牛客题霸_牛客网 0 问题描述 基于用户信息表user_info、、试卷作答记录表exam_record、题目练习记录表practice_record,统计 每个6/7级用户总活跃月份数、2021年活跃天数、2021年试卷作答活跃天数、2021年答题活跃天数,结果 按照总…

在linux上架设Web服务器Apache(Ubuntu)

欢迎诸位来阅读在下的博文~ 在这里,在下会不定期发表一些浅薄的知识和经验,望诸位能与在下多多交流,共同努力! 江山如画,客心如若,欢迎到访,一展风采 文章目录 背景1. 安装 Apache2. 启动和检查 Apache 服务…

常用的分类算法及其优缺点

常用的分类算法包括决策树、朴素贝叶斯、支持向量机(SVM)、K-近邻(KNN)、逻辑回归以及神经网络等。每种算法都有其独特的优点和缺点,适用于不同的场景和需求。以下是这些常用分类算法的优缺点概述: 1. 决策…

微信群自动发消息机器人:智能管理,高效沟通的新篇章

在快节奏的现代生活中,微信群已成为我们日常交流、信息分享的重要平台。然而,随着群内成员的增加和消息量的激增,如何高效、精准地传达信息,成为了许多群主和管理员面临的难题。此时,微信群自动发消息机器人的出现&…

强烈推荐这三款IOS应用,让你的生活更美好

Dino记账 Dino记账是一款结合了简洁设计和强大功能的记账应用,它通过多维度图表帮助用户轻松掌握金钱流向。应用界面明亮且配色突出,使得记录内容易于阅读,让记账和管理账目变得更加简单。 主要特性: 极简风格与易用性&#xff1…

掌握 Spring Boot + MyBatis-Plus 动态数据源切换,只要5分钟!

数据量猛增&#xff0c;通过动态数据源切换&#xff0c;我们不仅能提高查询效率&#xff0c;还能保证系统的高可用性。 通过将写操作集中在主库&#xff0c;读操作分散到多个从库&#xff0c;可以有效减轻数据库的压力。 在pom.xml中添加以下依赖&#xff1a; xml <depend…