深度学习的“前世今生”

1、“感知机”的诞生

20世纪50年代,人工智能派生出了这样两个学派,分别是“符号学派”及“连接学派”。前者的领军学者有Marvin Minsky及John McCarthy,后者则是由Frank Rosenblatt所领导。

符号学派的人相信对机器从头编程,一个模块一个模块组合最终可以得到比人类更智慧的机器;

而连接学派则选择了截然不同的道路:模仿大脑,制造大脑,最终超越人类。

连接学派的领导者Frank Rosenblatt通过模仿人类神经元的工作原理,制作出了感知机(perceptron),如下图所示:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-st90YONk-1692112393219)(assets/image-20230815221937817.png)]

感知机被证明可以很好地处理线性决策边界分类问题,但对于非线性的分类问题表现得非常差。

与此同时,符号学派得科学家正忙着编写解决代数问题的程序,或用机器人手臂堆砌构造模块。在当时,这两个学派都没有取得太大的进展。但他们都很会推销自己。连接学派得人宣称感知机是智能机器得第一步,一旦成功,所获得得只能体不仅仅是聪明而且还会有自我意识。这获得了大众们得广泛关注。而符号学派更受到学术领域得关注,因此获得了更多的资助。可以说连接学派获得了"面子",而符号学派获得了“里子”。

在50年代到60年代中叶这段时期,连接学派得公众熟识度也确实为其赢得了不少的资助,符号学派的领军人Marvin Minsky认为这就是在浪费钱,因此他决定自己也参与研究连接学派的主张,以期能够从更专业的角度击败它。

很快地,他发表了一本《感知机》的书,书中着重抨击了使用感知机无法处理非线性分类问题。但即便是他也不得不同意Frank Rosenblatt的观点,那就是多层的感知机可以处理非线性问题,但在当时那个阶段这被认为是不可能实现的事情。

很快,连接学派的科研人员处境日渐落寞。到了70年代,Frank Rosenblatt在一次帆船运动中不幸逝世,连接学派似乎就此退出了学术舞台。

2、神经网络

但事情很快出现了转机。。。

二十世纪七十年代,机器学习的研究者发现反向传递可以应用到多层感知器(神经网络)的梯度计算中,这也就意味着感知器不能处理非线性分类问题的缺憾得到了弥补,连接学派的春天终于到来了。

在这里插入图片描述

但经过了近二十年的发展,神经网络的发展似乎又遇到了瓶颈。反向传递技术的应用固然挽救了连接学派,挽救了“感知机”,但随着神经网络的层数增加,出现过拟合的风险越来越大,这也就意味着神经网络似乎无法前进为深度神经网络。

3、深度神经网络/深度学习

20世纪90年代到本世纪初,相关的研究人员又取得了巨大的突破。他们开发了全新的权重矩阵初始化方法、全新的激活函数(Relu系列)、dropout,从而很好地克服了原本神经网络存在的梯度消失或爆炸、神经元死亡的现象,过拟合风险显著降低,训练速度显著提升。与此同时另一部分人开发了全新的神经网络搭建方法,如卷积神经网络,循环神经网络等。这些新架构填补了过去几十年间没有任何改进的人工智能领域的空白。

此外,深度神经网络的发展也享受到了硬件设备升级所带来的红利,2000年初,GPU的广泛应用计算领域,及大幅度地提升了神经网络的表现。

2012年,深度网络研究团队成员Geoffrey Hinton、 Alex Krizhevsky、 Ilya Sutskever在图像计算机视觉比赛上使用卷积神经网络模型AlexNet,以84.7%的准确率击败了在此之前表现最好的ImageNet模型(75%)。由此受到了人们的广泛关注。以此作为分水岭,神经网络改头换面,它有了新的名字:深度学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/38229.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JavaScript基础:学习JavaScript语言的基本语法和常用操作,了解网页交互的基本原理

JavaScript是一种广泛应用于网页开发中的脚本语言,它可以与HTML和CSS一起使用,实现网页交互及动态效果。 以下是JavaScript的基本语法和常用操作: 变量声明:使用var、let或const关键字声明变量。 var name "John";let …

bug的生命周期

bug的生命周期 bugbug的生命周期bug等级 bug 当且仅当规格说明书是存在的并且正确的,程序和规格说明书之间的不匹配才是错误当产品规格说明书没有提到时,以用户需求为准,当程序最终没有实现用户的合理预期的功能要求时,就是软件错…

Sencha Ext.NET Crack,构建Blazing快速应用

Sencha Ext.NET Crack,构建Blazing快速应用 Sencha Ext.NET是一个高级的ASP.NET核心组件框架,它包含了强大的跨浏览器Sencha Ext JS库。通过140多个预构建和专业测试的UI组件实现企业级性能和生产效率。Sencha Ext.NET使用尖端的Web技术创建功能强大的Web应用程序&a…

Hlang社区项目说明

文章目录 前言Hlang社区技术前端后端 前言 Hello,欢迎来到本专栏,那么这也是第一次做这种类型的专栏,如有不做多多指教。那么在这里我要隆重介绍的就是这个Hlang这个项目。 首先,这里我要说明的是,我们的这个项目其实是分为两个…

发布属于自己的 npm 包

1 创建文件夹,并创建 index.js 在文件中声明函数,使用module.exports 导出 2 npm 初始化工具包,package.json 填写包的信息(包的名字是唯一的) npm init 可在这里写包的名字,或者一路按回车,后…

openeuler服务器 ls 和ll 命令报错 command not found...

在openeuler服务器执行 ls 和ll 命令报错 command not found... 大概是系统环境变量导致的问题。 我在安装redis是否没有安装成功后就出现了这样的情况。编辑profile文件没有写正确,导致在命令行下ls 和 ll 等命令不能够识别。 重新设置一下环境变量。 export PAT…

linux bash快捷键

1、^abc-^-123: 这个命令用于运行上一个命令,并将其中的"abc"替换为"123"。 示例:如果上一个命令是echo abc,则运行^abc-^-123后会执行命令echo 123。 2、!!: 这个命令用于重复执行上一条命令。 示例:如果上…

【【STM32-USART串口协议】】

STM32-USART串口协议 USART串口协议 •通信的目的:将一个设备的数据传送到另一个设备,扩展硬件系统 •通信协议:制定通信的规则,通信双方按照协议规则进行数据收发 就是我们并不能在芯片上设计完全部的一下子完成所有的设计&…

【Realtek sdk-3.4.14b】RTL8197F+RTL8812F欧洲屏蔽5G天气雷达信道DFS信道120、124、128方法

需求描述 对于欧洲国家来说,默认支持DFS信道,但是有三个信道比较特殊,是天气雷达信道,如下图所示120、124、128,天气雷达信道有个特点就是在信号可以发射之前需要检测静默15min,如果信道自动选择到了天气雷达信道,就会有15min的时间无法连接到WiFi热点,严重影响用户体验…

安防视频监控有哪些存储方式?哪种存储方式最优?

视频监控系统涉及到大量的视频数据,需要对这些数据进行存储,以备日后查看或备份。视频监控的存储需求需要根据场所的实际情况进行选择,以保证监控数据的有效存储和日后的调阅、回溯。 当前视频监控的存储方式,通常有以下几种&…

SharePoint 审核和监控工具

审核在顺利的 SharePoint 管理中起着重要作用,尤其是在满足法规遵从性和取证要求方面。为避免数据泄露,必须了解谁来自哪个组访问了哪个文档,以及谁创建或删除了网站或网站集。 审核 SharePoint 服务器 SharePoint采用率的提高导致企业在其…

spring中时间格式化的两种方式

方法一:自己格式化 自己写一个格式化的类,把date类型的时间传进去: public class DateUtil {public static String formatDate(Date date){SimpleDateFormat simpleDateFormatnew SimpleDateFormat("yyyy-MM-dd HH:mm:ss");retur…

2021年09月 C/C++(二级)真题解析#中国电子学会#全国青少年软件编程等级考试

第1题:字符统计 给定一个由a-z这26个字符组成的字符串,统计其中哪个字符出现的次数最多。 输入 输入包含一行,一个字符串,长度不超过1000。 输出 输出一行,包括出现次数最多的字符和该字符出现的次数,中间以…

NFT Insider#102:The Sandbox重新上线LAND桥接服务,YGG加入Base生态

引言:NFT Insider由NFT收藏组织WHALE Members(https://twitter.com/WHALEMembers)、BeepCrypto(https://twitter.com/beep_crypto)联合出品,浓缩每周NFT新闻,为大家带来关于NFT最全面、最新鲜、最有价值的讯息。每期周…

Qt在mac安装

先在app store下载好Xcode 打开Xcode 随便建个文件给它取个名字找个地方放提醒没建立git link,不用理他打开终端, 输入/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Android Settings 无障碍设置显示大小页面重复加载问题

基于Android 11,跟踪源码 显示大小页面 packages/apps/Settings/src/com/android/settings/display/PreviewSeekBarPreferenceFragment.java 通过commit() 提交更新页面显示大小。该方法是是在其父类PreviewSeekBarPreferenceFragment 实现调用。 基类预览滑动进度…

leetcode做题笔记80删除有序数组中的重复项 II

给你一个有序数组 nums ,请你 原地 删除重复出现的元素,使得出现次数超过两次的元素只出现两次 ,返回删除后数组的新长度。 不要使用额外的数组空间,你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。 说明&…

【数据库】P3 排序检索数据 ORDER BY

ORDER BY 单个列排序多个列排序按列位置排序指定排序方向 ASC/DESC指定多个列进行排序 单个列排序 为了明确地排序 SELECT 语句检索出的数据,可使用 ORDER BY 子句。ORDER BY 子句取一个或多个列的名字,据此对输出进行排序。 例: DBMS 软件…

RDMA在典型场景下的技术应用分析与探索

本文首发于:RDMA在典型场景下的技术应用分析与探索 1.业务适配RDMA类型 RDMA传输的适配,从业务场景的使用角度来看,大致可分为如下几种类型。 场景一:机器学习、分布式存储等场景,使用社区成熟的方案,如在…

c++小技巧13:中文输出(编码转汉字)

目录 1.前言 2.正文 1.直接输出: 2.间接输出 3.编码(?)转汉字(建议直接看这个) (书签) 3.后文 1.前言 (os:感觉标题中 间接不太准确,主要是找不到精准的用词,说明一下:就是在不用中文的方式下输出…