14-21 人工智能的历史以及简单神经网络的工作原理

初始

14-21 人工智能的历史以及简单神经网络的工作原理

“我们需要走得更深”这句台词出自电影《盗梦空间》。这是在讨论深入梦境更深层次时说的,暗示需要探索梦境的更深层次。虽然这似乎是不可能的,但它传达的理念是,要创造一个新的世界,就必须冒险进入更深的层次。

电影《盗梦空间》为深度学习提供了一个生动的比喻。

角色“菲舍尔”代表网络的输入数据。我们用原始输入数据训练网络,以实现预期结果(摧毁他父亲的帝国)。能让他们留在梦中的催梦药与激活函数相似(事实上,没有激活函数,深度网络就无法实现)。

柯布的妻子“Mal”是电影中的主要挑战之一,扰乱了运营;我们可以将“Mal”视为消失的不稳定梯度损失函数。我们努力计算并最小化网络中的损失函数。深度网络中消失的不稳定梯度使权重(W)的导数更接近零,阻碍权重更新,造成中断,甚至停止网络。

“彼得叔叔”可以被认为是网络的偏见,因为它的缺失可能会导致一些神经元保持不活跃状态(想象一下根据神经元活动找到安全且令人信服的菲舍尔执行的组合)。

“Cobb” 和他的团队代表网络架构,因为他们的方法决定了任务的进度和执行。

梦境层类似于网络层;我们越深入,层数就越多。本质上,我们钻研得越深,遇到的问题就越多,但我们也可以从中得出必要的结果。

整部电影可以看作是前馈阶段,在此阶段确定权重、偏差和输出,然后是梦境阶段,类似于反向传播,在此阶段更新权重和偏差,从而导致在菲舍尔的脑海中植入摧毁父亲帝国的想法的预期结果。

在本文中,我们旨在更深入地探究神经网络的深度,并更好地理解其功能。和我一起开始吧。

本文分为三部分:

第一部分:人工智能的历史以及简单神经网络的工作原理。

第二部分:深度神经网络中的学习机制(学习类型、激活函数和反向传播)。

第三部分:深度神经网络的主要架构(RNN/LSTM/CNN)。

在这三部分中,我们将讨论以下主题:什么是人工神经网络,它们如何工作,什么是深度学习,深度网络中如何进行学习,以及学习方法的类型有哪些。深度网络的主要架构是什么?人工神经网络的功能是否与人类神经网络相似,还是仅仅受到它们的启发?神经网络有哪些应用,以及它们的缺点是什么?

概述

现在你正在阅读这篇文章,信息正通过你的眼睛,使用复杂的神经网络和神经元,被发送到你的大脑。大脑的不同部分,包括海马体、额叶、顶叶、颞叶等,正在并行分层(顺序)地处理信息。当然,大脑中发生的信息处理过程要复杂得多。

神经网络的历史

神经元

神经元是神经系统的主要细胞,它们相互之间以及与身体其他部位之间传递信息。可以说,人类的神经系统中有大约1000 亿个神经元;事实上,信息交换和身体连贯性都依赖于神经元。19 世纪初,人们对神经元及其功能进行了广泛的研究。目标是探索机器学习的潜力。

开始

1943 年,神经生理学家Warren McCulloch和年轻数学家Walter Pitts开发出第一个神经网络模型,这是人工神经网络的第一步。他们发表了一篇题为《神经活动中内在思想的逻辑演算》的论文,提出了一个假设,即神经活动可以看作是一个逻辑过程(能够执行 AND、OR 和 NOT 等逻辑运算的电路)。本质上,他们的模型的结果是简单的逻辑函数,具有神经活动的“全有或全无”特征。

感知器

14-21 人工智能的历史以及简单神经网络的工作原理

1957 年,美国心理学家Frank Rosenblatt在康奈尔航空实验室制造了第一台可操作的感知机 Mark I。1958 年,他发表了一篇论文,题为“感知机:大脑中信息存储和组织的概率模型”。Rosenblatt 的感知机是一个二元单神经元模型,被认为是第一代神经网络。它的主要局限性是无法解决非线性可分离问题。

艾达琳(ADALINE)

ADALINE(自适应线性神经元或后来的自适应线性元素)是继感知器之后开发的下一个模型。它由斯坦福大学的Bernard Widrow教授和他的博士生Ted Hoff于 1960 年创建。ADALINE 采用具有线性激活函数(使用最小均方学习规则)的感知器。它是一个具有多个节点的单层神经网络,每个节点接受多个输入并产生一个输出。ADALINE 与标准 McCulloch-Pitts 感知器之间的主要区别在于学习过程:ADALINE 可以学习线性函数,而标准感知器只能学习非线性函数。

冬天来了…

14-21 人工智能的历史以及简单神经网络的工作原理

由 DALEE-3 生成

第一个人工智能寒冬是人工智能研究投资和兴趣减少的时期,从 20 世纪 60 年代末持续到 80 年代中期。1969 年,明斯基和帕普特撰写了一本名为《感知器:计算几何学导论》的书,作为诋毁人工智能研究运动的一部分。他们概括了一些基本问题,例如单层感知器的局限性。尽管作者们很清楚,强大的感知器有多层,而罗森布拉特最初的感知器有三层,但他们将感知器定义为只能处理线性可分问题的两层机器,例如,无法解决异或问题。

1973 年,一份评估人工智能学术研究的《莱特希尔报告》发布。在此之前,人工智能研究一直饱受批评,认为人工智能研究从根本上未能实现其崇高目标。这份报告导致英国停止了对人工智能的资金支持,标志着第一次人工智能寒冬的开始。

1956 年至 1974 年间,国防高级研究计划局 (DARPA) 继续资助一些项目,例如逐字机器翻译俄语到英语,以及使用由感知器组成的神经网络教计算机下跳棋(该神经网络模仿了人类大脑神经元的原始重复)。这些项目引起了大量人工智能炒作和广告。然而,随着人们对人工智能的关注度逐渐下降,可用预算也随之减少。

当时只有少数研究人员继续研究模式识别等问题。然而,这一时期的努力仍在继续。1972 年,克洛普夫 (Klopf) 根据生物学原理为人工神经元的学习奠定了基础。保罗·韦伯斯 ( Paul Werbos)于 1974 年开发了反向传播学习方法,尽管直到 1986 年人们才完全理解其重要性。福岛邦彦 (Kunihiko Fukushima)开发了一种逐步训练的多层神经网络,用于解释手写字符。他于 1975 年发表了论文“ Cognitron:一种自组织的多层神经网络”。

重生……

20 世纪 80 年代发生的几件大事重新激发了人们对人工智能的兴趣。科霍宁在人工神经网络领域做出了重大贡献。他引入了一种人工神经网络,有时被称为科霍宁映射或科霍宁网络。

1982 年,约翰·霍普菲尔德发表了一篇题为“具有新兴集体计算能力的神经网络和物理系统”的论文。霍普菲尔德描述了一种充当内容可寻址存储系统的循环人工神经网络。他的工作说服了数百名高技能的科学家、数学家和技术人员加入新兴的神经网络领域。

1985 年,美国物理学会发起了一个研讨会,后来演变成年度会议——计算神经网络。1987 年,现代史上第一个关于神经网络的公开会议举行。IEEE 的国际神经网络联合会议在圣地亚哥举行,国际神经网络学会 (INNS) 成立。1988 年,INNS 神经网络杂志成立,随后 1989 年出版了神经计算杂志,1990 年出版了 IEEE 神经网络学报。

经过一段时间的复苏后,又出现了另一次衰退。这最终导致了从 20 世纪 80 年代末到 90 年代中期的又一次人工智能寒冬。很难准确指出这些人工智能寒冬的开始和结束时间,但很明显,研究和努力带来了新的信心,开启了人机交互的新时代。其中一个促成因素是专家系统,但专家系统是什么?它们在今天仍然有用吗?请继续关注……

第一个专家系统

第一个专家系统出现于 20 世纪 70 年代,并在 20 世纪 80 年代变得更加流行。但专家系统到底是什么?专家系统是模拟人类专家决策能力的计算机系统。它们使用知识库和一组规则来做出决策或解决特定领域的问题。主要挑战是创造能够像人类一样思考并做出重要决策的机器。这导致人们将重点转向让机器学习和做出决策。

专家系统面临的主要挑战之一是训练它们所需的数据的收集、准备和成本。它们的知识库需要大量数据,而这些数据不像今天这样容易获得。此外,这些系统没有为需要创造力和创新的问题提供解决方案。那么,解决方案是什么呢?

宗师败了!

“大师输了”!1997年震惊世界的新闻是,国际象棋世界冠军不是被另一位大师打败,而是被一台机器打败。深蓝,一个专家级的国际象棋系统,最初由卡内基梅隆大学开发,后来被IBM收购。1996年,卡斯帕罗夫成功击败了它,但在1997年,深蓝进行了升级,以2胜3平的成绩击败了卡斯帕罗夫。可以说,深蓝标志着人工智能的一个转折点,再次重塑了人们对机器学习和人工智能的看法。这一事件也彻底改变了游戏行业。

AlphaGo 是 DeepMind 开发的一款围棋计算机程序。2016 年,它击败了职业围棋选手李世石,并拍摄了一部名为“ AlphaGo — The Movie | 完整获奖纪录片”的纪录片。围棋游戏的一个显著特点是其可能性数量庞大,远远超过国际象棋。虽然国际象棋有大约 10¹²⁰ 种可能性,但据估计,围棋游戏中大约有 10⁷⁶¹ 种可能状态。

在本节中,我们将介绍各种类型的神经网络并讨论它们的一些不同应用。敬请关注!

人工神经网络(ANN)

14-21 人工智能的历史以及简单神经网络的工作原理

Medium 上一篇文章中图片的来源。

可以说,人工神经网络 (ANN) 或模拟神经网络 (SNN) 具有由输入数据、权重、偏差或阈值以及输出组成的一般结构。它们包括节点和层,包括输入层、一个或多个隐藏层以及输出层,这些层是相互通信并从训练数据中学习的互连层。它们形成一个网络,它们执行的计算最终表示输出中权重 (w) 最高的概率。下面是对人工神经网络组件的一般检查,其中可能包含更多组件,但最重要的是:

输入

它由一组输入到网络中的数据(即特征)组成。(根据问题的类型,这些数据可以是结构化数据或非结构化数据)。ANN 中的输入层是神经网络中唯一将所有接收到的信息不经任何处理就传输到下一层的层。

隐藏层

14-21 人工智能的历史以及简单神经网络的工作原理

是的,深度神经网络中的隐藏层就像黑匣子。这意味着我们可能无法轻松解释或详细解释每个神经元或隐藏层的精确功能。事实上,深度学习和传统机器学习模型之间最重要的区别在于特征选择。在深度学习中,机器决定学习哪些特征并做出决策。我们几乎不知道机器如何选择这些特征以及为什么选择这些特征。这些是进行大多数计算的中间层,从数据中提取特征。

重量(W)

它们是基本参数,对人工网络的学习和预测能力起着至关重要的作用。权重是可变的,在网络的训练过程中可能会发生变化。权重是与神经元(或节点)之间的连接相关的数值,表示一个神经元对另一个神经元的影响的强度和方向(正或负),可以有正值或负值。负权重可以防止过度拟合,因为它们有助于网络减少不必要的信息并提取更一般的模式。

偏见

在神经网络中,偏差是分配给每个神经元并在训练过程中更新的可学习参数。实际上,它通过向输入添加一个常数(即给定的偏差)来改变激活函数。它在训练期间更新。神经网络中的偏差可以被认为类似于线性函数y = wx + b中的常数,其中 b 是添加的偏差值,有效地用常数值移动线。

除了防止归零之外,偏差还可以防止过度拟合。当神经网络与其训练数据过于兼容时,就会发生过度拟合,并允许神经网络从其训练数据中学习,而不仅仅是随机细节。

输出层

输出层是决定网络最终结果的地方,因此它是最重要的层。它使用从隐藏层获得的结果执行此任务。一般来说,无论激活函数是否递归,成本函数,它们都在输出层中,并且根据网络类型和我们期望从中得到的任务,输出层是非常决定性的。在具有反向传播的架构中,反向传播过程从输出层向输入层执行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/865892.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

将List切割为多个指定长度的多个List

参考: https://blog.csdn.net/baidu_41480640/article/details/122507018https://blog.csdn.net/H1767410/article/details/138333350https://blog.51cto.com/u_16213352/7632003https://blog.csdn.net/2301_82243396/article/details/137900249 手写1 private List<List&l…

3D问界—MAYA中冻结变化的作用以及应用的场景

问题提出&#xff1a;MAYA中冻结变化的作用以及应用的场景 在Maya中&#xff0c;“冻结变换”&#xff08;Freeze Transformations&#xff09;的作用是重置对象的变换属性&#xff0c;包括平移、旋转和缩放&#xff0c;将它们归零或者设定为特定的值。这通常在以下几个步骤中需…

unity强力配置插件Luban【Next最新版本】(二)本地化

文章目录 前言一、快速实现静态本地化1、表格格式2、本地化文本3、修改bat文件3、打表 二、多语言切换1、修改bat文件2、增加本地化管理脚本3、测试 总结 前言 无需多言&#xff0c;本地化&#xff08;Localization&#xff0c;简称 L10N&#xff09;是指将产品、内容或服务适…

软考的报名详细流程

2024年软考的考试时间已经公布&#xff0c;分别为5月25日至28日和11月9日至12日。准备参加2024年软考的朋友们&#xff0c;一定要提前关注官方发布的考试安排。 本文将详细介绍软考报考的整个流程。准备报考的朋友们&#xff0c;阅读本文就足够啦&#xff01;软考的报考流程大致…

如何系列 如何确保Kafka消息可靠性/防止消息丢失

文章目录 ProducerBrokerConsumer流程 从Kafka架构来看&#xff0c;理论上仍有消息丢失的可能性&#xff0c;但实际发生的概率极低&#xff0c;只有在所有副本的机器都宕机时才会丢失。 当所有代理&#xff08;broker&#xff09;都确认消息时&#xff0c;这并不意味着消息已经…

【CT】LeetCode手撕—1143. 最长公共子序列

目录 题目1- 思路2- 实现⭐1143. 最长公共子序列——题解思路 3- ACM 实现 题目 原题连接&#xff1a;1143. 最长公共子序列 1- 思路 模式识别&#xff1a;最长公共子序列——> 动规五部曲 2- 实现 ⭐1143. 最长公共子序列——题解思路 class Solution {public int longe…

2024上半年网络工程师考试《应用技术》试题一

阅读以下说明&#xff0c;回答问题。 【说明】 MPLS基于(1)进行转发&#xff0c;进行MPLS标签交换和报文转发的网络设备称为(2)&#xff0c;构成MPLS域(MPSDomain)。位于MPLS域边缘、连接其他网络的LSR称为(3),区域内部的LSR称为核心LSR(CoreLSR)IP报文进入MPLS网络时&#xf…

LLM4Decompile——专门用于反编译的大规模语言模型

概述 论文地址&#xff1a;https://arxiv.org/abs/2403.05286 反编译是一种将已编译的机器语言或字节码转换回原始高级编程语言的技术。该技术用于分析软件的内部工作原理&#xff0c;尤其是在没有源代码的情况下&#xff1b;Ghidra 和 IDA Pro 等专用工具已经开发出来&#…

等保2.0 实施方案

一、引言 随着信息技术的广泛应用&#xff0c;网络安全问题日益突出&#xff0c;为确保信息系统安全、稳定、可靠运行&#xff0c;保障国家安全、公共利益和个人信息安全&#xff0c;根据《网络安全法》及《信息安全技术 网络安全等级保护基本要求》&#xff08;等保2.0&#x…

实验七 SQL数据更新和视图

题目 &#xff08;1&#xff09;向商品类别表category中插入一条记录&#xff08;801&#xff0c;‘座椅套’&#xff0c;‘各种品牌的汽车座套’&#xff09; &#xff08;2&#xff09;向商品表product中插入一条记录&#xff1a;商品编号80101&#xff0c;商品名称“四季通…

【HDC.2024】探索无限可能:华为云区块链+X,创新融合新篇章

6月23日&#xff0c;华为开发者大会2024&#xff08;HDC 2024&#xff09;期间&#xff0c; “「区块链X」多元行业场景下的创新应用”分论坛在东莞松山湖举行&#xff0c;区块链技术再次成为焦点。本次论坛以"区块链X"为主题&#xff0c;集结了行业专家、技术领袖、…

【Linux】虚拟机安装 openEuler 24.03 X86_64

目录 一、概述 1.1 openEuler 覆盖全场景的创新平台 1.2 系统框架 1.3 平台框架 二、安装详细步骤 一、概述 1.1 openEuler 覆盖全场景的创新平台 openEuler 已支持 x86、Arm、SW64、RISC-V、LoongArch 多处理器架构&#xff0c;逐步扩展 PowerPC 等更多芯片架构支持&…

安装docker版rabbitmq 3.12

本文介绍在Ubuntu22中安装docker版rabbitmq 3.12。 一、拉取镜像 docker pull rabbitmq:3.12.14-management二、创建数据目录和docker-compose文件 创建目录&#xff1a; cd /root mkdir rabbitmq-docker cd rabbitmq-docker mkdir data chmod 777 data创建docker-compose配…

超声波气象站的工作原理

TH-CQX5超声波气象站中的超声波技术是其核心工作原理之一&#xff0c;以下是关于超声波气象站中超声波的详细解释&#xff1a;超声波是一种频率高于人耳能听到的声音频率范围的声波&#xff0c;通常指频率在20kHz以上的声波。超声波具有较短的波长和强的穿透能力&#xff0c;能…

力扣刷题总结 -- 数组29

85. 解码异或之后的数组&#xff08;简单&#xff09; 题目要求&#xff1a; 未知 整数数组arr由 n 个非负整数组成。 经编码后变为长度为 n - 1 的另一个整数数组 encoded &#xff0c;其中 encoded[i] arr[i] XOR arr[i 1] 。例如&#xff0c;arr [1,0,2,1] 经编码后得…

【Yarn锁文件全解析】深入理解yarn.lock与版本控制的艺术

标题&#xff1a;【Yarn锁文件全解析】深入理解yarn.lock与版本控制的艺术 Yarn是一个现代的JavaScript包管理工具&#xff0c;旨在提供更快、更安全、更可靠的依赖管理。yarn.lock文件是Yarn工作流程中的一个关键组件&#xff0c;用于锁定项目依赖的确切版本。本文将详细探讨…

手把手家教你进行ChatGPT私有化部署

背景 随着AI技术的不断成熟&#xff0c;加上ChatGPT如火如荼的发布新版本迭代更新&#xff0c;人工智能的热度也升温到史无前例的高度。 我们有理由相信&#xff0c;现在身边还不愿主动去接触这项技术&#xff0c;深入了解的小伙伴&#xff0c;在不久的将来&#xff0c;一定会…

二手物品交易小程序的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;用户管理&#xff0c;管理员管理&#xff0c;商品信息管理&#xff0c;论坛管理&#xff0c;收货地址管理&#xff0c;基础数据管理 微信端账号功能包括&#xff1a;系统首页&#xff0c;商品信息&…

晨持绪科技:抖音店铺运营思路

在抖音这个充满活力与创意的平台上&#xff0c;店铺运营不仅仅是一种商业行为&#xff0c;它更是一种艺术的展示。如同画家在画布上勾勒出色彩斑斓的画面&#xff0c;抖音店铺的运营者们也在平台上精心策划着每一个细节&#xff0c;以吸引更多的目光和流量。 内容创作。内容是吸…

工程师 - 什么是SMP

什么是 SMP&#xff08;对称多处理&#xff09;&#xff1f; What is SMP (symmetric multiprocessing)? 对称多处理&#xff08;SMP&#xff0c;symmetric multiprocessing&#xff09;是由多个处理器完成的计算机处理过程&#xff0c;这些处理器共享一个操作系统&#xff0…