14-21 剑和远方1 - AI历史及简单神经网络的工作原理

初始

14-21 人工智能的历史以及简单神经网络的工作原理

“我们需要走得更深”这句台词出自电影《盗梦空间》。这是在讨论深入梦境更深层次时说的,暗示需要探索梦境的更深层次。虽然这似乎是不可能的,但它传达的理念是,要创造一个新的世界,就必须冒险进入更深的层次。

电影《盗梦空间》为深度学习提供了一个生动的比喻。

角色“菲舍尔”代表网络的输入数据。我们用原始输入数据训练网络,以实现预期结果(摧毁他父亲的帝国)。能让他们留在梦中的催梦药与激活函数相似(事实上,没有激活函数,深度网络就无法实现)。

柯布的妻子“Mal”是电影中的主要挑战之一,扰乱了运营;我们可以将“Mal”视为消失的不稳定梯度损失函数。我们努力计算并最小化网络中的损失函数。深度网络中消失的不稳定梯度使权重(W)的导数更接近零,阻碍权重更新,造成中断,甚至停止网络。

“彼得叔叔”可以被认为是网络的偏见,因为它的缺失可能会导致一些神经元保持不活跃状态(想象一下根据神经元活动找到安全且令人信服的菲舍尔执行的组合)。

“Cobb” 和他的团队代表网络架构,因为他们的方法决定了任务的进度和执行。

梦境层类似于网络层;我们越深入,层数就越多。本质上,我们钻研得越深,遇到的问题就越多,但我们也可以从中得出必要的结果。

整部电影可以看作是前馈阶段,在此阶段确定权重、偏差和输出,然后是梦境阶段,类似于反向传播,在此阶段更新权重和偏差,从而导致在菲舍尔的脑海中植入摧毁父亲帝国的想法的预期结果。

在本文中,我们旨在更深入地探究神经网络的深度,并更好地理解其功能。和我一起开始吧。

本文分为三部分:

第一部分:人工智能的历史以及简单神经网络的工作原理。

第二部分:深度神经网络中的学习机制(学习类型、激活函数和反向传播)。

第三部分:深度神经网络的主要架构(RNN/LSTM/CNN)。

在这三部分中,我们将讨论以下主题:什么是人工神经网络,它们如何工作,什么是深度学习,深度网络中如何进行学习,以及学习方法的类型有哪些。深度网络的主要架构是什么?人工神经网络的功能是否与人类神经网络相似,还是仅仅受到它们的启发?神经网络有哪些应用,以及它们的缺点是什么?

概述

现在你正在阅读这篇文章,信息正通过你的眼睛,使用复杂的神经网络和神经元,被发送到你的大脑。大脑的不同部分,包括海马体、额叶、顶叶、颞叶等,正在并行分层(顺序)地处理信息。当然,大脑中发生的信息处理过程要复杂得多。

神经网络的历史

神经元

神经元是神经系统的主要细胞,它们相互之间以及与身体其他部位之间传递信息。可以说,人类的神经系统中有大约1000 亿个神经元;事实上,信息交换和身体连贯性都依赖于神经元。19 世纪初,人们对神经元及其功能进行了广泛的研究。目标是探索机器学习的潜力。

开始

1943 年,神经生理学家Warren McCulloch和年轻数学家Walter Pitts开发出第一个神经网络模型,这是人工神经网络的第一步。他们发表了一篇题为《神经活动中内在思想的逻辑演算》的论文,提出了一个假设,即神经活动可以看作是一个逻辑过程(能够执行 AND、OR 和 NOT 等逻辑运算的电路)。本质上,他们的模型的结果是简单的逻辑函数,具有神经活动的“全有或全无”特征。

感知器

14-21 人工智能的历史以及简单神经网络的工作原理

1957 年,美国心理学家Frank Rosenblatt在康奈尔航空实验室制造了第一台可操作的感知机 Mark I。1958 年,他发表了一篇论文,题为“感知机:大脑中信息存储和组织的概率模型”。Rosenblatt 的感知机是一个二元单神经元模型,被认为是第一代神经网络。它的主要局限性是无法解决非线性可分离问题。

艾达琳(ADALINE)

ADALINE(自适应线性神经元或后来的自适应线性元素)是继感知器之后开发的下一个模型。它由斯坦福大学的Bernard Widrow教授和他的博士生Ted Hoff于 1960 年创建。ADALINE 采用具有线性激活函数(使用最小均方学习规则)的感知器。它是一个具有多个节点的单层神经网络,每个节点接受多个输入并产生一个输出。ADALINE 与标准 McCulloch-Pitts 感知器之间的主要区别在于学习过程:ADALINE 可以学习线性函数,而标准感知器只能学习非线性函数。

冬天来了…

14-21 人工智能的历史以及简单神经网络的工作原理

由 DALEE-3 生成

第一个人工智能寒冬是人工智能研究投资和兴趣减少的时期,从 20 世纪 60 年代末持续到 80 年代中期。1969 年,明斯基和帕普特撰写了一本名为《感知器:计算几何学导论》的书,作为诋毁人工智能研究运动的一部分。他们概括了一些基本问题,例如单层感知器的局限性。尽管作者们很清楚,强大的感知器有多层,而罗森布拉特最初的感知器有三层,但他们将感知器定义为只能处理线性可分问题的两层机器,例如,无法解决异或问题。

1973 年,一份评估人工智能学术研究的《莱特希尔报告》发布。在此之前,人工智能研究一直饱受批评,认为人工智能研究从根本上未能实现其崇高目标。这份报告导致英国停止了对人工智能的资金支持,标志着第一次人工智能寒冬的开始。

1956 年至 1974 年间,国防高级研究计划局 (DARPA) 继续资助一些项目,例如逐字机器翻译俄语到英语,以及使用由感知器组成的神经网络教计算机下跳棋(该神经网络模仿了人类大脑神经元的原始重复)。这些项目引起了大量人工智能炒作和广告。然而,随着人们对人工智能的关注度逐渐下降,可用预算也随之减少。

当时只有少数研究人员继续研究模式识别等问题。然而,这一时期的努力仍在继续。1972 年,克洛普夫 (Klopf) 根据生物学原理为人工神经元的学习奠定了基础。保罗·韦伯斯 ( Paul Werbos)于 1974 年开发了反向传播学习方法,尽管直到 1986 年人们才完全理解其重要性。福岛邦彦 (Kunihiko Fukushima)开发了一种逐步训练的多层神经网络,用于解释手写字符。他于 1975 年发表了论文“ Cognitron:一种自组织的多层神经网络”。

重生……

20 世纪 80 年代发生的几件大事重新激发了人们对人工智能的兴趣。科霍宁在人工神经网络领域做出了重大贡献。他引入了一种人工神经网络,有时被称为科霍宁映射或科霍宁网络。

1982 年,约翰·霍普菲尔德发表了一篇题为“具有新兴集体计算能力的神经网络和物理系统”的论文。霍普菲尔德描述了一种充当内容可寻址存储系统的循环人工神经网络。他的工作说服了数百名高技能的科学家、数学家和技术人员加入新兴的神经网络领域。

1985 年,美国物理学会发起了一个研讨会,后来演变成年度会议——计算神经网络。1987 年,现代史上第一个关于神经网络的公开会议举行。IEEE 的国际神经网络联合会议在圣地亚哥举行,国际神经网络学会 (INNS) 成立。1988 年,INNS 神经网络杂志成立,随后 1989 年出版了神经计算杂志,1990 年出版了 IEEE 神经网络学报。

经过一段时间的复苏后,又出现了另一次衰退。这最终导致了从 20 世纪 80 年代末到 90 年代中期的又一次人工智能寒冬。很难准确指出这些人工智能寒冬的开始和结束时间,但很明显,研究和努力带来了新的信心,开启了人机交互的新时代。其中一个促成因素是专家系统,但专家系统是什么?它们在今天仍然有用吗?请继续关注……

第一个专家系统

第一个专家系统出现于 20 世纪 70 年代,并在 20 世纪 80 年代变得更加流行。但专家系统到底是什么?专家系统是模拟人类专家决策能力的计算机系统。它们使用知识库和一组规则来做出决策或解决特定领域的问题。主要挑战是创造能够像人类一样思考并做出重要决策的机器。这导致人们将重点转向让机器学习和做出决策。

专家系统面临的主要挑战之一是训练它们所需的数据的收集、准备和成本。它们的知识库需要大量数据,而这些数据不像今天这样容易获得。此外,这些系统没有为需要创造力和创新的问题提供解决方案。那么,解决方案是什么呢?

宗师败了!

“大师输了”!1997年震惊世界的新闻是,国际象棋世界冠军不是被另一位大师打败,而是被一台机器打败。深蓝,一个专家级的国际象棋系统,最初由卡内基梅隆大学开发,后来被IBM收购。1996年,卡斯帕罗夫成功击败了它,但在1997年,深蓝进行了升级,以2胜3平的成绩击败了卡斯帕罗夫。可以说,深蓝标志着人工智能的一个转折点,再次重塑了人们对机器学习和人工智能的看法。这一事件也彻底改变了游戏行业。

AlphaGo 是 DeepMind 开发的一款围棋计算机程序。2016 年,它击败了职业围棋选手李世石,并拍摄了一部名为“ AlphaGo — The Movie | 完整获奖纪录片”的纪录片。围棋游戏的一个显著特点是其可能性数量庞大,远远超过国际象棋。虽然国际象棋有大约 10¹²⁰ 种可能性,但据估计,围棋游戏中大约有 10⁷⁶¹ 种可能状态。

在本节中,我们将介绍各种类型的神经网络并讨论它们的一些不同应用。敬请关注!

人工神经网络(ANN)

14-21 人工智能的历史以及简单神经网络的工作原理

Medium 上一篇文章中图片的来源。

可以说,人工神经网络 (ANN) 或模拟神经网络 (SNN) 具有由输入数据、权重、偏差或阈值以及输出组成的一般结构。它们包括节点和层,包括输入层、一个或多个隐藏层以及输出层,这些层是相互通信并从训练数据中学习的互连层。它们形成一个网络,它们执行的计算最终表示输出中权重 (w) 最高的概率。下面是对人工神经网络组件的一般检查,其中可能包含更多组件,但最重要的是:

输入

它由一组输入到网络中的数据(即特征)组成。(根据问题的类型,这些数据可以是结构化数据或非结构化数据)。ANN 中的输入层是神经网络中唯一将所有接收到的信息不经任何处理就传输到下一层的层。

隐藏层

14-21 人工智能的历史以及简单神经网络的工作原理

是的,深度神经网络中的隐藏层就像黑匣子。这意味着我们可能无法轻松解释或详细解释每个神经元或隐藏层的精确功能。事实上,深度学习和传统机器学习模型之间最重要的区别在于特征选择。在深度学习中,机器决定学习哪些特征并做出决策。我们几乎不知道机器如何选择这些特征以及为什么选择这些特征。这些是进行大多数计算的中间层,从数据中提取特征。

重量(W)

它们是基本参数,对人工网络的学习和预测能力起着至关重要的作用。权重是可变的,在网络的训练过程中可能会发生变化。权重是与神经元(或节点)之间的连接相关的数值,表示一个神经元对另一个神经元的影响的强度和方向(正或负),可以有正值或负值。负权重可以防止过度拟合,因为它们有助于网络减少不必要的信息并提取更一般的模式。

偏见

在神经网络中,偏差是分配给每个神经元并在训练过程中更新的可学习参数。实际上,它通过向输入添加一个常数(即给定的偏差)来改变激活函数。它在训练期间更新。神经网络中的偏差可以被认为类似于线性函数y = wx + b中的常数,其中 b 是添加的偏差值,有效地用常数值移动线。

除了防止归零之外,偏差还可以防止过度拟合。当神经网络与其训练数据过于兼容时,就会发生过度拟合,并允许神经网络从其训练数据中学习,而不仅仅是随机细节。

输出层

输出层是决定网络最终结果的地方,因此它是最重要的层。它使用从隐藏层获得的结果执行此任务。一般来说,无论激活函数是否递归,成本函数,它们都在输出层中,并且根据网络类型和我们期望从中得到的任务,输出层是非常决定性的。在具有反向传播的架构中,反向传播过程从输出层向输入层执行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/42772.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

docker安装oracle 11g

最近把一些常用数据库都移到docker了,而且是windows下,很是方便。偶尔还是要用一下Oracle,今天就试一下安装oracle 11g 在docker上。 一、搜索并拉取镜像 docker search oracle_11gdocker pull ![在这里插入图片描述](https://i-blog.csdni…

Soul App Android一二三面凉经(2024)

Soul App Android一二三面凉经(2024) 笔者作为一名双非二本毕业7年老Android, 最近面试了不少公司, 目前已告一段落, 整理一下各家的面试问题, 打算陆续发布出来, 供有缘人参考。今天给大家带来的是SoulApp Android一二三面凉经。 面试职位: Android开发 技术一面 面试时长: …

CDGA|数据治理:突破“采集难、应用难”的困境

随着数字化时代的来临,数据已成为企业最宝贵的资产之一。然而,如何有效地采集和应用这些数据,却成为众多企业面临的一大挑战。数据治理作为一种全面的数据管理框架,为解决数据采集难、应用难等问题提供了有效途径。 数据采集难的挑…

FuTalk设计周刊-Vol.064

#AI漫谈 热点捕手 1.可灵视频模型Web 端功能上线 文生视频:画质升级、单次10s视频生成;图生视频:画质提升、支持自定义首尾帧;运镜控制:提供丰富的镜头控制选项,预设多种大师级镜头模式。在限免期间&…

在复杂的服务器环境中,如何优化 Shell 脚本的性能,以减少系统资源消耗并提高执行效率?

以下是一些优化 Shell 脚本性能的建议: 减少系统调用:尽量减少脚本中的系统调用次数,因为系统调用是比较耗时的操作。可以通过将多个命令放在一个子 shell 中或使用管道来减少系统调用次数。 避免过多的 IO 操作:尽量减少文件读写…

CUTS 多粒度分割 + 局部图像块对比学习: 无需大量标注数据 + 多尺度病变识别 + 解决医学图像不同仪器成像差异

CUTS 多粒度分割 局部图像块对比学习: 无需大量标注数据 多尺度病变识别 解决医学图像不同仪器成像差异 提出背景CUTS 框架(A) 总览(B) 像素中心的图像块嵌入(C) 图像内对比图像块选择(D) 扩散凝结粗粒化(E) 多粒度分割 解法拆解子解法1:多粒度分割子…

应用层协议原理——因特网提供的运输服务

我们已经考虑了计算机网络能够一般性地提供的运输服务。现在我们要更为具体地考察由因特网提供的运输服务类型。因特网(更一般的是TCP/IP网络)为应用程序提供两个运输层协议,即UDP和TCP。当软件开发者为因特网创建一个新的应用时,首先要做出的决定是&…

我是售前工程师转大模型了,不装了我摊牌了

有无售前工程师的朋友,心里的苦谁懂呀,售前工程师是项目开发人员与业务销售人员的桥梁,在业务销售人员眼中,他们是技术人员,在项目实施中的开发人员眼中,他们是专注技术的销售人员,在用户眼中&a…

本人瞎说--分形与混沌--中医为什么是准的

文章目录 序分形与混沌中医的来源我为什么更爱中医现代医学仍然落后与无知,很多病根本就治不好病由心生 序 本人不是中医专业,也不是医生,也不会看病,我的观点都是来自于网上学习及思考。不喜欢的随便,但是还请您多想…

【运算放大器学习】

运算放大器学习 运放的选型一般主要需要观察以下几个参数,下面一起来理解一下几个核心参数的意义;今天说 输入失调电压 、失调电压温漂 、 偏置电流 、 失调电流几个参数; 放大器的几个主要参数 输入失调电压失调电压温漂偏置电流失调电流…

GPU 张量核心(Tensor Core)技术解读

一文理解 GPU 张量核心(Tensor Core) 引言 最新一代Nvidia GPU搭载Tensor Core技术,本指南深度解读其卓越性能,为您带来极致体验。 Nvidia最新GPU微架构中的核心技术——Tensor Core,自Volta起每代均获突破&#xf…

C语言求10进制转2进制(除2取余法)

1.思路:除2取余法,也就是说用除以2取余来将10进制数转换为二进制 2.两种代码实现,这里用了两,一个递归一个非递归。 递归是一种编程技术,其中一个函数直接或间接地调用自己。递归通常用于解决那些可以被分解为更小的、…

理解李彦宏的“不要卷模型,要卷应用”

引言 在2024年世界人工智能大会上,百度创始人李彦宏的发言引发了广泛讨论。他呼吁业内人士“不要卷模型,要卷应用”,强调AI技术的价值在于实际应用,而非单纯的技术竞赛。李彦宏的观点引导我们反思当前AI发展的方向,探…

python(64) 主动释放内存

​主动释放内存的方式 在 Python 中使用 gc.collect() 方法清除内存 使用 del 语句清除 Python 中的​​​​​​ ​内存 gc.collect(generation2) 方法用于清除或释放 Python 中未引用的内存。未引用的内存是无法访问且无法使用的内存。可选参数 generation 是一个整数&am…

Check if a fine-tuned OpenAI model was successfully deleted

题意:检查微调后的OpenAI模型是否已成功删除 问题背景: I am doing some work with the OpenAI API with Python. Im working with fine-tuning and I am working on deleting an existing model and starting over again. I want to be able to check …

常用的工具

Java 1.IDEA介绍 IDEA官网:https://www.jetbrains.com.cn/idea/ IDEA 2023.2.2下载地址:https://download.jetbrains.com/idea/ideaIU-2023.2.2.exe 对第三方软件的支持:https://www.jetbrains.com/legal/third-party-software/?product=iiu&version=2023.2.2 IDEA插件…

Redis进阶教程

Redis进阶教程 目录 Redis内存管理 内存分配内存回收策略 Redis集群 集群架构数据分片故障检测与恢复 Redis持久化策略 RDB与AOF对比混合持久化 Redis事务 事务的基本概念乐观锁机制 Redis脚本 Lua脚本简介常用Lua脚本示例 Redis安全配置 身份认证防火墙设置客户端安全 Redis…

在Spring Boot中实现多租户架构的数据隔离

在Spring Boot中实现多租户架构的数据隔离 大家好,我是微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! 1. 引言 随着云计算和SaaS(软件即服务)模式的普及,多租户架构在企业应…

“四大水刊”水出新境界!仅一本剔除,飞升1区,IF3.8,1个月录用依然吊打!

本周投稿推荐 SCI • 能源科学类,1.5-2.0(来稿即录25天) • 计算机类,2.0-3.0(纯正刊29天录用) EI • 各领域沾边均可(2天录用) 知网 • 7天录用-检索(急录友好&a…

我可能要和低价官网建设说拜拜了。

最近和团队商议,要不要放弃低价官网建设业务,大部分人要求放弃,我有点不舍,毕竟从公司开始就是靠网站建设业务存活和起价的。 对于设计师来说,对于美与体验的追求是无止境的,你让他搞个高大上网站&#xf…