联想记忆神经网络是模拟人脑, 把一些样本模式存储在神经网络的权值中, 通过大规模的并行计算, 使不完整的、受到噪声“污染”的畸变模式在网络中恢复到原有的模式本身。

大脑是人体最为复杂的信息处理系统。联想记忆(AssociativeMemory, AM) 是人脑的重要认知功能之一。例如, 听到1 首歌曲的一部分便可以联想到整个曲子, 看到某人的名字会联想到他(她) 的相貌等特点。前者称为自联想( Self-Association) , 而后者称为异联想(Hetero-Association) 。由于许多神经活动很难在实验中直接被观察, 例如: 在记忆脑区相关神经元集群的电活动不一定都能被观察和记录到, 即使能记录到也不能体现某些关键的功能性编码, 需要通过建立神经网络模型对脑的联想记忆功能进行仿真。因此, 联想记忆神经网络的研究近年来受到人们的极大关注[1- 3]。联想记忆神经网络是模拟人脑, 把一些样本模式存储在神经网络的权值中, 通过大规模的并行计算, 使不完整的、受到噪声“污染”的畸变模式在网络中恢复到原有的模式本身。

自联想记忆是指由受损的输入模式恢复到完整的模式本身;异联想记忆是指由输入模式获得与之相关的其他模式。不同于传统的数字计算机按地址存储信息的方式, 这种存储的根据是内容存储信息(Content- Addressable Memory) , 即找到信息的地址后便能找到这个信息, 因此要求不同的信息必须有不同的地址。本文主要对联想记忆人工神经网络模型的发展历史及研究现状进行了综述。

2 联想记忆神经网络的发展

人工神经网络(Artificial Neural Network, ANN) 是一门发展十分迅速的交叉学科, 涉及生物、计算机、数学、电子、物理、心理学、认识科学等多种学科。其发展可追溯到20 世纪,从时间进程来看, 可把这一历史大致划分为以下4 个时期:第一时期为发展初始期, 1890～1969 年; 第二时期为低潮时期, 1969～1982 年; 第三时期为复兴时期, 1982～1986 年; 第四时期为发展高峰期, 从1986 年至今。1890 年,W.James 的专著《生理学》[4]一书首次阐明了有关人脑结构功能及相关学习联想记忆的规则。1943 年, Mc-Culloch 和Pitts 融合了生物物理学和数学的有关结果, 提出了神经元突触模型中最原始最基本的模型———MP 模型, 这是自W.James 以来第一个采用集体并行计算结构描述的人工神经网络及网络工作, 证明了MP 模型可完成任意有限的逻辑运算。1949 年, Hebb 通过对大脑神经细胞、人类学习行为和条件反射的观察和研究, 发表了《行为自组织》专著, 提出了神经元学习的一般规则———Hebbin 算法, 指出当2 个神经元同时兴奋时, 连接权值强度增加, 这一思想至今仍为许多算法所采用, 并在最近的生理解剖学中得到了证实。1969年, M.Minsky 和S.Pappert 发表《Perceptrons》[5]专著, 从数学的角度分析了Rosenblatt 的单层感知器, 以一个异或运算的例子批评了人工神经网络, 使人工神经网络的发展进入了低谷。1982 年, Hopfield[6]提出了著名的Hopfield 神经网络模型。Hopfield 网络首次引用能量函数的概念来分析动态网络, 从多层前馈网络和反馈网络两方面掀起了人工神经网络全球性的研究热潮。Hopfield 神经网络模型是一种动态反馈神经网络, 比前馈网络具有更强的计算能力, 自联想记忆是其重要特征。在Hopfield 神经网络中, 每个神经元跟MP 模型一样有2 种不同状态: 0( 神经元不放电) ; 1( 神经元放电) 。由于网络输出端到其输入端有反馈, 所以Hopfield 网络在输入的激励下会产生不断的状态变化, 最终收敛到一个稳定的状态, 从而实现联想记忆功能。二值型Hopfield 能够实现联想记忆功能, 但是真实神经元并不是二值型的神经元。因此, 需要用具有真实神经元特性的神经元模型构建神经网络, 才能更加接近真实的神经网络。

20 世纪90 年代, 研究表明[7- 8]发放神经元( Spiking) 表现出了联想记忆的特性。由于发放神经元更加接近真实生物神经元的特性, 因此, 由发放神经元模型构成的联想记忆神经网络模型成为目前科学研究的热点, 如Hodgkin- Huxley 神经元模型、FitzHugh- Nagumo 神经元模型等就是典型的发放神经元模型。

◆◆

评论读取中....

请登录后再发表评论!

◆◆

修改失败，请稍后尝试