海马 - 内嗅系统结构知识的泛化

实体概念信息和位置及虚拟位置信息组成记忆保存并提取，位置信息通用，提高泛华能力。相同位置会有不同物体，相同物体会出现在不同位置。

抽象

理解智力的核心问题是泛化的概念。这允许以前学过的结构被利用来解决在其特殊性不同的新情况下的任务。我们从神经科学中获得灵感，特别是海马 - 内嗅系统（包含地点和网格单元），这对于泛化非常重要。我们建议将结构知识，世界结构的表示，即世界中的实体如何相互关联，需要与实体本身的表示分离。我们表明，在这些原则下，嵌入层次结构和快速Hebbian记忆的人工神经网络可以学习记忆的统计数据，推广结构知识，并且还展示了反映大脑中发现的神经元表征。

1介绍

动物具有天生的能力，灵活地从一个领域获取知识并将其转移到另一个领域。这还不是机器的情况。传递知识的好处很明显 - 在新情况下可以快速推断，因此不必总是重新学习。统计结构的转移（世界上的对象之间的关系）是特别有用的，因为它让一个代理人能够将事物/概念融合在一起，共享相同的统计结构，但是在特殊性方面不同，例如当人们听到一个故事时，他们可以与他们已知的关于一般故事的内容相匹配，例如开始，中间和结束 - 当有趣的故事在听新闻时出现时，可以推断出该程序即将结束。

泛化是一个非常感兴趣的话题。在机器学习和人工智能（AI）的进步已经非常可观[ Krizhevsky等人（2012）Krizhevsky，Sutskever，和韩丁，Mnih等人（2015）Mnih，Kavukcuoglu，银，鲁苏，俯伏，马克·G，格雷夫斯Riedmiller，Fidjeland，Ostrovski，Petersen，Beattie，Sadik，Antonoglou，King，Kumaran，Wierstra，Legg和Hassabis ]但是对是否正在学习“真正的”底层结构存在怀疑。我们提出，为了学习和推广结构知识，这个结构必须明确表示，即与世界上感官对象的表征分离。在共享相同结构但具有不同感官对象的世界中，明确表示的结构可以与联合代码中的感官信息相结合。这允许新的感官观察与先前学习的结构知识相适应，这导致泛化。

为了理解我们如何构建这样一个系统，我们从神经科学中获取灵感。海马是已知可用于generalisaiton，存储器重要，因果关系，推导，传递推理，单次想象力和导航的问题[ Dusek和Eichenbaum的（1997） ，巴克马斯特等人（2004）巴克马斯特，Eichenbaum的，阿马拉尔， Suzuki和Rapp，Hassabis等（2007）Hassabis，Kumaran，Vann和Maguire ]。我们提出海马记忆的统计数据是通过皮层提取的[ McClelland et al。（1995）McClelland，McNaughton和O'Reilly ]，并且未来的海马表征/记忆被限制为与所学习的结构知识一致。我们发现这是一个使用人工神经网络（ANNs）建模的有趣系统，因为它可以提供关于机器一般化问题的见解，进一步理解生物系统本身并继续连接神经科学和人工智能研究[ Hassabis et al。 （2017）Hassabis，Kumaran，Summerfield和Botvinick，Whittington和Bogacz（2017） ]。

对于空间导航，我们很好地理解了位置细胞（海马）和网格细胞（内侧内嗅皮层）形式的神经元表征。因此，在对这个系统进行建模时，我们从类似于导航的问题开始，这样我们就可以利用并将我们的结果与已知的表示信息进行比较。位置细胞[ O'Keefe等人，（1971）奥基夫，Dostrovsky，Dostrovske，和Dostrovsky ]，并且随后的网格单元[ Hafting等人（2005）Hafting，Fyhn，莫尔登，Moser的，和莫泽 ]对神经科学领域产生了激进的影响，并获得了2014年诺贝尔生理学和医学奖。放置单元和网格单元是相似的，因为它们对于特定的空间区域具有一致的点火模式。放置单元往往只在给定环境中的单个（或多个）位置点燃，然而网格单元以规则格子模式点燃空间。这些细胞巩固了“认知地图”的概念，即动物拥有它所驾驶的空间的内部表征。传统上这些细胞被认为只是空间的。从那时起，地方单元可以编码完全非空间维度，例如声音频率[ Aronov等（2017）Aronov，Nevers和Tank ]。还已经表明，有像的二维（2D）网格编码非空间坐标系统[ 康斯坦丁等人（2016）康斯坦丁，O'Reilly的，和贝伦斯 ]，并且其用于空间环境中响应该网格单元，也在非空间环境中作出反应[ Aronov等（2017）Aronov，Nevers和Tank ]。因此，地点和电网编码似乎并不仅仅用于空间认知，而可能是表示信息的一般方式。

网格单元可以提供一个通用的结构代码。最近的研究结果表明，他们通过海马地方细胞的PCA [ Dordek et al。（2016）Dordek，Soudry，Meir和Derdikman ]或者作为前代表征的特征向量[ Stachenfeld et al。（2017 ）Stachenfeld，Botvinick和Gershman ]。这些总结统计意味着我们不仅可以在“空间”空间中概括2D规则，例如，如果A接近于B，B接近于C，那么我们可以推断出A和C也接近。事实上，在共享结构的环境中，网格单元表示是相似的（参见第5节））。地方单元可能会提供一个联合表示。他们的活动已被证明是由感觉环境以及位置[ Komorowski等（2009）Komorowski，Manns和Eichenbaum ]调制的。另外，一个环境中的地点单元代码与结构相同的环境中的代码不同 - 这被称为重新映射[ Bostock等人（1991）Bostock，Muller和Kubie，Leutgeb等人（2005）Leutgeb，Leutgeb，Barnes ，Moser，McNaughton和Moser ]。重新映射传统上被认为是随机的。然而，我们建议位置单元格是结构（网格单元格）输入和感官输入之间的连接表示，因此将单元格重新映射到与此连接一致的位置。

我们在人工神经网络中实施我们的建议，任务是在2D图形世界上行走时预测感官观察，其中每个顶点都有相关的感官体验。为了做出准确的预测，代理必须学习图的底层隐藏结构。我们将结构从感官认同中分离出来，提出网格单元编码结构，并将单元格形成身份和结构之间的连接表示（图1）。这种连接表示形成了一个记忆，它是结构和身份之间的桥梁，并允许相同的结构性代码在具有相同统计但不同感官体验的环境中重复使用。预测状态转换发生在网格单元中，因为网格代码是2D空间导航的自然基础[Stemmler等（2015）Stemmler，Mathis和Herz， Bush等（2015）Bush，Barry，Manson和Burgess ]。我们结合了Hebbian学习，允许快速形成情景记忆，并带有梯度下降，后者逐渐学习提取这些记忆的统计数据。我们专注于二维图形，因此我们可以将我们学习的表示与空间（地点和网格单元）的良好表征的神经元表示进行比较，然而注意到我们的方法对于任何图形结构都是通用的。我们进一步提出了重新映射实验的分析[ Barry等（2012）Barry，Ginzberg，O'Keefe和Burgess ]，它们支持我们的模型假设，显示了位置单元重映射到与网格编码一致的位置， 。

二

我们执行无监督学习，除了可用的行为，当前的行为和即时的感知数据外，不向网络提供任何外部信息。这些都是可用于生物媒介的信息，不像x ，y

或地面真实空间表示。我们进一步提出了网格单元在泛化中的作用，而不仅仅是导航。

然而，我们选择我们的存储器存储和寻址是计算生物学上合理的（而不是使用更类似于RAM的其他类型的可微存储器）以及使用分层处理。这使我们的模型能够发现对导航和寻址记忆都有用的表示。我们也明确地将空间的抽象结构从任何特定的内容中分离出来（图1）。

我们遵循类似的思想来补充学习系统[ McClelland等（1995）McClelland，McNaughton和O'Reilly ]，其中海马记忆的统计数据由皮层提取。我们另外建议，这种学习到的结构知识限制了海马在新环境中的表现，允许学习知识的重用。

三

通用的方法是在空间中抽象表示位置，然后记下在该位置观察到的刺激。

我们提出网格单元表示是抽象空间中的一个位置，而位置单元表示对于快速情节记忆的形成是有用的。我们建议将刺激与该位置联系起来，记忆应该是抽象位置和感觉刺激的结合，因此我们提出位置单元形成感觉器和网格输入之间的连接表示（图1）。这与实验证据

我们将感官数据，一个国家的物品/对象体验看作是来自经由横向内嗅皮层的'什么流'。我们模型中的网格单元是来自中间内嗅皮层的'哪里流'。我们的连接记忆将“什么”与“何处”联系起来。

（动物视觉的what where 视觉）

Thus we view the Entorhinal-Hippocampal system as a system that performs inference. The grid cells make an inference based on its previous estimate of location in abstract space, sensory information that it can link to previous locations via memory, and information regarding the available actions to be taken (a.k.a boundary information). The place cells, formalised in section 3.1, are a conjunction between the sensory data x≤t, and current location in abstract space gt, and are stored as memories.

https://github.com/GokuMohandas/fast-weights

6 结论：

这里我们提出了一个由海马 - 内嗅系统启发的结构泛化机制。我们提出可以通过结构和刺激的明确分离来概括状态空间统计，同时使用连接记忆表示来连接两者。我们提出使用空间层次来允许有效的组合代码。我们已经表明，在纯粹无监督的学习环境中，层次网格状和地点状表示自然地从我们的模型中出现。我们已经表明这些表示对于状态空间的概括是有效的，但对于分层存储器寻址也是有效的。我们还提供了实验证据，证明网格和地点单元在环境中保持其关系，这支持了我们的模型假设

DeepMind时间序列生成模型GTMM - NTM改进

https://github.com/GokuMohandas/fast-weights

https://www.groundai.com/project/generative-temporal-models-with-spatial-memory-for-partially-observed-environments/

https://www.groundai.com/project/temporal-difference-variational-auto-encoder/

原文链接：https://cloud.tencent.com/developer/article/1160003