Nature子刊:科学家在类脑芯片上实现类似LSTM的功能,能效高1000倍

bff159fa72afbf88142abdc77edc2111.png

来源:机器学习研究组订阅

格拉茨技术大学的计算机科学家在 Nature 子刊上发表的一篇论文表明,他们找到了一种在神经形态芯片上模拟 LSTM 的方案,可以让类脑神经形态芯片上的 AI 算法能效提高约 1000 倍。

随着智能手机的普及,手机游戏也越来越受欢迎。但视频游戏等程序会大量耗电耗能。与 GPU 等标准硬件相比,基于 spike 的神经形态芯片有望实现更节能的深度神经网络(DNN)。但这需要我们理解如何在基于 event 的稀疏触发机制(sparse firing regime)中模拟 DNN,否则神经形态芯片的节能优势就会丧失。

比如说,解决序列处理任务的 DNN 通常使用长 - 短期记忆单元(LSTM),这种单元很难模拟。现在有一项研究模拟了生物神经元,通过放慢每个脉冲后的超极化后电位(AHP)电流,提供了一种有效的解决方案。AHP 电流可以很容易地在支持多节段(multi-compartment)神经元模型的神经形态硬件(例如英特尔的 Loihi 芯片)上实现类似于 LSTM 的功能。

840b2e6a996309dc4036eec575e60585.png

滤波器逼近理论能够解释为什么 AHP 神经元可以模拟长短期记忆网络的功能。这产生了一种高能效的时间序列分类方法,让类脑神经形态芯片上的 AI 算法能效提高约 1000 倍。此外,它为高效执行大型 DNN 提供了基础,以解决有关自然语言处理的问题。研究论文近期发表在《自然 · 机器智能》期刊上。

ee00afe1f50493c61ab818c2ba7b0b6c.png

论文地址:https://www.nature.com/articles/s42256-022-00480-w

曼彻斯特大学的计算机科学家 Steve Furber 评价这项研究称:「这是一项令人印象深刻的工作,可能给复杂 AI 算法(例如语言翻译、自动驾驶)的性能带来巨大飞跃。」

研究动机

AI 程序通常擅长在数据集中找到特定的模式。例如,在图像识别中,AI 算法首先会找到图像清晰的边缘,然后在拼凑出整体图像时记住这些边缘以及图像的所有后续部分。

这种网络的一个共同组成部分是一个被称为 LSTM 的软件单元,它在事物随时间变化时保持一个元素(element)的记忆。例如,图像中的垂直边缘需要保留在内存中,因为软件会确定它是代表数字「4」的一部分还是汽车的门。典型的 AI 系统必须同时跟踪数百个 LSTM 元素。

当前在传统计算机芯片上运行的 LSTM 网络非常准确,但是非常耗电。为了处理信息比特,它们必须首先检索存储数据的各个比特,对其进行操作,然后再将它们送回存储,并一遍又一遍地重复这个过程。

英特尔、IBM 等芯片制造商一直在尝试一种新的芯片设计方式——神经形态芯片。这种芯片处理信息的方式就像大脑中的神经元网络,其中每个神经元接收来自网络中其他神经元的输入,并在总输入超过阈值时触发。

在这种新芯片中,一些相当于神经元的硬件被连接在一起形成网络。AI 程序也依赖于人造神经网络,但在传统计算机中,这些神经元完全由软件定义,需要来回访问存储。

这种神经形态芯片同时处理存储和计算,因此更加节能。但要利用这种架构,计算机科学家需要在新型芯片架构上重新研究如何运行 LSTM 等网络。

这正是来自格拉茨技术大学的计算机科学家 Wolfgang Maass 等研究者的工作重点。他和他的同事试图复刻人脑中的一种记忆存储机制,这种机制由生物神经网络执行,称为超极化后电位 (AHP) 电流。

AHP 神经元放电模式

大脑中的神经元在触发后通常会返回到其基线水平并保持静止,直到它再次接收到超过其阈值的输入而被触发。但在 AHP 网络中,神经元放电一次后,会暂时禁止再次放电,这有助于神经元网络在消耗更少能量的同时保留信息。

Maass 和他的同事将 AHP 神经元放电模式集成到他们的神经形态神经网络软件中,并通过两个标准的 AI 测试运行他们的网络。第一个挑战是让软件在分割成数百个独立像素的图像中识别手写数字「3」。在这个测试中,他们发现,当在英特尔的神经形态 Loihi 芯片上运行时,他们的算法比在传统芯片上运行的基于 LSTM 的图像识别算法的能效高 1000 倍。

在第二项测试中,研究人员给了该网络一个 20 个句子组成的故事,测试它对故事含义的理解。结果,该神经形态装置的效率是传统计算机处理器算法的 16 倍。

Maass 指出,第二次测试是在英特尔第一代 Loihi 芯片的 22 个系列上进行的,这些芯片在相互通信时消耗相对较大的能量。该公司已经推出了第二代 Loihi 芯片,每一个都有更多的神经元,他说这将减少 chip-to-chip 通信需求,从而使软件运行更高效。

目前,神经形态芯片的商业化案例还是凤毛麟角。因此,这项研究的大规模应用可能不会很快出现。但是艾伦研究所的计算神经科学家 Anton Arkhipov 说,先进的 AI 算法(如 Maass 所展示的算法)可以帮助这些芯片获得商业立足点。「至少,这将加速 AI 系统的构建。」

反过来,这又将加速新颖的 AI 应用的出现,如一个更加智能的 AI 数字助理,这个助理不仅可以提示照片中某个人物的名字,还能帮你回忆起你是在哪里认识的这个人,以及你们之间发生了什么故事。

Maass 说,通过整合大脑中的其他神经元放电模式,未来的神经形态装置甚至有一天可以开始探索众多神经元放电模式如何共同产生意识。

原文链接:https://www.science.org/content/article/microchips-mimic-human-brain-could-make-ai-far-more-energy-efficient

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

03897f814e72028681ca17616b2f7552.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/482074.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JAVA:网络编程总结

目录 01_网络编程(网络编程概述)(了解) 02_网络编程(网络编程三要素之IP概述)(掌握) 03_网络编程(网络编程三要素之端口号概述)(掌握) 04_网络编程(网络编程三要素协议)(掌握) 05_网络编程(Socket通信原理图解)(了解) 06_网络编程(UDP传输)(了解)07_网络编程(UDP传输优化…

重磅!0.2nm路线图来了!详细讲解技术实现!

来源:tomshardware编译:EETOP世界上最先进的半导体研究机构 Imec 最近在比利时安特卫普举行的未来峰会上分享了其亚1nm和晶体管路线图。该路线图让我们大致了解了到 2036 年Imec将在其实验室与台积电、英特尔、三星和 ASML 等行业巨头合作研发的下一个主…

JAVA:反射总结

01_反射(类的加载概述和加载时机) 02_反射(类加载器的概述和分类) 03_反射(反射概述) 04_反射(Class.forName()读取配置文件举例) 05_反射(通过反射获取带参构造方法并使用) 06_反射(通过反射获取成员变量并使用) 07_反射(通过反射获取方法并使用) 08_设计模式(模版(Tem…

软件工程论文实现

QUESTION:软件工程论文实现? ANSWER: 目录 QUESTION:软件工程论文实现? ANSWER: 一、论文的书写格式规范化要求 二、论文的排版格式规范化要求 三、论文书写、排版、打印规范化要求样式 一、论文的书写格式规范化要求 论文本身由论文题目、作者、中文摘要、关键词、正文、…

问题即答案-解决棘手问题的突破性方法

来源:混沌巡洋舰 “问题”(question) 中包含一个非常美妙的词:“ 探索”(quest)。我太喜欢这个词了。——埃利威塞尔(Elie Wiesel)有些人常常感觉一些真相事关重大,自己应…

CSS:盒子模型和清除float浮动的三种常用方法

目录 一:浮动产生原因: 二:浮动产生副作用: 三:浮动解决方法: QUESTION:CSS盒子模型清除浮动? ANSWER: 一:浮动产生原因: 一般浮动是什么情况呢?一般是一个盒子里使用了CSS fl…

逼真度超越「AI设计师」DALL·E 2!谷歌大脑推出新的文本生成图像模型Imagen

来源:AI科技评论作者:李梅、王玥编辑:陈彩娴文本生成图像模型界又出新手笔!这次的主角是Google Brain推出的 Imagen,再一次突破人类想象力,将文本生成图像的逼真度和语言理解提高到了前所未有的新高度&…

JavaWeb笔记:Html总结

JavaWeb笔记:Html总结 目录 JavaWeb笔记:Html总结 一、html简介 二、html基本标签 三、html表单标签(重点) 一、html简介 1、html是什么 Html是用来描述网页的一种语言。 (1)HTML 指的是超文本标记语言 (Hyper Text Markup Language) (2)H…

量子技术推动新的传感器热潮

IMPERIAL COLLEGE LONDON/M SQUARED来源:IEEE电气电子工程师想象一下,传感器可以探测思想的磁场、帮助月球车探测月球岩石中的氧气,或者接收来自暗物质的无线电波。正如量子计算机可以从理论上找到经典计算机无法解决的问题的答案一样&#x…

JavaWeb笔记:CSS总结

JavaWeb笔记:CSS总结 目录 JavaWeb笔记:CSS总结 一、css的简介 二、css选择器 三、css属性 四、css盒子模型 一、css的简介 1、什么是css 层叠样式表,css是对html进行样式修饰语言 层叠:就是层层覆盖叠加,如果不同的cs…

0.2nm路线图来了!详细讲解技术实现!

来源:tomshardware世界上最先进的半导体研究机构 Imec 最近在比利时安特卫普举行的未来峰会上分享了其亚1nm和晶体管路线图。该路线图让我们大致了解了到 2036 年Imec将在其实验室与台积电、英特尔、三星和 ASML 等行业巨头合作研发的下一个主要工艺节点和晶体管架构…

JavWeb笔记:JavaScript总结

JavWeb笔记:JavaScript总结 目录 JavWeb笔记:JavaScript总结 一、js简介 二、基本语法 三、js内建对象 四、js的函数 五、js的事件 六、js的bom 七、js的dom 一、js简介 1、js是什么 2、js作用 3、组成 4、引入方式 二、基本语法 1、变量 2、原始数据…

走向认知发展的理性建构理论

Towards a Rational Constructivist Theory of Cognitive Development Fei Xu University of California, Berkeley来源:CreateAMind本文对认知发展理论——理性建构主义进行了综述。这种观点的基本原则如下:(a)初始状态:人类婴儿以一组原型概念的原语开始生命。这些…

JavaWeb笔记:JDBC总结

JavaWeb笔记:JDBC总结 目录 JavaWeb笔记:JDBC总结 一、JDBC概述 二、开发一个JDBC程序(重要) 三、JDBC常用的类和接口详解 1、java.sql.Drivermanager类 : 创建连接 2、java.sql.Connection接口:一个连接 3、java.sql.Statement接口:…

谷歌街景15年乾坤大挪移!带你穿越法老的金字塔

来源:机器学习研究组订阅最近两年多,整个世界都被一个共同对手折腾得够呛。有人咬牙坚持、有人躺平摆烂,有人祈求上天,还有人离开了这个世界。更多的人们则逐渐意识到,原来所谓「Good Old Times」离我们竟然如此之近&a…

如何构建可信GNN?最新综述来了!可信图神经网络:维度,方法,趋势

来源:Monash University作者:He Zhang,Bang Wu前言在过去的几年里,以神经网络为首的人工智能技术通过对不同类型数据的深入挖掘已经深刻地改变了人类的生活并极大地推动了社会发展的进程 [1]。作为人工智能领域最活跃的研究方向之…

JavaWeb:XML总结

JavaWeb:XML总结 目录 JavaWeb:XML总结 一:什么是XML? 二:xml语法: 三: xml约束: 四:XML解析思想: 一:什么是XML? XML:eXtensible Markup La…

JavaWeb:tomcat服务器安装总结及Http协议

JavaWeb:tomcat服务器安装总结 目录 JavaWeb:tomcat服务器安装总结 一:服务器端概述: 二:Tomcat下载: 三:安装: 四:HTTP问题: 五:深入了解tomcat服务器&#xff1…

深度知识的6个维度:如何让人工智能真正理解世界?

智能的真正标志不是知识,而是想象力。来源:AI科技评论作者:Gadi Singer编译:王玥编辑:陈彩娴什么知识让我们变得聪明?我们用来理解世界、解释新体验和做出深思熟虑的选择的认知结构是什么?定义一…

C语言:fopen与open的总结

目录 QUESTION:fopen与open的总结? ANSWER: 1.非缓冲文件系统 2.缓冲文件系统 3.具体区别 QUESTION:fopen与open的总结? ANSWER: 1.非缓冲文件系统 缓冲文件系统是借助文件结构体指针来对文件进行管理,通过文件指针来对文件进行访问,既可以读写字符…