《自然-机器智能》:神经形态技术可使大型深度学习网络节能16倍

1f6a6dfd5e6b416fbcc5c7beb8b94e67.png

来源: 学术头条

受生物大脑机制的启发,研究人员一直在提高人工神经网络的性能效率和计算要求。一项新的研究表明,对于大型深度学习网络,神经形态技术的能源效率有望达到其他人工智能系统的 16 倍。

格拉茨技术大学(TU Graz)理论计算机科学研究所的研究人员首次通过实验证明,大型神经网络可以处理句子等序列,同时在神经形态硬件上运行时消耗的能量比非神经形态硬件少 4 到 16 倍。

ab964a1d880abf20eadbdc00d00b8420.png

该研究由人类大脑计划(HBP)资助,HBP 是世界上最大的研究项目之一,包括欧洲500 多名研究人脑的科学家和工程师。研究结果以“Memory for AI Applications in Spike-based Neuromorphic Hardware”为题发表在 Nature Machine Intelligence 上。

近年来,人工神经网络(ANN)已成为人工智能(AI)中最著名的方法,并在计算机视觉、汽车控制、飞行控制和医疗系统等各个领域取得了卓越的性能。

能够自主识别和推断对象以及不同对象之间关系的智能机器和智能计算机,是全球人工智能研究的重要主题。但是,能源消耗是此类 AI 方法更广泛应用的主要障碍。

一直以来,科学家们希望神经形态技术能够推动正确的方向发展。要知道,人类大脑在使用能量利用方面非常高效。为了处理信息,我们的大脑中千亿个神经元只消耗大约 20 瓦的能量,也就是相当于一个普通的节能灯泡的能耗。而神经形态技术就是以人脑为模型。

在这项最新研究中,研究团队专注于处理时间过程的算法。例如,系统必须回答有关先前讲述的故事的问题,并从上下文中掌握对象或人之间的关系。测试的硬件由 32 个 Loihi 神经形态研究芯片组成,该芯片利用神经科学的见解来创建类似于生物大脑的功能。

6c6267591fdaa73724c528ebf99c2c66.png图 | 神经形态研究芯片(来源:TU Graz)

在这项研究的神经形态网络中,研究人员复制了一种大脑记忆机制,正如理论计算机科学研究所博士生导师 Wolfgang Maass 所解释的那样,实验研究表明,即使没有神经活动,人脑也可以在短时间内存储信息,即在所谓的神经元“internal variables”。模拟实验表明,神经元子集的疲劳机制对于这种短期记忆至关重要。

缺乏直接证据是因为这些内部变量还无法测量,但这确实意味着神经网络只需要测试哪些神经元当前处于疲劳状态,就可以重建它之前处理过的信息。换句话说,先前的信息存储在神经元的不活动中,而不活动就消耗最少的能量。

为此,研究人员将两种类型的深度学习网络联系起来。反馈神经网络负责“短期记忆”,许多此类所谓的循环模块从输入信号中过滤掉可能的相关信息并将其存储。前馈网络确定找到的关系对于解决手头的任务非常重要。无意义的关系被筛选掉,神经元只在那些已经找到相关信息的模块中激发。这个过程最终导致了能耗的大大降低。

0eb696b814e574058819762c3a02950b.png图 | 研究论文通讯作者之一、TU Graz理论计算机科学研究所的Wolfgang Maass(来源:TU Graz)

TU Graz 理论计算机科学研究所的博士生 Philipp Plank 说,“我们的神经形态技术系统比传统硬件上的其他 AI 模型的能效高 4 到 16 倍,随着这些模型迁移到下一代 Loihi 硬件,Plank 预计效率会进一步提高,从而显着提高芯片间通信的性能。”

这项研究得到了英特尔和欧洲人类大脑计划的资金支持,人类大脑计划旨在将神经科学、医学和受大脑启发的技术联系起来。为此,该项目正在创建一个永久性的数字研究基础设施——EBRAINS。

“神经形态芯片有望为人工智能带来收益,尤其是通过降低其高昂的能源成本。这项研究提供了更多证据,表明神经形态技术可以通过从生物学的角度重新思考,来提高当今深度学习工作负载的能源效率。”英特尔神经形态计算实验室主任 Mike Davies 表示。

“循环神经结构有望为未来在神经形态硬件上运行的应用程序提供最大的收益,神经形态硬件非常适合促进我们在大脑中观察到的快速、稀疏和不可预测的网络活动模式,并且是节能的 AI 应用程序所需要的。”

参考资料:
https://www.tugraz.at/tu-graz/services/news-stories/tu-graz-news/einzelansicht/article/tu-graz-und-intel-demonstrieren-signifikante-energieeinsparungen-durch-neuromorphe-hardware/
https://www.sciencedaily.com/releases/2022/05/220524100612.htm
https://www.nature.com/articles/s42256-022-00480-w

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

1b3ec79a0aa1c64fe0af47cfd4c04135.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/482049.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java总结:正则表达式进行校验

Java总结:正则表达式进行校验 目录 Java总结:正则表达式进行校验 一、校验数字的表达式 二、校验字符的表达式 了解理论知识,请点击:Java总结:正则表达式 一、校验数字的表达式 1 数字:^[0-9]*$ 2 n位的数字:^\d{n}$ 3 至少n位的数字&am…

康奈尔计算计学院院长Kavita Bala:「元宇宙」算什么?上帝之眼或将通过 AI 诞生...

来源:AI科技评论编译:王玥编辑:陈彩娴在今年斯坦福HAI实验室的春季会议上,康奈尔计算机学院院长Kavita Bala以“视觉外观和理解:从微米分辨率到世界级”为题,就她在数字化现实世界方面的研究进行了精彩的演…

MySql笔记:Can't create table 'mydb3.#sql-f48_1' (errno: 150

QUESTION:Cant create table mydb3.#sql-f48_1 (errno: 150 ANSWER: 总得来说是因为两个表的字段类型不一致,例如: 两个字段的类型或大小不严格匹配,一个为tinyint,另一个为char;或一个为int(10)另一个为int(9)也是不…

王浩:哥德尔思想概说

来源:本文原文刊于《科学文化评论》2004年第6期撰文:王浩翻译:邢滔滔译者按本文选自王浩最后一本著作A Logical Journey—From Gdel to Philosophy (Cambridge: The MIT Press, 1996)的引言部分,有删节,题目…

八大排序:Java实现八大排序及算法复杂度分析

目录 QUESTION:八大排序:Java实现八大排序及算法复杂度分析 ANSWER: 一:冒泡排序 1.算法分析 2.时间复杂度分析 3.代码 二:选择排序 1.算法分析 2.时间复杂度分析 3.代码 三:插入排序 1.算法分析 2.时间复杂度分析 3.代码 四&a…

网友:看完Jeff Dean新论文,我再也不相信大厂的鬼话了

来源:数学中国文字:乔叶配图 :乔叶排版:余弟宗璇「我相信他们得到的数字是准确的,他们确实做了工作并得到了结果…… 但这样真的好吗?」一名机器学习研究者的灵魂发问,今天成为了整个社区最热门…

Tomcat:部署成功后不能正常访问local:8080,服务已经启动。

QUESTION:Tomcat:部署成功后不能正常访问local:8080,服务已经启动? ANSWER: 昨天启动的时候,tomcat能够正常启动,但是对应的网页却打不开。针对此问题的解决采取了以下步骤: 首先,我找到tomcat的安装目录&#xff0…

CV未来在这68张图上?Google Brain深扒ImageNet:顶级模型全都预测失败

来源:新智元编辑:LRS【新智元导读】ImageNet的标签问题一直为人诟病,最近Google Brain全面分析了基准内遗留的历史问题,并找出了所有顶级模型全都预测失败的68张图片,或许未来CV想取得突破,先得攻破这68关&…

谷歌夺回AI画语权,机器的想象力达到全新高度,网友:DALL·E 2诞生一个月就过时了?...

来源:量子位在让AI搞创作这件事上,谷歌和OpenAI正面刚起来了。这不,震惊全网的DALLE 2才新鲜出炉一个月,谷歌就派出名为Imagen的选手来打擂台。直接上图对比,左边是谷歌Imagen选手眼中的“猫猫绊倒人类雕像”&#xff…

Linux安装MySQL的完整步骤并有关MySQL8.0版本的问题方法

目录 QUESTION:Linux安装MySQL的完整步骤? ANSWER: 一:使用wget 直接下载 二:安转软件源,将platform-and-version-specific-package-name 替换为你下载的rpm名 三:安装mysql服务端 四:首先启动mysql 五&#x…

研究遭质疑,Jeff Dean回应:我们本就不是为得到新SOTA,成本计算也搞错了

来源:机器之心编辑:杜伟、陈萍对于 Jeff Dean 的回复,你认同吗?昨日,整个社区最热门的话题无外乎是 reddit 上一名机器学习研究者对谷歌 AI 负责人 Jeff Dean 参与论文的质疑。这篇论文是《An Evolutionary Approach t…

部署WEB应用到云服务器时,出现的部分网页不能显示或者连接数据库问题。

目录 QUESTION:部署WEB应用到云服务器时,出现的部分网页不能显示或者连接数据库问题? ANSWER: 一:Mysql配置问题 1.1MySQL配置不区分大小写: 1.2设置MySQL字符集 QUESTION:部署WEB应用到云服务器时,出现的部分网页不能显示或…

数据库:MySQL和MariaDB的JDBC连接

目录 QUESTION:MySQL和MariaDB的JDBC连接? ANSWER: 区别与联系: MySQL: MariaDB: java连接mariaDB数据库的设置:(tomcat 8) 第一种方法:使用tomcat自带的mysql-connector-java-5.1.40-bin.jar&#x…

全脑地图:单个记忆被拆分存储在多个相连的大脑区域

来源:神经生物学根据一项创新的脑域映射研究,单一的记忆被存储在许多连接的大脑区域。创新的脑成像研究表明,“记忆印记”,编码记忆的神经元集合,广泛分布,包括在以前没有意识到的区域。麻省理工学院皮考尔…

李德毅 | 新一代人工智能如何从传统人工智能中脱颖而出

来源:图灵人工智能 作者:李德毅 中国工程院院士、CAAI名誉理事长、主线科技首席科学家2021年4月10日,“吴文俊人工智能科学技术奖”十周年颁奖盛典在北京举办。颁奖典礼上,中国工程院院士、中国人工智能学会名誉理事长李德毅荣获…

【强基固本】现在的人工智能是否走上了数学的极端?

来源:知乎—谢凌曦地址:https://www.zhihu.com/question/519393525/answer/2430233113“强基固本,行稳致远”,科学研究离不开理论基础,人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑,为…

Linux下的Tomcat服务器修改server.xml中的8080端口号后出现不能访问首页

QUESTION:Linux下的Tomcat服务器修改server.xml中的8080端口号后出现不能访问首页 ANSWER: 简单直接的有效方法:重装tomcat服务器。

智源发布线虫生命模型,超级人脑有望在未来15-30年实现

出品:CSDN(ID:CSDNnews)作者:田玮靖 5月31日,作为国际性、权威性、专业性和前瞻性的“内行AI盛会”——智源大会开幕,会上,智源研究院发布了其最新研究成果线虫生命模型——天宝…

Linux关闭Tomcat服务器出现无法关闭 :8005端口未启动

QUESTION:Linux关闭Tomcat服务器出现无法关闭 :8005端口未启动 ANSWER: 修改$JAVA_HOME/jre/lib/security/Java.security 文件中 securerandom.source 配置项: 将 securerandom.sourcefile:/dev/random 修改为: securerandom.sourcefile:/dev/urando…