耐能团队论文登上《自然·电子学》:集成忆阻器与CMOS以实现更好的AI

640?wx_fmt=jpeg

《自然·电子学》杂志封面(资料图,来源:《自然》官网)

来源:Kneron耐能

近日,《自然》杂志子刊《自然·电子学》(Nature Electronics)发表论文《集成忆阻器与CMOS以实现更好的AI》(Integrating Memristors and CMOS for Better AI),介绍了新型忆阻内存元器件结合传统CMOS工艺应用于AI领域的现状,并展望其方向与趋势。论文指出:通过将忆阻阵列与CMOS电路集成,可创建能提供高效DNN处理器的内存计算架构。

论文作者包括:圣母大学计算机科学与工程系博士后姜炜文、耐能工程总监谢必克、耐能创始人兼CEO刘峻诚,以及身兼耐能高级顾问的圣母大学计算机系终身副教授、博士生导师兼电子系终身副教授史弋宇。

为便于中国读者阅读,我们将其翻译成中文,正文部分如下:

深度神经网络(deep neural network, DNN, 图1a)在各种AI应用中的成功,推动了DNN加速器(或AI处理器)的普及,其中包括GPU、FPGA和ASIC。在这些AI处理器的设计中,能效和计算延迟是需要优化的两个关键指标,特别是在网络之间的边界控制数据流的终端平台,如移动和物联网设备(图1b)。 

然而,由于DNN存在大量的中间数据,当前基于传统冯·诺依曼架构的AI处理器设计方法都受到“内存墙”的限制,以致在内存和数据路径之间的海量数据移动中花费了过多的时间和电能(图1c)。

640?wx_fmt=jpeg

冯·诺依曼架构与用于AI终端设备的nvCIM架构:

a,具有卷积运算的典型DNN。

b,基于DNN执行应用程序的目标终端设备,可以使用nvCIM平台。

c,具有独立存储单元和处理单元的传统冯·诺依曼架构,使用GPU、FPGA或ASIC进行卷积运算。

d,基于nvCIM架构的AI处理器,在同一芯片上集成存储和处理单元。该方法使用忆阻器,可存储数据并具有可在存储器中进行卷积运算的计算能力。

 

为打破这种内存墙,研究人员开发了非易失性内存计算(non-volatile computing-in-memory, nvCIM)架构,它使用nvCIM来存储数据,并直接用这类存储器的计算能力处理数据。

最近关于nvCIM的工作已成功证明,MAC运算——这是DNN中的一项基本运算,可在由忆阻器组成的交叉单元阵列上实现,并可加快DNN的执行。然而,由于缺乏与同一芯片上的外围电路完全集成的存储单元阵列设计,nvCIM的效率增益仍未得到实验证实。

新竹清华大学教授张孟凡(音)及其合作者在《自然·电子学》杂志介绍了一个1Mb的忆阻nvCIM处理器,该处理器将定制控制和读出电路完全集成在一块芯片上。该方法特别集成了单晶体管、单电阻(one-transistor, one-resistor, 1T1R)电阻随机存取存储阵列和65nm制程 CMOS工艺的控制和读出电路。

研究人员使用该nvCIM处理器演示了二个输入、三个加权神经网络,实现了16.95TOPS/W的能效,修改后的数据集在美国国家标准技术研究院(the Modified National Institute of Standards and Technology, NIST)的推断精度达到98.8%。

该处理器可使用两个或三个输入以及MAC运算执行可重构逻辑运算。它在执行三输入布尔逻辑运算时的访问时间仅4.9纳秒,执行MAC运算时的访问时间则为14.8纳秒,这一结果清楚地说明了该方法提供高速运算以加速DNN的潜力。

张孟凡及其合作者使用基于三端1T1R元件的忆阻单元阵列,与传统的二端忆阻单元相比,这种三端1T1R单元可更好地扩展到更大的阵列而减缓功耗增长。该nvCIM处理器还利用数字双模字线驱动器作为行驱动器,它使用小面积数字缓冲器而非典型的数模转换器来提供稳定的模拟电压。

此外,研究人员提出了两种关键的电路级读出技术:小偏移多电平电流模式读出放大器,以及模式和输入自适应参考电流发生器。这些技术可实现低功率高度并行计算的内存运算,并在紧凑区域中克服设备多样性和单元漏电问题从而实现高精度。这些技术也可扩展到更大规模的nvCIM以及其他类型的电阻式存储器和忆阻器件。

张孟凡及其合作者的工作,是开发nvCIM处理器以在终端设备上实现AI的重要一步。但在广泛应用于商业化产品之前,仍有许多问题需要解决:

首先,用于忆阻器的读写电路仍可能在体积、功耗、延迟等方面造成巨大的负担。

其次,忆阻器的电阻状态有限,这要求它们牺牲输入数据或权值的数值精度,导致可能无法进行全精度显示。

然后,多数忆阻器都存在不可预知的问题,例如器件间的相斥、循环耐久性和随时间变化的磨损,需要深入验证它们如何影响AI处理器的性能。为解决这些问题,有必要从软件和硬件的角度探索可能的设计补救措施。

最后,现有基于nvCIM的AI处理器的内存仍然较小,可实现的神经网络对于多数应用来说也过于简单,需要实施大规模系统才能真正展示其实际能力。

这篇论文,是耐能团队在AI学术研究领域的最新成果之一。近年来,耐能团队已发表多篇核心论文并获得多项国际专利,并充分应用于终端AI芯片与解决方案的研发。其中,耐能创始人兼CEO刘峻诚的研究成果主要包括:

1

2019年

美国专利:卷积运算器件和方法(Operation Device and Mmethod for Convolutional Neural Network)

2

2018年

美国专利:缓冲器、卷积运算器件和方法(Buffer Device and Convolution Operation Device and Method)

美国专利:人工神经元及其控制方法(Artificial Neuron and Controlling Method Thereof)

3

2017年

美国专利:多层人工神经网络及其控制方法(Multi-Layer Artificial Neural Network and Controlling Method Thereof)

美国专利:3D集成电路(3D Integrated Circuit)

IEEE论文:用于物联网的可重构流式深度卷积神经网络加速器(A Reconfigurable Streaming Deep Cconvolutional Neural Network Accelerator for Internet of Things)

UCLA论文:硬件机器学习系统电路不确定性综合解决方案(Comprehensive Solutions to Circuit Uncertainty for Hardware Machine Learning System)

关于《自然·电子学》

《自然·电子学》(Nature Electronics)创刊于2018年1月,是《自然》系列科研期刊面向电子学领域的专业子刊,采取在线出版与订阅模式。

《自然·电子学》涵盖电子学各领域的基础和应用研究,从新现象和设备的研究直至电子电路的设计、制作以及更广泛的应用,其核心是关注新技术的发展并了解其对社会所产生的影响。


640?wx_fmt=jpeg

《崛起的超级智能》一书主要阐述当今天人类为人工智能的春天到来而兴奋,为人工智能是否超越人类而恐慌的时候,一个更为庞大、远超人类预期的智能形态正在崛起,种种迹象表明50年来,互联网正在从网状结构进化成为类脑模型,数十亿人类智慧与数百亿机器智能通过互联网大脑结构,正在形成自然界前所未有的超级智能形式。这个新的超级智能的崛起正在对人类的科技,产业、经济,军事,国家竞争产生重要而深远的影响。

作者:刘锋   推荐专家:张亚勤、刘慈欣、周鸿祎、王飞跃、约翰、翰兹

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/490341.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

word交叉引用多条文献

有时候需要引用多条连续的文献,例如[1][2][3]需要把它变为[1-3],更新域后不受影响仍然正确。 4、选中这两个代码域,右键->切换域代码,再选中这两个代码域,右键->更新域,引用号码变为[13],…

pppcloud云主机内LINUX用户安全管理2

◆超级用户权限与授权 ●建立多个超级用户 不少新系统管理员认为root用户是唯一的超级用户,其实root只是系统默认的超级用户的名称,root并非因为它叫root而成为超级用户的。随便打开一个/etc/passwd文件的例子,你就会发现如下几行&#xff1a…

一份完全解读:是什么使神经网络变成图神经网络?

图1:来自(Bruna等人,ICLR,2014)的图,描绘了3D领域内的MNIST图像。虽然卷积网络很难对球面数据进行分类,但是图网络可以很自然地处理它。可以把它当做是一个处理工具,但在实际应用程序中会出现许多类似的任务…

中国芯片将靠此超车!RISC-V架构神在哪全解构【附下载】

来源: 智东西RISC-V(发音为“risk-five”)是一个基于精简指令集(RISC)原则的开源指令集架构(ISA),简易解释为开源软件运动相对应的一种“开源硬件”。该项目2010年始于加州大学伯克利…

sha256校验工具_使用AIDE工具做入侵检测

AIDE(Advanced Intrusion Detection Environment,高级入侵检测环境)是个入侵检测工具,主要用途是检查文档的完整性。AIDE能够构造一个指定文档的数据库,他使用aide.conf作为其配置文档。AIDE数据库能够保存文档的各种属性,包括:权…

transition过渡的趣玩

本例中将三张图&#xff08;来自网络&#xff09;进行堆叠&#xff0c;鼠标悬停触发。附有源代码 <!DOCTYPE html> <html> <head><title>照片墙</title><meta charset"utf-8"><style type"text/css">.parent{wi…

网上花店系统源码_如何创建一个花店线上商城,可以开发一个微信小程序

说起来花店&#xff0c;相信很多人都去花店买过花&#xff0c;许多花店通常都是个人开的店&#xff0c;一般位置回去选取在人口稠密的地区&#xff0c;以求争取到附近的流量。一般来说&#xff0c;人们会在有人创业或做些开心的事&#xff0c;或者情人节时买鲜花。随着城市的不…

机器的类比

来源&#xff1a;人机与认知实验室如果说机器深度学习有几个重要的边界&#xff1a;数据边界、语义边界、符号边界和因果边界。那么突破这几个边界的口子可能就是——类比&#xff0c;不仅是比例类比&#xff0c;更是跨域机器类比机理的形成可能就是一条前进的光明大道。实质上…

【深度】全球机器人产业趋势及特征分析

来源&#xff1a;工业机器人前沿当前&#xff0c;全球机器人市场规模持续扩大&#xff0c;工业机器人市场增速回落&#xff0c;服务、特种机器人增速稳定。技术创新围绕仿生结构、人工智能和人机协作不断深入&#xff0c;产品在教育陪护、医疗康复、危险环境等领域的应用持续拓…

为什么多个线程不可能同时抢到一把锁_并发基础理论:原子性问题、锁、管程...

我们再回顾一下&#xff0c;原子性问题的根源是CPU切换线程执行指令所导致的&#xff0c;当前一个对共享变量的操作没有完成之前&#xff0c;CPU又切换到另外一个线程来操作对应的共享变量&#xff0c;那么最终产生的结果就可能出现问题。比如如果现在有两个线程都在执行number…

继智能手机之后,增强现实如何再次改变我们与世界的交互方式

来源&#xff1a;资本实验室作为面向未来的新技术&#xff0c;增强现实和虚拟现实在过去几年中的发展可以用不温不火来形容。尽管创业投资和市场规模都在不断扩大&#xff0c;但硬件设备、数据传输速度、沉浸式体验效果、分辨率等因素都制约着该技术的快速发展&#xff0c;而大…

简要说明建设城市大脑三条关键标准规范

作者&#xff1a;刘锋 前言&#xff1a;简要的说&#xff0c;城市大脑不是一个城市级AI信息系统&#xff0c;也不是城市内部的信息化建设&#xff0c;而是互联网结构从网状模型向大脑模型进化时&#xff0c;与城市建设结合的产物&#xff0c;因此建设城市大脑需要拥有三个特征…

git恢复删除前的版本

有时候我们想撤销上一次提交&#xff0c;于是执行git reset --soft HEAD^&#xff0c;这样就成功的删除了你上一次的commit。但有时候发现不小心撤销错了&#xff0c;想把刚刚的撤销给撤回&#xff1a; 方法&#xff1a;首先执行git reflog 这时会显示刚刚各个操作&#xff0…

NLP模型超越人类水平?你可能碰到了大忽悠

大数据文摘出品来源&#xff1a;thegradient编译&#xff1a;张睿毅、武帅、钱天培一个军方训练的神经网络声称可以分类图像中的坦克&#xff0c;但实际上&#xff0c;它只是学会了识别不同的亮度&#xff0c;因为一种类型的坦克仅出现在明亮的图片中&#xff0c;而另一种类型仅…

伸缩杆怎么缩回去图解_没有阳台怎么晾衣服?这10个神器,让家里衣物晾晒更轻松方便...

没有阳台怎么晾衣服&#xff1f;这10个神器&#xff0c;让家里衣物晾晒更轻松方便&#xff01;衣物晾晒是居家生活的必要环节&#xff0c;每个家庭在洗完衣物后都有自己的晾晒方式&#xff0c;但多数家庭会选择在阳台里进行。然而&#xff0c;对于没有阳台的家庭来说&#xff0…

小脑过度活跃,会引起整个大脑的问题

来源&#xff1a;中国生物技术网 9月10日&#xff0c;发表在《Cell Reports》的一项研究中&#xff0c;来自日本京都大学的研究团队发现小脑中的免疫活性诱导动物的神经元过度兴奋&#xff0c;干扰了精神运动行为。位于颅骨下背部的小脑&#xff0c;在调节诸如平衡、运动学习和…

Kubernetes(K8S)快速入门

概述 在本门课程中&#xff0c;我们将会学习K8S一些非常重要和核心概念&#xff0c;已经操作这些核心概念对应组件的相关命令和方式。比如Deploy部署&#xff0c;Pod容器&#xff0c;调度器&#xff0c;Service服务&#xff0c;Node集群节点&#xff0c;Helm包管理器等等。 在…

学会怎样使用Jsp 内置标签、jstl标签库及自定义标签

学习jsp不得不学习jsp标签&#xff0c;一般来说&#xff0c;对于一个jsp开发者&#xff0c;可以理解为jsp页面中出现的java代码越少&#xff0c;对jsp的掌握就越好&#xff0c;而替换掉java代码的重要方式就是使用jsp标签。 jsp标签的分类&#xff1a;1&#xff09;内置标签&am…

没有精准定位,万物还能实现互联吗?

来源&#xff1a;CSDN万物皆备&#xff0c;静待互联。这是一个万物都被赋予「生命」的时代&#xff0c;从人工流水线到工业自动化&#xff1b;从相互独立的设备到实时可监测相连的家居智能化&#xff1b;从汽车的复杂操作到自动驾驶的无人化......探索其真谛&#xff0c;实则科…

log4net保存到数据库系列二:独立配置文件中配置log4net

园子里面有很多关于log4net保存到数据库的帖子,但是要动手操作还是比较不易&#xff0c;从头开始学习log4net数据库日志一、WebConfig中配置log4net 一、WebConfig中配置log4net二、独立配置文件中配置log4net三、代码中xml配置log4net四、完整代码配置log4net五、新增数据库字…