新型AI芯片 其能效或是替代品的两倍

751c91858025f79f035164e97d39f7bc.png

DAVID BAILLOT/UNIVERSITY OF CALIFORNIA SAN DIEGO

来源:IEEE电气电子工程师

在软件和硅中复制人脑是人工智能(AI)研究的长期目标。虽然神经形态芯片在能够同时运行多个计算方面取得了重大进展,并且既能计算也能存储数据,但它们还远未达到模拟大脑的能源效率。

人工智能计算是非常耗能的,但所消耗的能量大部分不是计算本身。能量密集型部分是在AI芯片内的内存和计算单元之间移动数据。为了解决这个问题,一组研究人员开发了一种新的内存计算(CIM)芯片原型,消除了这种分离的需要。他们在8月17日发表在《自然》杂志上的论文中声称,其原型展示了现有人工智能平台效率的两倍。之所以称为NeuRRAM,是因为它使用一种称为电阻式随机存取存储器(RRAM)的RAM,这种48核RRAM-CIM硬件支持多种神经网络模型和架构。

该论文的第一作者、斯坦福大学研究员Weier Wan表示,与传统内存相比,RRAM有很多优点。其中之一是在同一硅片区域内具有更高的容量,从而可以实现更大的AI模型。它也是非易失性的,意味着没有电源泄漏。他补充说,这使得基于RRAM的芯片成为边缘工作负载的理想选择。研究人员设想,NeuRRAM芯片可以在低功耗的边缘设备上有效地处理一系列复杂的人工智能应用,而不依赖于与云的网络连接。

为了设计NeuRRAM,团队必须权衡效率、多功能性和准确性,而不牺牲其中任何一项。Wan说:“主要创新是我们使用了一种新型的模数转换方案,因为这被认为是CIM芯片能源效率的主要瓶颈。我们发明了一种新的方案,它是基于感应电压,而以前的方案是基于感应电流。电压模式感应还允许在单个计算周期内提高RRAM阵列的并行性。”

他们还探索了一些新的体系结构,如可转置神经突触阵列(TNSA),以灵活地控制数据流方向。Wan解释道:“为了精确性,关键是算法和硬件协同设计。这基本上允许我们直接在这些AI模型中建模硬件特征。”这反过来又允许算法适应硬件非理想性并保持精确性。换言之,Wan总结道,他们优化了整个堆栈,从设备到电路,从架构到算法,设计出一款高效、通用、准确的芯片。

加州大学圣地亚哥分校研究员Gert Cauwenberghs是这篇论文的合著者之一,他说:“内存计算的大多数进展都局限于软件级的演示,基本上是使用一系列突触。但在这里,我们将其放在堆栈的水平层。”

NeuRRAM在手写数字识别任务中实现了99%的准确率,在图像分类任务中达到了85.7%,在谷歌语音命令识别任务中达到84.7%,在图像恢复任务中,图像重建错误减少了70%。研究人员总结道:“这些结果可以与现有的数字芯片相媲美,这些数字芯片在相同的比特精度下进行计算,但可以大幅节省能源。”

将NeuRRAM与Intel的Loihi 2神经形态芯片(800万神经元Pohoiki Beach系统的组成部分)进行比较,研究人员表示,他们的芯片具有更好的效率和密度。圣母大学(University of Notre Dame)另一位合著者兼研究员Siddharth Joshi补充道:“基本上,Loihi是一个标准的数字处理器,带有SRAM库和特定的可编程ISA(指令集)架构。它们使用了一种更为von Neumann–ish式的架构,而我们的计算是在位线本身上进行的。”

最近的研究还认为,包括Loihi在内的神经形态芯片可能具有比AI更广泛的应用范围,包括医疗和经济分析,以及量子计算需求。NeuRRAM的制造商同意这一观点,认为内存计算架构是未来的发展方向。Cauwenberghs补充道,NeuRRAM的可扩展性在架构方面表现得很好,“因为我们有这个并行的核心阵列,每个核心独立进行计算,这就是我们如何实现具有任意连接的大型网络的方法。”

研究人员表示,现在考虑商业化还为时过早。虽然他们认为芯片的高效硬件实现与内存计算是一个成功的组合,但广泛采用仍将取决于降低能效基准。

“我们正在继续努力整合学习规则,”Cauwenberghs报告说,“这样未来的版本将能够通过RRAM技术的进步进行循环学习,从而实现大规模的增量学习或产品学习。”Wan还补充道,为了实现商业化,RRAM技术必须更容易为芯片设计者所用。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

1246426cc7998feb9a7fb8cd0361caa0.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481589.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

论文学习8-How Question Generation Can Help Question Answering over Knowledge Base(KBQA-知识问答)

文章目录abstract1.introduction2. our approach2.2 微调fine tuning3.Model3.1QA Model3.2QG modelabstract 本文研究了基于知识库的问答系统的性能改进问题生成技术。问题生成(question generation, QG)的任务是根据输入的答案生成相应的自然语言问题,而问答(ques…

1575万美元!2023科学突破奖揭晓,AlphaFold、量子计算等突破斩获殊荣

来源:FUTURE远见选编:FUTURE | 远见 闵青云 2022年9月22日,科学突破奖基金会宣布了2023科学突破奖(Breakthrough Prize)的获奖名单。科学突破奖有「科学界的奥斯卡」之称,它表彰在生命科学、基础物理学和数…

nlp4-语料库

文章目录1. 语料库2.建设中的问题3.典型语料库介绍1. 语料库 语料库(corpus) 语料库(corpus) 就是存放语言材料的仓库 (语言数据库)。基于语料库进行语言学研究-语料库语言学(corpus linguistics) 根据篇章材料对语言的研究称为语料库语言学不是新术语:…

费曼:任何伟大的科学成就,都源于思想自由

来源:群学书院理查德菲利普斯费曼(Richard Phillips Feynman,1918-1988),美籍犹太裔物理学家,加州理工学院物理学教授,1965年诺贝尔物理奖得主。>>>>费曼1939年毕业于麻省理工学院&…

nlp5-n-gram/语言模型(数据平滑方法

文章目录1.句子的先验概率1.1 n-gram2. 参数估计3. 数据平滑3.1 数据平滑度方法3.1.1加1法3.1.2减1.句子的先验概率 这个联合概率太小了 窗口越大,共现的可能性越小参数多 解决:等价类 不看所有的历史信息只看部分历史信息,但看所有的历史等价…

《科学》:3.8亿年前的心脏,揭示生命演化历史

来源:学术经纬编辑 :药明康德内容微信团队一颗3.8亿年前的心脏,可以告诉我们什么?在一篇近期的《科学》论文中,由澳大利亚科廷大学领导的研究团队借助最新的研究工具,从一枚有颌鱼化石中揭示了清晰的心脏、…

论文学习9-Bidirectional LSTM-CRF Models for Sequence Tagging(LSTM,BILSTM,LSTM-CRF,BILSTM-CRF

文章目录1.Introduction2 model2.1 LSTM2.2BI-LSTMBPTT2.3 CRF2.4 LSTM-CRF参考文献本篇论文介绍了LSTM网络、BI-LSTM网络、CRF网络、LSTM-CRF网络、BI-LSTM-CRF网络,比较将它们用于自然语言处理的性能与准确率。重点介绍了BI-LSTM-CRF网络。1.Introduction 序列标…

从连接组学到行为生物学,AI 助力使从图像中提取信息变得更快、更容易

来源:ScienceAI编辑:白菜叶一立方毫米听起来并不多。但在人脑中,这一体积的组织包含约 50,000 条由 1.34 亿个突触连接的神经「线路」。Jeff Lichtman 想追踪所有这些。为了生成原始数据,他使用了一种称为串行薄层电子显微镜的协议…

论文学习10-Joint entity recognition and relation extraction as a multi-head selection problem(实体关系联合抽取模型

文章目录abstract1.introduction2. 相关工作2.1 命名实体识别2.2 关系抽取2.3 实体关系联合抽取模型3.联合模型3.1 Embedding层3.2 bilstm--编码层3.3 命名实体识别3.4 多头选择的关系抽取模型3.5. Edmonds’ algorithmJoint entity recognition and relation extraction as a …

Gary Marcus:文本生成图像系统理解不了世界,离 AGI 还差得远

来源:AI科技评论作者:李梅、黄楠编辑:陈彩娴AI 作画很牛,但它并不理解图像背后的世界。自从 DALL-E 2 问世以来,很多人都认为,能够绘制逼真图像的 AI 是迈向通用人工智能(AGI)的一大…

论文学习11-Adversarial training for multi-context joint entity and relation extraction(实体关系买抽取模型,对抗学习

文章目录1. introduction2.相关工作3.Model3.1 Joint learning as head selection3.2 AT4.实验设置5.结果6.总结实体关系抽取模型对抗学习. 论文链接 code Bekoulis, G., et al. (2018). “Adversarial training for multi-context joint entity and relation extraction.” ar…

【前沿技术】美国脑计划2.0!投5亿美元,绘制史上最全人脑地图

来源:智能研究院【新智元导读】今天,脑科学计划宣布启动的「细胞图谱网络项目」,目标是绘制世界上最全面的人类大脑细胞图谱。这种雄心,堪比当年的人类基因组计划。今天,美国国立卫生研究院(NIH&#xff09…

HMM总结

文章目录4.HMM-->CRF4.1 HMM--是个序列4.1.1 推断问题(evaluate)4.1.2 viterbi decoding解码4.1.3 学习,参数估计4.1.4计算实例4.1.5 EM(baum-welch算法)的上溢出和下溢出概率图模型code4.HMM–>CRF 4.1 HMM–是个序列 x-观测到的条件…

南科大本科生在《物理评论快报》发文,实现由不定因果序驱动的量子冰箱

来源:FUTURE远见选编:FUTURE | 远见 闵青云 近日,南方科技大学物理系师生在实验中实现了由不定因果序驱动的量子冰箱。相关成果以「Experimental realization of a quantum refrigerator driven by indefinite causal orders」为题发表在《物…

论文学习12-Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data(CRF

文章目录abstract1.introduction1.2 条件模型2.标签偏差问题3.CRF提出条件随机场CRF abstract 我们提出了条件随机场,这是一个建立概率模型来分割和标记序列数据的框架。相对于隐马尔可夫模型和随机语法,条件随机场在这类任务中有几个优势,…

杨振宁六大数理工作赏析 | 祝贺杨先生百岁华诞

来源:返朴撰文:林开亮我的物理学界同事大多对数学采取功利主义的态度。也许因为受我父亲的影响,我较为欣赏数学。我欣赏数学家的价值观,钦佩数学的优美和力量:它既有战术上的随机应变,又有战略上的深谋远虑…

论文学习13Reconstructing the house from the ad: Structured prediction on real estate classifieds(实体关系抽取)

文章目录abstractIntroduction2. 相关工作3.房地产结构预测3.1问题形式化3.2 结构预测模型3.2.1 序列标注问题3.2.2 part-of tree constructLocally trained model (Threshold/Edmonds)Globally trained model (MTT)Transition-based dependency parsing (TB)4.实验5.pipeline总…

优化|深度学习或强化学习在组合优化方面有哪些应用?

来源:图灵人工智能前 言深度强化学习求解组合优化问题近年来受到广泛关注,是由于其结合了强化学习(Reinforcement learning)强大的决策(decision-making)能力和深度学习(deep learning)的各种模型(RNN、Transformer、GNN等等)强大的信息提取表征能力(r…

论文学习14-End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures(端到端实体关系抽取)

文章目录abstract1.introduction2.相关工作3.model3.1嵌入层3.2 序列层3.3实体检测3.4 依赖层3.5 Stacking Sequence and Dependency Layers3.6关系分类3.7 训练4 实验总结本文:Miwa, M. and M. Bansal “End-to-End Relation Extraction using LSTMs on Sequences …

人工智能在基因组学市场增长机会以及整个基因组学领域的最新技术

来源:ScienceAI编译:萝卜皮人工智能等最新技术浪潮已经触及几乎所有行业和企业的海岸。基因组学领域也不例外。在 2020-2030 年的评估期内,最新技术在基因组学领域的日益普及将被证明是基因组学市场人工智能的主要增长贡献者。基因组学可以定…