AI芯片发展现状及前景分析

来源:专知

1. AI芯片定义及技术架构

1.1 AI芯片定义

广义上所有面向AI应用的芯片都可以称为AI芯片。目前一般认为是针对AI算法做了特殊加速设计的芯片。现阶段,这些人工智能算法一般以深度学习算法为主,也可以包括其他浅层机器学习算法[7-8]。

1.2 AI芯片功能

(1)训练。对大量的数据在平台上进行学习,并形成具备特定功能的神经网络模型。对AI芯片有高算力、高容量和访问速率、高传输速率、通用性的要求。

(2)推理。利用已经训练好的模型通过计算对输入的数据得到各种结论。对于 AI芯片主要注重算力功耗比、时延、价格成本的综合能力。实验证明低精度运算(如float16,int8)可达到几乎和float32同等的推理效果,所以AI推理芯片有低精度算力的要求。

1.3 技术架构

表1列出了AI芯片的几种技术架构,并对其优缺点进行比较。

表1.AI芯片技术架构

2. AI芯片应用场景

2.1 数据中心(IDC)

用于云端训练和推理,目前大多数的训练工作都在云端完成[9]。移动互联网的视频内容审核、个性化推荐等都是典型的云端推理应用。Nvidia GPU在训练方面一家独大,在推理方面也保持领军位置。FPGA和ASIC因为低功耗、低成本的优势,在持续抢夺GPU的市场的份额。

云端主要的代表芯片有Nvidia-TESLA V100、华为昇腾910、Nvidia-TESLA T4、寒武纪MLU270等。

2.2 移动终端

主要用于移动端的推理,解决云端推理因网络延迟带来的用户体验等问题。典型应用如视频特效、语音助手等。通过在手机系统芯片(system on chip,SoC)中加入增加协处理器或专用加速单元来实现。受制于手机电量,对芯片的功耗有严格的限制。代表芯片有Apple A12 Neural Engine(加速引擎)和华为麒麟990。

2.3 安防

目前最为明确的AI芯片应用场景,主要任务是视频结构化。摄像头终端加入AI芯片,可以实现实时响应、降低带宽压力。也可以将推理功能集成在边缘的服务器级产品中。AI芯片要有视频处理和解码能力。主要考虑的是可处理的视频路数以及单路视频结构化的成本[10]。代表芯片有华为Hi3559-AV100和比特大陆BM1684等。

2.4 自动驾驶

AI芯片作为无人车的大脑,需要对汽车上大量传感器产生的数据做实时处理[11],对芯片的算力、功耗、可靠性都有非常高的要求,同时芯片需要满足车规标准,因此设计的难度较大[12]。面向自动驾驶的芯片目前主要有Nvidia Orin、Xavier和Tesla的FSD等。

2.5 智能家居

在AI+IoT时代,智能家居中的每个设备都需要具备一定的感知、推断以及决策功能。为了得到更好的智能语音交互用户体验,语音AI芯片进入了端侧市场。语音AI芯片相对来说设计难度低,开发周期短。代表芯片有思必驰TH1520和云知声雨燕UniOne等。

3. AI芯片关键技术和基准测试平台

3.1 关键技术和挑战

(1)AI芯片当前的核心是利用乘加计算(multiplier and accumulation,MAC)阵列来实现卷积神经网络中最主要的卷积运算的加速。MAC阵列的大量运算,会造成功耗的增加。很多AI应用的场景对于功耗都有严格的限制,如何达到优异的性能功耗比是AI芯片研发的一个重要目标。


(2)深度学习算法中参与计算的数据和模型参数很多,数据量庞大,导致内存带宽成为了整个系统的一个瓶颈“,Memory Wall”也是需要优化和突破的主要问题[13]。

(3)除了芯片本身硬件的设计以外,软件对于AI芯片性能的发挥也有着十分重要的作用,编译器和工具链软件的优化能力、易用性现在也得到越来越多的重视。

3.2 基准测试平台

基准测试平台(Benchmark)为AI芯片建立了标准的评估体系,主要职责和意义有:

(1)基于调研和集群信息收集,真实反映AI芯片的使用情况。

(2)引入评估和选型标准。

(3)对AI芯片的架构定义和优化指引方向。基准测试平台的评估指标包括延时(ms)、吞吐量(ims/s)、能效比(ims/s/W)、利用率(ims/s/T)等。主要的基准测试台有MLPerf、DawnBench(Stanford)、DeepBench(百度)、AI Matrix(阿里巴巴)。

4. AI芯片未来趋势和探索

4.1 神经形态芯片

神经形态芯片是指颠覆经典的冯·诺依曼计算架构,采用电子技术模拟已经被证明了的生物脑的运作规则,从而构建类似于生物脑的芯片[14]。

神经形态芯片的优点:

(1)计算和存储融合,突破Memory Wall瓶颈。

(2)去中心化的众核架构,强大的细粒度互联能力。

(3)更好的在线学习能力。清华大学、Intel、IBM等学校和企业都在做此方面的研究工作。

4.2 可重构计算芯片

可重构计算芯片也叫做软件定义芯片[6],主要针对目前AI芯片存在的以下问题和任务需求:

(1)高效性和灵活性难以平衡。

(2)复杂的AI任务需要不同类型AI算法任务的组合。

(3)不同任务需要的计算精度不同。可重构计算芯片的设计思想在于软硬件可编程,允许硬件架构和功能随软件变化而变化,从而可以兼顾灵活性和实现超高的能效比。

5. 云端和边缘侧AI芯片和应用

5.1 云端和边缘侧AI芯片

本研究团队从2017年开始研发AI芯片,并在当年发售了第一代云端专用AI芯片 BM1680。在2019年发布了第三代AI芯片BM1684。BM1684采用TSMC-12 nm工艺,有17.6Tops的int8和2.2Tflops的float32算力,典型功耗为16W,可以支持32路1080P的高清视频解码。基于BM1684芯片,研发了深度学习加速板卡SC5(如图1所示)、高密度计算服务器SA5、边缘计算盒子SE5、边缘计算模组SM5等面向各种不同人工智能应用的产品。

图1.深度学习加速板卡SC5

5.2 研发产品的应用

本团队的AI产品已经在云端和边缘侧的多种应用场景下落地使用,包括智慧园区(如图2所示)、城市大脑(如图3所示)、视频结构化、人脸布控、智能支付等。

图2.智慧园区解决方案

图3.城市大脑应用

6. 结论

AI芯片行业尚处于起步阶段,已经有越来越多的项目开始落地和商业化,它的快速发展有助于推动整个人工智能产业的进展。本文对AI芯片的现状和未来可能的技术方向做了调研和分析,希望可以帮助读者更好地了解AI芯片行业,AI 芯片拥有巨大的产业价值和战略地位,相信中国的科研机构和企业会努力抓住机遇,让中国的人工智能产业蓬勃发展。


文献引用:

安宝磊.AI芯片发展现状及前景分析[J].微纳电子与智能制造, 2020, 2(1): 91-94.

《微纳电子与智能制造》刊号:CN10-1594/TN

主管单位:北京电子控股有限责任公司

主办单位:北京市电子科技科技情报研究所

北京方略信息科技有限公司

投稿邮箱:tougao@mneim.org.cn(网站:www.mneim.org.cn)

参考文献:

[1] LECUN Y,BOTTOU L,BENGIO Y,et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE,1998,86( 11) : 2278-2324.

[2] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]// Proceedings of the 25th International Conference on Neural Information Processing Systems.ACM, 2012: 1097-1105. 

[3] VINCENT P,LAROCHELLE H,BENGIO Y,et al. Extracting and composing robust features wi- h denoising autoencoders[C]// Proc of the 25th International Conference on Machine Learning. ACM Press,2008: 1096- 1103. 

[4] VINCENT P,LAROCHELLE H,LAJOIE I,et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion [J]. Journal of Machine Learning Research,2010,11( 12) : 3371-3408. 

[5] 施羽暇 . 人工智能芯片技术研究[J]. 电信网技术, 2016, 12(12) : 11-13. SHI Y X. Research on artificial intelligence process chip technology[J]. Telecommunication network technology, 2016, 12(12) : 11-13.

[6] 清华大学 . 人工智能芯片技术白皮书 (2018)[R/OL]. (2018-12-11) [2010-01-20]. https://www.tsinghua.edu.cn/ publish/thunews/9659/2018/20181217102627644168087/ 20181217102627644168087_.html. Tsinghua University. 2018 White Paper on AI Chip Technologies[R/OL]. (2018-12-11)[2010-01-20]. https://www. tsinghua.edu.cn/publish/thunews/9659/2018/2018121710 2627644168087/20181217102627644168087_.html. 

[7] BENGIO Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning,2009,2(1) : 1- 127. 

[8] HINTON G E. Learning distributed representations of concepts[C]// Proc of the 8th Annual Conference of the Cognitive Science Society. 1986: 1-12. 

[9] 尹首一, 郭珩, 魏少军 . 人工智能芯片发展的现状及 趋势[J]. 科技导报, 2018, 17: 45-51. YIN S Y, GUO H, WEI S J. Present situation and future trend of artificial intelligence chips[J]. Science & Technology Review, 2018, 17: 45-51. 

[10] 汤炜伟 . AI 安防芯片的发展现状与前景分析[J]. 中 国安防, 2018, 7: 47-50. TANG W W. Analysis of the development and Prospect of AI security chip[J]. China Security&Protection, 2018, 7: 47-50. 

[11] 尹首一 . 人工智能芯片概述[J]. 微纳电子与智能制 造, 2019, 2: 7-11. YIN S Y. Overview of artificial intelligence chip[J]. Micro/nano Electronics and Intelligent Manufacturing, 2019, 2: 7-11. 

[12] 谭洪贺,余凯 . 端侧 AI 芯片的挑战和展望[J]. 人工智 能, 2018, 2: 113-121. TAN H H,YU K. The challenge and prospect of edge AI chip[J]. Artificial Intelligence, 2018, 2: 113-121. 

[13] 邱赐云, 李礼, 张欢, 等 . 大数据时代——从冯 · 诺依 曼到计算存储融合[J]. 计算机科学, 2018, 45(2): 71- 75. QIU C Y, LI L, Z H, et al. Age of big data: from von neumann to computing storage fusion[J]. Computer Science, 2018, 45(2): 71-75. 

[14] 赵正平 . 纳电子学与神经形态芯片的新进展[J]. 微纳 电子技术, 2018, 55(1): 1-5. ZHAO Z P. New progress of nanoelectronics and neuromorphic chips[J]. Micronanoelectronic Technology, 2018, 55(1): 1-5

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484774.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Tableau数据分析:NC Retail Order Data(英)Data Science Program Lab#1(GTI)

Tableau数据分析:NC Retail Order Data(英) NCSU 2021 Summer Online Data Science Author:©Sylvan Ding

解读:欧盟委员会2021年《人工智能法》提案

来源:图灵人工智能文:吴沈括(北京师范大学网络法治国际中心执行主任、博导中国互联网协会研究中心副主任)文:胡然(北京师范大学网络法治国际中心研究助理)2021年4月21日,为了将欧洲变…

《2021人脸识别行业白皮书》发布 拥挤安防还有多少空间?

来源:帮尼资讯图片来源:网络人脸识别在内的人工智能技术需求较大,这对传统安防产业带来了巨大的冲击和变革。近日,智慧芽联合罗思咨询,共同发布《2021人脸识别行业白皮书》。白皮书从人脸识别行业现状、企业聚焦和技术…

第一章 计算机系统概述 1.1 计算机发展史 [计算机组成原理笔记]

第一章 计算机系统概述 1.1 计算机发展史 本笔记参考书目: 计算机组成原理(第六版.立体化教材)白中英、戴志涛2021王道计算机组成原理视频公开课 本节重点: 计算机硬件的发展史 转载请注明文章来源! 什么是计算机系…

我国工业互联网 技术路线与发展趋势研究

来源:中国工业和信息化本文发表于《中国工业和信息化》杂志2021年4月刊总第33期作者:许雪荷 中国工业互联网研究院自2017年《国务院关于深化“互联网先进制造业”发展工业互联网的指导意见》发布以来,国家高度重视工业互联网创新发展&#…

【创新应用】小图像,大图景:AI彻底改变了显微镜技术

来源:智能研究院20 年前,计算机生物学家 Anne Carpenter 在读博士时第一次意识到她需要学习计算机编程。Carpenter 说:「在麻省理工学院和哈佛大学的博德研究所 (Broad Institute of MIT and Harvard in Cambridge) 管理实验室的时候。她记得…

历史上12篇最著名的博士论文欣赏

来源 : 学位与写作Ali Gajani在mrgreek网站分享了12篇著名学者的博士论文,分别是居里夫人的博士论文、香浓的博士论文、纳什的博士论文、德布罗意的博士论文、费曼的博士论文、爱因斯坦的博士论文、马克思的博士论文、韦伯的博士论文、萨特兰的博士论文、…

Exalogic硬件架构

1、硬件配置见如下图表。 组件名称满配半配1/4配1/8配Sun Rack II 12421111计算节点 X2-2、X3-2、X4-2、X5-2、X6-2301684存储设备 X2-2和X3-2: Dual controller Sun ZFS Storage 7320 appliance (60 TB) X4-2和X5-2: Oracle ZS3-ES storage appliance X6-2: Oracle ZS5–ES st…

AI领域五年引用量最高的10大论文:Adam登顶,AlphaGo、Transfromer上榜

来源:图灵人工智能编译:琰琰近五年来,AI学术论文的投稿量和接收量都在不断攀升,包括NeurIPS、AAAI、ACL,ICML、EMNLP等国际顶会。根据权威数据统计,NeurIPS论文收录量在2019年呈指数级增长,领先…

64 求1+2+3+...+n(发散思维能力 )

题目描述: 求123...n,要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句(A?B:C)。 解题思路: 1)利用&&的短路特性 2) 利用sizeof特性,使用公式n(n1)/2 …

Cell Reports:黄梓芮等揭示大脑皮层中通往意识的“大门”

来源:小柯生命北京时间2021年5月4日晚23时,Cell Reports在线发表美国密歇根大学一项关于前脑岛在大脑网络切换和意识通达中关键门控作用的研究——“Anterior insula regulates brain network transitions that gate conscious access”。此研究由密歇根…

DeepMind强化学习新研究:更快的知识学习,更强的环境适应

来源:AI科技评论编译:Mr Bear校对:维克多DeepMind官方博客在一篇文章“Fast reinforcement learning through the composition of behaviours”中,针对强化学习中的“从头学习”问题给予了解决方案。文章中表示,人类处…

为什么AI无法解决一般智能问题?

来源:学术头条我们什么时候才能拥有在各方面能够模仿人脑的人工智能?专家们对这个问题意见不一。但大家都同意的是,目前的人工智能系统与人类的智力相去甚远。直接表现是:AI只在特定任务中表现优异,无法将其能力扩展到…

ADT操作实例

ps.1.put(rank,value) 把当前rank的元素的数值修改 2.get(rank)获取rank的元素 3.remove(value)把向量中value剔除掉 4.size()返回元素个数 5.disordered()检测向量的有序性,是否存在紧邻的逆序对,只要返回的数值不是0,说明它尚未构成有序的序…

群雄逐鹿,谁会赢得自动驾驶之战?

来源:AI前线作者 | Timothy B.Lee译者 | 王强策划 | 刘燕自动驾驶技术行业今天正处于一种奇怪的状态。过去多年来,整个行业已经在自动驾驶技术上投入了庞大的资金,其中许多公司都拥有了看起来跑得不错的自动驾驶汽车原型。但据我所知&#xf…

ActiveMQ反序列化漏洞(CVE-2015-5254)复现

0x00 漏洞前言 Apache ActiveMQ是美国阿帕奇(Apache)软件基金会所研发的一套开源的消息中间件,它支持Java消息服务,集群,Spring Framework等。Apache ActiveMQ 5.13.0之前5.x版本中存在安全漏洞,该漏洞源于…

阿里最新研究试用因果推理方法让视觉AI更智能,入选CVPR 2021

来源:AI前线学过人类照片和鱼类照片的 AI,第一次见到美人鱼的照片会作何反应?人脸和鱼身它都很熟悉,但它无法想象一个从没见过的事物。近期,阿里巴巴达摩院将因果推理方法引入计算机视觉领域,尝试克服机器学习方法的缺…

博客文章排版学习

一、序言 第一次写博客觉得文章的排版十分重要,查阅了几篇博文,觉得Leo_wlCnBlogs的文章让我获益良多,所以我做出了总结,方便自己学习复习。 博文写出来排版好了才让人看得舒服,才有动力看下去,之前百度查资…

《神经元》发表脑智卓越中心关于灵活分类决策神经环路机制的研究成果

来源: 脑科学与智能技术卓越创新中心2021年5月5日,《Neuron》期刊在线发表了题为《基于任务结构信息的灵活感知抉择神经环路机制》的研究论文,该研究由中国科学院脑科学与智能技术卓越创新中心(神经科学研究所)、上海脑…