防止被算力“锁死”,人工智能进化急需革命性算法

来源:搜狐,以上文章观点仅代表文章作者,仅供参考,以抛砖引玉!

“深度学习所需的大规模样本数据对于算力产生巨大需求,但近日美国麻省理工学院等研究机构的报告显示,深度学习正在逼近算力极限,而提升算力所需的硬件、成本和对于环境的影响正变得越来越难以承受……”

美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员在最近的一项研究中发现,深度学习的进步强烈地依赖于计算的增长。其结论显示,训练模型的进步取决于算力的大幅提高,具体来说,计算能力提高10倍相当于3年的算法改进成果。大量数据和算力是促进人工智能发展的重要因素,但是研究人员认为,深度学习正在逼近算力极限。换言之,算力提高的背后,其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受。

研究人员表示,深度学习急需革命性的算法才能让AI更有效地学习,并越来越像人类。那么,为何深度学习算法十分依赖算力的增长,现在算力的极限在哪里,如何突破?除了算力,深度学习还能否依靠其他方式改进算法性能?革命性算法的标准是什么?

大规模样本数据催生计算需求

“深度学习本质上是基于统计的科学,所以大规模的样本数据对于深度学习的效果至关重要。更大规模和更复杂的神经网络模型已经被证明非常有效,并在产品中有广泛的使用,同时这也让深度学习对计算能力有着更大要求和消耗。”远望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示。

人工智能设计之初,并没有考虑节能原则,只要有足够的算力和电力,算法就可以一直跑下去。

2019年6月,美国马萨诸塞州大学阿默斯特分校的一份报告显示,训练和搜索某种模型所需的电量涉及约626000磅二氧化碳排放量,这相当于美国普通汽车使用寿命内排放量的近5倍。此外,优越的灵活性使深度学习可以很好地建立不同的模型,超越专家的模型,但也带来昂贵的算力成本。深度学习需要的硬件负担和计算次数,背后消耗的是巨额资金。

一份业内报告显示,华盛顿大学的Grover假新闻检测模型两周内培训费用约为25000美元。另据报道,著名人工智能非营利组织OpenAI花费高达1200万美元训练其GPT-3语言模型,而GPT-2语言模型,每小时训练花费则达到256美元。

改进算法降低对计算平台要求

实际上,算力一直在提高。OpenAI一项研究表明,自2012年以来,每16个月将AI模型训练到ImageNet(一个用于视觉对象识别软件研究的大型可视化数据库)图像分类中,相同性能模型所需的计算量就减少了一半;谷歌的Transformer架构超越了其之前开发的seq2架构,计算量减少了61倍;DeepMind的AlphaZero与该系统的前身AlphaGoZero的改进版本相匹配,其计算量也减少了8倍。

有网友提出,现在的硬件算力提升有些误区,不一定非得在单位面积上堆更多的晶体管,我们需要更好的框架来支持底层计算条件及相应的硬件改进。理想情况下,用消费级的GPU就能运行很多深度模型。

“人们对深度学习的性能或结果的要求越来越高,随之对于算力的需求也越来越大。要让算力增长或突破,从算法层面,首先可以优化并行计算,有效利用多机多核的计算能力,灵活满足各种需求。同时,相对于传统的基于单机编写的程序,如果改写为多机多核的并行程序,能够充分利用其CPU和GPU(或AI芯片)的资源,将使运行效率大幅度提升。”西安电子科技大学电子工程学院教授吴家骥表示。

除了算力,深度学习本身还可通过哪些方式改进算法?吴家骥介绍,深度学习都是在异构硬件上运行,大数据进入时,需要分流处理,从算法上来看,可以调度优化,让异构架构(CPU、GPU、AI芯片)因地制宜地调度深度学习和大数据处理业务。

吴家骥指出,未来可能很长一段时间内,对深度算法的改进,不仅要从架构、硬件上考虑,还要考虑模型的压缩能力。例如,就具体问题而言,考虑如何把大象关进冰箱,但问题是冰箱关不了大象,但若把大象压缩成小猫小狗的大小,就可装入冰箱。这就需要模型压缩,在保证精度的前提下,压缩神经网络模型,降低对计算平台的要求,大大提高计算效率,满足更多的实际场景需求。

研究人员认为,在算法水平上进行深度学习改进已有先例。例如谷歌的张量处理单元,现场可编程门阵列和专用集成电路,并试图通过网络压缩和加速技术来降低计算复杂性。他们还引用了神经体系结构搜索和元学习,查找在一类问题上保持良好性能的体系结构,以此作为计算上有效改进算法的途径。

算力增长未必会让AI拥有类人智力

无疑,算法突破的目的是让机器更像人类大脑一样具有神经元的功能。但就功耗而言,大脑要像超级计算机那样运算,自身温度就会飙升上百摄氏度,所以若简单认为更多的计算能力就可让人工智能拥有人类智能的想法显然是存在争议的。

“人类的智能中基因与常识是机器所不具备的,其中基因是不需要计算的,常识是可以通过简单计算实现的。”谭茗洲指出。

“常识决定了基本能力、发现力和创造力,而具有常识能力,是更先进意义上的人工智能。革命性的算法,就是要让AI具备拥有学习常识的能力,这也是未来一个很有潜力的研究方向。”吴家骥说。

有人说,深度学习大多数是“炼金术”,大多数算法是对经验更朴实的归纳,对说的问题进行更精辟的演绎。谭茗洲说:“现在数据非常多,算力也在增强,人们依赖深度学习提升AI智力,但‘傻学硬练’形成更强的学习方法,很难达到或超越人类的算力及智力。”

那么,革命性算法的标准是什么,为什么优于深度学习的算法迟迟没出现?

谭茗洲认为,革命算法的标准首先是在不同场景具有高适应度,可以形成知识记忆和经验记忆的算法,并且低耗能低成本。未来革命性算法有可能基于三点提升,一是基于常识推理。由于我们面对的大量场景不是通过大量数据训练而来,人类大脑面对这些场景往往是通过常识推理运算而得出结论,而深度学习并没有建立这套体系。另外,常识和常识之间的关联性,加速了人类对结果的推理速度。二是基于负性小样本的学习。在深度学习模型中,往往很少去学习什么是错误的,而汲取负面行为及教训性质类型的小样本是有学习意义的。三是基于交流、沟通的学习,人与人交流在学习中分几个层次,看、听、模仿等,AI也应多从这几个方面入手,建立以交通、沟通为目的的学习,而不是单单通过大数据训练模仿人类智能。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487227.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Hinton口中破解宇宙终极秘密的GPT-3厉害在哪?这有篇涂鸦详解

大数据文摘出品编译:王绍宇、 AndyGPT-3最近又开始火起一阵,关于GPT-3的各种精彩文章现在也很多,其中不光有展示了它生成结果的,也有对结果一些思考的,还有可视化其工作原理的。由于GPT-3各种参数应用太强大&#xff0…

客户机服务器文件更新,服务端数据更新,如何更新客户端缓存

我是服务端被客户端吐槽说我的API接口没有数据版本号(用来表示后台数据是否有更新),导致客户端缓存不知道什么时候更新,每次都要请求服务端数据对此有几点疑虑,特来请教各位大拿客户端缓存更新是否真的有必要依赖服务端的通知?如果…

c# ref和out参数

向方法传递参的时候,对应的参数通常会用实参的拷贝来初始化。就是说随便在方法内部进行怎样的修改,都不会影响作为参数传递的变量的原始值。 通过上面的例子我们可以看出来,如果一个方法的参数是引用类型,那么使用哪个参数来进行任…

Gartner:如何利用数字孪生帮助企业创造价值?

❑ 导 读白皮书预测:到2021年,半数的大型工业企业将使用数字孪生,从而使这些企业的效率提高10%。到2024年,超过25%的全新数字孪生将作为新loT原生业务应用的绑定功能被采用。全文共计1723,预计阅读时间6分钟来源 | 树根…

ThinkingInJava对this关键字的介绍

this 关键字 如果有两个同类型的对象,分别叫作a 和b,那么您也许不知道如何为这两个对象同时调用一个 f()方法: class Banana { void f(int i) { /* ... */ } } Banana a new Banana(), b new Banana(); a.f(1); b.f(2); 若只有一个名叫f()的…

集成电路将成一级学科,这些高校迎来重大机遇!

来源:软科8月4日,国务院发布关于印发《新时期促进集成电路产业和软件产业高质量发展的若干政策》的通知。《新时期促进集成电路产业和软件产业高质量发展的若干政策》在人才政策这一项中提到:进一步加强高校集成电路和软件专业建设&#xff0…

震撼三观:从细胞到宇宙

这是一次高速旅行,每次都以10倍的速度跳跃。从 10的0次方开始(也就是1 米), 然后每次按照10的乘方增加。从10米, 100 米, 1000米,以此类推, 直至巨视世界的无尽。来源:通往知识之路(ID:tongwang…

关于ZipOupputStream添加压缩包常见问题

其实园子压缩解压缩的方法很多,ZipOupputStream这个类的说明很多,我这边也是从网上找的代码,但是我在压缩的时候遇到了常见的两个问题,第一个就是压缩的时候读取压缩包报该压缩包已经在另一个进程打开的bug,这个问题解…

边缘AI芯片市场将在2025年首次反超云端AI芯片市场

边缘AI将利用许多其他新兴技术,为消费者和企业领域的各种新商机铺平道路。来源:雷锋网作者:吴优由于市场对低延迟、数据隐私以及低成本和超节能的可用性的日益关注,预计到2025年,边缘AI芯片组市场将首次超过云AI芯片组…

性能指标分析

文章:架构必会的性能指标及分析策略转载于:https://www.cnblogs.com/Tpf386/p/7904174.html

倪光南:看好鸿蒙系统,坚持生态体系创新才能不被“卡脖子”

图为倪光南院士接受专访来源:澎湃新闻8月7日,在中国信息化百人会2020年峰会上,华为消费者业务CEO余承东关于“麒麟芯片将绝版”的消息一石激起千层浪,在新的国际环境下,国内科技企业应当如何突破重围,自主创…

弦理论三先驱获2020年狄拉克奖

狄拉克奖是国际理论物理中心(International Centre for Theoretical Physics,ICTP)为纪念理论物理学家狄拉克而在1985年设置的奖项,被视为理论和数学物理领域的最高荣誉之一。近日,ICTP 在意大利 Trieste 宣布了2020年…

windows c++ 内存映射大文件问题记录

MapViewOfFile()使用时总是报错1132,是因为起始位置大小要是64k的倍数。 例如:LPVOID pFileBlock MapViewOfFile(OpenMap , FILE_MAP_ALL_ACCESS // 注意,和createfile要一致 , 0 , dBegin …

CCAI 2020 | 黄铁军:“仿真主义”下的人工智能发展之路

来源:中国人工智能学会在人工智能发展的60多年中,大致有四种方法来实现某些人工智能:符号主义,联结主义,行为主义和统计学,它们分别从不同的角度抓住了“智能”的一些特点,因此各自引领着一个时…

对new int[]()的理解(转载)

new(多个对象)数组 new分配的对象,不管单个对象还是多个对象的分配,都是默认初始化。但可以对数组进行值初始化,方法就是:在大小之后添加一对空括号。 int *p1 new int[10]; // 10个未初始化int int *p2 new int[10](); // …

事件(二):事件处理程序

click,load,mouseover都是事件的名字,而响应某个事件的函数就叫做事件处理程序(或事件侦听器)。事件处理程序的名字以on开头,onclick,onload 事件处理程序(html事件处理程序,dom0级事件处理程序&#xff0c…

物联网激荡MEMS传感器浪潮

来源:第三代半导体联合创新孵化中心物联网悄然而至。如今,物联网已进入跨界融合、集成创新和规模化发展新阶段,将为经济社会发展注入新活力,培育新动能。物联网在交通、物流、环保、医疗、安防、电力等领域的应用逐渐得到规模化验…

如何判断是linux/windows库,module或程序debug还是release(转)

linux: readelf -S xxx.a |grep "\.debug*" 如果有输出, 是debug, 没有是release windows: dumpbin /DEPENDENTS xx.dll, 结果输出中有MSVCRTD.dll的是debug版本. 为了脚本自动判断, 可用powergrep等工具自动分拣. .lib和我们的编译选项有…

发布功能完成。

编写要求登录的装饰器from functools import wraps def loginFirst(func): #参数是函数 wraps(func) def wrapper(*args, ** kwargs): #定义个函数将其返回 #要求登录 return func(*args, ** kwargs) return wrapper #返回一个函数 应用装饰器,要求在发布前进行登录…

git clone报错

问题:error: RPC failed; curl 18 transfer closed with outstanding read data remaining 方法:(一般http方式会用到) $ git clone 仓库地址 --depth 1 $ cd 项目目录 $ git fetch --unshallow 附带:指定分支命令 …