OpenAI最新论文:机器学习效率正在超越摩尔定律

来源:学术头条

八年前,一种机器学习算法学会了识别一只猫,它震惊了全世界。

几年后,人工智能可以准确地翻译语言,打败世界围棋冠军。

现在,机器学习已经开始在诸如 “星际争霸” 和 “dota2” 等复杂的多人视频游戏,以及诸如扑克之类的微妙游戏中脱颖而出,人工智能正在快速发展。


但是速度有多快呢,是什么在驱动着速度呢?虽然更好的计算机芯片是关键,但 AI 研究机构 OpenAI 认为,我们也应该衡量实际机器学习算法的改进速度。

由 OpenAI 的 Danny Hernandez 和 Tom Brown 撰写并发表在 arXiv 上的论文指出,研究人员称他们已经开始跟踪衡量机器学习的效率,即用更少的资源做更多的事。他们使用这种方法表明,人工智能已经以一种极快的速度变得更加高效。

算法效率提升加快研究

一般说来,驱动 AI 进步的有三个因素:运算量、数据和算法创新。计算能力更容易跟踪,但算法方面的改进却有点难以捉摸。

我们可以将算法效率定义为减少训练特定功能所需的计算量,它是衡量计算机科学中算法进度的主要指标。传统问题(如排序)的效率提升比机器学习更易于衡量,因为它们可以更清晰地衡量任务难度。但是,可以通过保持性能恒定来将效率透镜应用于机器学习。

自 2012 年以来,在 ImageNet 分类中训练神经网络达到相同性能所需的计算量,每 16 个月减少了 2 倍。与 2012 年相比,现在将神经网络训练到 AlexNet(一种基准图像识别算法)所需的计算量减少了 44 倍。研究结果表明,对于最近投入大量资金的 AI 任务,算法进步比传统硬件效率产生了更多收益。

用于训练到 AlexNet 级别的总计算量(以太字节 /天为单位),在任何给定时间的最低计算点都以蓝色显示,所有测量点都以灰色显示。

尤其在翻译和游戏等其他流行功能,在较短时间范围内改进的速度更快。在翻译方面,三年后的英法翻译中,Transformer 算法的计算能力比 seq2seq 算法低 61 倍;仅仅一年后,DeepMind 的 AlphaZero 在围棋比赛中,其计算量比 AlphaGoZero 少 8 倍,就能与 AlphaGoZero 匹敌;而仅三个月后,OpenaAI Five Rerun 在 Dota2 上使用了比原来低五倍的计算能力,就能超越了世界冠军 OpenaAI Five。


算法效率的提高,使得研究人员可以在给定的时间和金钱下进行更多感兴趣的实验,加速未来 AI 的研究。

机器学习的摩尔定律

机器学习中是否存在某种算法摩尔定律?

研究人员表示,目前还没有足够的信息来说明这一点。他们的工作只包括了几个数据点,原始的摩尔定律图表同样几乎没有被观察到,所以任何推断纯属推测。此外,研究仅关注少数几个流行的功能和顶级程序。目前尚不清楚观察到的趋势是否可以更广泛地推广到其他 AI 任务。

对于语言、游戏等领域,大规模的计算对于整体性能仍然很重要,因此追踪效率显得尤为重要,测量效率整体性能的长期趋势将有助于描绘总体算法进展的定量情况。研究人员观察到,硬件和算法效率提升是可乘的,并且在有意义的范围内可以达到相似的规模,这表明 AI 进步的良好模型应该整合两者的衡量指标。

研究结果还表明,对于具有高投资水平(研究人员花极大时间和精力)的 AI 任务,算法效率可能超过硬件效率(摩尔效率)带来的收益。



摩尔定律是在 1965 年提出的,即当价格不变时,集成电路上可容纳的元器件的数目,约每隔 18-24 个月便会增加一倍,性能也将提升一倍。


当时集成电路只有 64 个晶体管,之后出现了个人计算机和智能手机(iPhone11 拥有 85 亿个晶体管)。如果我们观察到数十年来 AI 算法效率的指数级提高,它可能会带来什么?

出于这些原因,研究人员开始公开跟踪效率的整体性能,首先探索视觉和翻译效率基准,包括 ImageNet 和 WMT14,之后再考虑随着时间的推移将添加更多的基准。跟踪多种措施,包括硬件的措施,可以描绘出一幅更完整的进展情况,并有助于确定未来的努力和投资在哪些方面最有效。

人工智能的未来

值得注意的是,这项研究的重点是深度学习算法,这是目前占主导地位的人工智能方法。深度学习是否能继续取得如此巨大的进步,是人工智能领域争论的焦点。该领域的一些顶级研究人员质疑深度学习解决该领域最大挑战的长期潜力。

OpenAI 在较早的一篇论文中表明,最新热门的人工智能需要相当惊人的计算能力来进行训练,并且所需的资源正以惊人的速度增长。在 2012 年之前,人工智能程序使用的计算能力的增长主要遵循摩尔定律,而自 2012 年以来,机器学习算法使用的计算能力的增长速度是摩尔定律的 7 倍。



这也是 OpenAI 对跟踪进展感兴趣的原因。例如,如果机器学习算法的培训成本越来越高,那么增加对学术研究人员的资助就很重要;如果效率趋势被证明是一致的,那么就更容易预测未来的成本并相应地计划投资。

进步是否会持续不减,摩尔定律式的理论在未来几年或即将碰壁,仍有待观察。

但正如作者们所写的那样,如果这些趋势在未来继续下去,人工智能将变得更加强大,而且可能比我们想象的还要快。编辑:何静

资料来源:
https://singularityhub.com/2020/05/17/openai-finds-machine-learning-efficiency-is-outpacing-moores-law/
https://openai.com/blog/ai-and-efficiency/

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487681.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Science公布:全世界最前沿的125个科学问题

来源:iPlants这125个问题如下:1、宇宙由什么构成?2、意识的生物学基础是什么?3、为什么人类基因会如此之少?4、遗传变异与人类健康的相关程度如何?5、物理定律能否统一?6、人类寿命到底可以延长多久?7、是什么控制着器官再生?8、皮肤细胞如何成为…

LF模式是个坑,ZeroIce中间件让你体会这个痛

LF模式是个坑,一个小小的失误就可能使你的网络处理瘫痪,Ice就很好地展现了出来,换句话说,Ice中间件或是LF模式就是一个坑,如果你一不小心。 LF模式的官方论文中,论述了此模式用于高性能网络并发模式&#x…

html表格统计表,jQuery操作表格(table)的常用方法、技巧汇总

以下列出13个jQuery操作table常用到的功能:1.鼠标移动行变色$(#table1 tr).hover(function(){$(this).children(td).addClass(hover)}, function(){$(this).children(td).removeClass(hover)});方法二:$("#table1 tr:gt(0)").hover(function()…

收藏!中国卫星互联网产业发展白皮书

来源:网络传播杂志卫星互联网概念卫星互联网是基于卫星通信的互联网,通过发射一定数量的卫星形成规模组网,从而辐射全球,构建具备实时信息处理的大卫星系统,是一种能够完成向地面和空中终端提供宽带互联网接入等通信服…

数学在计算机科学上的应用文献,数学计算机论文,关于计算机在数学教学中的应用相关参考文献资料-免费论文范文...

导读:本文关于数学计算机论文范文,可以做为相关论文参考文献,与写作提纲思路参考。(新疆喀什地区塔什库尔干塔吉克自治县县中学数学教师 新疆喀什 845250)摘 要:人们在进入信息时代之后,计算机被广泛的应用在各个领域之中,教学中恰当的运用计算机,使很多知识都能清晰的展示在学…

输入流IS和输出流OS学习总结

1、我们编写的程序,除了自身会定义一些数据信息外,经常还会引用外界的数据,或是将自身的数据发送到外界,比如我们编写的程序想读取一个文本文件, 又或者是我们想将程序的一些数据写到一个文件中,这时我们就…

Attention最新进展

来自 | 知乎 作者|sisiyou链接 | https://zhuanlan.zhihu.com/p/130388873编辑 | 深度学习这件小事公众号本文主要总结了最新的关于attention的应用文章。Attention-based Dropout Layer for Weakly Supervised Object Localization(CVPR19&#xff09…

SQL Server 2012从零开始学pdf

下载地址:网盘下载内容介绍编辑《SQL Server 2012从零开始学》面向sql server 2012初学者,以及广大数据库设计爱好者。全书内容注重实用,涉及面广,通俗易懂地介绍了sql server 2012数据库应用与开发的相关基础知识,提供…

苹果html抓包,苹果被开发者“抓包”违反了自己定的规则

原标题:苹果被开发者“抓包”违反了自己定的规则【PConline资讯】消息:苹果在本周的发布会上推出了AppleNews订阅服务,虽然咱们是用不到,但这项服务最近b被开发者抓到了“小辫子”,因为它违反了苹果自己定的规则。根据…

前沿科技 | 中科院科学家在视觉学习行为的神经机制研究中取得进展

来源:中国科学院6月3日,《自然-通讯》(Nature Communications)期刊在线发表了题为《眶额叶皮层通过调节初级视皮层的反应增益促进视觉偶联学习》的研究论文,该研究由中国科学院科学家团队——脑科学与智能技术卓越创新…

Selenium-几种操作

元素定位之后就要对它进行操作了,常见的集中操作如下: click()  点击元素  eg.输入内容后,点击操作 send_keys("内容")  模拟按键输入  eg:百度输入框,输入内容 clear()  清除元素的内容  eg:清除百度输入框的内容 submit()  提交表单  eg:driver.fi…

桌面图标设计里的计算机是灰色的,小技巧教您如何将Windows 10上的桌面图标设置中的回收站为灰色!...

如果Windows10的桌面图标设置窗口中的回收站选项显示为灰色,则可以查看本逐步指南以解决问题。这将帮助您取回“桌面图标设置”面板中的“回收站”选项,以便您可以在桌面上显示或隐藏回收站。如果错误或任何恶意软件,广告软件等将其禁用&…

人工智能算法的可解释性方法研究

来源:数学与人工智能摘要以深度学习为代表的人工智能技术在信息领域的应用,极大地提高了信息的利用效率和挖掘价值,深刻的影响了各领域的业务形态,同时也引发了监管部门和用户对这一新技术运用中出现的 “算法黑箱”问题关切和疑虑…

asp:dropdownlist如何去掉三角箭头_一棵悬崖三角枫的培养过程

更多精彩,请点击上方思齐盆景关注!▲2010年4月上图是2010年春天购买的三角枫素材。这棵三角枫过渡流畅,曲度自然。入手后开始培养枝条。▲2012年3月转眼间两年过去了,枝条的培养略见成效。翻盆时打算按照上图的角度种植&#xff0…

征服用计算机弹法,征服WIN7

与Windows XP以及Vista系统相比,WIN7自上市以来便备受好评。速度更快的内核、更加时尚的外观、更强大的功能……一切都标志着微软视窗系统的又一次全新升级。如今,新购置电脑的朋友基本都已经用上了预装的WIN7,但面对功能如此强大的操作系统&…

表单项介绍

1 <!DOCTYPE html>2 <html>3 <head>4 <meta charset"UTF-8">5 <title></title>6 </head>7 <body>8 <!-- 9 表单的作用就是用来将用户信息提交给服务器的10 …

云联惠身份认证需要多长时间_欧盟REACH认证需要多长时间【周期、费用、有效期】...

一、欧盟reach认证REACH是欧盟关于化学品注册&#xff0c;评估&#xff0c;授权和限制的法规&#xff0c;它于2007年6月1日生效&#xff0c;并用一个系统取代了许多欧洲指令和法规。二、申请REACH认证需要多长时间一般情况下&#xff0c;申请REACH认证需要5个工作日&#xff0c…

Nature Neuroscience|群际冲突的脑间同步机制

本文来源&#xff1a;”认知神经科学与学习国家重点实验室”官网编辑&#xff1a;Yezi审阅&#xff1a;mingzlee7马燚娜课题组在《Nature Neuroscience》发表论文揭示群际冲突的脑间同步机制图片来源&#xff1a;《乌合之众——大众心理研究》插图个人一旦成为群体的一员&#…

计算机叫醒服务英语,关于酒店叫醒服务的英文口语

关于酒店叫醒服务的英文口语发布时间&#xff1a;2020-03-08春困秋乏夏打盹&#xff0c;睡不醒的冬三月……起床困难户小学妹今天要和大家聊聊使用酒店叫醒服务时会用到的实用口语。叫醒服务通常会用Morning call Service或是Wake-up call来表示&#xff0c;如果第二天有重要的…

一些常用的meta标签及其作用

声明文档使用的字符编码 <meta charsetutf-8>优先使用 IE 最新版本和 Chrome <meta http-equiv"X-UA-Compatible" content"IEedge,chrome1"/><meta name"wap-font-scale" content"no"> 页面描述 <meta name&q…