解决AI大难题:如何降低AI运行对能源的消耗?

来源:The Next Web

作者:Jeannie Finks

编译:科技行者

就当下来看,AI领域实现突破性进展的深度学习模型,其规模越大,能耗和成本也随之增加。自然语言处理模型GPT-3就是个典型的例子,为了能够在准确性与速度方面与人类相匹敌,该模型包含1750亿个参数、占用350 GB内存并产生高达1200万美元的模型训练成本。而且单从成本来看,大家应该就能体会到它所消耗的海量能源。 

UMass Amherst的研究人员们发现,训练大型AI模型所需要的算力往往对应超过60万英磅二氧化碳排放量,相当于五台家用汽车在整个使用周期内的全部排放!

更要命的是,这些模型在实际生产环境中(即推理阶段)还需要耗费更多能源以不断产出分析结论。根据英伟达的估算,神经网络模型运行所产生的成本有80%至90%来自推理阶段、而非训练阶段。

因此有观点认为,要保持AI技术的快速进步,我们必须想办法找到一条具备环境可持续性的道路。但事实证明,我们完全可以将大规模模型缩减为能够运行在日常工作站或服务器上的大小,且几乎不影响准确性与速度。

下面,我们先来聊聊为什么机器学习模型总是这么庞大臃肿。

当前,计算能力每3到4个月即翻一番 

十多年前,斯坦福大学的研究人员发现,用于为视频游戏中的复杂图形提供处理支持的处理器(GPU)能够在深度学习模型中提供极高的计算效率。这一发现掀起一轮“军备竞赛”,各厂商争相为深度学习应用程序开发出越来越强大的专用硬件。与之对应,数据科学家们创建的模型也越来越庞大,希望借此带来更准确的处理结果。两股力量相互缠绕,也就形成了如今的态势。

来自OpenAI的研究证明,目前整体行业都处于这样的升级循环当中。2012年至2018年期间,深度学习模型的计算能力每3到4个月就翻一番。这意味着六年时间内,AI计算能力增长达惊人的30万倍。如前所述,这些算力不仅可用于训练算法,同时也能在生产环境中更快带来分析结果。但MIT的最终研究则表明,我们达到计算能力极限的时间可能远远早于大家的想象。

更重要的是,资源层面的限制导致深度学习算法开始成为极少数组织的专属。我们当然希望使用深度学习从医学影像中检测癌细胞变化、或者在社交媒体上自动清除仇恨言论,但我们也确实无法承受体量更大、耗电量更高的深度学习模型。

未来:少即是多 

幸运的是,研究人员们发现了多种新方法,能够使用更智能的算法缩小深度学习模型,并重新调整训练数据集的使用方式。如此一来,大型模型也能够在配置较低的小规模生产环境内运行,并继续根据用例提供必要的结果。

这些技术有望推动机器学习大众化,帮助那些没有充足金钱或资源的组织也能训练算法并将成果投入生产。这一点对于无法容纳专用AI硬件的“边缘”用例显得尤其重要,包括摄像机、汽车仪表板以及智能手机等小型设备。

研究人员们一直尝试删除神经网络内的某些非必要连接,或降低某些数学运算的复杂性等方式缩小模型体积。这些更小、更快的模型能够在任意位置以类似于大型模型的准确度与性能保持运行。如此一来,我们不再需要疯狂追求极致算力,也就有望缓解对环境的重大破坏。事实上,缩小模型体量、提升模型效率已经成为深度学习的未来发展方向。

另一个重要问题,则体现在针对不同用例在新数据集上反复训练大型模型方面。迁移学习技术有望消除此类问题——这项技术以预训练完成的模型作为起点,能够使用有限的数据集将模型知识“迁移”至新任务当中,因此我们不必从零开始重新训练初始模型。这既是降低模型训练所需算力的重要手段,也将极大缓解AI发展给自然环境带来的能源压力。

底线在哪?

只要有可能,模型应当、也必须寻求“瘦身”以降低算力需求。

另外,模型得到的知识应该可以回收并再次利用,而不必每次都从零开始执行深度学习训练过程。最终,一切有望降低模型规模、削减算力消耗(而不会影响性能或准确性)的方法都将成为解放深度学习能量的重要新机遇。

如此一来,任何人都能够以较低的成本在生产环境中运行这些应用程序,同时极大减轻对自然环境造成的压力。当“大AI”开始变小时,其中必将蕴藏无数新的可能。对于这样的前景,我们充满期待。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/485054.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

STM32F105 PA9/OTG_FS_VBUS Issues

https://www.cnblogs.com/shangdawei/p/3264724.html F105 DFU模式下PA9引脚用来检测USB线缆,若电平在2.7~5v则认为插入usb设备(检测到usb线缆条件满足),接下来按流程图执行。 转载于:https://www.cnblogs.com/prayer521/p/970349…

Facebook最新研究:配合AR眼镜使用的腕带,可将神经信号转化为动作

来源:X增强现实日前据外媒报道,Facebook基于其在2019年收购的初创公司的CTRL-Labs技术,计划提供一个新的增强现实界面。在发布的一段演示视频中,其展示了使用肌电信号(EMG)将细微的神经信号转化为动作的&am…

MYSQL--事务隔离

你在银行存了100元,现在你要把100元转给用户A,银行一查你还有钱,开始给A转钱,这时,转钱给A的操作还未完成,你又把钱转给B,银行一看,你银行账号还有钱,就又给B转钱。那乱套…

数据库原理

一、事务 概念ACIDAUTOCOMMIT二、并发一致性问题 丢失修改读脏数据不可重复读幻影读三、封锁 封锁粒度封锁类型封锁协议MySQL 隐式与显示锁定四、隔离级别 未提交读(READ UNCOMMITTED)提交读(READ COMMITTED)可重复读(…

Nature封面:人类还在看提词器,AI的辩论能力却出现了重大进展

来源:机器之心编辑:魔王、陈萍人类斗嘴还要看提词器,AI 引经据典的能力却已经比你高出不止一个段位了。在人工智能打败专业国际象棋选手、围棋选手,并在多个电子游戏中大展身手之后,现在它冲着职业辩论选手来了&#x…

MYSQL--浅析索引

索引是为了提高数据查询的效率,类似于书的目录。 索引的常见模型有三种: 1.哈希表: 只适用于等值查询,不适用于范围查询 为什么呢? 哈希表是(key,value)的格式存储,…

HDU Integer's Power(容斥原理)

题意 求[l,r]的最大指数和&#xff08;1<l,r<10^18&#xff09; 最大指数和&#xff08;如648^24^32^6,所以64的最大指数和是6&#xff09; 题解 很明显我们可以先求出[1,n]的最大指数和&#xff0c;然后再作差。 我们可以先求出num[i]代表[1,n]中最大指数为i的数有多少个…

人工智能姿态逐渐“亲民”,2021年AI五大趋势备受期待

来源&#xff1a;齐鲁壹点人工智能(AI)已成为多国科技发展领域的“香饽饽”&#xff0c;各国政府以及多家大企业也都不甘示弱&#xff0c;争相砸重金支持该领域的发展&#xff0c;各种创新因此如雨后春笋般喷薄而出。此外&#xff0c;新冠肺炎疫情的肆虐迫使我们进一步加大对于…

MYSQL--三种锁

数据库锁设计的初衷是处理并发问题。作为多用户共享的资源&#xff0c;当出现并发访问的时候&#xff0c;数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。根据加锁的范围&#xff0c;MySQL 里面的锁大致可以分成全局锁、表级锁和行锁三类。…

网络请求过程示例

1.域名解析&#xff1a;在客户端&#xff08;浏览器&#xff09;输入http://www.baidu.com&#xff0c;通过DNS解析到该域名对应的IP地址为220.181.27.48 2.数据包通过链路层发送到路由器&#xff0c;通过邻居协议(ARP协议)查找给定IP地址的MAC地址 3.TCP三次握手建立端到端的连…

行业观察 | 全球IoT云平台第一股诞生,IoT离爆发还有多远?

来源&#xff1a; 财经杂志文 &#xff1a;施然2021年3月18日&#xff0c;IoT云平台公司Tuya&#xff08;涂鸦智能&#xff09;上市&#xff0c;这也是目前全球范围内IoT云平台第一股。Tuya的云敲钟仪式在杭州举办&#xff0c;共同参与云敲钟仪式的&#xff0c;除了Tuya的高管团…

Leetcode--23.合并K个排序链表(Java)

合并 k 个排序链表&#xff0c;返回合并后的排序链表。请分析和描述算法的复杂度。 示例: 输入: [ 1->4->5, 1->3->4, 2->6 ] 输出: 1->1->2->3->4->4->5->6 思路&#xff1a;分治法 多个链表&#xff0c;两两合并&#xff0c;第…

SQL2012 之 创建备份计划

打开数据库&#xff0c;选择 管理 → 右键维护计划→选择新建维护计划&#xff0c;填写计划名称&#xff0c;如下图&#xff1a; 修改维护计划参数&#xff0c;如下图&#xff1a; 工具箱->备份数据库任务&#xff0c;拖到计划里&#xff0c;如下图&#xff1a; 编辑“备份数…

薛其坤院士对话马斯克:下一个颠覆性创新是什么?

来源&#xff1a;网易科技报道文&#xff1a;丁广胜他来了&#xff0c;他又来了&#xff0c;马斯克这次在家中远程视频参会中国发展高层论坛。这次很遗憾&#xff0c;马斯克不能现场展示“动感舞蹈”了。他谈到了自动驾驶&#xff0c;也谈到了星际探索。薛其坤院士谈到了太阳能…

redis的底层数据结构

redis:一个key-value系统 Redis 与其他 key - value 缓存产品相比有以下三个特点&#xff1a; Redis支持数据的持久化&#xff0c;可以将内存中的数据保存在磁盘中&#xff0c;重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据&#xff0c;同时还提…

「九章」量子计算优越性遭北大院士质疑,潘建伟陆朝阳长文回应

来源&#xff1a; 雷锋网作者&#xff1a;付静对量子计算和玻色取样的专业概念的理解存在偏差&#xff0c;或是「九章」受质疑的原因。2020 年 12 月 4 日&#xff0c;我国成功达到量子计算研究第一个里程碑量子计算优越性&#xff08;Quantum Computational Advantage&#xf…

Leetcode--542. 01 矩阵(java)

给定一个由 0 和 1 组成的矩阵&#xff0c;找出每个元素到最近的 0 的距离。 两个相邻元素间的距离为 1 。 示例 1: 输入: 0 0 0 0 1 0 0 0 0 输出: 0 0 0 0 1 0 0 0 0 示例 2: 输入: 0 0 0 0 1 0 1 1 1 输出: 0 0 0 0 1 0 1 2 1 注意: 给定矩阵的元素个数不超过 10000。…

OpenAI又放大招:连接文本与图像的CLIP,在ImageNet上效果媲美ResNet50

来源&#xff1a;AI科技评论公众号编译&#xff1a;蒋宝尚、陈彩娴2020年&#xff0c;通用模型产生了经济价值&#xff0c;特别是GPT-3&#xff0c;它的出现证明了大型语言模型具有惊人的语言能力&#xff0c;并且在执行其他任务方面也毫不逊色。2021年&#xff0c;OpenAI 联合…

[COCI2017-2018#1] Plahte

题面很长&#xff0c;可往往真正有用的题意却没有这么长&#xff0c;例如说这么一句&#xff1a; 床单放在上面&#xff0c;使它们之间角或边不会互相接触&#xff0c; 边也不会相交&#xff0c;但他可能把较小的床单放在大的上面&#xff0c;或者一个完全覆盖另个。 从这句话中…

Leetcode-437. 路径总和 III(Java)

给定一个二叉树&#xff0c;它的每个结点都存放着一个整数值。 找出路径和等于给定数值的路径总数。 路径不需要从根节点开始&#xff0c;也不需要在叶子节点结束&#xff0c;但是路径方向必须是向下的&#xff08;只能从父节点到子节点&#xff09;。 二叉树不超过1000个节…