华为深度学习新模型DeepShift:移位和求反代替乘法,神经网络成本大降

来源:机器学习研究会订阅号

【导读】深度学习模型,尤其是卷积神经网络的计算成本问题主要是由于卷积层和全连接层中大量进行乘法运算造成的。华为异构实验室的研究人员提出,用移位和求反运算代替乘法,可有效缓解计算成本过高的问题,同时精度与传统模型差距很小。

深度学习模型(尤其是深度卷积神经网络)已在多种计算机视觉应用中获得了很高的准确性。但是,对于在移动环境中进行部署,事实证明,高计算量和功耗预算是主要瓶颈。卷积层和完全连接的层,由于它们大量使用乘法,是此计算预算的主要贡献者。

本文建议通过引入两个新的运算来解决该问题:卷积移位和全连接移位,这两种运算替换了乘法,并执行按位移位和按位求反操作。这套使用这两种运算代替乘法的神经网络体系结构称为DeepShift。

 

利用无需乘法即可实现的DeepShift模型,研究人员在CIFAR10数据集上的准确度高达93.6%,在Imagenet数据集上的Top-1 / Top-5准确度高达70.9%/ 90.13%。

在将所有卷积层和完全连接的层转换为按比特移位的对应层后,研究人员对各种著名的CNN架构进行了广泛测试,结果发现在一些架构中,Top-1的准确性下降了不到4%,Top-5的准确度下降了不到1.5%。实验在PyTorch框架上进行,培训和运行代码与论文一起提交,并将在线提供。

深度学习模型(尤其是DCNN)已在多种计算机视觉应用达到了很高精度。但是,对于在移动环境中的实例,大计算量和高功耗带来的高成本仍然是主要瓶颈。对于卷积层和全连接层,由于大量使用乘法,成为推高计算成本预算的主要因素。

本文通过引入两个新的运算来解决这个问题:及卷积移位和全连接移位,这两种运算代替乘法,并用按位移位和按位求反。这套神经网络体系结构称为DeepShift模型。

 

DeepShift模型在CIFAR10数据集上的准确度高达93.6%,在Imagenet数据集上的Top-1/ Top-5准确度高达70.9%/ 90.13%。将所有卷积层和完全连接的层转换为按比特移位的对应层后,对各个知名CNN架构进行了广泛测试,结果发现在某些架构中,Top-1的准确性下降了不到4%,Top-5的准确性下降不到1.5%。

实验在PyTorch框架上进行,训练和运行代码与论文一起呈现,并将在Github上给出相关资源。

DeepShift原理与结构

如图1所示,本文的目的是用按位移位和位取反来代替乘法。如果输入数字的基本二进制表示形式A为整数或固定点格式,则向左(或右)的逐位移位在数学上等效于将其乘以2的正s(或负s次幂):

按位移位只能等效于乘以一个正数,因为对于任何s值,2的s次方> 0。但是,在神经网络中,训练必须在其搜索空间中将其乘以负数,尤其是在卷积神经网络中,具有正值和负值的滤波器都有助于检测边界。因此,我们还需要使用求反运算。

求反运算在数学上等效于:

使用PyTorch的AutoGrad工具生成反向传递。为了模拟实际按位移位硬件实现的精度,在应用前向通过之前,LinearShift和ConvShift运算符的输入数据会四舍五入为定点格式精度。

 

MNIST和CIFAR 10测试结果


图2  MNIST和CIFAR 10数据集测试结果对比

 

ImageNet数据集对比测试结果

 

使用随机梯度下降优化器对模型进行训练,动量为0.9,重量衰减为1×10−4。 使用的损失标准是分类交叉熵。 用于从头开始训练的学习率是0.1,表3中为每个模型指定了用于训练预训练的转换模型的epoch数和学习率。

可以通过查看前几批训练的准确性来手动调整训练每个转换模型的学习率:如果准确性下降到未训练的DeepShift模型以下,或者准确性比未训练的模型还低,则说明权重“无法学习”,因此学习率太高,需要调低。

图3  ImageNet数据集测试结果对比

论文链接:

https://arxiv.org/pdf/1905.13298.pdf

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/488791.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何把竖排的数据变为横排_如何有效的自学日语自学的经验都在这里了

一.基础知识引入自学一门语言之前,先要了解这门语言的基本信息。从狭义上来说,语言是能够传达意义的声音,每个语种都由一定数量的声音构成。比如日语,日语普通话中的声音一共有104个。当这些声音对应成符号书写下来时&…

jquery获取html页面参数乱码,JS或Jquery获取浏览器URL的参数值 汉字值乱码 并转码...

1、获取url很简单,代码如下:window.location.href;2、jquery获取url参数比较复杂,要用到正则表达式,所以学好javascript正则式多么重要的事情首先看看单纯的通过javascript是如何来获取url中的某个参数://获取url中的参…

信阳农林技术学院经纬度_信阳无人机创业团队:让梦想在田野起飞

青春由磨砺而出彩,人生因奋斗而升华。在河南信阳,有这样一个年轻的创业团队,他们立志扎根农村做新型农民。他们在大学期间就钻研如何把无人机技术和现代农业生产相结合,并且运用到田间地头,在田野之上放飞青春梦想。一…

edge怎么开启沉浸式阅读_建安中艺光影秀|景区乐园开启沉浸式光影秀互动之旅...

随着时代的发展,文旅夜游的主旋律逐渐向声、光、电的科技和水、陆、空的视听体验靠近,越来越多的园林景点打造沉浸式光影互动投影秀,将历史人文与自然界的静谧纯粹相结合,利用沉浸式光影秀将园林景区中假山、悬崖、溶洞、峭壁、飞…

李德毅院士:自动驾驶与智能网联

来源:58车在电动化、智能化、网联化革命带动下,传统的汽车产业供应链正在重塑,中国电动汽车发展进入结构调整期。以“把握形势 聚焦转型 引领创新”为主题的2020中国电动汽车百人会论坛于1月10-12日在钓鱼台国宾馆隆重召开。秉持“传递权威信…

科技领域看不见的手如何影响企业未来命运

作者:刘锋“看不见的手”像幽灵一样盘踞在人类社会的发展过程中,时隐时现,在亚当斯密的《国富论》中,看不见的手推动了经济的发展;在达尔文的进化论中,看不见的手推动了生物的自然选择;同样在21…

电脑动态屏保_Mac待机也能看时间,你需要一款时钟屏保!

Mac待机也能看时间啦,时钟屏保软件就可以做到哦,今天就为大家分享几款,来看看有没有喜欢的!Mac待机时也能看时间(原文)​www.macz.com第一款:Word Clock 一起进入Word时钟的词云。 Word Clock M…

垂直居中——登录界面

弹性盒子垂直居中&#xff1a;body直接display&#xff1a;flex不行中间在来一层。 1 <!DOCTYPE html>2 <html>3 <head>4 <meta charset"utf-8">5 <link rel"stylesheet" href"https://cdn.static.runoob.com/libs/bootst…

html的组织顺序是什么,css如何组织?

css如何组织&#xff1f;下面本篇文章给大家介绍一下。有一定的参考价值&#xff0c;有需要的朋友可以参考一下&#xff0c;希望对大家有所帮助。前端工程师在开发一个单页面或者小网站的时候有可能不会在意CSS的组织问题&#xff0c;但如果要开发一个中大型的网站&#xff0c;…

北航、旷视联合,打造最强实时语义分割网络

来源&#xff1a;AI科技评论编辑&#xff1a;Camel导语&#xff1a;MSFNet在Cityscapes测试集上达到77.1%mIoU/41FPS&#xff08;注意是1024*2048&#xff09;&#xff0c;在Camvid测试集上达到75.4 mIoU/97FPS&#xff0c;是目前最强的实时语义分割网络。下面要介绍的论文由北…

oracle text类型_数据库的一些注入技巧Oracle

默认数据库SYSTEMSYSAUX注释--SELECT * FROM Users WHERE username OR11 -- AND password ;查询版本信息SELECT banner FROM v$version WHERE banner LIKE Oracle%;SELECT banner FROM v$version WHERE banner LIKE TNS%;SELECT version FROM v$instance;数据库凭证SELECT u…

Java 装箱和拆箱

转载于:https://www.cnblogs.com/jiangxifanzhouyudu/p/6629165.html

中科院计算所关于“木兰”语言问题处理情况说明

来源&#xff1a;中国科学院计算技术研究所 近日&#xff0c;网上出现质疑“木兰”语言的信息。我所获知这一情况后高度重视。经所科研道德委员会初步调查&#xff0c;“木兰”语言系我所员工刘雷创办的中科智芯公司研发的面向青少年编程教育的集成化产品&#xff0c;该产品的开…

用python表白代码_如何用Python代码向心爱的姑娘花式表白?

刚好之前用turtle 写过一个https://www.zhihu.com/video/1058809172984004608 这是我当时自学python第二天写的一个&#xff0c;书上讲到了一个turtle模块&#xff0c;可以用来画一些简单的图&#xff0c;自己突发奇想就在纸上大概设计了一下图形&#xff0c;算了算长度后&…

CSS3 Flex布局(伸缩布局盒模型)学习

CSS3 Flex布局&#xff08;伸缩布局盒模型&#xff09;学习 转自&#xff1a;http://www.xifengxx.com/web-front-end/1408.html CSS2定义了四种布局&#xff1a;块布局、行内布局、表格布局盒定位布局。 CSS3引入了一种新的布局模式——Flexbox布局&#xff0c;即伸缩布局盒&a…

qtablewidget添加item不显示_企业微信聊天工具栏可以添加哪些应用?企业微信聊天工具栏不显示是什么原因?...

使用企业微信营销的朋友们应该都知道&#xff0c;企业微信有聊天侧边栏&#xff0c;我们可以在里面添加常用应用&#xff0c;提升运营效率&#xff0c;但是有很多用户反映&#xff0c;自己的企业微信中没有聊天工具栏&#xff0c;这是什么原因呢&#xff1f;这时可能有以下两种…

5G将如何推动未来十年智能城市的发展

来源&#xff1a; IEEE电气电子工程师过去十年的结束标志着部署5G的技术军备竞赛。移动运营商竞相安装网络基础设施&#xff0c;在澳大利亚、中国、韩国、瑞士和美国等数十个国家提供每秒超过1千兆的无线连接。但是&#xff0c;为什么这么匆忙&#xff1f;在2019年的IEEE GLOBE…

接口自动化- 基于 Python

准备工作 这部分其实在谷歌或者百度上搜索下就可以完成的&#xff0c;可是我就是想再啰嗦一遍&#xff0c;说不定有比我更懒的同学呢哈哈~ 第一步 Python的安装配置 打开官网: https://www.python.org/downloads/ 目前官网上已经更新到3.6.1啦&#xff08;这更新速度我是服的&…

vscode c++ 快捷键_[工具篇]提高开发幸福度的VSCode配置[更新中...]

工欲善其事&#xff0c;必先利其器。基于上文把keil与外部编辑器vscode结合一起&#xff0c;达到keil作为编译与调试工具&#xff0c;而vscode作为编辑工具&#xff0c;如今其插件之丰富能与vim媲美&#xff0c;所以现在本文主要介绍本人对VSCode的一些个性配置&#xff0c;以便…

【平行驾驶】王飞跃 | 人工智能与智能汽车:在CPSS中驶向第三轴心时代

来源&#xff1a;车百智库【导读】1月10-12日&#xff0c;2020中国电动汽车百人会论坛在钓鱼台国宾馆隆重召开。青岛智能产业技术研究院院长王飞跃教授受邀出席并作精彩报告&#xff0c;讲述了平行驾驶理论及其当前的矿山无人化应用。王飞跃教授表示&#xff0c;平行驾驶是一种…