概述
计算加速
方法一:
由于计算机计算矩阵乘法速度非常快,所以这是一个虽然提高内存消耗但是计算速度显著上升的方法,把feature map中的感受野(包含重叠的部分,所以会加大内存消耗)和卷积核全部拉伸成为向量,组成两个矩阵相乘,再想办法恢复为输出的feature map。
方法二:
利用傅里叶变换的特性加速计算,思路来源于信号处理,只对大卷积核有效。
方法三:
思路来源于经典算法,用的人很少,老师也没怎么介绍,个人亦是不太感兴趣,需要的时候自己查资料吧。
总结:
比较简要的总结就是,如果真的需要自己实现卷积层的时候,那就使用im2col提高效率吧。
GPU/CPU
这一部分老师天南海北的扯了不少,中心思想就是:深度学习使用GPU分布式计算效果更好,英伟达伟光正(历史局限性问题,现在的谷歌的TPU貌似也有崛起的可能)。
不过下图还是展示了,即使GPU在并行计算领域效能非凡(相对应的CPU很擅长顺序处理),面对深度学习的海量数据计算还是力不从心,而且,好的GPU价格往往不菲(不是我吐槽,这是老师说的),
性能瓶颈
虽然GPU计算速度极其高效,但GPU和CPU数据相互拷贝过程还是会消耗大量时间
文件读取,比如打开批量jpg时,由于不同图片存放于硬盘不同位置,随机索引会消耗大量时间,而解压缩也会消耗大量时间,所以一般的做法是进行预处理,解压为顺序存储的像素文件,一般各个框架都有自己的标准文件格式
网瘾少年都知道,GPU么,内存越大(价格越贵)越好,(逃...
浮点类型
深度学习常使用单精度(32位)浮点数,
1.节省内存,可以存储更多的数据
2.更少的位数,更少的计算量,更快的运算速度
在课程中的程序中,由于numpy默认精度是64位,一般都给出了显示的类型转换。
实际上有很多16位的尝试,也有一些取得了不错的结果,但是16位的表示范围和精度是个问题,有人做过尝试:正常的16位运算由于误差积累较难收敛,如果运算结果使用高精度暂存,然后随机四舍五入(具体怎么随机不太明晰)的话,结果不错,还有人使用10位激活函数+12位参数更新的精度组合进行计算,结果也不错,还有极端人士使用1位(1或-1)进行计算,老师说很酷,我觉得这只是他的中性的口头禅吧... ...
总之,现在老老实实的使用32位即可,以后说不定会使用16位计算。
总结