计算成本

Inception 层还有一个问题，就是计算成本的问题，我们来看一下5×5 过滤器在该模块中的计算成本。

原始图片为28*28*192经过32个5*5的过滤操作，它的计算成本为：

我们输出28*28*32个数字，对于输出的每个数字来说，你都需要执行 5×5×192 （5*5为卷积核的大小，192为通道的数量）次乘法运算，把这些数相乘结果等于 1.2 亿（120422400）。这个计算量太大了，计算成本太高了，这里我们需要使用另外一种架构。

这种架构首先输入是28*28*192，然后输出是28*28*32和上一个的输入输出一样

这个架构对于输入层，使用 1×1 卷积把输入值从 192 个通道减少到 16 个通道。然后对这个较小层运行5×5 卷积，得到最终输出。中间这个1*1的卷积有时候这被称为瓶颈层，瓶颈通常是某个对象最小的部分。同理，瓶颈层也是网络中最小的部分，我们先缩小网络表示，然后再扩大它。

我们来看一下这个架构的计算成本是多少？

第一个卷积层：28×28×192* 1×1×192