深度神经网络中的感受野(Receptive Field)

本文转载自知乎：深度神经网络中的感受野(Receptive Field) - 蓝木达的文章 - 知乎

在机器视觉领域的深度神经网络中有一个概念叫做感受野，用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。神经元之所以无法对原始图像的所有信息进行感知，是因为在这些网络结构中普遍使用卷积层和pooling层，在层与层之间均为局部相连（通过sliding filter）。神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着他可能蕴含更为全局、语义层次更高的特征；而值越小则表示其所包含的特征越趋向于局部和细节。因此感受野的值可以大致用来判断每一层的抽象层次。

那么这个感受野要如何计算呢？我们先看下面这个例子。

可以看到在Conv1中的每一个单元所能看到的原始图像范围是3*3，而由于Conv2的每个单元都是由 2×2 范围的Conv1构成，因此回溯到原始图像，其实是能够看到 5×5 的原始图像范围的。因此我们说Conv1的感受野是3，Conv2的感受野是5. 输入图像的每个单元的感受野被定义为1，这应该很好理解，因为每个像素只能看到自己。

通过上图这种图示的方式我们可以“目测”出每一层的感受野是多大，但对于层数过多、过于复杂的网络结构来说，用这种办法可能就不够聪明了。因此我们希望能够归纳出这其中的规律，并用公式来描述，这样就可以对任意复杂的网络结构计算其每一层的感受野了。那么我们下面看看这其中的规律为何。

由于图像是二维的，具有空间信息，因此感受野的实质其实也是一个二维区域。但业界通常将感受野定义为一个正方形区域，因此也就使用边长来描述其大小了。在接下来的讨论中，本文也只考虑宽度一个方向。

接下来我们使用一种并不常见的方式来展示CNN的层与层之间的关系：