Resnet50 中的核心算法,除了卷积、池化、bn、relu之外,在最后一层还有一个全连接。
下图是 Resnet50 网络结构结尾的部分,最后一层 Gemm(通用矩阵乘法)实现的就是全连接操作。而矩阵乘法我们之前介绍过,传送门在:矩阵乘。
卷积也好,矩阵乘法也好,其目的都是为了完成神经网络中的特征融合,这是其本质。
神经网络的运算,也是为了更好的完成输入数据的特征提取和融合,从而识别一张图片、一个句子。
那么,全连接层和卷积层甚至矩阵乘法又有什么区别和联系呢?
1、全连接层
全连接层(Fully Connected Layer),也称为密集连接层(Dense Layer),在全连接层中,每个神经元与前一层的每个神经元都有连接,每个连接都有一个权重,形成一个完全连接的网络结构。
这种全连接的方式与卷积和池化不同,卷积和池化是通过固定大小的卷积核或池化窗口在输入上移动,