本文重点
在前面的课程中我们学习了残差网络ResNet,而DenseNet可以看成是ResNet的后续,我们看一下图就可以看出二者的主要区别了。
特点
DenseNet是一种卷积神经网络,它的特点是每一层都直接连接到所有后续层。这意味着,每一层都接收来自前一层的输出,并将其作为输入传递到下一层。这种连接方式实现了特征重用,使得网络能够更好地利用前面的特征信息,减少了参数的数量。
比较
如图所示,主要区别就是ResNet使用相加的方式,而DenseNet使用在通道上面拼接的方式,这样就会使得模块A的输出可以直接传入模块B后面的层,使得模块A直接跟模块B后面的所有层连接在了一起。
稠密块和过渡层
稠密块
稠密块就是完成拼接的。拼接,就是在通道的维度上进行拼接,比如A的通道为3,而输出的通道为10,那么拼接的通道就是13了,这会造成通道过多,从而造成模型的复杂,要想解决这个问题,此时需要使用过渡层来完成通道的降维。
过渡层
前面我们学习过1*1的卷积层可以完成这个任务,所以我们使用1*1的卷积层作为过渡层的主要部分,并且使用步幅为2的平均池化层来减半高和宽,从而进一步的降低模型的复杂度。
DenseNet的优点
参数效率高:由于每一层都直接连接到所有后续层,因此可以重用前面的特征信息,减少了参数的