参考博客:
VMamba:SS2D的实现-CSDN博客了解SS2D:VMamba:SS2D的实现-CSDN博客
VMamba原文:2401.10166 (arxiv.org)
主要参考学习博客:VM-UNet: Vision Mamba UNet for Medical Image Segmentation-CSDN博客
VM-UNet原文:论文地址:https://arxiv.org/abs/2402.02491
项目地址:https://github.com/JCruan519/VM-UNet
激活函数:深度学习中常见的10种激活函数(Activation Function)总结_激活函数有哪些-CSDN博客
常见深度学习之十二大激活函数【函数定义、性质、数学公式、代码实现】_深度神经网络激活函数-CSDN博客
激活函数 Relu,Gelu,Mish,SiLU,Swish,Tanh,Sigmoid_gelu和silu-CSDN博客
正文:
全文的主要就是这个结构:
全文也没做过多的对比和细节,主要就是对各个部分进行介绍。
文中提到VMamba的主要核心部分就是Mamba,而Mamba的核心部分就是VSS模块,而VSS模块的核心部分就是SS2D。
而这篇文章主要其实就是没有自己的东西,就是纯纯的提取核心部分套上Unet结构。VSS模块包括SS2D模块,相当于什么都没动,原封不动的提出,搬运。(下图是VMamba原文图)
所以当前行核心任务就是把代码看懂,哪一块对应那一块。
文章中,还提到了激活函数,不同于以前的ReLu激活函数,而是用的SiLu激活函数。
(后期也可以在这个地方调细节,让模型效果更好。)
关于几个激活函数的区别可通过公式来分别:
1. ReLu(Rectified Linear Unit) ——相当于就是把负数归0,非负数不变化
公式:
优缺点:
应用场景:
2. Sigmoid激活函数——有点归一化(两极化)的意思(让负数趋近于0,正数靠近1,让处于中间的比较少)
公式:
优缺点:
应用场景:
3.Tanh函数——这个和Sigmoid激活函数类似,这个两极化更加明显。
公式:
优缺点:
应用场景:
4.Silu(Sigmoid Linear Unit) or Swish
5.
Gelu(Gaussian Error Linear Units)
6.Mish (A Self Regularized Non-Monotonic Activation Function)