虽然业界大佬对Mamba有点争议,但是直觉而言,Mamba会取代 Transformer 成为LLM的基础模型算法。
1, Mamba 比 Transformer的优点
1.1 处理的序列更长
1.2 比Transformer 更快
1.3 可解释性、可理解性、可控性、可调试性比 Transformer 更强
2,原始论文
论文网址:
https://arxiv.org/pdf/2312.00752.pdf
https://github.com/mamba-org/mamba
3,应用于视觉
mamba 应用于 CV:
https://arxiv.org/abs/2401.09417
https://github.com/kyegomez/VisionMamba
4,MAMBA 嫁接到 u-NET:
https://arxiv.org/abs/2401.04722
https://github.com/bowang-lab/U-Mamba