这个模型虽然还没有跟Transformer 一样大行其道,
但做为潜在的竞争者,mamba也表现不俗;
虽然深度学习领域不一定会广泛采用mamba架构,
但做一个预防性的 gpgpu 架构挑战调研还是有必要。
主要回答的问题,当前的 gpgpu 架构是否足以应付 mamba;
如果希望做成一些硬件架构上的应对,那么应该对 gpgpu 微架构哪些升级呢。
1,mamba 简介
2,mamba 算子
3,当下 gpgpu 架构特点
4,应对mamba算子的能力
5,gpgpu 微架构升级
未完待续 ... ...