相关工作
Deja vu Contextual sparsity for efficient llms at inference time
LLM in a flash Efficient Large Language Model Inference with Limited Memory
ReLU Strikes Back Exploiting Activation Sparsity in Large Language Models
ReLU2 Wins: Discovering Efficient Activation Functions for Sparse LLMs
ProSparse Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
ProSparse 这里展示了两种稀疏方式：向前和向后的稀疏性。
因为ws结果是稀疏的，w1也可以根据ws结果，也就是根据输出来进行稀疏。此外，w2根据输入进行稀疏。
ProSparse把激活函数替换为Relu后，采用一些特殊训练技巧，对激活采用正则化，从而获得更高的稀疏性和精度。
当然，真正要基于稀疏性获得加速，依赖于特殊的矩阵乘算子实现，该文章分别提供了输出和输入稀疏加速的矩阵乘实现。
