1. 遇到的问题

今天在看 Transformers 的前生今世 的时候，又一次看到了 Position Wise ，经常看到但老是一知半解，故索性查了一下，发现网上的都没怎么细讲其缘由，有点差强人意，于是我又用咱们最喜欢的 GPT-4o 查了一下，感觉给的答案较为全面，故分享给大家。

2. 关于 Position Wise

“Position Wise”在神经网络和深度学习领域通常指的是一种操作方式，特别是在处理序列数据（如文本或时间序列数据）时。具体来说，它指的是对序列中的每个位置（时间步或单词）独立地应用某种操作，而不考虑其它位置的信息。以下是一些具体的例子来帮助理解：

Position-wise Feedforward Network:
在 Transformer 模型中，每个位置的输入向量都会通过一个相同的前馈神经网络进行处理。这个前馈网络对每个位置都是独立应用的，即对每个位置的处理不依赖于其它位置。这种设计提高了并行处理的效率。

Position-wise Activation Function:
在序列模型中，激活函数（如 ReLU、sigmoid）可以在每个位置上独立应用。例如，在 RNN 或 Transformer 中，每个时间步的输出会单独通过激活函数处理，不受其它时间步的影响。

Position-wise Linear Transformation:
在一些模型中，对序列数据的每个位置都应用相同的线性变换。这意味着对序列中的每个位置，都会执行同样的加权求和操作，使用相同的权重矩阵。

这种“Position Wise”操作方式的主要优点是能够更好地并行化处理，因为每个位置的计算都是独立的，可以同时进行。这在处理大规模数据时非常有用，尤其是在深度学习模型的训练和推理过程中。

3. 写在最后

希望大家在看文章和模型的时候，对常见的trick和方法不要放过，一定要多查看看，说不定就会有新的启发。希望本篇文章能帮到你。

BTW，前文中提到的《Transformers 的前生今世》讲得很不错，也分享给大家

https://mp.weixin.qq.com/s/fEZ9jMKO0ivDg1V3utMzbQ
https://mp.weixin.qq.com/s/dVXxiwqPLmHYfoLaI2fHaA