简单说法是为了让方差到1,推公式也好推。但是没几个人说为什么方差要到1.
如果不除以根号dk,显然QK有可能很大,这就让softmax更有能力得到接近one-hot的结果。这本应是好的,但是从实践来看,我们并不要求一定要输出one-hot,这有点over-fitting的感觉了。差不多就行。
还有更重要的理由。softmax求导是 a − a 2 a-a^2 a−a2, a a a是softmax的结果。如果 a a a太one-hot了,这里的梯度直接全部到0,就太小了。我愿称之为softmax陷阱,就和sigmoid一样,你以为one-hot好,事实上谁知道呢,比起任由self-attention只关注一个v,还是看看远方的其他v吧。这样看,如果浅层网络已经提取到足够的信息了,后面的所有v都将与最有价值的v趋于一致,否则就会因为根号dk强制多see几个而引入不必要的v。除非readout的softmax不用根号dk,实际上也确实是这么做的。