M3ID的公式：

CD的公式（概率空间版本）：

CD的公式（logits空间版本）：

---

为简单对比，主要比较概率空间版本。logits空间版本已有证明和概率空间版本等效，在此不做详细讨论，证明过程详见原论文的appendix

（1）mask的区别

CD的mask：

意思是：概率太低的logits直接排除，既不做CD，甚至直接不可能作为输出，因为其logits直接被置为-inf

M3ID的mask：

注意，这里是指：当最大的logits小于阈值时，才使用CD；即若模型对某个预测十分自信时，则不需要使用CD，直接输出即可

和原始CD的区别：原始CD对每个t，都排除掉较小的logits，然后全部t都使用CD
而M3ID，并没有排除掉较小的logits，而是仅对部分t使用CD
其实两种策略并无冲突，是可以结合的

（2）$\beta$的区别

这里我们以logits空间的版本为例，因为logits空间的版本的公式和M3ID更像，也就是解耦了输出的scale和偏移direction的版本。此时，偏移direction由$\beta (condition-uncondition)$决定。

M3ID的$\beta$：

$\beta =\frac{1-e^{(-\lambda t)}}{e^{(-\lambda t)}}$，其中$\lambda =0.02$
当t=34.65时，$\beta =1$，当t=100时，$\beta =6.389$，$\beta$是一个单调递增函数，且随着t的增大，差值（或者说比值）会逐渐占据主导

注意，logP=log_softmax(logits)和logits是近似等效的。