1.进化路线

• LR：没有较叉项
• ->FM:LR+交叉项，一个特征一个向量
• ->FFM:一个特征对每一个field（属性名）的交互有一个向量，一个特征有一个特征矩阵。
• ->AFM:每个内积都有一个权重，求内积加权和（self-attention）
• ->FNN:预训练好的FM，输入DNN
• ->PNN:embedding layer和first hidden layer之间增加了一个product layer
• ->DeepFM：不预训练，不用人工特征，one-hot->embedding->FM/hidden

2. 公式比较

FM:系列
$FM(x)=w_0+{\sum }_{i=1}^n{w}_i{x}_i+{\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n<v_i,v_j>x_i{x}_j,linear(x)=w_0+{\sum }_{i=1}^n{w}_i{x}_i$
$FFM(x)=w_0+{\sum }_{i=1}^n{w}_i{x}_i+{\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n<v_{i,f_j},v_{j,f_i}>x_i{x}_j$
$AFM(x)=w_0+{\sum }_{i=1}^n{w}_i{x}_i+P^T{\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n{a}_{ij}<v_i,v_j>x_i{x}_j$
$FNN(x)=mlp(l_z),l_z=embed(x)，embed使用预训练过$
$PNN（x）=mlp(l_z+l_p),l_z=embed(x),l_p=内积或外积$
$DeepFM(x)=FM(x)+mlp(embed(x))$
$NFM(x)=linear(x)+mlp(FM(x))$
$Dee{p}_{C}ross(x)=Linear([Cross(l_z),MLP(l_z)]),Cross(l_z)=l_z+l_z\ast Linea{r}_1(l_z)+...,l_z=Embed(x)$