博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看
配套 github 链接：https://github.com/nickchen121/Pre-training-language-model
配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html
神经网络语言模型（NNLM）–》为了预测下一个词
NNLM（）–》预测下一个词
神经网络+语言模型：用神经网络去解决和人说话有关的两个任务的一个东西
softmax(w2(tanh(（w1x+b1）))+b2)
得到一个副产品（词向量）
Q 矩阵，对于任何一个独热编码的词向量都可以通过 Q 矩阵得到新的词向量
- 可以转换维度
- 相似词之间的词向量之间也有了关系
