本文由码农场同步，最新版本请查看原文：http://www.hankcs.com/nlp/cs224n-convolutional-neural-networks.html

补充了NLP中相对冷门的CNN，谈了谈调参与发论文的潜规则。从RNN到CNNRNN无法利用未来的特征预测当前单词，就算是bi-RNN，也不过是双向重蹈覆辙而已。经常把过多注意力放到最后一个单词上。比如，如果只想得到my birth的向量，RNN就无能为力了，因为它捕捉的是从左到右的“上文”。与此对应，softmax也是加在最后一个单词上的CNN的解决思路说来也很简单粗暴，那就计算相邻的ngram，不管它到底是不是真正的短语，眉毛胡子一把抓地为它们计算向量。什么是卷积定义在两个矩阵上的函数，生成另一个矩阵（也...

继续阅读：码农场 » CS224n笔记13 卷积神经网络

原文链接：http://www.hankcs.com/nlp/cs224n-convolutional-neural-networks.html

感谢阅读本文，欢迎 查看原文或访问 码农场 获取更多内容