词表示和语言模型

词表示是指把自然语言里面最基本的单位，也就是词，将其转换为机器所能理解的过程。

词表示的目的：

1. 计算词之间的相似度；

2. 推理词之间的关系。

1.最早是如何表示一个词呢？

        设目标词是X，则用X的近义词、反义词等放在一起表示。或者用X的上位词来表示，如NLP隶属于information sciences,sciences等等。但这种表示方法在于，词之间的细微差别难以准确识别。也受限于主观性，数据稀疏性，以及需要大量的人工标注。

2.One-hot representation（独热编码）

把每一个词表示成一个独立的符号。每一个词，都会在和词表一样长的向量里面，只有一维对应于该词。该维度上为1，其余维度全为0来表示该词。这种方式对于计算文档之间的相似度时候十分有效，但是对于表示词的时候存在很大问题。因为这种方式会假设词和词向量之间是正交的（不相关的），从而导致任意两个词之间进行计算相似度都为0.

3.使用词的上下文去表示词

这种方式，还是先有一个词表，然后每个词，都用它和它的上下文出现的次数来表示。例如以star举例，它和shining，bright，trees等在文档中一起出现的次数分别是38,45，2，那么就用【，，，38,，，45,2，。。。】这个向量来表示这个词，其余词依此类推。这个向量的长度就是词表的长度，“，”表示star和其余词一起出现的次数，没写上罢了。但是这种方式存在的问题是，当所用的词表越来越大时，所用的存储空间也会很大，就是每个词的向量长度都太长了。同时对于某些出现的比较不频繁的词，文档中和这个词一起出现的词就比较少，导致用这种方式所表示的向量比较稀疏，稀疏现象会导致对这个词的表示效果没那么好。

4.词嵌入表示（Word embedding）

是一种分布式的表示（Distribution representation）。这种方式的思想是通过建立一个低维的稠密的向量空间，将每个词尝试学习到这个空间中，用这个空间中某个位置来表示这个词。这种是可以利用大量的文档自动的学习到的。

语言模型

什么是语言模型，语言模型的任务是根据前面出现的单词，预测出下一个单词。

形式化定义如下：

p( Wn |  w1,w2,w3,...,wn-1)

语言模型主要要完成两方面工作：

1.计算一个序列的词成为一句话的概率。也就是计算一个序列的词的联合概率。就是查看已有的一句话或者一个序列的词成为符合语法的概率。

2.计算下一个词是什么。

如何去完成这两项工作？

过去人们假设，一个未来的词（还没出现的词）只会受到它前面的词的影响。

引出了一个重要的内容，N-gram Model.

设是4-gram model，那么它就是要根据前面出现的3个词，去预测下一个哪个词出现的概率最大。应该是去词表里面找，一个个试，然后找出频度最大的那个。其实就是去大规模文档中，找这些词出现的频度，然后用频度去预测。

Neural Language Model

这是既N-gram model之后，利用深度学习的一项技术，是利用神经网络去学习词的分布式表示。

如何做的呢？首先将每个词表示成一个低维向量，然后将设定的上下文长度的，例如是3，那就将这3个词的向量拼接在一起，就是首尾相接，形成一个更长的向量，然后给这个长向量做一个非线性变化，来预测下一个词出现的概率。