gram矩阵_Skip-gram

Skip-gram

标签(空格分隔)：NLP

一. skip-gram和cbow的对比

skip-gram与cbow相比，好处在于对于不常用的词，skip-gram的效果要更好；

举个简单的例子，一个句子'w1w2w3w4'，window_size=1；

对于cbow，模型学习的是预测给定上下文后出现word的概率，或者去最大化下面式子的概率值：

但这对不常见的单词来说是个问题，因为不常见的单词在给定的上下文中不经常出现，结果模型会分配给它们很小的概率。

对于skip-gram，模型学习的是给定单词后去预测上下文的概率，或者去最大化下面式子的概率值：

在这个例子中，两个单词(频繁出现的和不频繁出现的) 被相同的对待。均被当作是单词和上下文两个观测。因此，这个模型会把罕见的单词也学到。

二. skip-gram

主要思想

目标：skip-gram目标是通过最优化邻域保留的似然目标，来学习单词的连续特征表示；
假设：skip-gram的目标是基于分布假说，其中陈述的是近似上下文中的单词有具有近似含义的趋势。那就是说，相似的单词有着出现在相似邻域内的趋势；
算法：遍历文档中的每个单词，对于每个单词，其力求去嵌入单词的特征，以能够去预测邻近的单词(单词在上下文单词的窗口里)。通过使用带负采样的SGD梯度下降，来优化似然函数，学习单词的特征表示。

skip-gram公式化的表述

skip-gram通过最优化似然目标函数，来学习预测给定单词后的上下文。假设现在我们有一个句子：

'I am writing a summary for NLP.'

这个模型目的是，根据给定目标word ‘summary’，来预测window_size=2窗口中的上下文单词；

'I am [] [] summary [] [].'

接着模型试着去最优化似然函数：

事实上，给出一个句子，skip-gram可以做到。相反的，把每个单词都当作一个目标word，并且预测上下文word。所以这个目标函数可以表示为：

给它一个更正式的表述：给出一组单词w和它们的上下文c. 我们考虑条件概率是P(c|w), 并且给出预料，目标是找出条件概率

的参数

，以至于最大化语料出现的概率：

或者，我们也可以将其写为：

其中D是我们提取的所有单词和上下文的集合，接下来通过log函数来进行简化：

那么接下来的问题就是如何来定义

，其必须满足如下两个条件：

一是

；

二是

一个自然的方法是使用softmax函数，所以可以这样来定义：

是word w和w的上下文单词c的向量化表示，U表示所有可用上下文的集合。

在这篇文章中，我们假设目标单词w和上下文c来自不同的词汇表矩阵V和U，因此，来自单词word的'lunch'和来自单词上下文的'lunch'是不同的。其中一个动机是每个单词在模型中充当了两种角色，其中一个作为目标单词，而另一个作为上下文单词。这就是为什么我们需要两个单独矩阵的原因，注意到它们必须是相同的维度：V * k，其中k是一个超参数，表示的是每一个词向量的维数。我们想要设置参数

，从而使得函数

最大化。

这里我们用内积(inner product)来衡量

和

两向量间的相似性，如果它们有近似的含义，那么就代表这它们有着近似的向量化表示，那么它们的共现概率

也会比较高。

(note:将余弦相似度和内积来作为距离度量的对比，cos距离只关心角度的区别，而内积关心的是角度和大小。如果你归一化了你的数据使得它们有相同的大小，那么这两种方法就没有区别了)

代入我们的定义

，可以把目标函数表示为：