当 n =1 时, 即出现 在 第 i 位 上 的基 元 w i 独 立于 历 史 。 一元文法也 被 写 为 uni-gram 或 monogram;
当 n =2 时 , 2-gram ( bi-gram ) 被称 为 1 阶 马 尔 可夫 链;
当 n =3 时 , 3-gram( tri-gram ) 被称为 2 阶马尔 可 夫 链 , 依 次类推。
例如:
给定句子 : John read a book
增加标记 : <BOS> John read a book <EOS>
一元 : <BOS>, John, read, a, book, <EOS
二元: (<BOS>John), (John read), (read a), (a book), (book <EOS>)
三元:(<BOS>John read), (John read a), (read a book), (a book <EOS>
基于2元文法的概率是:p(John read a book) =p(John |<BOS>)× p(read|John)× p(a|read)× p(book|a)× p( <EOS>|book)
n元文法的应用:1.音字转换2.汉字分词等。
一个常考的应用:求句子的概率。会给定几个句子,对其进行分词后,重新给定一个句子求其出现的概率。
例如给定上面的句子,求一个新的句子“他是研究生物的”出现概率。那么解决这种问题的步骤:
1.分别统计几个句子分词后每个词出现的次数
2.把新的句子分词后求概率:
P(s) = P(他|<*BOS*>)P(是|他)P(研究|是)P(生物|研究)P(的|生物)P(<*EOS*>|的)
3.根据2元文法模型,计算每个概率。计算方法是前一个词在后一个词出现的基础上出现的次数/后一个词出现的总次数。
P(s) = P(他|<*BOS*>)P(是|他)P(研究|是)P(生物|研究)P(的|生物)P(<*EOS*>|的)
= 3/6 * 1/4 * 2/3 * 3/4 * 3/5 * 3/4