首先,正如您对问题的评论中所指出的,如果培训/运行速度对您来说是一个问题,KenLM可能是更好的选择.此时nltk.model主要用于教育/原型设计,但它并不快.
如果您仍然决定坚持使用NLTK,请继续阅读.我碰巧是模型分支中新的NgramModel代码的作者,我会尝试清楚地说明你可以测试代码并让我知道你的想法.由于旧的实现中的a lot of critical bugs,我们不得不对模块进行大修,我们仍在调整新的设置.
目前在this doctest file中描述了改进模块的预期用途.尽管如此,我将快速回顾工作流程的主要更改,因为它与旧版本有很大不同.
如果您对我们如何提出新工作流程感兴趣,请参阅this thread.
最重要的是要记住,训练ngram模型现在明确分为以下3个步骤.
1.建立词汇
当ngram模型遇到训练期间没有看到的单词时,旧实现中出现了一些最烦人的错误.解决这个问题的传统方法是在开始训练之前创建一个“已知”标记(单词)词汇表.
当你训练你的ngram模型时,你在词汇表中查找标记并在它们存在时增加它们的计数,否则增加计数器以获得特殊的UNKNOWN标记.我们的想法是,如果您在测试期间遇到看不见的令牌,您可以使用UNKNOWN的计数来估算其得分.
可以使用您训练的数据以外的数据创建此词汇表.例如,你的词汇可能来自Gigaword语料库,但你只训练你的模型华尔街日报.
使用nltk.model.build_vocabulary函数.
2.训练=计算Ngrams
你有没有想过当你“训练”一个ngram模型时究竟发生了什么？从本质上讲,培训模型实际上归结为简单地计算文本中的ngrams.当然,这还涉及将文本分解为ngrams并根据您在上一步中创建的词汇检查令牌.
适当命名的nltk.model.count_ngrams函数在您完成此任务时是您的朋友.它返回NgramCounter类的一个实例,它试图提供一个清晰的接口来访问/更新ngram计数.
3.从计数到分数(更新)
这是整个过程的最终目标,在给定某些上下文的情况下获得类似于令牌的概率.
这部分模块仍在进行中,现在只有MLE,Lidstone和Laplace估算器. doctest文件中简要介绍了它们的用法.
如果你想使用不同的估算器,你必须为它编写自己的类.但是,我试图让它变得非常容易.此外,您可以将您的作品提交给NLTK并成为贡献者！
以下是您定义自己的估算器的方法：
>创建一个继承自BaseNgramModel的类.
>在此类中实现您自己的score方法,该方法使用ngram_counts属性来访问计数.
随意从ngram.py中已定义的模型中获取灵感.
这是基本MLE评分的示例实现：
from nltk.model import BaseNgramModel
class MLENgramModel(BaseNgramModel):
def score(self, context, word):
# how many times word occurs with context
ngram_count = self.ngrams[context][word]
# how many times the context itself occurred we take advantage of
# the fact that self.ngram[context] is a FreqDist and has a method
# FreqDist.N() which counts all the samples in it.
context_count = self.ngram[context].N()
# In case context_count is 0 we shouldn't be dividing by it
# and just return 0
if context_count == 0:
return 0
# otherwise we can return the standard MLE score
return ngram_count / context_count
