n-gram 掩码（mask）通常用于自然语言处理任务中的文本预处理和特征提取。它的主要目的是在生成 n-gram 时过滤掉一些不需要的或无意义的 n-gram，从而提高模型的效率和准确性。
以下是一些常见的 n-gram 掩码的应用：
-
停止词过滤：停止词（如 "the", "is", "in" 等）在很多文本处理任务中没有实际意义，因此可以通过掩码将这些停止词排除在 n-gram 之外。例如，对于句子 "The cat is on the mat"，可以掩码掉 "the" 和 "is" 这样的停止词，只生成有意义的 n-gram，如 "cat on", "on the mat"。
-
特定字符过滤：在一些情况下，某些字符或词语可能是不需要的，例如标点符号、数字等。通过掩码可以将这些字符排除。例如，对于句子 "I have 2 cats."，可以掩码掉数字 "2" 和标点符号 "."，只生成 "I have", "have cats" 这样的 n-gram。
-
位置掩码：在生成 n-gram 时，有时需要对特定位置的词进行掩码，例如只考虑句子的前 n 个词或忽略句子的某些部分。例如，只生成句子前五个词的 n-gram，可以掩码掉后面的词。
-
上下文掩码：在生成 n-gram 时，可以根据上下文信息对某些词进行掩码。例如，如果在情感分析任务中，只对表示情感的词生成 n-gram，可以掩码掉不相关的词
-
from nltk.util import ngrams from nltk.corpus import stopwordsdef generate_ngrams(text, n):# 分词words = text.split()# 获取英语停止词列表stop_words = set(stopwords.words('english'))# 过滤掉停止词filtered_words = [word for word in words if word.lower() not in stop_words]# 生成 n-gramn_grams = list(ngrams(filtered_words, n))return n_grams# 示例文本 text = "The quick brown fox jumps over the lazy dog" # 生成 bigram (n=2) bigrams = generate_ngrams(text, 2) print(bigrams)
