Doc2Bow简介与实践Demo

Doc2Bow是Gensim中封装的一个方法，主要用于实现Bow模型，下面主要介绍下Bow模型。

1、BoW模型原理

Bag-of-words model (BoW model) 最早出现在自然语言处理（Natural Language Processing）和信息检索（Information Retrieval）领域.。该模型忽略掉文本的语法和语序等要素，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立的。BoW使用一组无序的单词(words)来表达一段文字或一个文档.。近年来，BoW模型被广泛应用于计算机视觉中。
基于文本的BoW模型的一个简单例子如下：
首先给出两个简单的文本文档如下：

    John likes to watch movies. Mary likes too.John also likes to watch football games.

基于上述两个文档中出现的单词，构建如下一个词典 (dictionary)：

 {"John": 1, "likes": 2,"to": 3, "watch": 4, "movies": 5,"also": 6, "football": 7, "games": 8,"Mary": 9, "too": 10}

上面的词典中包含10个单词, 每个单词有唯一的索引, 那么每个文本我们可以使用一个10维的向量来表示。如下：

     [1, 2, 1, 1, 1, 0, 0, 0, 1, 1][1, 1,1, 1, 0, 1, 1, 1, 0, 0]

该向量与原来文本中单词出现的顺序没有关系，而是词典中每个单词在文本中出现的频率。
也是通过余弦定理计算两个句子的相似度。

2、实践Demo

import gensim
import jieba
# 训练样本
from gensim import corpora
from gensim.similarities import Similarity# fin = open("questions.txt",encoding='utf8').read().strip(' ')   #strip()取出首位空格
jieba.load_userdict("userdict.txt")
stopwords = set(open('stopwords.txt',encoding='utf8').read().strip('\n').split('\n'))   #读入停用词
raw_documents = ['0无偿居间介绍买卖毒品的行为应如何定性','1吸毒男动态持有大量毒品的行为该如何认定','2如何区分是非法种植毒品原植物罪还是非法制造毒品罪','3为毒贩贩卖毒品提供帮助构成贩卖毒品罪','4将自己吸食的毒品原价转让给朋友吸食的行为该如何认定','5为获报酬帮人购买毒品的行为该如何认定','6毒贩出狱后再次够买毒品途中被抓的行为认定','7虚夸毒品功效劝人吸食毒品的行为该如何认定','8妻子下落不明丈夫又与他人登记结婚是否为无效婚姻','9一方未签字办理的结婚登记是否有效','10夫妻双方1990年按农村习俗举办婚礼没有结婚证 一方可否起诉离婚','11结婚前对方父母出资购买的住房写我们二人的名字有效吗','12身份证被别人冒用无法登记结婚怎么办？','13同居后又与他人登记结婚是否构成重婚罪','14未办登记只举办结婚仪式可起诉离婚吗','15同居多年未办理结婚登记，是否可以向法院起诉要求离婚'
]
corpora_documents = []
for item_text in raw_documents:item_str = jieba.lcut(item_text)print(item_str)corpora_documents.append(item_str)
print(corpora_documents)
# 生成字典和向量语料
dictionary = corpora.Dictionary(corpora_documents)
corpus = [dictionary.doc2bow(text) for text in corpora_documents]
#num_features代表生成的向量的维数（根据词袋的大小来定）
similarity = Similarity('-Similarity-index', corpus, num_features=400)test_data_1 = '你好，我想问一下我想离婚他不想离，孩子他说不要，是六个月就自动生效离婚'
test_cut_raw_1 = jieba.lcut(test_data_1)print(test_cut_raw_1)
test_corpus_1 = dictionary.doc2bow(test_cut_raw_1)
similarity.num_best = 5
print(similarity[test_corpus_1])  # 返回最相似的样本材料,(index_of_document, similarity) tuplesprint('################################')test_data_2 = '家人因涉嫌运输毒品被抓，她只是去朋友家探望朋友的，结果就被抓了，还在朋友家收出毒品，可家人的身上和行李中都没有。现在已经拘留10多天了，请问会被判刑吗'
test_cut_raw_2 = jieba.lcut(test_data_2)
print(test_cut_raw_2)
test_corpus_2 = dictionary.doc2bow(test_cut_raw_2)
similarity.num_best = 5
print(similarity[test_corpus_2])  # 返回最相似的样本材料,(index_of_document, similarity) tuples