from numpy import *def loadDataSet():# 词条切分后的文档集合，列表每一行代表一个文档postingList = [['my', 'dog', 'has', 'flea', 'please'],['not', 'take', 'him', 'to', 'dog', 'stupid'],['my', 'is', 'cute', 'love', 'him'],['stop', 'posting', 'stupid', 'worthless', 'garbage'],['my', 'licks', 'my', 'to', 'stop', 'him'],['quit', 'worthless', 'dog', 'stupid']]# 由人工标注的每篇文档的类标签classVec = [0, 1, 0, 1, 0, 1]return postingList, classVec# 统计所有文档中出现的词条列表
def createVocabList(dataSet):# 新建一个存放词条的集合vocabSet = set([])# 遍历文档集合中的每一篇文档for document in dataSet:# 将文档列表转为集合的形式，保证每个词条的唯一性# 然后与vocabSet取并集，向vocabSet中添加没有出现# 的新的词条vocabSet = vocabSet | set(document)# 再将集合转化为列表，便于接下来的处理return list(vocabSet)# 根据词条列表中的词条是否在文档中出现(出现1，未出现0)，将文档转化为词条向量
def setOfWords2Vec(vocabSet, inputSet):# 新建一个长度为vocabSet的列表，并且各维度元素初始化为0returnVec = [0] * len(vocabSet)# 遍历文档中的每一个词条for word in inputSet:# 如果词条在词条列表中出现if word in vocabSet:# 通过列表获取当前word的索引(下标)# 将词条向量中的对应下标的项由0改为1returnVec[vocabSet.index(word)] += 1else:print('the word: %s is not in my vocabulary! ' % 'word')# 返回inputet转化后的词条向量return returnVec# 训练算法，从词向量计算概率p(w0|ci)...及p(ci)
# @trainMatrix：由每篇文档的词条向量组成的文档矩阵
# @trainCategory:每篇文档的类标签组成的向量
def trainNB0(trainMatrix, trainCategory):# 获取文档矩阵中文档的数目numTrainDocs = len(trainMatrix)  # 6# 获取词条向量的长度numWords = len(trainMatrix[0])  # 19# 所有文档中属于类1所占的比例p(c=1)pAbusive = sum(trainCategory) / float(numTrainDocs)  # 3/6=0.5,先验# 创建一个长度为词条向量等长的列表p0Num = zeros(numWords)p1Num = zeros(numWords)p0Denom = 0.0p1Denom = 0.0# 遍历每一篇文档的词条向量for i in range(numTrainDocs):# 如果该词条向量对应的标签为1if trainCategory[i] == 1:# 统计所有类别为1的词条向量中各个词条出现的次数p1Num += trainMatrix[i]# 统计类别为1的词条向量中出现的所有词条的总数# 即统计类1所有文档中出现单词的数目p1Denom += sum(trainMatrix[i])else:# 统计所有类别为0的词条向量中各个词条出现的次数p0Num += trainMatrix[i]# 统计类别为0的词条向量中出现的所有词条的总数# 即统计类0所有文档中出现单词的数目p0Denom += sum(trainMatrix[i])# 利用NumPy数组计算p(wi|c1)p1Vect = p1Num / p1Denom  # 为避免下溢出问题，后面会改为log()# 利用NumPy数组计算p(wi|c0)p0Vect = p0Num / p0Denom  # 为避免下溢出问题，后面会改为log()return p0Vect, p1Vect, pAbusive# 朴素贝叶斯分类函数
# @vec2Classify:待测试分类的词条向量
# @p0Vec:类别0所有文档中各个词条出现的频数p(wi|c0)
# @p0Vec:类别1所有文档中各个词条出现的频数p(wi|c1)
# @pClass1:类别为1的文档占文档总数比例
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):# 根据朴素贝叶斯分类函数分别计算待分类文档属于类1和类0的概率print(vec2Classify)p1 = sum(vec2Classify * p1Vec) + log(pClass1)p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)if p1 > p0:return 1else:return 0# 分类测试整体函数
# 由数据集获取文档矩阵和类标签向量
allfile, fileClasses = loadDataSet()
# 统计所有文档中出现的词条，存入词条列表
VocabSet = createVocabList(allfile)
# 创建新的列表
trainMat = []
for singlefile in allfile:# 将每篇文档利用words2Vec函数转为词条向量，存入文档矩阵中trainMat.append(setOfWords2Vec(VocabSet, singlefile))# 将文档矩阵和类标签向量转为NumPy的数组形式，方便接下来的概率计算
# 调用训练函数，得到相应概率值
p0V, p1V, pAb = trainNB0(array(trainMat), array(fileClasses))
# 测试文档
testEntry = ['love', 'my', 'cute']
# 将测试文档转为词条向量，并转为NumPy数组的形式
thisDoc = array(setOfWords2Vec(VocabSet, testEntry))
# 利用贝叶斯分类函数对测试文档进行分类并打印
print(testEntry, 'classified as:', classifyNB(thisDoc, p0V, p1V, pAb))
# 第二个测试文档
testEntry1 = ['stupid', 'garbage']
# 同样转为词条向量，并转为NumPy数组的形式
thisDoc1 = array(setOfWords2Vec(VocabSet, testEntry1))
print(testEntry1, 'classified as:', classifyNB(thisDoc1, p0V, p1V, pAb))