TF-IDF,textRank,LSI_LDA 关键词提取

目录

任务

代码

keywordExtract.py

TF_IDF.py

LSI_LDA.py

结果


任务

用这三种方法提取关键词,代码目录如下,

keywordExtract.py 为运行主程序

corpus.txt 为现有数据文档

其他文件,停用词,方法文件

corpus.txt 可以自己搞一个,大概张这样,没一行为一条数据

stopword.txt 停用词表网上随便找

代码

keywordExtract.py

import jieba
import jieba.posseg as psg
from TF_IDF import tfidf_extract
from TextRank import textrank_extract
from LSI_LDA import topic_extract# 停用词表加载方法
def get_stopword_list():# 停用词表存储路径,每一行为一个词,按行读取进行加载# 进行编码转换确保匹配准确率stop_word_path = './stopword.txt'stopword_list = [sw.replace('\n', '') for sw in open(stop_word_path,encoding='utf-8').readlines()]return stopword_list# 分词方法,调用结巴接口
def seg_to_list(sentence, pos=False):if not pos:# 不进行词性标注的分词方法seg_list = jieba.cut(sentence)else:# 进行词性标注的分词方法seg_list = psg.cut(sentence)return seg_list# 去除干扰词
def word_filter(seg_list, pos=False):'''根据分词结果对干扰词进行过滤:param seg_list::param pos: 判断是否过滤除名词外的其他词性:return:'''stopword_list = get_stopword_list()filter_list = []# 根据POS参数选择是否词性过滤## 不进行词性过滤,则将词性都标记为n,表示全部保留for seg in seg_list:if not pos:word = segflag = 'n'else:word = seg.wordflag = seg.flagif not flag.startswith('n'):continue# 过滤停用词表中的词,以及长度为<2的词if not word in stopword_list and len(word) > 1:filter_list.append(word)return filter_listif __name__ == '__main__':text = '6月19日,《2012年度“中国爱心城市”公益活动新闻发布会》在京举行。' + \'中华社会救助基金会理事长许嘉璐到会讲话。基金会高级顾问朱发忠,全国老龄' + \'办副主任朱勇,民政部社会救助司助理巡视员周萍,中华社会救助基金会副理事长耿志远,' + \'重庆市民政局巡视员谭明政。晋江市人大常委会主任陈健倩,以及10余个省、市、自治区民政局' + \'领导及四十多家媒体参加了发布会。中华社会救助基金会秘书长时正新介绍本年度“中国爱心城' + \'市”公益活动将以“爱心城市宣传、孤老关爱救助项目及第二届中国爱心城市大会”为主要内容,重庆市' + \'、呼和浩特市、长沙市、太原市、蚌埠市、南昌市、汕头市、沧州市、晋江市及遵化市将会积极参加' + \'这一公益活动。中国雅虎副总编张银生和凤凰网城市频道总监赵耀分别以各自媒体优势介绍了活动' + \'的宣传方案。会上,中华社会救助基金会与“第二届中国爱心城市大会”承办方晋江市签约,许嘉璐理' + \'事长接受晋江市参与“百万孤老关爱行动”向国家重点扶贫地区捐赠的价值400万元的款物。晋江市人大' + \'常委会主任陈健倩介绍了大会的筹备情况。'pos = Trueseg_list = seg_to_list(text, pos)filter_list = word_filter(seg_list, pos)print('TF-IDF模型结果:')tfidf_extract(filter_list)print('TextRank模型结果:')textrank_extract(text)print('LSI模型结果:')topic_extract(filter_list, 'LSI', pos)print('LDA模型结果:')topic_extract(filter_list, 'LDA', pos)

 

TF_IDF.py

用现有数据文档 corpus.txt 训练后,再调用的,看代码注释

'''
词频-逆文档频次算法
提取对文档重要的关键词,由 TF 及 IDF 构成
TF:一个词在此文档中的词频
IDF:一个词在所有文档中出现的词频
两个相乘
1.训练语料库生成数据集对应的 idf 值字典,后续对新文档每个词计算 TF-IDF 时,直接从字典中读取
2.可依赖于训练语料库,也可对每次新的文档集直接计算
'''
import math
import functools
import jieba
import jieba.posseg as psg
from jieba import analyse# TF-IDF类
class TfIdf(object):# 四个参数分别是:训练好的idf字典,默认idf值,处理后的待提取文本,关键词数量def __init__(self, idf_dic, default_idf, word_list, keyword_num):self.word_list = word_listself.idf_dic, self.default_idf = idf_dic, default_idfself.tf_dic = self.get_tf_dic()self.keyword_num = keyword_num# 统计tf值def get_tf_dic(self):tf_dic = {}for word in self.word_list:tf_dic[word] = tf_dic.get(word, 0.0) + 1.0tt_count = len(self.word_list)for k, v in tf_dic.items():tf_dic[k] = float(v) / tt_countreturn tf_dic# 按公式计算tf-idfdef get_tfidf(self):tfidf_dic = {}for word in self.word_list:idf = self.idf_dic.get(word, self.default_idf)tf = self.tf_dic.get(word, 0)tfidf = tf * idftfidf_dic[word] = tfidftfidf_dic.items()# 根据tf-idf排序,去排名前keyword_num的词作为关键词for k, v in sorted(tfidf_dic.items(), key=functools.cmp_to_key(cmp), reverse=True)[:self.keyword_num]:print(k + "/ ", end='')print()#  排序函数,用于topK关键词的按值排序,得分相同,再根据关键词排序
def cmp(e1, e2):import numpy as npres = np.sign(e1[1] - e2[1])if res != 0:return reselse:a = e1[0] + e2[0]b = e2[0] + e1[0]if a > b:return 1elif a == b:return 0else:return -1# 停用词表加载方法
def get_stopword_list():# 停用词表存储路径,每一行为一个词,按行读取进行加载# 进行编码转换确保匹配准确率stop_word_path = './stopword.txt'stopword_list = [sw.replace('\n', '') for sw in open(stop_word_path,encoding='utf-8').readlines()]return stopword_list# 分词方法,调用结巴接口
def seg_to_list(sentence, pos=False):if not pos:# 不进行词性标注的分词方法seg_list = jieba.cut(sentence)else:# 进行词性标注的分词方法seg_list = psg.cut(sentence)return seg_list# 去除干扰词
def word_filter(seg_list, pos=False):'''根据分词结果对干扰词进行过滤:param seg_list::param pos: 判断是否过滤除名词外的其他词性:return:'''stopword_list = get_stopword_list()filter_list = []# 根据POS参数选择是否词性过滤## 不进行词性过滤,则将词性都标记为n,表示全部保留for seg in seg_list:if not pos:word = segflag = 'n'else:word = seg.wordflag = seg.flagif not flag.startswith('n'):continue# 过滤停用词表中的词,以及长度为<2的词if not word in stopword_list and len(word) > 1:filter_list.append(word)return filter_list# 数据加载,pos为是否词性标注的参数,corpus_path为数据集路径
def load_data(pos=False, corpus_path='./corpus.txt'):# 调用上面方式对数据集进行处理,处理后的每条数据仅保留非干扰词doc_list = []for line in open(corpus_path, 'r',encoding='utf-8'):content = line.strip()seg_list = seg_to_list(content, pos)filter_list = word_filter(seg_list, pos)doc_list.append(filter_list)return doc_list# idf值统计方法
def train_idf(doc_list):'''训练数据集生成对应的 IDF 值字典:param doc_list::return:'''idf_dic = {}# 总文档数,可以理解为几个文档,或者几条评论等tt_count = len(doc_list)# 每个词出现的文档数for doc in doc_list:for word in set(doc):idf_dic[word] = idf_dic.get(word, 0.0) + 1.0# 按公式转换为idf值,分母加1进行平滑处理for k, v in idf_dic.items():idf_dic[k] = math.log(tt_count / (1.0 + v))# 对于没有在字典中的词,默认其仅在一个文档出现,得到默认idf值default_idf = math.log(tt_count / (1.0))return idf_dic, default_idfdef tfidf_extract(word_list, pos=False, keyword_num=10):# 训练 idf 值,根据已有文档doc_list = load_data(pos)idf_dic, default_idf = train_idf(doc_list)# 调用训练好的 idf 值对新文档计算 TF-IDF 值,选出排名靠前的词语tfidf_model = TfIdf(idf_dic, default_idf, word_list, keyword_num)tfidf_model.get_tfidf()

LSI_LDA.py

同样也是用现有数据文档 corpus.txt 训练后,再调用的

'''
LDA 为 LSI 的升级版
主题数,是需要先确定的
参考:https://mp.weixin.qq.com/s/xLLirpYs8QfyjQOrDkkg5A
'''
import math
import functools
import jieba
import jieba.posseg as psg
from gensim import corpora, models# 主题模型
class TopicModel(object):# 三个传入参数:处理后的数据集,关键词数量,具体模型(LSI、LDA),主题数量def __init__(self, doc_list, keyword_num, model='LSI', num_topics=4):# 使用gensim的接口,将文本转为向量化表示# 先构建词空间self.dictionary = corpora.Dictionary(doc_list)# 使用BOW模型向量化corpus = [self.dictionary.doc2bow(doc) for doc in doc_list]# 对每个词,根据tf-idf进行加权,得到加权后的向量表示self.tfidf_model = models.TfidfModel(corpus)self.corpus_tfidf = self.tfidf_model[corpus]self.keyword_num = keyword_numself.num_topics = num_topics# 选择加载的模型if model == 'LSI':self.model = self.train_lsi()else:self.model = self.train_lda()# 得到数据集的主题-词分布word_dic = self.word_dictionary(doc_list)self.wordtopic_dic = self.get_wordtopic(word_dic)def train_lsi(self):lsi = models.LsiModel(self.corpus_tfidf, id2word=self.dictionary, num_topics=self.num_topics)return lsidef train_lda(self):lda = models.LdaModel(self.corpus_tfidf, id2word=self.dictionary, num_topics=self.num_topics)return ldadef get_wordtopic(self, word_dic):wordtopic_dic = {}for word in word_dic:single_list = [word]wordcorpus = self.tfidf_model[self.dictionary.doc2bow(single_list)]wordtopic = self.model[wordcorpus]wordtopic_dic[word] = wordtopicreturn wordtopic_dic# 计算词的分布和文档的分布的相似度,取相似度最高的keyword_num个词作为关键词def get_simword(self, word_list):sentcorpus = self.tfidf_model[self.dictionary.doc2bow(word_list)]senttopic = self.model[sentcorpus]# 余弦相似度计算def calsim(l1, l2):a, b, c = 0.0, 0.0, 0.0for t1, t2 in zip(l1, l2):x1 = t1[1]x2 = t2[1]a += x1 * x1b += x1 * x1c += x2 * x2sim = a / math.sqrt(b * c) if not (b * c) == 0.0 else 0.0return sim# 计算输入文本和每个词的主题分布相似度sim_dic = {}for k, v in self.wordtopic_dic.items():if k not in word_list:continuesim = calsim(v, senttopic)sim_dic[k] = simfor k, v in sorted(sim_dic.items(), key=functools.cmp_to_key(cmp), reverse=True)[:self.keyword_num]:print(k + "/ ", end='')print()# 词空间构建方法和向量化方法,在没有gensim接口时的一般处理方法def word_dictionary(self, doc_list):dictionary = []for doc in doc_list:dictionary.extend(doc)dictionary = list(set(dictionary))return dictionarydef doc2bowvec(self, word_list):vec_list = [1 if word in word_list else 0 for word in self.dictionary]return vec_list#  排序函数,用于topK关键词的按值排序
def cmp(e1, e2):import numpy as npres = np.sign(e1[1] - e2[1])if res != 0:return reselse:a = e1[0] + e2[0]b = e2[0] + e1[0]if a > b:return 1elif a == b:return 0else:return -1# 停用词表加载方法
def get_stopword_list():# 停用词表存储路径,每一行为一个词,按行读取进行加载# 进行编码转换确保匹配准确率stop_word_path = './stopword.txt'stopword_list = [sw.replace('\n', '') for sw in open(stop_word_path,encoding='utf-8').readlines()]return stopword_list# 分词方法,调用结巴接口
def seg_to_list(sentence, pos=False):if not pos:# 不进行词性标注的分词方法seg_list = jieba.cut(sentence)else:# 进行词性标注的分词方法seg_list = psg.cut(sentence)return seg_list# 去除干扰词
def word_filter(seg_list, pos=False):'''根据分词结果对干扰词进行过滤:param seg_list::param pos: 判断是否过滤除名词外的其他词性:return:'''stopword_list = get_stopword_list()filter_list = []# 根据POS参数选择是否词性过滤## 不进行词性过滤,则将词性都标记为n,表示全部保留for seg in seg_list:if not pos:word = segflag = 'n'else:word = seg.wordflag = seg.flagif not flag.startswith('n'):continue# 过滤停用词表中的词,以及长度为<2的词if not word in stopword_list and len(word) > 1:filter_list.append(word)return filter_list# 数据加载,pos为是否词性标注的参数,corpus_path为数据集路径
def load_data(pos=False, corpus_path='./corpus.txt'):# 调用上面方式对数据集进行处理,处理后的每条数据仅保留非干扰词doc_list = []for line in open(corpus_path, 'r',encoding='utf-8'):content = line.strip()seg_list = seg_to_list(content, pos)filter_list = word_filter(seg_list, pos)doc_list.append(filter_list)return doc_listdef topic_extract(word_list, model, pos=False, keyword_num=10):doc_list = load_data(pos)topic_model = TopicModel(doc_list, keyword_num, model=model)topic_model.get_simword(word_list)

结果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/704695.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DP读书:《半导体物理学(第八版)》(一)绪论 3min速通

DP读书&#xff1a;《半导体物理学&#xff08;第八版&#xff09;》刘恩科 3min速通半导体物理之绪论 DP读书&#xff1a;《半导体物理学&#xff08;第八版&#xff09;》刘恩科绪论第一章 半导体中的电子状态1.1 半导体的晶格结构和结合性质1.1.1 金刚石型结构和共价键1.1.2…

代码随想录算法训练营day37 | 738.单调递增的数字、 968.监控二叉树

738.单调递增的数字 暴力超时&#xff0c;需要找到规律&#xff0c;比如98结果为89&#xff0c;214结果为199&#xff0c;从后向前遍历&#xff0c;如果i-1位>i位&#xff0c;则i-1位减一&#xff0c;后面其他位都改为9 class Solution:def monotoneIncreasingDigits(self…

探索未来:人工智能的前沿技术与应用

探索未来&#xff1a;人工智能的前沿技术与应用 人工智能&#xff08;Artificial Intelligence&#xff0c;AI&#xff09;作为一项前沿技术&#xff0c;正日益深入到我们的生活和工作中。在未来&#xff0c;人工智能将扮演着越来越重要的角色&#xff0c;影响着我们的社会、经…

Linux 内核和操作系统发行版的关系

目录 1. 查看当前&#xff08;Linux&#xff09;操作系统的内核版本 2. 查看当前&#xff08;Linux&#xff09;操作系统的发行版本 2.1. 典例 3. 内核和操作系统的关系&#xff1f; 4.参考 1. 查看当前&#xff08;Linux&#xff09;操作系统的内核版本 uname -r 系统将…

Java static final 常量详解

1. static 可以用来修饰 成员变量——类变量成员方法——类方法内部类——静态内部类&#xff0c;不能修饰普通类 因为由static修饰&#xff0c;均存在方法区中。 1.1 类变量 修饰变量时&#xff0c;变量属于类&#xff0c;不属于实例对象&#xff0c;直接使用 类名.变量…

yaml-cpp开源库使用

源码下载&#xff1a;https://github.com/jbeder/yaml-cpp 1.yaml-cpp编译 步骤主要如下&#xff1a;进入源码目录后 mkdir build cd build cmake … make make install 2.代码示例 #include "funset.hpp" #include <string> #include <fstream> #i…

MySQL 的存储引擎有哪些?它们各自有什么特点?解释一下 ACID 是什么?在 MySQL 中如何保证 ACID?

MySQL 的存储引擎有哪些&#xff1f;它们各自有什么特点&#xff1f; MySQL 支持多种存储引擎&#xff0c;每种引擎都有其特定的使用场景和特性。以下是一些常见的 MySQL 存储引擎及其特点&#xff1a; InnoDB&#xff1a; 事务安全&#xff1a;支持 ACID 事务。 行级锁定&…

直播|千帆杯Al原生应用开发挑战赛——对话第一期最强挑战者

百度智能云千帆杯Al原生应用开发挑战赛正在如火如荼进行中&#xff0c;经过几百位参赛选手的激烈角逐&#xff0c;第一期游乐场排队规划助手赛题&#xff0c;24岁的南京大学研三学生杨之正荣获最强挑战者。 2月22日19:00-20:00&#xff0c;我们邀请第一期最强挑战者杨之正、百…

【电机仿真】HFI算法脉振高频电压信号注入观测器-PMSM无感FOC控制

【电机仿真】HFI算法脉振高频电压信号注入观测器-PMSM无感FOC控制 文章目录 前言一、脉振高频电压注入法简介&#xff08;注入在旋转坐标系的d轴&#xff09;1.旋转高频电压&#xff08;电流&#xff09;注入法2.脉振高频电压注入法 二、高频注入理论1.永磁同步电机的高频模型2…

Relation-Aware Global Attention:深入解析其原理、计算公式与应用前景

Relation-Aware Global Attention&#xff1a;详解与计算公式 一、引言 随着深度学习在各个领域的广泛应用&#xff0c;注意力机制已成为提升模型性能的关键技术之一。Relation-Aware Global Attention&#xff08;RA-GA&#xff09;作为一种新型的注意力机制&#xff0c;通过…

Pyglet控件的批处理参数batch和分组参数group简析

先来复习一下之前写的两个例程&#xff1a; 1. 绘制网格线 import pygletwindow pyglet.window.Window(800, 600) color (255, 255, 255, 255) # 白色 lines []for y in range(0, window.height, 40):lines.append(pyglet.shapes.Line(0, y, window.width, y, colorcolo…

JavaScript的math对象是什么? 有什么用

Math 对象在 JavaScript 中是一个内置的全局对象&#xff0c;它提供了多种数学相关的常量和函数。这个对象不需要我们创建&#xff0c;我们可以直接通过 Math 来访问其属性和方法。 Math 对象中包含了许多数学相关的常量&#xff0c;例如 Math.PI 代表圆周率&#xff0c;Math.…

跳跃游戏

55. 跳跃游戏 给你一个非负整数数组 nums &#xff0c;你最初位于数组的 第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。 判断你是否能够到达最后一个下标&#xff0c;如果可以&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 示例 1&a…

如何获取C语言中int类型的最大值

在C语言中&#xff0c;int 类型的大小通常是根据系统架构来决定的。在大多数现代系统上&#xff0c;int 通常是32位的&#xff0c;这意味着它可以表示的最大无符号整数值是 UINT_MAX&#xff0c;这个值在标准库头文件 <limits.h> 中定义。对于32位系统&#xff0c;UINT_M…

LeetCode704. 二分查找(C++)

LeetCode704. 二分查找 题目链接代码 题目链接 https://leetcode.cn/problems/binary-search/description/ 代码 class Solution { public:int search(vector<int>& nums, int target) {int left 0;int right nums.size() - 1;while(left < right){int midd…

2024.2.21- HCIA -bigdata模拟考试题

1、鲲鹏生态系统中&#xff0c;OpenEuler操作系统是华为社区开源版。 2、Elasticsearch底层基于Redis开源软件开发的。 3、ES中用于集群监控、查询、配置的插件去Head。 4、Hive支持MapReduce、Tez、Spark等执行引擎。 5、Hbase的特点是一个分布式&#xff0c;基于列示存储…

外包工作两个月,技术退步让我决心改变

大家好&#xff0c;我是一名大专生&#xff0c;2019年通过校招进入了湖南的一家软件公司。在这里&#xff0c;我从事了接近4年的功能测试工作。然而&#xff0c;今年8月份&#xff0c;我深刻地意识到&#xff0c;我不能继续这样下去了。 长时间在一个舒适的环境里&#xff0c;…

数据库系统概论(超详解!!!) 第一节 绪论

1.四个基本概念 1.数据&#xff08;Data&#xff09; 数据&#xff08;Data&#xff09;是数据库中存储的基本对象 数据的定义&#xff1a;描述事物的符号记录 数据的种类&#xff1a;数字、文字、图形、图像、音频、视频、学生的档案记录等 数据的含义称为数据的语义&…

如何在Tomcat中配置和使用Session共享!

如何在Tomcat中配置和使用Session共享&#xff01; Tomcat的Session共享是指多个不同的Web应用程序能够访问同一个用户会话&#xff08;User Session&#xff09;中的数据。这在分布式系统或者需要跨应用共享用户状态的场景中非常有用。以下是一篇关于如何在Tomcat中配置和使用…

网络编程中的常用的头文件

#include <arpa/inet.h> 是一个 C 语言标准库头文件。 位于 POSIX 标准库中&#xff0c;用于网络编程。它包含了一些函数原型和定义&#xff0c;用于处理 IP 地址的转换和操作。 <arpa/inet.h> 头文件提供了以下函数&#xff1a; IP 地址转换函数&#xff1a;in…