jiebaNET中文分词器

  最近我接手了一个有趣的需求，需要对用户评价进行分词，进行词频统计和情绪分析，并且根据词频权重制成词云图以供后台数据统计，于是我便引入了jieba分词器,但是我发现网上关于jiebaNET相关文档实在太少了，甚至连配置文件都很难搞清楚，所以我来大家介绍一下jiebaNET。

jiebaNET分词器介绍：

ieba.NET分词器是一款基于.NET平台的中文分词工具，它借鉴了jieba分词器的算法和思路，为.NET开发者提供了高效、准确的中文分词功能。jieba.NET分词器的主要功能和特点如下：

  1. 中文分词：jieba.NET分词器能够将中文文本按照词语进行切分，使得文本更易于被处理和分析。分词是中文文本处理的基础步骤，对于词频统计、文本分类、情感分析等任务具有重要意义。
  2. 多种分词模式：jieba.NET分词器支持多种分词模式，包括精确模式、全模式和搜索引擎模式。精确模式会将句子最精确地切分开，适合在文本分析时使用；全模式会将句子中所有成词的词语都扫描出来，速度非常快，但可能产生歧义；搜索引擎模式会在精确模式的基础上对长词再进行切分，提高召回率，适用于搜索引擎等场景。
  3. 自定义词典：jieba.NET分词器允许用户创建自定义词典，以确保特定词汇被正确切分。这对于处理特定行业或领域的文本非常有用，可以提高分词的准确性和效率。
  4. 高效快速：jieba.NET分词器采用了高效的分词算法和优化的数据结构，可以让分词速度非常快，能够满足大规模文本处理的需求。
  5. 接口友好：jieba.NET分词器提供了简洁易用的API接口，开发者可以方便地将其集成到自己的.NET项目中，进行中文文本处理和分析。

分词

字典文件存储在Resources中的dict.txt文件中，其中：

  • “一个系列”是词条，也就是一个词语或者短语，是词典中存储的实际内容。
  • “14”通常是这个词的词频，表示这个词在语料库中出现的次数或者重要程度。较高的词频意味着这个词在语料中较为常见。
  • “m”代表词性标注，用来描述这个词的语法角色或词汇类别。在中文词性标注体系中，“m”通常代表“数词”，用于表示数量或序数的词语，比如“一个”、“两个”、“第一次”等

使用方法：

jieba.NET程序集中与分词相关的主要是JiebaSegmenter.Cut函数和JiebaSegmenter. CutForSearch函数，这两个函数都以字符串作为分词输入，不像之前盘古分词支持流式输入。

 public IEnumerable<string> Cut(string text, bool cutAll = false, bool hmm = true)
public IEnumerable<string> CutForSearch(string text, bool hmm = true)

基于这两个函数，jieba.NET支持多种分词模式：全模式（把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义）、精确模式（试图将句子最精确地切开）、搜索引擎模式（在精确模式的基础上，对长词再次切分，提高召回率）。这三种方式的代码其实都比较简单，如下所示：

 string textstr = txtContent.Text;txtResult.Text= textstr;var segmenter = new JiebaSegmenter();if (RadioButtonListType.SelectedValue == "jz"){var segments = segmenter.Cut(textstr,cutAll:false,hmm:false);txtResult.Text = "【精准模式】：" + string.Join("/ ", segments);//他/ 来到/ 上海交通大学}else if (RadioButtonListType.SelectedValue == "jzhmm"){var segments = segmenter.Cut(textstr, cutAll: false, hmm: false);txtResult.Text = "【精准模式、新词识别】：" + string.Join("/ ", segments);}	//新词识别："我/ 在/ 玩/ 某某/ 游戏/ 时/ 遇到/ 了/ 一个/ 名叫/ 小明/ 的/ 玩家/ 。"
//"某某"和"小明"可能是游戏中的特定角色或者玩家的ID，不在默认词典中。启用了新词识别功能后，结巴分词器可能会尝试将它们识别为新词，并进行分割else if (RadioButtonListType.SelectedValue == "cutAll"){var segments = segmenter.Cut(textstr, cutAll: true);txtResult.Text = "【全模式】：" + string.Join("/ ", segments);//【全模式】：他/ 来到/ 上海/ 上海交通大学/ 交通/ 大学}else if (RadioButtonListType.SelectedValue == "CutForSearch"){var segments = segmenter.CutForSearch(textstr,  true);txtResult.Text = "【搜索引擎模式】：" + string.Join("/ ", segments);//他/ 毕业/ 于/ 上海/ 交通/ 大学/ 上海交通大学/ 机电/ 系/ ，/ 后来/ 在/ 一机部/ 上海/ 电器/ 科学/ 研究/ 研究所/ 工作}

关键词提取

jieba.NET支持通过两种算法提取文本关键词：TF-IDF算法和TextRank算法，关于这两种算法的介绍详见参考文献10-11，在jieba.NET中对应的类为TfidfExtractor和TextRankExtractor，这两个分词都都支持调用ExtractTags和ExtractTagsWithWeight函数，前者默认返回前20个关键词，后者还附带每个关键词的权重。

权重逆文档频率存储在Resources/idf.txt文件中：如下图所示：

代码如下：

  //不带权重txtResult.Text = String.Empty;using (TextReader tr = File.OpenText(txtPath.Text)){TfidfExtractor extractor = new TfidfExtractor();var keywords=extractor.ExtractTags(tr.ReadToEnd());txtResult.Text = string.Join("/ ", keywords);}//带权重txtResult.Text = String.Empty;using (TextReader tr = File.OpenText(txtPath.Text)){TfidfExtractor extractor = new TfidfExtractor();IEnumerable<WordWeightPair> results = extractor.ExtractTagsWithWeight(tr.ReadToEnd());foreach (WordWeightPair p in results){txtResult.Text +=  p.Word + "," + p.Weight.ToString()+ "\r\n";}   }

TextRankExtractor类的示例代码及运行效果如下所示，对比可以看出这两种算法的返回结果还是存在差异：

  //不带权重txtResult.Text = String.Empty;using (TextReader tr = File.OpenText(txtPath.Text)){TextRankExtractorextractor = new TextRankExtractor();var keywords=extractor.ExtractTags(tr.ReadToEnd());txtResult.Text = string.Join("/ ", keywords);}//带权重txtResult.Text = String.Empty;using (TextReader tr = File.OpenText(txtPath.Text)){TextRankExtractorextractor = new TextRankExtractor();IEnumerable<WordWeightPair> results = extractor.ExtractTagsWithWeight(tr.ReadToEnd());foreach (WordWeightPair p in results){txtResult.Text +=  p.Word + "," + p.Weight.ToString()+ "\r\n";}   }

并行分词

"并行分词" 意味着可以同时处理多个文本或文本集合的分词任务，以提高分词速度和效率。在处理大量文本数据时特别有用，可以利用多核处理器的并行能力，加速分词过程。

JiebaSegmenter类的CutInParallel和CutForSearchInParallel函数支持并行分词

  1. CutInParallel: 这个函数用于普通的分词任务。它可以同时处理一个字符串集合或单个字符串，并将其分词后返回结果。如果输入是单个字符串，Jieba.NET 会自动将其按行转换为字符串集合，然后并行进行分词处理。
  2. CutForSearchInParallel: 这个函数用于搜索引擎模式的分词任务。类似于 CutInParallel，它也支持并行处理，但会采用搜索引擎模式进行分词，以适应搜索引擎等应用场景的需求。

设置停用词

提取关键词时，部分词语可能不重要或者并非所需的词语，此时可以通过设置停用词，在提取关键词时过滤掉指定的停用词。jieba.NET的停用词词库放在Resources文件夹下的stopwords.txt，程序启动时会自动加载该文件。 以之前的测试文本为例，提取前20个关键词，将其中的“一声”、“一脉”两次设置停用词，即在stopwords.txt后追加这两词，再次运行程序提取关键词，可以看到这两个词已经消息

词性标注

jieba.NET中的PosSegmenter类支持在分词的同时，为每个词添加词性标注，词性标注的含义表如下所示：

  • segmenter.Tokenize(text) 返回的是一个 IEnumerable<WordToken>，其中每个 WordToken 对象包含了词语、词性以及词语在原始文本中的起始位置。

1.在Resource的char_state_tab.json文件下存储了针对Unicode字符到其可能的词性的映射关系

2.在pos_prob_emit.json文件下存储了不同“词性”在遇到特定汉字时可能出现的概率大小，内容如图所示：

（这个指南不是直接给概率值，而是给了“负对数似然度”，你可以把它想象成衡量“不寻常程度”的一个指标——数值越小，表示这种情况越常见、越合理。）比如"E-e"下面"\u5440"的值是-0.65302718677052，意思是当某个词性是"E-e"时，汉字“\u5440”出现的概率相对较大，因为这个数字相比其他很多值是比较接近0的，也就是比较“不罕见”。

3.pos_prob_start.json /prob_emit.json 文件是用于存储词性标注模型中不同词性状态的先验概率或转移概率的数据。在自然语言处理任务，尤其是词性标注（Part-of-Speech Tagging）中，这样的文件起着至关重要的作用。(百度解释，不是太明白)

这个文件中的内容是每个词性对应的状态转移概率，以及每个状态的概率。每个词性都有一个对应的标识，比如 "E-e"、"E-d"、"S-rg" 等，这些标识可能是分别表示着不同的词性。而每个标识后面的数值则表示了该词性转移到下一个词性的概率，或者是该词性在句子中出现的概率。

4.pos_prob_trans/prob_trans.json 记录了不同词性之间的转移概率。其中，每个词性（比如 "E-e"）后面跟着一个对象，对象的键是可能的下一个词性，而对应的值则是从当前词性转移到下一个词性的概率。例如，对于词性 "E-e"，它可以转移到的词性有 "S-nr"、"S-ng"、"B-rz"、"B-mq" 等等，对应着不同的转移概率。这些值是负对数形式，数值越小代表从当前词性转移到目标词性的概率越高。

获取分词词语的起始位置

jieba.NET中的JiebaSegmenter类的Tokenize函数除了返回分词词语之外，还会返回每个分词词语的起止位置。该函数支持默认模式和搜索模式两种分词方式，根据官网说明及测试，默认模式类似于分词函数的精确模式分词，每个词语只会被分一次，而搜索模式类似于全模式及搜索引擎模式分词，把所有可能的分词形式都返回。代码使用如下所示

using JiebaNet.Segmenter;
using System;class Program
{static void Main(string[] args){var segmenter = new JiebaSegmenter();// 默认模式下的分词及位置信息var tokensDefaultMode = segmenter.Tokenize("我爱自然语言处理");foreach (var token in tokensDefaultMode){Console.WriteLine($"Word: {token.Word}, Start Index: {token.StartIndex}, End Index: {token.EndIndex}");}// 搜索模式下的分词及位置信息var tokensSearchMode = segmenter.Tokenize("我爱自然语言处理", TokenizerMode.Search);foreach (var token in tokensSearchMode){Console.WriteLine($"Word: {token.Word}, Start Index: {token.StartIndex}, End Index: {token.EndIndex}");}}
}

查找关键词

jieba.NET中的KeywordProcessor类预先指定的一组关键词，然后在指定的文本中查找存在哪些关键词，也即查找指定的关键词在文本中是否存在。

添加自定义词典

自定义词典，以便包含jeba词库里面没有的词，格式如下：

创新办 3 i

云计算 5

凱特琳 nz

载入词典

使用jieba,load_userdict(file_name)即可载入词典

动态调整词典

结巴分词器（Jieba）提供了 add_word(word, freq=None, tag=None) 和 del_word(word) 这两个方法，允许在程序运行过程中动态修改词典，以满足特定的需求。

  • add_word(word, freq=None, tag=None): 这个方法用于向分词器的词典中添加新的词语。可以指定词语的频率（freq）和词性（tag），如果不指定频率和词性，则默认使用内部规则进行设置。这样一来，当分词器进行分词时，就可以识别和使用这些新增的词语了。
  • del_word(word): 这个方法用于从分词器的词典中删除指定的词语。这在某些情况下可能很有用，比如当某些词语被错误地添加到词典中，或者需要动态地调整词典以适应不同的场景。

词频统计

词频统计功能可以计算文本中每个词语出现的频率以及统计词语的数量，这对文本分析、关键词提取、文本摘要等任务都非常有用。

Jieba 中的 cut 函数用于对文本进行分词，而分词后的结果可以通过 Counter 类进行词频统计。Counter 类可以统计一个可迭代对象中各个元素出现的次数。

using JiebaNet.Segmenter;
using System;
using System.Collections.Generic;
using System.Linq;class Program
{static void Main(string[] args){// 创建 JiebaSegmenter 实例var segmenter = new JiebaSegmenter();// 文本string text = "我爱自然语言处理，自然语言处理也很有趣。";// 分词var segments = segmenter.Cut(text);// 统计词频var wordCounts = segments.GroupBy(x => x).ToDictionary(g => g.Key, g => g.Count());// 输出词频统计结果foreach (var pair in wordCounts){Console.WriteLine($"词语: {pair.Key}，频率: {pair.Value}");}}
}

那么如何按照词频绘制词云图呢？我们下章就为大家讲解！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/838328.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

弘君资本：降准降息利好哪些板块？

弘君资本：降准降息利好哪些板块？

降准是指下降存款准备金率&#xff0c;降息是指下调存款利率&#xff0c;他们是一种宽松的货币政策&#xff0c;对股市来说是一种利好&#xff0c;其间利好以下板块&#xff1a; 1、券商板块 降准降息会影响投资渠道的扩宽&#xff0c;降低资金入市的机会成本&#xff0c;将更…
阅读更多...
付费解锁隐藏动力和续航，订阅制又被特斯拉玩出花了

付费解锁隐藏动力和续航，订阅制又被特斯拉玩出花了

我们知道&#xff0c;「订阅制」早已成互联网领域各路大厂玩烂的操作。 上到程序订阅付费使用&#xff08;例如 Offics、Adobe&#xff09;&#xff0c;下到各类功能服务订阅&#xff08;如影视会员、网盘会员等&#xff09;。 甚至于某东、某宝等网购平台也整出了 VIP 订阅服…
阅读更多...
原地去重问题和合并有序数组问题

原地去重问题和合并有序数组问题

原地去重问题 给你一个 非严格递增排列 的数组 nums &#xff0c;请你 原地 删除重复出现的元素&#xff0c;使每个元素 只出现一次 &#xff0c;返回删除后数组的新长度。元素的 相对顺序 应该保持 一致 。然后返回 nums 中唯一元素的个数。这是leetcode上的一道题 这里我们用…
阅读更多...
2024五月母亲节嘉年华活动方案

2024五月母亲节嘉年华活动方案

2024以花之名 致谢母亲簪花趣味亲子五月母亲节嘉年华活动方案-43P 活动策划信息&#xff1a; 方案页码&#xff1a;43页 文件格式&#xff1a;PPT 方案简介&#xff1a; 岁月温柔治愈 母爱闪闪发光 一年一度的PY圈孝子孝女大赛即将到来 本次母亲节&#xff0c;“以花之名…
阅读更多...
MYSQL和JAVA中将中文汉字按照拼音首字母排序

MYSQL和JAVA中将中文汉字按照拼音首字母排序

一、MYSQL将中文汉字按照拼音首字母排序 数据库使用的字符编码是utf8_general_ci&#xff0c;如下 ORDER BY CONVERT(表名.字段名 USING gbk) COLLATE gbk_chinese_ci ASC;若是表查询&#xff0c;CONVERT中可以不添加表名。 查询结果如下&#xff1a; 二、JAVA中将中文汉字…
阅读更多...
类和对象、包等知识总结Java

类和对象、包等知识总结Java

类 类的概念&#xff1a;类是用来对一个实体&#xff08;对象&#xff09;进行描述的&#xff0c;主要描述该对象的属性&#xff0c;功能等。 类的定义和实例化 定义 定义类需要用到class关键字 &#xff08;大驼峰定义&#xff09;for example:class Dog... 初步了解一下…
阅读更多...
用docker命令行操作远程的Dockerd daemon服务

用docker命令行操作远程的Dockerd daemon服务

本地安装 Dockerd 服务太耗本机磁盘空间了&#xff0c;共用已有的Dockerd服务能够节省一部分空间 修改 Dockerd 服务启动文件&#xff0c;增加TCP监听方式 Dockerd 服务默认监听方式为 Unix Domain Socket &#xff0c;只允许本机连接&#xff0c;想要能够远程连接&#xff0…
阅读更多...
网络安全大神是怎么炼成的

网络安全大神是怎么炼成的

首先&#xff0c;兴趣是最好的老师&#xff0c;如果你不感兴趣&#xff0c;建议换一个有兴趣的专业&#xff0c;其次&#xff0c;再来说说你是对信息安全感兴趣&#xff0c;想往安全方面走的&#xff0c;我这边给你一些学习建议。 首先&#xff0c;安全这方面的前景是很好的&a…
阅读更多...
【论文阅读 | 三维重建】3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）

【论文阅读 | 三维重建】3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）

Abstract 辐射场方法最近彻底改变了用多张照片或视频捕获的新颖视图合成&#xff0c;然而实现高视觉质量仍然需要训练和渲染成本高昂的神经网络&#xff0c;而最近更快的方法不可避免地要牺牲速度来换取质量。对于无边界和完整的场景和1080P分辨率的渲染&#xff0c;目前没有任…
阅读更多...
Star CCM+创建报告与监测

Star CCM+创建报告与监测

前言 结合前文介绍&#xff0c;创建衍生零部件的目的是为了监测创建的点或者面的数据变化。如Star CCM衍生零部件的创建介绍&#xff0c;创建完所需的点或者面后&#xff0c;下一步就是对创建的点、面进行监测。 一 报告类型介绍 在Star中&#xff0c;通过创建报告来对监测的…
阅读更多...
外卖系统拦截器实现（Interceptor）

外卖系统拦截器实现（Interceptor）

SpringMVC的拦截器主要是用于拦截控制器方法的执行&#xff1b; 概念&#xff1a;是一种动态拦截方法调用的机制&#xff0c;类似于过滤器。在Spring中动态拦截控制器中方法的执行。 作用&#xff1a;在指定的控制器中调用前后执行预先设定的代码&#xff0c;完成功能增强。 应…
阅读更多...
【C语言习题】12.扫雷游戏

【C语言习题】12.扫雷游戏

文章目录 1.扫雷游戏分析和设计1.1 扫雷游戏的功能说明1.2游戏界面&#xff1a;1.3游戏的分析和设计1.2.1 数据结构的分析1.2.2 ⽂件结构设计 2.扫雷游戏的代码实现3.代码讲解 1.扫雷游戏分析和设计 1.1 扫雷游戏的功能说明 使用控制台实现经典的扫雷游戏游戏可以通过菜单实现…
阅读更多...
Web浏览器的兼容性测试需要考虑哪些测试点？

Web浏览器的兼容性测试需要考虑哪些测试点？

测试web网站兼容性时&#xff0c;可以使用各种测试用例来确保网站在不同浏览器中的良好兼容性。以下是一些常见的兼容性测试用例示例&#xff1a; 1. 页面加载测试&#xff1a; - 确保网站在不同浏览器中正常加载&#xff0c;没有加载错误。 - 检查页面加载时间&#xff0c;…
阅读更多...
创新指南 | 企业AI战略 实施方案探讨（上）：如何构建基于AI的新商业模型和业务场景

创新指南 | 企业AI战略 实施方案探讨（上）：如何构建基于AI的新商业模型和业务场景

2023年以ChatGPT为代表的生成式AI推出以来&#xff0c;从投资界到企业界都掀起了一股热潮。那么从企业角度来看&#xff0c;生成式AI到底能为业务带来哪些增量呢&#xff1f;企业如何构建基于AI的商业模式并进行落地实施呢&#xff1f; 企业AI战略 实施方案探讨分为上下两篇&am…
阅读更多...
二手手机行业商家如何利用二手机店erp进行破局？

二手手机行业商家如何利用二手机店erp进行破局？

在数字化和AI发展越发先进的的今天&#xff0c;二手手机市场正迎来前所未有的变革。途渡科技精心打造的超机购ERP管理软件&#xff0c;凭借其独特的智能化、高效化特点&#xff0c;正在引领这场变革&#xff0c;为二手手机商家提供全面、深度的数字化管理解决方案。二手手机商家…
阅读更多...
前端之电力系统SVG图低代码

前端之电力系统SVG图低代码

其实所有的图形都是由点&#xff0c;线&#xff0c;面组成的。点线面可以组成一个设备。下面就简单讲讲点线面是怎么画的吧 对于线&#xff0c;可以用path <g><path:d"M ${beginX},${beginY} L ${endX},${endY}":stroke-width"lineWidth":strok…
阅读更多...
【漏洞复现】Secnet-智能路由系统弱口令

【漏洞复现】Secnet-智能路由系统弱口令

0x01 产品简介 Secnet安网智能AC管理系统是广州安网通信技术有限公司(简称“安网通信”)的无线AP管理系统 0x02 漏洞描述 攻击者可直接利用弱口令登录系统 0x03 搜索语法 fofa: title"安网-智能路由系统" || title"智能路由系统" || title"安网科…
阅读更多...
鸿蒙应用布局ArkUI【基础运用案例】

鸿蒙应用布局ArkUI【基础运用案例】

布局基础运用案例 平级导航的复合网格视图 平级导航的复合网格视图常出现在同时展示多种不同内容的界面。 例如&#xff0c;市场类应用作为典型的平级导航&#xff0c;其首页不同板块采用了不同布局能力。 标题栏与搜索栏&#xff1a;因元素单一、位置固定在顶部&#xff0c…
阅读更多...
打造销售爆款利器！淘宝商品评论电商API接口全方位解析

打造销售爆款利器！淘宝商品评论电商API接口全方位解析

无论是实体店还是电商平台&#xff0c;通过有效的销售推广手段&#xff0c;提升产品销量都是商家追求的目标。而淘宝商品评论电商API接口就是一种非常有效的工具&#xff0c;它能够帮助商家获取、分析并利用商品评论信息&#xff0c;为销售策略提供有力支持。联讯数据将全面解析…
阅读更多...
第33次CSP认证Q3：化学方程式配平

第33次CSP认证Q3：化学方程式配平

&#x1f344;题目描述 为了配平一个化学方程式&#xff0c;我们可以令方程式中各物质的系数为未知数&#xff0c;然后针对涉及的每一种元素&#xff0c;列出关于系数的方程&#xff0c;形成一个齐次线性方程组。然后求解这个方程组&#xff0c;得到各物质的系数。这样&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023