jiebaNET中文分词器

  最近我接手了一个有趣的需求，需要对用户评价进行分词，进行词频统计和情绪分析，并且根据词频权重制成词云图以供后台数据统计，于是我便引入了jieba分词器,但是我发现网上关于jiebaNET相关文档实在太少了，甚至连配置文件都很难搞清楚，所以我来大家介绍一下jiebaNET。

jiebaNET分词器介绍：

ieba.NET分词器是一款基于.NET平台的中文分词工具，它借鉴了jieba分词器的算法和思路，为.NET开发者提供了高效、准确的中文分词功能。jieba.NET分词器的主要功能和特点如下：

  1. 中文分词：jieba.NET分词器能够将中文文本按照词语进行切分，使得文本更易于被处理和分析。分词是中文文本处理的基础步骤，对于词频统计、文本分类、情感分析等任务具有重要意义。
  2. 多种分词模式：jieba.NET分词器支持多种分词模式，包括精确模式、全模式和搜索引擎模式。精确模式会将句子最精确地切分开，适合在文本分析时使用；全模式会将句子中所有成词的词语都扫描出来，速度非常快，但可能产生歧义；搜索引擎模式会在精确模式的基础上对长词再进行切分，提高召回率，适用于搜索引擎等场景。
  3. 自定义词典：jieba.NET分词器允许用户创建自定义词典，以确保特定词汇被正确切分。这对于处理特定行业或领域的文本非常有用，可以提高分词的准确性和效率。
  4. 高效快速：jieba.NET分词器采用了高效的分词算法和优化的数据结构，可以让分词速度非常快，能够满足大规模文本处理的需求。
  5. 接口友好：jieba.NET分词器提供了简洁易用的API接口，开发者可以方便地将其集成到自己的.NET项目中，进行中文文本处理和分析。

分词

字典文件存储在Resources中的dict.txt文件中，其中：

  • “一个系列”是词条，也就是一个词语或者短语，是词典中存储的实际内容。
  • “14”通常是这个词的词频，表示这个词在语料库中出现的次数或者重要程度。较高的词频意味着这个词在语料中较为常见。
  • “m”代表词性标注，用来描述这个词的语法角色或词汇类别。在中文词性标注体系中，“m”通常代表“数词”，用于表示数量或序数的词语，比如“一个”、“两个”、“第一次”等

使用方法：

jieba.NET程序集中与分词相关的主要是JiebaSegmenter.Cut函数和JiebaSegmenter. CutForSearch函数，这两个函数都以字符串作为分词输入，不像之前盘古分词支持流式输入。

 public IEnumerable<string> Cut(string text, bool cutAll = false, bool hmm = true)
public IEnumerable<string> CutForSearch(string text, bool hmm = true)

基于这两个函数，jieba.NET支持多种分词模式：全模式（把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义）、精确模式（试图将句子最精确地切开）、搜索引擎模式（在精确模式的基础上，对长词再次切分，提高召回率）。这三种方式的代码其实都比较简单，如下所示：

 string textstr = txtContent.Text;txtResult.Text= textstr;var segmenter = new JiebaSegmenter();if (RadioButtonListType.SelectedValue == "jz"){var segments = segmenter.Cut(textstr,cutAll:false,hmm:false);txtResult.Text = "【精准模式】：" + string.Join("/ ", segments);//他/ 来到/ 上海交通大学}else if (RadioButtonListType.SelectedValue == "jzhmm"){var segments = segmenter.Cut(textstr, cutAll: false, hmm: false);txtResult.Text = "【精准模式、新词识别】：" + string.Join("/ ", segments);}	//新词识别："我/ 在/ 玩/ 某某/ 游戏/ 时/ 遇到/ 了/ 一个/ 名叫/ 小明/ 的/ 玩家/ 。"
//"某某"和"小明"可能是游戏中的特定角色或者玩家的ID，不在默认词典中。启用了新词识别功能后，结巴分词器可能会尝试将它们识别为新词，并进行分割else if (RadioButtonListType.SelectedValue == "cutAll"){var segments = segmenter.Cut(textstr, cutAll: true);txtResult.Text = "【全模式】：" + string.Join("/ ", segments);//【全模式】：他/ 来到/ 上海/ 上海交通大学/ 交通/ 大学}else if (RadioButtonListType.SelectedValue == "CutForSearch"){var segments = segmenter.CutForSearch(textstr,  true);txtResult.Text = "【搜索引擎模式】：" + string.Join("/ ", segments);//他/ 毕业/ 于/ 上海/ 交通/ 大学/ 上海交通大学/ 机电/ 系/ ，/ 后来/ 在/ 一机部/ 上海/ 电器/ 科学/ 研究/ 研究所/ 工作}

关键词提取

jieba.NET支持通过两种算法提取文本关键词：TF-IDF算法和TextRank算法，关于这两种算法的介绍详见参考文献10-11，在jieba.NET中对应的类为TfidfExtractor和TextRankExtractor，这两个分词都都支持调用ExtractTags和ExtractTagsWithWeight函数，前者默认返回前20个关键词，后者还附带每个关键词的权重。

权重逆文档频率存储在Resources/idf.txt文件中：如下图所示：

代码如下：

  //不带权重txtResult.Text = String.Empty;using (TextReader tr = File.OpenText(txtPath.Text)){TfidfExtractor extractor = new TfidfExtractor();var keywords=extractor.ExtractTags(tr.ReadToEnd());txtResult.Text = string.Join("/ ", keywords);}//带权重txtResult.Text = String.Empty;using (TextReader tr = File.OpenText(txtPath.Text)){TfidfExtractor extractor = new TfidfExtractor();IEnumerable<WordWeightPair> results = extractor.ExtractTagsWithWeight(tr.ReadToEnd());foreach (WordWeightPair p in results){txtResult.Text +=  p.Word + "," + p.Weight.ToString()+ "\r\n";}   }

TextRankExtractor类的示例代码及运行效果如下所示，对比可以看出这两种算法的返回结果还是存在差异：

  //不带权重txtResult.Text = String.Empty;using (TextReader tr = File.OpenText(txtPath.Text)){TextRankExtractorextractor = new TextRankExtractor();var keywords=extractor.ExtractTags(tr.ReadToEnd());txtResult.Text = string.Join("/ ", keywords);}//带权重txtResult.Text = String.Empty;using (TextReader tr = File.OpenText(txtPath.Text)){TextRankExtractorextractor = new TextRankExtractor();IEnumerable<WordWeightPair> results = extractor.ExtractTagsWithWeight(tr.ReadToEnd());foreach (WordWeightPair p in results){txtResult.Text +=  p.Word + "," + p.Weight.ToString()+ "\r\n";}   }

并行分词

"并行分词" 意味着可以同时处理多个文本或文本集合的分词任务，以提高分词速度和效率。在处理大量文本数据时特别有用，可以利用多核处理器的并行能力，加速分词过程。

JiebaSegmenter类的CutInParallel和CutForSearchInParallel函数支持并行分词

  1. CutInParallel: 这个函数用于普通的分词任务。它可以同时处理一个字符串集合或单个字符串，并将其分词后返回结果。如果输入是单个字符串，Jieba.NET 会自动将其按行转换为字符串集合，然后并行进行分词处理。
  2. CutForSearchInParallel: 这个函数用于搜索引擎模式的分词任务。类似于 CutInParallel，它也支持并行处理，但会采用搜索引擎模式进行分词，以适应搜索引擎等应用场景的需求。

设置停用词

提取关键词时，部分词语可能不重要或者并非所需的词语，此时可以通过设置停用词，在提取关键词时过滤掉指定的停用词。jieba.NET的停用词词库放在Resources文件夹下的stopwords.txt，程序启动时会自动加载该文件。 以之前的测试文本为例，提取前20个关键词，将其中的“一声”、“一脉”两次设置停用词，即在stopwords.txt后追加这两词，再次运行程序提取关键词，可以看到这两个词已经消息

词性标注

jieba.NET中的PosSegmenter类支持在分词的同时，为每个词添加词性标注，词性标注的含义表如下所示：

  • segmenter.Tokenize(text) 返回的是一个 IEnumerable<WordToken>，其中每个 WordToken 对象包含了词语、词性以及词语在原始文本中的起始位置。

1.在Resource的char_state_tab.json文件下存储了针对Unicode字符到其可能的词性的映射关系

2.在pos_prob_emit.json文件下存储了不同“词性”在遇到特定汉字时可能出现的概率大小，内容如图所示：

（这个指南不是直接给概率值，而是给了“负对数似然度”，你可以把它想象成衡量“不寻常程度”的一个指标——数值越小，表示这种情况越常见、越合理。）比如"E-e"下面"\u5440"的值是-0.65302718677052，意思是当某个词性是"E-e"时，汉字“\u5440”出现的概率相对较大，因为这个数字相比其他很多值是比较接近0的，也就是比较“不罕见”。

3.pos_prob_start.json /prob_emit.json 文件是用于存储词性标注模型中不同词性状态的先验概率或转移概率的数据。在自然语言处理任务，尤其是词性标注（Part-of-Speech Tagging）中，这样的文件起着至关重要的作用。(百度解释，不是太明白)

这个文件中的内容是每个词性对应的状态转移概率，以及每个状态的概率。每个词性都有一个对应的标识，比如 "E-e"、"E-d"、"S-rg" 等，这些标识可能是分别表示着不同的词性。而每个标识后面的数值则表示了该词性转移到下一个词性的概率，或者是该词性在句子中出现的概率。

4.pos_prob_trans/prob_trans.json 记录了不同词性之间的转移概率。其中，每个词性（比如 "E-e"）后面跟着一个对象，对象的键是可能的下一个词性，而对应的值则是从当前词性转移到下一个词性的概率。例如，对于词性 "E-e"，它可以转移到的词性有 "S-nr"、"S-ng"、"B-rz"、"B-mq" 等等，对应着不同的转移概率。这些值是负对数形式，数值越小代表从当前词性转移到目标词性的概率越高。

获取分词词语的起始位置

jieba.NET中的JiebaSegmenter类的Tokenize函数除了返回分词词语之外，还会返回每个分词词语的起止位置。该函数支持默认模式和搜索模式两种分词方式，根据官网说明及测试，默认模式类似于分词函数的精确模式分词，每个词语只会被分一次，而搜索模式类似于全模式及搜索引擎模式分词，把所有可能的分词形式都返回。代码使用如下所示

using JiebaNet.Segmenter;
using System;class Program
{static void Main(string[] args){var segmenter = new JiebaSegmenter();// 默认模式下的分词及位置信息var tokensDefaultMode = segmenter.Tokenize("我爱自然语言处理");foreach (var token in tokensDefaultMode){Console.WriteLine($"Word: {token.Word}, Start Index: {token.StartIndex}, End Index: {token.EndIndex}");}// 搜索模式下的分词及位置信息var tokensSearchMode = segmenter.Tokenize("我爱自然语言处理", TokenizerMode.Search);foreach (var token in tokensSearchMode){Console.WriteLine($"Word: {token.Word}, Start Index: {token.StartIndex}, End Index: {token.EndIndex}");}}
}

查找关键词

jieba.NET中的KeywordProcessor类预先指定的一组关键词，然后在指定的文本中查找存在哪些关键词，也即查找指定的关键词在文本中是否存在。

添加自定义词典

自定义词典，以便包含jeba词库里面没有的词，格式如下：

创新办 3 i

云计算 5

凱特琳 nz

载入词典

使用jieba,load_userdict(file_name)即可载入词典

动态调整词典

结巴分词器（Jieba）提供了 add_word(word, freq=None, tag=None) 和 del_word(word) 这两个方法，允许在程序运行过程中动态修改词典，以满足特定的需求。

  • add_word(word, freq=None, tag=None): 这个方法用于向分词器的词典中添加新的词语。可以指定词语的频率（freq）和词性（tag），如果不指定频率和词性，则默认使用内部规则进行设置。这样一来，当分词器进行分词时，就可以识别和使用这些新增的词语了。
  • del_word(word): 这个方法用于从分词器的词典中删除指定的词语。这在某些情况下可能很有用，比如当某些词语被错误地添加到词典中，或者需要动态地调整词典以适应不同的场景。

词频统计

词频统计功能可以计算文本中每个词语出现的频率以及统计词语的数量，这对文本分析、关键词提取、文本摘要等任务都非常有用。

Jieba 中的 cut 函数用于对文本进行分词，而分词后的结果可以通过 Counter 类进行词频统计。Counter 类可以统计一个可迭代对象中各个元素出现的次数。

using JiebaNet.Segmenter;
using System;
using System.Collections.Generic;
using System.Linq;class Program
{static void Main(string[] args){// 创建 JiebaSegmenter 实例var segmenter = new JiebaSegmenter();// 文本string text = "我爱自然语言处理，自然语言处理也很有趣。";// 分词var segments = segmenter.Cut(text);// 统计词频var wordCounts = segments.GroupBy(x => x).ToDictionary(g => g.Key, g => g.Count());// 输出词频统计结果foreach (var pair in wordCounts){Console.WriteLine($"词语: {pair.Key}，频率: {pair.Value}");}}
}

那么如何按照词频绘制词云图呢？我们下章就为大家讲解！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/838328.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

弘君资本：降准降息利好哪些板块？

弘君资本：降准降息利好哪些板块？

降准是指下降存款准备金率&#xff0c;降息是指下调存款利率&#xff0c;他们是一种宽松的货币政策&#xff0c;对股市来说是一种利好&#xff0c;其间利好以下板块&#xff1a; 1、券商板块 降准降息会影响投资渠道的扩宽&#xff0c;降低资金入市的机会成本&#xff0c;将更…
阅读更多...
CyclicBarrier的 常用场景及使用示例

CyclicBarrier的 常用场景及使用示例

CyclicBarrier的 常用场景及使用示例 CyclicBarrier是Java并发编程中的另一种同步辅助工具&#xff0c;它用于控制多个线程相互等待&#xff0c;直到所有线程都到达一个共同的屏障点&#xff0c;然后所有线程才会继续执行。与CountDownLatch不同的是&#xff0c;CyclicBarrier…
阅读更多...
python的转义序列和占位符

python的转义序列和占位符

1.占位符 1.%s&#xff1a;用于插入字符串 name "Alice" message "Hello, %s!" % name print(message) # 输出&#xff1a;Hello, Alice!%d&#xff1a;用于插入整数 age 25 message "I am %d years old." % age print(message) # 输出…
阅读更多...
chrome命令的使用

chrome命令的使用

Chrome浏览器&#xff0c;也称为Google Chrome&#xff0c;是由Google公司开发的一款设计现代、快速且安全的网页浏览器。Chrome浏览器基于开源的Chromium项目&#xff0c;并增加了Google自己的一些独特功能。Chrome浏览器以其简洁的界面、快速的浏览速度和丰富的扩展程序而广受…
阅读更多...
Linux 文本编辑相关指令、指令参数、使用例子

Linux 文本编辑相关指令、指令参数、使用例子

一些常见的Linux文本编辑和处理相关的指令&#xff0c;以及它们的参数和使用例子&#xff0c;以表格形式列出&#xff1a; 序号指令名称指令参数及说明指令使用例子及说明1cat-n: 显示每行的行号cat -n filename 显示文件内容及行号2less-i: 交互模式&#xff0c;允许搜索less…
阅读更多...
付费解锁隐藏动力和续航，订阅制又被特斯拉玩出花了

付费解锁隐藏动力和续航，订阅制又被特斯拉玩出花了

我们知道&#xff0c;「订阅制」早已成互联网领域各路大厂玩烂的操作。 上到程序订阅付费使用&#xff08;例如 Offics、Adobe&#xff09;&#xff0c;下到各类功能服务订阅&#xff08;如影视会员、网盘会员等&#xff09;。 甚至于某东、某宝等网购平台也整出了 VIP 订阅服…
阅读更多...
原地去重问题和合并有序数组问题

原地去重问题和合并有序数组问题

原地去重问题 给你一个 非严格递增排列 的数组 nums &#xff0c;请你 原地 删除重复出现的元素&#xff0c;使每个元素 只出现一次 &#xff0c;返回删除后数组的新长度。元素的 相对顺序 应该保持 一致 。然后返回 nums 中唯一元素的个数。这是leetcode上的一道题 这里我们用…
阅读更多...
2024五月母亲节嘉年华活动方案

2024五月母亲节嘉年华活动方案

2024以花之名 致谢母亲簪花趣味亲子五月母亲节嘉年华活动方案-43P 活动策划信息&#xff1a; 方案页码&#xff1a;43页 文件格式&#xff1a;PPT 方案简介&#xff1a; 岁月温柔治愈 母爱闪闪发光 一年一度的PY圈孝子孝女大赛即将到来 本次母亲节&#xff0c;“以花之名…
阅读更多...
C++语法｜指向类成员(成员变量和成员方法)的指针及其相关应用场景

C++语法｜指向类成员(成员变量和成员方法)的指针及其相关应用场景

文章目录 1.基本语法指向成员变量的指针示例 指向成员函数的指针示例 注意事项 2.应用场景泛型编程和模板&#xff1a;通用成员访问打印函数回调机制和事件处理&#xff1a;基于简单GUI框架的事件处理 1.基本语法 指向类成员的指针是一种特殊的指针类型&#xff0c;用于指向类…
阅读更多...
MYSQL和JAVA中将中文汉字按照拼音首字母排序

MYSQL和JAVA中将中文汉字按照拼音首字母排序

一、MYSQL将中文汉字按照拼音首字母排序 数据库使用的字符编码是utf8_general_ci&#xff0c;如下 ORDER BY CONVERT(表名.字段名 USING gbk) COLLATE gbk_chinese_ci ASC;若是表查询&#xff0c;CONVERT中可以不添加表名。 查询结果如下&#xff1a; 二、JAVA中将中文汉字…
阅读更多...
类和对象、包等知识总结Java

类和对象、包等知识总结Java

类 类的概念&#xff1a;类是用来对一个实体&#xff08;对象&#xff09;进行描述的&#xff0c;主要描述该对象的属性&#xff0c;功能等。 类的定义和实例化 定义 定义类需要用到class关键字 &#xff08;大驼峰定义&#xff09;for example:class Dog... 初步了解一下…
阅读更多...
CF1772A A+B?

CF1772A A+B?

文章目录 题目题面翻译输入格式输出格式 题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 思路AC代码 题目 题面翻译 有一个算式 a b a{}b ab &#xff0c; a a a 、 b b b 都是一位数。你需要输出这个算式的答案。 输入格式 第一行&#xff0c;一个整数 t t t …
阅读更多...
如何评估和优化RPA机器人的性能，以确保它在处理高负载或复杂任务时仍然保持高效和稳定？

如何评估和优化RPA机器人的性能，以确保它在处理高负载或复杂任务时仍然保持高效和稳定？

评估和优化RPA&#xff08;Robotic Process Automation&#xff0c;机器人流程自动化&#xff09;机器人的性能是确保其在处理高负载或复杂任务时能够保持高效和稳定的关键步骤。以下将详细阐述如何评估和优化RPA机器人的性能。 一、RPA机器人性能评估 准确性评估&#xff1a…
阅读更多...
用docker命令行操作远程的Dockerd daemon服务

用docker命令行操作远程的Dockerd daemon服务

本地安装 Dockerd 服务太耗本机磁盘空间了&#xff0c;共用已有的Dockerd服务能够节省一部分空间 修改 Dockerd 服务启动文件&#xff0c;增加TCP监听方式 Dockerd 服务默认监听方式为 Unix Domain Socket &#xff0c;只允许本机连接&#xff0c;想要能够远程连接&#xff0…
阅读更多...
Python3 笔记：continue语句和break语句的区别

Python3 笔记：continue语句和break语句的区别

循环会一直执行&#xff0c;直到条件为假或序列元素用完时才会结束。若我们想提前中断循环&#xff0c;比如循环的结果已经是我们想要的了&#xff0c;不想让循环继续执行而占用资源&#xff0c;那么我们可以用 continue语句或者break语句。 continue语句用来跳过当前循环的剩…
阅读更多...
网络安全大神是怎么炼成的

网络安全大神是怎么炼成的

首先&#xff0c;兴趣是最好的老师&#xff0c;如果你不感兴趣&#xff0c;建议换一个有兴趣的专业&#xff0c;其次&#xff0c;再来说说你是对信息安全感兴趣&#xff0c;想往安全方面走的&#xff0c;我这边给你一些学习建议。 首先&#xff0c;安全这方面的前景是很好的&a…
阅读更多...
面试题集0515

面试题集0515

1.Java中集合类型 List 的实现类有 ArrayList&#xff0c;Vector 和 LinkedList; Set 的实现类有 HashSet(LinkedHashSet继承于HashSet) 和 TreeSet&#xff1b; Map 接口有四个实现类&#xff1a;Hashtable&#xff0c;HashMap&#xff0c;TreeMap&#xff0c;LinkedHashMa…
阅读更多...
Java面向对象——内部类

Java面向对象——内部类

内部类就是在一个类的内部再定义一个类&#xff0c;比如&#xff1a;A类中定义一个B类&#xff0c;那么B类相对A类来说就称为内部类&#xff0c;而A类相对B类来说就是外部类了。 1. 成员内部类 代码演示&#xff1a; public class Outer {private int id 10;public void out…
阅读更多...
【论文阅读 | 三维重建】3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）

【论文阅读 | 三维重建】3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）

Abstract 辐射场方法最近彻底改变了用多张照片或视频捕获的新颖视图合成&#xff0c;然而实现高视觉质量仍然需要训练和渲染成本高昂的神经网络&#xff0c;而最近更快的方法不可避免地要牺牲速度来换取质量。对于无边界和完整的场景和1080P分辨率的渲染&#xff0c;目前没有任…
阅读更多...
Star CCM+创建报告与监测

Star CCM+创建报告与监测

前言 结合前文介绍&#xff0c;创建衍生零部件的目的是为了监测创建的点或者面的数据变化。如Star CCM衍生零部件的创建介绍&#xff0c;创建完所需的点或者面后&#xff0c;下一步就是对创建的点、面进行监测。 一 报告类型介绍 在Star中&#xff0c;通过创建报告来对监测的…
阅读更多...
最新文章

Copyright @ 2022~2023