Hutool - DFA:基于 DFA 模型的多关键字查找

一、简介

在文本处理中,常常需要在一段文本里查找多个关键字是否存在,例如敏感词过滤、关键词匹配等场景。Hutool - DFA 模块基于确定性有限自动机(Deterministic Finite Automaton,DFA)模型,为我们提供了高效的多关键字查找功能。DFA 模型是一种状态机,它通过预先构建一个状态转移表,能够在一次遍历文本的过程中,快速判断是否存在多个关键字,时间复杂度为 O ( n ) O(n) O(n),其中 n n n 是文本的长度,这使得它在处理大规模文本和大量关键字时具有很高的效率。

二、引入依赖

若使用 Maven 项目,在 pom.xml 中添加以下依赖:

<dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.8.16</version>
</dependency>

如果是 Gradle 项目,在 build.gradle 中添加:

implementation 'cn.hutool:hutool-all:5.8.16'
三、基本使用步骤
1. 创建 DFA 匹配器
import cn.hutool.dfa.FoundWord;
import cn.hutool.dfa.WordTree;
import java.util.ArrayList;
import java.util.List;public class DFAExample {public static void main(String[] args) {// 创建 WordTree 对象,用于构建 DFA 模型WordTree wordTree = new WordTree();// 添加关键字List<String> keywords = new ArrayList<>();keywords.add("苹果");keywords.add("香蕉");keywords.add("葡萄");wordTree.addWords(keywords);}
}

在上述代码中,首先创建了一个 WordTree 对象,它是 Hutool - DFA 中用于构建 DFA 模型的核心类。然后,创建一个包含多个关键字的列表,并使用 addWords 方法将这些关键字添加到 WordTree 中,从而完成 DFA 模型的构建。

2. 进行关键字查找
import cn.hutool.dfa.FoundWord;
import cn.hutool.dfa.WordTree;
import java.util.ArrayList;
import java.util.List;public class DFAExample {public static void main(String[] args) {// 创建 WordTree 对象,用于构建 DFA 模型WordTree wordTree = new WordTree();// 添加关键字List<String> keywords = new ArrayList<>();keywords.add("苹果");keywords.add("香蕉");keywords.add("葡萄");wordTree.addWords(keywords);// 待查找的文本String text = "我喜欢吃苹果和香蕉。";// 查找文本中包含的关键字List<FoundWord> foundWords = wordTree.matchAll(text);for (FoundWord foundWord : foundWords) {System.out.println("找到关键字:" + foundWord.getWord() + ",起始位置:" + foundWord.getStartIndex() + ",结束位置:" + foundWord.getEndIndex());}}
}

在这个代码片段中,定义了一段待查找的文本,然后使用 matchAll 方法在文本中查找之前添加的关键字。matchAll 方法会返回一个 FoundWord 对象的列表,每个 FoundWord 对象包含了找到的关键字、关键字在文本中的起始位置和结束位置。通过遍历这个列表,我们可以输出找到的关键字及其位置信息。

四、高级用法
1. 忽略大小写匹配
import cn.hutool.dfa.FoundWord;
import cn.hutool.dfa.WordTree;
import java.util.ArrayList;
import java.util.List;public class CaseInsensitiveDFAExample {public static void main(String[] args) {WordTree wordTree = new WordTree();List<String> keywords = new ArrayList<>();keywords.add("Apple");wordTree.addWords(keywords);String text = "I like apple.";// 忽略大小写进行匹配List<FoundWord> foundWords = wordTree.matchAll(text, true);for (FoundWord foundWord : foundWords) {System.out.println("找到关键字:" + foundWord.getWord() + ",起始位置:" + foundWord.getStartIndex() + ",结束位置:" + foundWord.getEndIndex());}}
}

matchAll 方法中,第二个参数设置为 true 表示忽略大小写进行匹配。这样,即使文本中的关键字大小写与添加的关键字不一致,也能被正确匹配。

2. 最长匹配原则
import cn.hutool.dfa.FoundWord;
import cn.hutool.dfa.WordTree;
import java.util.ArrayList;
import java.util.List;public class LongestMatchDFAExample {public static void main(String[] args) {WordTree wordTree = new WordTree();List<String> keywords = new ArrayList<>();keywords.add("苹果");keywords.add("红苹果");wordTree.addWords(keywords);String text = "我喜欢吃红苹果。";// 开启最长匹配List<FoundWord> foundWords = wordTree.matchAll(text, false, true);for (FoundWord foundWord : foundWords) {System.out.println("找到关键字:" + foundWord.getWord() + ",起始位置:" + foundWord.getStartIndex() + ",结束位置:" + foundWord.getEndIndex());}}
}

matchAll 方法中,第三个参数设置为 true 表示使用最长匹配原则。在上述示例中,文本中包含“红苹果”,由于开启了最长匹配,只会匹配到“红苹果”,而不会匹配到“苹果”。

五、注意事项
  • 关键字添加顺序:关键字的添加顺序不影响匹配结果,因为 DFA 模型是基于状态转移的,所有关键字会被统一构建到状态转移表中。
  • 性能考虑:DFA 模型在处理大规模文本和大量关键字时具有较高的性能,但在构建 DFA 模型时,需要消耗一定的内存和时间。因此,在实际应用中,应根据具体情况合理管理关键字的数量。
  • 字符编码:确保文本和关键字使用相同的字符编码,避免因编码问题导致匹配失败。

通过使用 Hutool - DFA,开发者可以方便地实现高效的多关键字查找功能,无论是敏感词过滤、信息检索还是其他文本处理场景,都能轻松应对。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/71595.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++STL容器之map

1.介绍 map是 C 标准模板库&#xff08;STL&#xff09;中的一个关联容器&#xff0c;用于存储键值对&#xff08;key-value pairs&#xff09;。map中的元素是按照键&#xff08;key&#xff09;进行排序的&#xff0c;并且每个键在容器中是唯一的。map通常基于红黑树&#xf…

CentOS的ssh复制文件

1.前提 首先要已经连接上了对方的ssh 2.命令 scp [文件] 目标IP:目标路径 例如&#xff1a; $PWD是一个环境变量&#xff0c;可以获取当前绝对目录&#xff0c;ssh上传的时候一定要确保对方有这个目录才行&#xff0c;不然会报错 3.递归上传 scp -r 目录 目标IP:路径 可以…

《Python实战进阶》专栏 No.3:Django 项目结构解析与入门DEMO

《Python实战进阶》专栏 第3集&#xff1a;Django 项目结构解析与入门DEMO 在本集中&#xff0c;我们将深入探讨 Django 的项目结构&#xff0c;并实际配置并运行一个入门DEMO博客网站&#xff0c;帮助你在 Web 开发中更高效地使用 Django。Django 是一个功能强大的 Python Web…

每日一题——376. 摆动序列

题目链接&#xff1a;376. 摆动序列 - 力扣&#xff08;LeetCode&#xff09; 代码&#xff1a; class Solution { public:int wiggleMaxLength(vector<int>& nums) {int curdiff 0;int prediff 0;int result 1; for(int i 0;i < nums.size()-1;i){curdiff …

DeepSeek与ChatGPT:AI语言模型的全面技术解析与对比

DeepSeek与ChatGPT:AI语言模型的全面技术解析与对比 一、诞生背景与技术演进路径 1.1 OpenAI与ChatGPT的生态布局 ChatGPT的研发主体OpenAI成立于2015年,早期定位为非营利性研究机构,核心目标为实现通用人工智能(AGI)。其技术路径以Transformer架构为基础,通过堆叠参数规…

[原创](Modern C++)现代C++的关键性概念: 学习新算法: std::unique_copy

[作者] 常用网名: 猪头三 出生日期: 1981.XX.XX 企鹅交流: 643439947 个人网站: 80x86汇编小站 编程生涯: 2001年~至今[共24年] 职业生涯: 22年 开发语言: C/C、80x86ASM、PHP、Perl、Objective-C、Object Pascal、C#、Python 开发工具: Visual Studio、Delphi、XCode、Eclipse…

前端(vue)学习笔记(CLASS 1):vue框架入门

1、vue上手 概念&#xff1a;vue是一个用于构建用户界面的渐进式框架 vue的两种使用方式&#xff1a; 1、vue的核心包开发 场景&#xff1a;局部模块改造 2、vue核心包&vue插件工程化开发 场景&#xff1a;整站开发 1、创建实例 核心步骤 1、准备容器&#xff08;…

synchronized锁字符串

示例一 在没有使用synchronized锁的情况下: import java.util.HashMap; import java.util.Map;public class NonSynchronizedSchoolExample {private static final Map<String, Integer> schoolCountMap new HashMap<>(); // 存储每个学校的交卷数量public sta…

1.14作业

1 if($x[scheme]http||$x[scheme]https){ $ip gethostbyname($x[host]); echo </br>.$ip.</br>; if(!filter_var($ip, FILTER_VALIDATE_IP, FILTER_FLAG_NO_PRIV_RANGE | FILTER_FLAG_NO_RES_RANGE)) {die(ip!); }echo file_get_contents($_POST[url]);可以DNS重…

Hopper架构 GEMM教程

一 使用 1.1 makefile compile:nvcc -arch=sm_90a -lcuda -lcublas -std=c++17 matmul_h100_optimal.cu -o testrun:./test加入-lcublas,不然会有函数无法被识别 二 代码分析 2.1 kernel外参数分析 2.1.1 基本参数 constexpr int BM = 64*2;constexpr int BN = 256;cons…

DeepSeek模型快速部署教程-搭建自己的DeepSeek

前言&#xff1a;在人工智能技术飞速发展的今天&#xff0c;深度学习模型已成为推动各行各业智能化转型的核心驱动力。DeepSeek 作为一款领先的 AI 模型&#xff0c;凭借其高效的性能和灵活的部署方式&#xff0c;受到了广泛关注。无论是自然语言处理、图像识别&#xff0c;还是…

数据仓库、数据湖和数据湖仓

数据仓库、数据湖和数据湖仓是三种常见的数据存储和管理技术&#xff0c;各自有不同的特点和适用场景。以下是它们的详细比较&#xff1a; 1. 数据仓库&#xff08;Data Warehouse&#xff09; 定义&#xff1a;用于存储结构化数据&#xff0c;经过清洗、转换和建模&#xff…

学习aigc

DALLE2 论文 Hierarchical Text-Conditional Image Generation with CLIP Latents [2204.06125] Hierarchical Text-Conditional Image Generation with CLIP LatentsAbstract page for arXiv paper 2204.06125: Hierarchical Text-Conditional Image Generation with CLIP L…

POI pptx转图片

前言 ppt页面预览一直是个问题&#xff0c;office本身虽然有预览功能但是收费&#xff0c;一些开源的项目的预览又不太好用&#xff0c;例如开源的&#xff1a;kkfileview pptx转图片 1. 引入pom依赖 我这个项目比较老&#xff0c;使用版本较旧 <dependency><gro…

零基础学python--------第三节:Python的流程控制语法

Python&#xff0c;浮点数 11.345(单&#xff1a;4个字节&#xff0c; 双&#xff1a;8个字节) 。 十进制的数字25 ---> 11001 讲一个小数转化为二进制&#xff1a; 不断的乘以2 。取整数部分。 十进制的0.625 ----> 二进制&#xff1a; 0&#xff0c; 101 。 0.3 ---…

2025.2.21 Restless And Brave

今天是2025年的2月21日&#xff0c;星期五。 距离考研出分还有两天半的时间。 这种时候&#xff0c;我想考的特别好的同学或者考的特别差的同学都不会太焦虑&#xff0c;只有我这种考的不上不下的人才会焦虑。 我曾不止一次的想过如何面对失败&#xff0c;但每每想到这个问题…

骶骨神经

骶骨肿瘤手术后遗症是什么_39健康网_癌症 [健康之路]匠心仁术&#xff08;七&#xff09; 勇闯禁区 骶骨肿瘤切除术

DeepSeek智能测试知识库助手PRO版:多格式支持+性能优化

前言 测试工程师在管理测试资产时,需要面对多种文档格式、大量文件分类及知识库的构建任务。为了解决这些问题,我们升级了 DeepSeek智能测试知识库助手,不仅支持更多文档格式,还加入了 多线程并发处理 和 可扩展格式支持,大幅提升处理性能和灵活性。 主要功能亮点: 多格…

Ubuntu编译ZLMediaKit

下载 git clone https://gitee.com/xia-chu/ZLMediaKit cd ZLMediaKit git submodule update --init安装工具 sudo apt install -y build-essential sudo apt install -y gcc g sudo apt install -y cmakesudo apt install -y build-essential cmake git libssl-dev libsdl1.…

如何做接口自动化测试?

一、前言 接口通俗来讲就是前端和后段之间传输数据的桥梁&#xff0c;注意&#xff1a;不是每一个项目都有接口&#xff0c;一些大型项目是前后端分离的&#xff0c;那么他们怎么实现数据的传递和返回呢&#xff1f;在通俗来讲就是前端和后段都有一个模拟参数数据 二、接口自…