Elasticsearch使用实战以及代码详解

Elasticsearch 是一个使用 Java 语言编写、遵守 Apache 协议、支持 RESTful 风格的分布式全文搜索和分析引擎，它基于 Lucene 库构建，并提供多种语言的 API。Elasticsearch 可以对任何类型的数据进行索引、查询和聚合分析，无论是文本、数字、地理空间、结构化还是非结构化的。Elasticsearch 的核心功能是搜索，它可以对数据进行分词匹配、相关性评分、高亮显示等操作，返回相关度高的结果列表。Elasticsearch 也可以用作数据分析，它可以对数据进行统计、分类、聚类等操作，返回聚合结果或图表。

本文大纲如下，

应用场景

Elasticsearch 的典型应用场景有以下几种：

  • 全文搜索：Elasticsearch 提供了全文搜索的功能，适用于电商商品搜索、App 搜索、企业内部信息搜索、IT 系统搜索等。例如我们可以为每一个商品作为文档保存进 Elasticsearch，然后使用 Elasticsearch 的查询语言来对文档进行分词匹配、相关性评分、高亮显示等操作，返回相关度高的结果列表。
  • 日志分析：Elasticsearch 可以用来收集、存储和分析海量的日志数据，如项目日志、Nginx log、MySQL Log 等，往往很难从繁杂的日志中获取有价值的信息。Elasticsearch 能够借助 Beats、Logstash 等工具快速对接各种常见的数据源，并通过集成的 Kibana 高效地完成日志的可视化分析，让日志产生价值。
  • 运维监控：Elasticsearch 也可以用来监控和管理 IT 系统的运行状态和性能指标，如 CPU、内存、磁盘、网络等。可以使用 Beats、Logstash 将这些数据实时采集并索引到 Elasticsearch 中，然后通过 Kibana 构建自定义的仪表盘和告警规则，实现实时的运维监控和预警。
  • 数据可视化：Elasticsearch 与 Kibana 的结合提供了强大的数据可视化能力，可以使用 Kibana 来创建各种类型的图表和仪表盘，展示 Elasticsearch 中存储或聚合的数据，如直方图、饼图、地图、时间线等。还可以使用 Kibana 的 Canvas 功能来制作动态的数据展示页面，或者使用 Kibana 的 Lens 功能来进行交互式的数据探索。

商城选择使用 Elasticsearch 作为搜索引擎，负责对商品数据进行索引和检索，选择 Elasticsearch 的原因有以下几点，

  1. Elasticsearch 是一个开源的分布式搜索引擎，基于 Lucene 开发，支持全文检索、结构化检索、地理位置检索等多种类型的检索，功能丰富。
  2. Elasticsearch 本身具有高性能和高可用性的设计，可以通过集群和分片机制实现水平扩展，支持海量数据的存储和处理，适合大规模的商城搜索场景。
  3. Elasticsearch 网上社区活跃，现有互联网上有大量的使用文档和案例，方便入门使用和问题排查。
  4. Elasticsearch 有众多分词器插件，关于中文分词器的使用非常成熟，拿来即用，支持自定义字典等。

waynboot 项目使用的 Elasticsearch 插件

Elasticsearch 的插件非常丰富，我给大家介绍其中 waynboot 项目使用的 Elasticsearch 插件。

IK Analyzer

IK Analyzer 是一个开源的中文分词器，由阿里巴巴集团发布。它采用了细粒度切分和歧义处理等技术，能够较好地处理各种中文文本。IK Analyzer 支持普通模式、搜索模式和拼音模式三种分词方式，并可以根据需要自定义字典。

Pinyin Analyzer

Pinyin Analyzer 插件是一个用于将中文字符转换为拼音的插件，它集成了 NLP 工具（nlp-lang）。该插件包含了分析器：pinyin，分词器：pinyin 和 token-filter：pinyin。该插件还提供了一些可选的参数，可以控制拼音的输出格式，例如是否保留首字母，是否保留全拼，是否保留非中文字符等。

目录结构

在 项目中，给 Elasticsearch 定义了专门的数据访问层 waynboot-data-elastic，该层目录结构如下，

    |-- waynboot-data                    // 数据访问层|   |-- waynboot-data-elastic        // Elasticsearch访问配置模块|       |-- config|       |-- constant|       |-- mananger

包目录说明如下，

  • config：Elasticsearch 相关的配置类，包含 ElasticConfig 连接配置类 以及 ElasticClientConfig 客户端配置相关类，ElasticClientConfig 类可以设置访问密码。
  • constants：Elasticsearch 访问层的相关常量类，这里面定义了商品同步数据的索引名称等信息。
  • mananger：Elasticsearch 访问层的相关操作类，定义了 ElasticDocument 文档操作类，用于操作 Elasticsearch。

代码实战

在项目中，Elasticsearch 主要用于支持首页商品的分词搜索、分页排序等功能。Elasticsearch 版本是 7.0，以下实战讲解都是在 7.0 版本基础上进行。

要使用 Elasticsearch ik 分词器进行中文分词搜索，首先需要安装相应的插件 elasticsearch-analysis-ik，然后在创建索引时指定使用中文分词器作为字段的 analyzer 属性。

在日常对 Elasticsearch 的操作中，我们可以通过 rest api 的方式进行操作。

Elasticsearch rest api 操作

如下我们可以创建一个索引名称为 goods，包含两个属性 title、content。并且 这两个属性都使用 ik 分词器。注意这里我用的 Elasticsearch 提供 Rest api 方式创建索引。

    PUT /goods{"settings": {"index": {"number_of_shards": 1,"number_of_replicas": 0}},"mappings": {"properties": {"title": {"type": "text","analyzer": "ik_max_word"},"content": {"type": "text","analyzer": "ik_max_word"}}}}

创建索引后，就可以向索引中添加两条数据，例如：

    POST /books/_doc/1{"title": "格林童话","content": "这本书介绍了很多童话故事，有白雪公主、狮子王、美人鱼等。"}POST /books/_doc/2{"title": "中国童话故事","content": "这本书介绍了很多中国童话故事。"}

然后我们就可以使用 match 语法来进行中文分词检索，这里我查询 goods 索引中，title 属性是 "动画" 的记录。如下，

    GET /books/_search{"query":{"match":{"title": "童话"}}}

查询结果如下，

    {"took": 0,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 2,"relation": "eq"},"max_score": 0.11190013,"hits": [{"_index": "books","_type": "_doc","_id": "1","_score": 0.11190013,"_source": {"title": "格林童话","content": "这本书介绍了很多童话故事，有白雪公主、狮子王、美人鱼等。"}},{"_index": "books","_type": "_doc","_id": "2","_score": 0.099543065,"_source": {"title": "中国童话故事","content": "这本书介绍了很多中国童话故事。"}}]}}

可以看到，查询结果中匹配了标题包含“童话”的文档，这说明 Elasticsearch 使用了中文分词器对查询字符串和文档进行了分词，并根据相关性得分返回了结果。

全文搜索以及筛选排序

在项目中，商城首页顶部提供了商品搜索栏，用户可以输入商品名称搜索自己想要的商品，搜索结果展示后，还可以进行热门、新品过滤以及价格、销量等进行排序。

可以看到搜索功能还是比较复杂的，在项目中，这些逻辑全部在 Elasticsearch 内部进行处理，代码如下，

    @RestController@AllArgsConstructor@RequestMapping("search")public class SearchController extends BaseController {private IGoodsService iGoodsService;private ElasticDocument elasticDocument;@GetMapping("result")public R result(SearchVO searchVO) throws IOException {// 获取筛选、排序条件Long memberId = MobileSecurityUtils.getUserId();String keyword = searchVO.getKeyword();Boolean filterNew = searchVO.getFilterNew();Boolean filterHot = searchVO.getFilterHot();Boolean isNew = searchVO.getIsNew();Boolean isHot = searchVO.getIsHot();Boolean isPrice = searchVO.getIsPrice();Boolean isSales = searchVO.getIsSales();String orderBy = searchVO.getOrderBy();SearchHistory searchHistory = new SearchHistory();if (memberId != null && StringUtils.isNotEmpty(keyword)) {searchHistory.setCreateTime(LocalDateTime.now());searchHistory.setUserId(memberId);searchHistory.setKeyword(keyword);}Page<SearchVO> page = getPage();// 查询包含关键字、已上架商品SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();MatchQueryBuilder matchFiler = QueryBuilders.matchQuery("isOnSale", true);MatchQueryBuilder matchQuery = QueryBuilders.matchQuery("name", keyword);MatchPhraseQueryBuilder matchPhraseQueryBuilder = QueryBuilders.matchPhraseQuery("keyword", keyword);boolQueryBuilder.filter(matchFiler).should(matchQuery).should(matchPhraseQueryBuilder).minimumShouldMatch(1);searchSourceBuilder.timeout(new TimeValue(10, TimeUnit.SECONDS));// 按是否新品排序if (isNew) {searchSourceBuilder.sort(new FieldSortBuilder("isNew").order(SortOrder.DESC));}// 按是否热品排序if (isHot) {searchSourceBuilder.sort(new FieldSortBuilder("isHot").order(SortOrder.DESC));}// 按价格高低排序if (isPrice) {searchSourceBuilder.sort(new FieldSortBuilder("retailPrice").order("asc".equals(orderBy) ? SortOrder.ASC : SortOrder.DESC));}// 按销量排序if (isSales) {searchSourceBuilder.sort(new FieldSortBuilder("sales").order(SortOrder.DESC));}// 筛选新品if (filterNew) {MatchQueryBuilder filterQuery = QueryBuilders.matchQuery("isNew", true);boolQueryBuilder.filter(filterQuery);}// 筛选热品if (filterHot) {MatchQueryBuilder filterQuery = QueryBuilders.matchQuery("isHot", true);boolQueryBuilder.filter(filterQuery);}// 组装Elasticsearch查询条件searchSourceBuilder.query(boolQueryBuilder);// Elasticsearch分页相关searchSourceBuilder.from((int) (page.getCurrent() - 1) * (int) page.getSize());searchSourceBuilder.size((int) page.getSize());// 执行Elasticsearch查询List<JSONObject> list = elasticDocument.search("goods", searchSourceBuilder, JSONObject.class);List<Integer> goodsIdList = list.stream().map(jsonObject -> (Integer) jsonObject.get("id")).collect(Collectors.toList());if (goodsIdList.isEmpty()) {return R.success().add("goods", Collections.emptyList());}// 根据Elasticsearch中返回商品ID查询商品详情并保持es中的排序List<Goods> goodsList = iGoodsService.searchResult(goodsIdList);Map<Integer, Goods> goodsMap = goodsList.stream().collect(Collectors.toMap(goods -> Math.toIntExact(goods.getId()), o -> o));List<Goods> returnGoodsList = new ArrayList<>(goodsList.size());for (Integer goodsId : goodsIdList) {returnGoodsList.add(goodsMap.get(goodsId));}if (CollectionUtils.isNotEmpty(goodsList)) {AsyncManager.me().execute(new TimerTask() {@Overridepublic void run() {searchHistory.setHasGoods(true);iSearchHistoryService.save(searchHistory);}});}return R.success().add("goods", returnGoodsList);}}

这里对上面商城的搜索代码给大家做一个讲解：

  • 第一步：获取筛选、排序条件
  • 第二步：获取查询条件-用户搜索关键字、商品已上架
  • 第三步：获取排序条件-按是否新品排序、按是否热品排序、按价格高低排序、按销量排序
  • 第四步：获取过滤条件-筛选新品、筛选热品
  • 第五步：组装 Elasticsearch 查询条件以及分页条件
  • 第六步：执行 Elasticsearch 查询操作
  • 第七步：获取 Elasticsearch 中返回的商品 ID ，并根据商品 id 查询商品详情，最后商品保持 es 中的排序

总结一下

本文给大家讲解了项目中对于 elasticsearch 的使用以及代码实战讲解。希望能帮助大家更好理解 elasticsearch，大家在自己的项目中如果要引入 elasticsearch，可以直接参照本文的示例代码即可使用。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/882682.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C++学习，标准库 ＜ctime＞

C++学习，标准库 ＜ctime＞

C 标准库提供了丰富的功能&#xff0c;其中 <ctime> 是处理时间和日期的标准库之一。它提供了一组函数&#xff0c;用于获取当前时间、日期以及执行时间相关的计算。<ctime> 库定义了一组与时间相关的函数和类型&#xff0c;这些函数和类型允许程序员在程序中处理时…
阅读更多...
四、Linux 基本命令全攻略

四、Linux 基本命令全攻略

Linux 基本命令全攻略 在 Linux 系统的世界里&#xff0c;掌握基本命令是至关重要的。不同的 Linux 发行版虽然在某些方面可能有所差异&#xff0c;但大部分基本命令是通用的。下面将按不同的系统分类&#xff0c;为大家详细介绍一些常用的 Linux 基本命令及其含义。 一、Ubu…
阅读更多...
DeepSpeed性能调优与常见问题解决方案

DeepSpeed性能调优与常见问题解决方案

1. 引言 什么是DeepSpeed&#xff1f; DeepSpeed是由微软开源的深度学习训练优化库&#xff0c;旨在帮助研究人员和工程师高效地训练大规模深度学习模型。基于PyTorch框架&#xff0c;DeepSpeed提供了一系列先进的技术&#xff0c;如ZeRO&#xff08;Zero Redundancy Optimiz…
阅读更多...
【论文学习与撰写】，论文word文档中出现乱码的情况，文档中显示的乱码，都是英文字母之类的，但打印预览是正常的

【论文学习与撰写】，论文word文档中出现乱码的情况，文档中显示的乱码，都是英文字母之类的，但打印预览是正常的

目录 1、问题 2、解决方法 1、问题 写论文的时候&#xff0c;有时会出现乱码的情况&#xff0c; 如下图&#xff0c;这种情况&#xff0c; 可是 在打印预览的时候&#xff0c;就显示的正常 如下图&#xff0c; 2、解决方法 既然是文档正文显示错误&#xff0c;显示乱码&…
阅读更多...
JAVA集合知识总结(六)

JAVA集合知识总结(六)

文章目录 JAVA集合知识总结(六)Queue1. Queue 接口2. Queue 常用方法3. Queue 的实现类介绍3.1 LinkedList3.2 PriorityQueue3.3 阻塞队列&#xff08;BlockingQueue&#xff09;3.4 Deque&#xff08;双端队列&#xff09; 4. 应用场景总结 JAVA集合知识总结(六) Queue Queue…
阅读更多...
【HarmonyOS NEXT】服务端向终端推送消息——获取Push Token

【HarmonyOS NEXT】服务端向终端推送消息——获取Push Token

【需求】 获取Push Token 【文档】 https://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V5/push-get-token-V5 【代码】 // EntryAbility.ets 文件 import { pushService } from kit.PushKit; export default class EntryAbility extends UIAbility {onCreat…
阅读更多...
vue实现html转化pdf功能，pdf文件可以复制文字

vue实现html转化pdf功能，pdf文件可以复制文字

之前使用 html2canvas 和 jsPDF 实现html转pdf&#xff0c;但是客户说不能复制pdf中的文字&#xff0c;要改一下&#xff0c;先说不能复制的方法&#xff0c;再说可以复制的方法 一&#xff0c;html2canvas 和 jsPDF&#xff08;图片插入pdf不可复制&#xff09; 创建pdf.js文…
阅读更多...
【详解】下载MySql安装教程（帮助数据库下载）

【详解】下载MySql安装教程（帮助数据库下载）

此版本是我下载的版本&#xff0c;其他版本均可以。 1.官网下载相应的版本&#xff1a;MYSQL&#xff1a;8.0.33 https://www.mysql.com/ 2.点击DOWNLOADS进入 3.在上述界面当中往下翻&#xff0c;找到社区版的下载界面 4.点进社区版的界面 前三个是Linux系统下的安装&a…
阅读更多...
Mysql索引失效的原因有哪些？

Mysql索引失效的原因有哪些？

&#x1f4da; 避免索引失效是一种常见的SQL优化 MySQL是一种关系型数据库&#xff0c;它可以通过建立索引来提高查询效率。索引是一种数据结构&#xff0c;它可以让数据库快速地找到满足条件的记录&#xff0c;而不需要扫描整张表。但是&#xff0c;并不是所有的查询都能利用索…
阅读更多...
1.centos 镜像

1.centos 镜像

centos 它有官网的下载地址&#xff1a;https://vault.centos.org/ 选择想要的版本&#xff0c;我选择 centos7.8 进入到镜像目录 isos 选择 x86_64 选择想要的版本&#xff0c;我选择 CentOS-7-x86_64-DVD-2003.iso 安装就正常安装就行。我选择虚拟机安装。这个参考&…
阅读更多...
git的安装以及入门使用

git的安装以及入门使用

文章目录 git的安装以及入门使用什么是git&#xff1f;git安装git官网 git初始化配置使用方式初始化配置&#xff1a; git的安装以及入门使用 什么是git&#xff1f; Git 是一个免费开源的分布式版本控制系统&#xff0c;使用特殊的仓库数据库记录文件变化。它记录每个文件的…
阅读更多...
⭐ Unity Pico PXR_SDK转场淡入淡出

⭐ Unity Pico PXR_SDK转场淡入淡出

PXR_ScreenFade 脚本&#xff1a;官方SDK 脚本实现了屏幕的淡入淡出功能&#xff0c;封装了 CloseEyes 和 OpenEyes 方法&#xff0c;可以通过传入 Action 执行淡入淡出完成后的逻辑。 FadeController 脚本&#xff1a; 通过 GetComponent 获取 PXR_ScreenFade 组件&#xff0…
阅读更多...
前端开发设计模式——状态模式

前端开发设计模式——状态模式

目录 一、状态模式的定义和特点 二、状态模式的结构与原理 1.结构&#xff1a; 2.原理&#xff1a; 三、状态模式的实现方式 四、状态模式的使用场景 1.按钮的不同状态&#xff1a; 2.页面加载状态&#xff1a; 3.用户登录状态&#xff1a; 五、状态模式的优点 1.提…
阅读更多...
Matplotlib和Seaborn数据可视化

Matplotlib和Seaborn数据可视化

目录 Matplotlib图表绘制 准备工作 折线图line 柱状图bar 水平条形图barh 饼图pie 散点图scatter 气泡图csatter 箱线图boxplot 直方图hist 蜂巢图hexbin Seaborn图表绘制 准备数据 关系散点图scatterplot 关系散点线形图replot 分类散点图stripplot 分类小提…
阅读更多...
代码随想录算法训练营第五天| 哈希表理论基础 242.有效的字母异位词 349. 两个数组的交集 202. 快乐数 1. 两数之和

代码随想录算法训练营第五天| 哈希表理论基础 242.有效的字母异位词 349. 两个数组的交集 202. 快乐数 1. 两数之和

哈希表基础课程笔记 1. 什么是哈希表 哈希表&#xff08;Hash Table&#xff09;又称为散列表&#xff0c;是一种基于关键码&#xff08;Key&#xff09;直接进行访问的数据结构。简单理解&#xff0c;数组其实也是一种哈希表。哈希表通过关键码映射到数组的索引&#xff0c;…
阅读更多...
Flink窗口分配器WindowAssigner

Flink窗口分配器WindowAssigner

前言 Flink 数据流经过 keyBy 分组后&#xff0c;下一步就是 WindowAssigner。 WindowAssigner 定义了 stream 中的元素如何被分发到各个窗口&#xff0c;元素可以被分发到一个或多个窗口中&#xff0c;Flink 内置了常用的窗口分配器&#xff0c;包括&#xff1a;tumbling wi…
阅读更多...
前缀和和差分算法

前缀和和差分算法

文章目录 一维前缀和一维前缀和概念一维前缀和数组的构建 二维前缀和二维前缀和概念二维前缀和数组的构建 一维差分一维差分概念一维差分数组的构建 二维差分二维差分概念二维差分数组的构建 一维前缀和 一维前缀和概念 一维前缀和是一种常用的数据预处理方法&#xff0c;它能…
阅读更多...
JS事件和DOM

JS事件和DOM

1. DOM 1.1 基本概念 DOM&#xff0c;全称 Document Object Model&#xff0c;即文档对象模型。它是 Web 上最常用的 API 之一&#xff0c;是加载在浏览器中的文档模型&#xff0c;可以将文档表示为节点树&#xff08;或称 DOM 树&#xff09;&#xff0c;其中每个节点代表文…
阅读更多...
Docker system

Docker system

docker system --help siqialiyun-sh-001:~/images$ sudo docker system --helpUsage: docker system COMMANDManage DockerCommands:df Show docker disk usage(显示docker磁盘使用情况)events Get real time events from the server(从服务器获取实时事件)in…
阅读更多...
MySQL新手向：对比常用存储引擎

MySQL新手向：对比常用存储引擎

前言 为什么MySQL拥有的存储引擎有那么多&#xff0c;偏偏最常用的是InnoDB呢&#xff1f;带着这个问题&#xff0c;让我们对比几种常用的存储引擎&#xff0c;理解InnoDB的优势吧。 一、MyISAM存储引擎 1.1、MyISAM介绍 先说说MyISAM存储引擎的特点&#xff1a; 不支持事…
阅读更多...
最新文章

Copyright @ 2022~2023