最详细【Elasticsearch】Elasticsearch Java API + Spring Boot集成 实战入门(基础篇)

Elasticsearch Java API + Spring Boot集成 实战入门(基础篇)

  • 一、初始Elasticseach
    • 1、什么是Elasticseach
    • 2、Elasticsearch生态
    • 2、Elasticsearch结构
    • 3、Elasticsearch核心概念
    • 4、Elasticsearch 实现全文检索的原理
  • 二、Elasticsearch入门
    • 1、入门-环境安装准备
    • 2、实战入门
      • 2.1、kibana控制台操作
      • 2.2、RestClient -- Java API操作
    • 3、Elasticsearch数据同步方案
    • 4、集群

Spring Boot集成Elasticsearch 高级篇 后续更新 请关注 个人主页

一、初始Elasticseach

1、什么是Elasticseach

Elasticseach是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。结合 kibana 、 Logstash 、 Beats ,也就是 elastic stack ( ELK )。被广泛应用在日志数据分析、实时监控等领域。

2、Elasticsearch生态

在这里插入图片描述
Elasticsearch 生态系统非常丰富,包含了一系列工具和功能,帮助用户处理、分析和可视化数据,Elastic Stack 是其核心组成部分。

Elastic Stack(也称为 ELK Stack)由以下几部分组成:

  • Elasticsearch:核心搜索引擎,负责存储、索引和搜索数据。
  • Kibana:可视化平台,用于查询、分析和展示 Elasticsearch 中的数据。
  • Logstash:数据处理管道,负责数据收集、过滤、增强和传输到 Elasticsearch。
  • Beats:轻量级的数据传输工具,收集和发送数据到 Logstash 或 Elasticsearch。

Kibana 是 Elastic Stack 的可视化组件,允许用户通过图表、地图和仪表盘来展示存储在 Elasticsearch 中的数据。它提供了简单的查询接口、数据分析和实时监控功能

2、Elasticsearch结构

Elasticsearch采用倒排索引,相比mysql的正向索引提高了查询效率。
在这里插入图片描述

倒排索引过程

  1. 首先进行分词得到词条。
  2. 倒排根据词条列表查找id查询文档。
  3. 最后存放结果集。

正向和倒排索引的区别

正向是根据文档找词条,倒排是根据词条找文档。

3、Elasticsearch核心概念

  • 索引(Index):类似于数据库中的表。

  • 文档(Document):索引中的每条记录,类似于数据库中的行数据。文档以JSON格式存储。

  • 字段(Field):文档中的每个键值对,类似于数据库中的列

  • 映射(Mapping):用于定义文档字段的数据类型以及其处理方式,类似于表结构

  • 集群(Cluster):多个节点组成的群集,用于存储数据并提供搜索功能。集群中的每个节点都可以处理数据。

  • 分片(Shard):为了实现横向扩展,ES 将索引拆分成多个分片,每个分片可以分布在不同节点上。

  • 副本(Replica):分片的复制品,用于提高可用性和容错性。

    和数据库类比:

    Elasticsearch 概念关系型数据库类比
    IndexTable
    DocumentRow
    FieldColumn
    MappingSchema
    ShardPartition
    ReplicaBackup

4、Elasticsearch 实现全文检索的原理

  1. 分词
  2. 倒排索引(根据分词去词表查询文档Id,然后再根据文档Id去查询文档)

二、Elasticsearch入门

1、入门-环境安装准备

官方网址

1)安装 Elasticsearch
Elasticsearch 更新迭代非常快,所以安装时,一定要注意慎重选择版本号!
由于我们自己的项目用的 Spring Boot 2.x 版本,对应的 Spring Data Elasticsearch 客户端版本是 4.x,支持的 Elasticsearch 是 7.x,所以建议 Elasticsearch 使用 7.x 的版本。

个人中使用的是 7.17 版本,这是 7.x 系列的最后一个版本,包含了该系列所有的 bug 修复和改进,被广泛认为是最稳定的。

💡 可以在 官方文档 了解到版本兼容情况:比如 Spring 6 才支持 Elasticsearch 8.x
如果官网下不动,

Elasticsearch 7.8.0下载页面

参考官方文档

Windows 解压安装

其他操作系统安装

已经下载好的 提取码:52jl

注意,安装路径不要包含中文!
Windows 版的 Elasticsearch 压缩包,解压即安装完毕,解压后的 Elasticsearch 的目录结构如下 :

目录含义
bin可执行脚本目录
config配置目录
jdk内置 JDK 目录
lib类库
logs日志目录
modules模块目录
plugins插件目录

安装完成后进入 es 的bin目录通过cmd打开命令窗口并执行启动命令:

elasticsearch.bat

可以用 CURL 测试是否启动成功:

curl -X GET "localhost:9200/?pretty"

正常输出如图:
在这里插入图片描述

在 Windows 系统上,你还可以选择是否安装为服务,方便启动和管理。

elasticsearch-service.bat

Usage: elasticsearch-service.bat install|remove|start|stop|manager [SERVICE_ID]
2)安装 Kibana

注意,只要是同一套技术,所有版本必须一致!此处都用 7.17 版本!

参考官方文档

安装 Kibana:https://www.elastic.co/guide/en/kibana/7.17/install.html

安装完成后进入 kibana 的bin目录cmd打开命令行窗口并执行启动命令:

kibana.bat

可以访问 http://localhost:5601/,即可开始使用。如图所示:在这里插入图片描述

但 kibana 默认是英文,不变阅读,可以修改 config/kibana.yml 中的国际化配置:
在这里插入图片描述

然后重启 kibana 即可

注意,目前 Kibana 面板没有增加权限校验,所有人都能访问,所以请勿在线上直接部署!

3)测试

尝试利用 Kibana 的开发工具来操作 Elasticsearch 的数据,比如查询:
在这里插入图片描述

验证下分词器的效果,比如使用标准分词器:

POST /_analyze
{
“analyzer”: “standard”,
“text”: “我是许苑,I love someone”
}
效果如图,英文被识别为了一个词,但中文未被识别:
在这里插入图片描述

默认支持的分词器如下:

  • standard:标准分词器。
  • simple:简单分词器。
  • whitespace:按空格分词。
  • stop:带停用词的分词器。
  • keyword:不分词,将整个字段作为一个词条。
  • pattern:基于正则表达式的分词器。
  • ngram 和 edge_ngram:n-gram 分词器。
    由于这些分词器都不支持中文,所以需要安装 IK 中文分词器,以满足我们的业务需要。

4)安装 IK 中文分词器(ES 插件)

开源地址

直接按照官方指引安装即可,注意下载和我们 Elasticsearch 一致的版本,可以在这里找到各版本的插件包:https://release.infinilabs.com/analysis-ik/stable/

在 ES 安装bin目录下执行:

elasticsearch-plugin.bat install https://release.infinilabs.com/analysis-ik/stable/elasticsearch-analysis-ik-7.17.23.zip

安装成功,需要重启 ES:
IK 分词器插件为我们提供了两个分词器:ik_smart 和 ik_max_word。

ik_smart 是智能分词,尽量选择最像一个词的拆分方式,比如“某人”会被识别为一个词
ik_max_word 尽可能地分词,可以包括组合词,比如“好学生”会被识别为 3 个词:好学生、好学、学生
POST /_analyze
{
“analyzer”: “standard”,
“text”: “许苑爱上了某人”
}
在这里插入图片描述

2、实战入门

2.1、kibana控制台操作

1、索引库的操作
1)mapping 属性
mapping 是对索引库中文档的约束,常见的 mapping 属性包括:

  • type :字段数据类型,常见的简单类型有:
    • 字符串: text (可分词的文本)、 keyword (精确值,例如:品牌、国家、 ip 地址)
    • 数值: long 、 integer 、 short 、 byte 、 double 、 float
    • 布尔: boolean
    • 日期: date
    • 对象: object
  • index :是否创建索引,默认为 true
  • analyzer :使用哪种分词器
  • properties :该字段的子字段

2)创建索引库
ES 中通过 Restful 请求操作索引库、文档。请求内容用 DSL 语句来表示,
创建索引库和 mapping 的 DSL 语法如下:

PUT /索引库名称
{"mappings": {"properties": {" 字段名 ": {"type": "text","analyzer": "ik_smart"}," 字段名 2": {"type": "keyword","index": "false"}," 字段名 3": {"properties": {" 子字段 ": {"type": "keyword"}}}}}
}

举例:

PUT /xuyuan
{"mappings": {"properties": {"info":{"type": "text","analyzer": "ik_smart"},"email":{"type": "keyword","index": "false"},"name":{"properties": {"firstName": {"type": "keyword"}}}}}
}

返回结果:

{"acknowledged": true,"shards_acknowledged": true,"index": "xuyuan"
}

3)查看索引库

GET /xuyuan

4)删除索引库

DELETE /xuyuan

5)修改索引库
索引库和 mapping 一旦创建无法修改,但是可以添加新的字段,语法如下:
添加字段: PUT / 索引库名 /_mapping

PUT /xuyuan/_mapping
{"properties": {"age": {"type": "integer"}}
}

2、文档操作

1)新增文档

POST /索引库名/_doc/文档 id
{" 字段 1": " 值 1"," 字段 2": " 值 2"," 字段 3": {" 子属性 1": " 值 3"," 子属性 2": " 值 4"}
}

举例:

POST /xuyuan/_doc/2
{"info": "Java工程师","email": "2517115657@qq.com","age": 20,"name": {"firstName": "许苑","fullName": "xuyuan"}
}

返回结果:

{"_index": "xuyuan","_id": "2","_version": 1,"result": "created","_shards": {"total": 2,"successful": 1,"failed": 0},"_seq_no": 3,"_primary_term": 1
}

2)查看文档

GET /索引库名/_doc/文档 id
GET /xuyuan/_doc/2

返回结果:

{"_index": "xuyuan","_id": "2","_version": 1,"_seq_no": 3,"_primary_term": 1,"found": true,"_source": {"info": "Java工程师","email": "2517115657@qq.com","age": 20,"name": {"firstName": "许苑","fullName": "xuyuan"}}
}

3)删除文档

DELETE /索引库名/_doc/文档 id
DELETE /xuyuan/_doc/2

返回结果:

{"_index": "xuyuan","_id": "2","_version": 2,"result": "deleted","_shards": {"total": 2,"successful": 1,"failed": 0},"_seq_no": 4,"_primary_term": 1
}

4)修改文档
方式一:全量修改,会删除旧文档,添加新文档

PUT /xuyuan/_doc/1
{"info": "Java","email": "2517115657@qq.com","name": {"firstName": "oj","fullName": "xy"}
}

返回结果:

{"_index": "xuyuan","_id": "1","_version": 7,"result": "updated","_shards": {"total": 2,"successful": 1,"failed": 0},"_seq_no": 8,"_primary_term": 1
}

方式二:增量修改,修改指定字段值

POST /xuyuan/_update/1
{"doc": {"email": "github.com/xuyuan-upward"}
}

5)DSL 查询文档
(1)DSL 查询语法分类
常见的查询类型包括:

  • 查询所有:查询出所有数据,一般测试用。例如: match_all
  • 全文检索( full text )查询:利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如:
    • match_query
    • multi_match_query
  • 精确查询:根据精确词条值查找数据,一般是查找 keyword 、数值、日期、 boolean 等类型字段。例如:
    • ids
    • range
    • term
  • 地理( geo )查询:根据经纬度查询。例如:
    • geo_distance
    • geo_bounding_box
  • 复合( compound )查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:
    • bool
    • function_score

(2)DSL Query 基本语法

GET /indexName/_search
{"query": {" 查询类型 ": {" 查询条件 ": " 条件值 "}}
}

(3)查询所有

GET /hotel/_search
{"query": {"match_all": {}}
}

(4)全文检索查询
全文检索查询,会对用户输入内容分词,常用于搜索框搜索:
match查询,根据一个字段查询。

GET /hotel/_search
{"query": {"match": {"city": "杭州"}}
}

multi_match查询,根据多个字段查询,参与查询字段越多,查询性能越差。

GET /hotel/_search
{"query": {"multi_match": {"query": "园",// 表示查询多个字段"fields": ["star_name","name"]}}
}

query:你要查询的文本内容。
fields:一个数组,指定你要在其上执行查询的字段。如果你只指定一个字段,则它行为类似于 match 查询。

(5)精确查询
精确查询一般是查找 keyword 、数值、日期、 boolean 等类型字段。所以不会对搜索条件分词。常见的有:

  • term :根据词条精确值查询,根据词条精确匹配,一般搜索 keyword 类型、数值类型、布尔类型、日期类型字段。
GET /hotel/_search
{"query": {"term": {"city": "上海"}}
}
  • range :根据值的范围查询
GET /hotel/_search
{"query": {"range": {"price": {"gte": 70,"lte": 80}}}
}

6)地理查询
根据经纬度查询。常见的使用场景包括:

  • 滴滴:搜索我附近的出租车
  • 微信:搜索我附近的人
  • 位置共享。
GET /hotel/_search
{"query": {// 经度类型"geo_bounding_box": {"location": {"top_left": {"lat": 24,"lon": 35},"bottom_right": {"lat": 22,"lon": 33}}}}
}

(7)复合查询(bool function_score->重新算分

相关性算分
当我们利用match查询时候,文档结果会根据与搜索词条的关联度打分(_score),返回结果是按照分值降序排列。
相关打分算法,如下图所示:
在这里插入图片描述
算分函数查询,可以控制文档相关性算分,控制文档排名。

  • 过滤条件:哪些文档要加分
  • 算分函数:如何计算 function score(用于对某个字段或者多个字段重新计算得分)
  • 加权方式: function score 与 query score 如何运算
GET /hotel/_search
{"query": {"function_score": {"query": {"match": {"all": " 外滩 "}},"functions": [{"filter": {"term": {"id": "1"}},"weight": 10}],"boost_mode": "multiply"}}
}

bool 查询
布尔查询是一个或多个查询子句的组合。子查询的组合方式有:

  • must :必须匹配每个子查询,类似“与”
  • should :选择性匹配子查询,类似“或”
  • must_not :必须不匹配,不参与算分,类似“非”,不参与算分尽量加上去,可以提高查询效率
  • filter :必须匹配,不参与算分
    搜索品牌包含“如家”,价格不高于400 ,在坐标 23.21,33.5 周围 1000km范围内的酒店。
GET /hotel/_search
{"query": {"bool": {"must": [{"match": {"brand": "如家"}}],"must_not": [{"range": {"price": {"gt": 400}}}],"filter": [{"geo_distance": {"distance": "1000km","location": {"lat": 23.21,"lon": 33.5}}}]}}
}

搜索结果的处理
(1)排序
默认Elasticsearch是支持对结果进行排序的,默认是根据相关度的算分( _score )来排序。可以排序字段类型有: keyword类型、数值类型、地理坐标类型、日期类型等。

GET /hotel/_search
{"query": {"match_all": {}},"sort": [{"price": "desc" // 排序字段和排序方式 ASC 、 DESC}]
}

2)分页
elasticsearch 默认情况下只返回 top10 的数据。而如果要查询更多数据就需要修改分页参数了。
elasticsearch 中通过修改 from 、 size 参数来控制要返回的分页结果:

GET /hotel/_search
{"query": {"match_all": {}},"from": 0, // 分页开始的位置,默认为0"size": 10, // 期望获取的文档总数"sort": [{"price": "asc"}]
}

3)深度分页问题
ES 是分布式的,所以会面临深度分页问题。例如按 price 排序后,获取 from = 990 , size =10 的数据:
聚合所有结果,重新排序选取前 1000 个。

首先在每个数据分片上都排序并查询前1000 条文档。
然后将所有节点的结果聚合,在内存中重新排序选出前 1000 条文档。
最后从这 1000 条中,选取从 990 开始的10 条文档。
如果搜索页数过深,或者结果集( from +size )越大,对内存和 CPU 的消耗也越高。因此 ES 设定结果集查询的上限是 10000。
针对深度分页, ES 提供了一种较好解决方案,官方文档:
• search after :分页时需要排序,原理是从上一次的排序值开始,查询下一页数据。官方推荐使用的方式。

(4)高亮
高亮:就是在搜索结果中把搜索关键字突出显示。
原理是这样的:
将搜索结果中的关键字用标签标记出来
在页面中给标签添加 css 样式

GET /hotel/_search
{"query": {"term": {"city": {"value": "杭州"}}},"highlight": {"fields": {"city": {"pre_tags": "<em>","post_tags": "<em>"}}}
}

返回结果以高亮形式返回:

{"took": 0,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 1,"relation": "eq"},"max_score": 1.23585,"hits": [{"_index": "hotel","_id": "1","_score": 1.611585,"_source": {"name": "许苑","email": "z.cn","price": 12,"score": 12,"brand": "汉庭","city": "杭州","star_name": "五星","business": "虹桥","location": "23.423424, 34.32131","pic": "/1/2/3"},"highlight": {"city": ["<em>杭州<em>"]}}]}
}

2.2、RestClient – Java API操作

什么是 RestClient
ES 官方提供了各种不同语言的客户端,用来操作 ES 。这些客户端的本质就是组装 DSL 语句,通过 http 请求发送给ES 。官方文档地址: https://www.elastic.co/guide/en/elasticsearch/client/index.html
利用 JavaRestClient 实现创建、删除索引库,判断索引库是否存在。

1、RestClient 操作索引库(Mapping)
1)分析数据结构
mapping 要考虑的问题:
字段名、数据类型、是否参与搜索、是否分词、如果分词,分词器是什么?
将数据导入数据,与此同时实现mysql同步到es

create table tb_hotel (id bigint(20) not null comment '酒店id',name varchar(255) NOT NULL comment '酒店名称;例:7天酒店',address varchar(255) NOT NULL comment ' 酒店地址;例:航头路 ',price int(10) NOT NULL COMMENT ' 酒店价格;例: 329',score int(2) NOT NULL COMMENT ' 酒店评分;例: 45 ,就是 4.5 分 ',brand varchar(32) NOT NULL COMMENT ' 酒店品牌;例:如家 ',city varchar(32) NOT NULL COMMENT ' 所在城市;例:上海 ',star_name varchar(16) DEFAULT NULL COMMENT ' 酒店星级,从低到高分别是:1 星到 5 星, 1 钻到 5 钻 ',business varchar(255) DEFAULT NULL COMMENT ' 商圈;例:虹桥 ',latitude varchar(32) NOT NULL COMMENT ' 纬度;例: 31.2497',longitude varchar(32) NOT NULL COMMENT ' 经度;例: 120.3925',pic varchar(255) DEFAULT NULL COMMENT ' 酒店图片;例 :/img/1.jpg',PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

酒店索引:

PUT /hotel
{"mappings": {"properties": {"id":{"type": "keyword"},"name":{"type": "text","analyzer": "ik_max_word"},"address":{"type": "keyword","index": false},"price":{"type": "integer"},"score":{"type": "integer"},"brand":{"type": "keyword"},"city":{"type": "keyword"},"star_name":{"type": "keyword"},"business":{"type": "keyword"},"location":{"type": "geo_point"},"pic":{"type": "keyword","index": false}}}
}

2)初始化 JavaRestClient
引入依赖

<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>

初始化RestHighLevelClient

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")));

3)创建索引库

private static final String MAPPING_TEMPLATE = "{\n" +"  \"mappings\": {\n" +"    \"properties\": {\n" +"      \"id\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"name\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_max_word\"\n" +"      },\n" +"      \"address\":{\n" +"        \"type\": \"keyword\",\n" +"        \"index\": false\n" +"      },\n" +"      \"price\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"score\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"brand\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"city\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"star_name\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"business\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"location\":{\n" +"        \"type\": \"geo_point\"\n" +"      },\n" +"      \"pic\":{\n" +"        \"type\": \"keyword\",\n" +"        \"index\": false\n" +"      }\n" +"    }\n" +"  }\n" +"}";@Testpublic void testCreateHotelIndex() throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));// 1.创建 Request 对象CreateIndexRequest request = new CreateIndexRequest("hotel");// 2.请求参数, MAPPING_TEMPLATE是静态常量字符串,内容是创建索引库的 DSL语句request.source(MAPPING_TEMPLATE, XContentType.JSON);// 3.发起请求CreateIndexResponse response = client.indices().create(request, RequestOptions.DEFAULT);System.out.println(response);}

4)删除索引库

@Testpublic void testDeleteHotelIndex() throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));// 1.创建 Request对象DeleteIndexRequest request = new DeleteIndexRequest("hotel");// 2.发起请求AcknowledgedResponse delete = client.indices().delete(request, RequestOptions.DEFAULT);System.out.println(delete);}

5)判断索引库是否存在

@Testpublic void testExistsHotelIndex() throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));// 1.创建 Request对象GetIndexRequest request = new GetIndexRequest("hotel");// 2.发起请求boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);// 3.输出System.out.println(exists);}

2、RestClient 操作文档
1)添加酒店数据到索引库

@Testpublic void testIndexDocument() throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));String source= "{\n" +"  \"name\": \"xuyuan\",\n" +"  \"email\": \"2517115657@qq.com\"\n" +"}";// 1.创建 request对象IndexRequest request = new IndexRequest("hotel").id("1");// 2.准备 JSON文档request.source(source, XContentType.JSON);// 3.发送请求IndexResponse response = client.index(request, RequestOptions.DEFAULT);System.out.println(response);client.close();}

2)根据 id 查询酒店数据

@Testpublic void testGetDocumentById() throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));// 1.创建 request对象GetRequest request = new GetRequest("hotel", "1");// 2.发送请求,得到结果GetResponse response = client.get(request, RequestOptions.DEFAULT);// 3.解析结果String json = response.getSourceAsString();System.out.println(json);client.close();
}

3)根据 id 修改酒店数据
修改文档数据有两种方式:
方式一:全量更新。再次写入 id 一样的文档,就会删除旧文档,添加新文档
方式二:局部更新。只更新部分字段,我们演示方式二

@Testpublic void testUpdateDocumentById() throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));// 1.创建 request对象UpdateRequest request = new UpdateRequest("hotel", "1");// 2.准备参数,每 2个参数为一对 key valuerequest.doc("email", "23212133@163.com");// 3.更新文档client.update(request, RequestOptions.DEFAULT);client.close();}

4)根据 id 删除文档数据

 @Testpublic void testDeleteDocumentById() throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));// 1.创建 request对象DeleteRequest request = new DeleteRequest("hotel", "1");// 2.删除文档client.delete(request, RequestOptions.DEFAULT);client.close();}

2、RestClient 进行DSL文档查询
(1)查询所有

@Testpublic void testMatchAll() throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));try {// 1.准备 RequestSearchRequest request = new SearchRequest("hotel");// 2.组织 DSL参数request.source().query(QueryBuilders.matchAllQuery());// 3.发送请求,得到响应结果SearchResponse response = client.search(request, RequestOptions.DEFAULT);//解析响应结果SearchHits searchHits = response.getHits();// 4.1.查询的总条数long total = searchHits.getTotalHits().value;// 4.2.查询的结果数组SearchHit[] hits = searchHits.getHits();for (SearchHit hit : hits) {// 4.3.得到 sourceString json = hit.getSourceAsString();System.out.println(json);}}finally {client.close();}}

(2)全文检索查询
全文检索的 match 和 multi_match 查询与 match_all 的 API 基本一致。差别是查询条件,也就是 query 的部分。
同样是利用 QueryBuilders 提供的方法:

//单字段查询
QueryBuilders.matchQuery("all", " 如家 ");
//多字段查询
QueryBuilders.multiMatchQuery(" 如家 ", "name", "business");

(3)精确查询
精确查询常见的有 term 查询和 range 查询,同样利用 QueryBuilders 实现:

//词条查询
QueryBuilders.termQuery("city", " 杭州 ");
//范围查询
QueryBuilders.rangeQuery("price").gte(100).lte(150);

(4)复合查询
精确查询常见的有 term 查询和 range 查询,同样利用 QueryBuilders 实现:

//创建布尔查询
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
//添加 must条件
boolQuery.must(QueryBuilders.termQuery("city", " 杭州 "));
//添加 filter条件
boolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));
5)排序和分页
//查询
request.source().query(QueryBuilders.matchAllQuery());
//分页
request.source().from(0).size(5);
//价格排序
request.source().sort("price", SortOrder.ASC);

(6)高亮

request.source().highlighter(new HighlightBuilder().field("name")
//是否需要与查询字段匹配
.requireFieldMatch(false));

3、Elasticsearch数据同步方案

(1)elasticsearch 与 mysql 之间的数据同步

  1. 方案一:基于中间队列的异步同步(异步通知)

在这里插入图片描述
消息队列Rabbitmq实现ES与MySQL数据同步方案 后续补上 请关注个人主页

  1. 方案二:监听binlog(Canal 阿里巴巴开源的一个项目,支持从MySQL的binlog获取变更并进行实时同步。
    在这里插入图片描述
    CanalRabbitmq实现ES与MySQL数据同步方案 后续补上 请关注个人主页
  2. 方案三:基于定时全量同步(Batch Full Sync)定时全量同步实现ES与MySQL数据同步方案 后续补上
  3. 方案四(简单版):通过Spring Boot的定时任务实现对过去一分钟更新的数据进行增量同步到ES。

4、集群

(1)ES 集群的分布式存储
当新增文档时,应该保存到不同分片,保证数据均衡,那么 coordinating node 如何确定数据该存储到哪个分片呢?
elasticsearch 会通过 hash 算法来计算文档应该存储到哪个分片:
说明:

shard = hash(_routing) % number_of_shards
_routing 默认是文档的 id
算法与分片数量有关,因此索引库一旦创建,分片数量不能修改!

在这里插入图片描述
(1)ES 集群的分布式查询
elasticsearch 的查询分成两个阶段:

scatter phase :分散阶段, coordinating node 会把请求分发到每一个分片。
gather phase :聚集阶段, coordinating node 汇总 data node 的搜索结果,并处理为最终结果集返回给用户。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/59503.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

文件操作:Xml转Excel

1 添加依赖 Spire.Xls.jar <dependency><groupId>e-iceblue</groupId><artifactId>spire.xls</artifactId><version>5.3.3</version></dependency>2 代码使用 package cctd.controller;import com.spire.xls.FileFormat; im…

物理验证Calibre LVS Debug案例之通过deleteEmptyModule解决LVS问题

上周帮助T12nm A55训练营学员debug一个Calibre LVS问题&#xff0c;小编觉得挺好的一个问题。这个问题之前没有遇到过&#xff0c;今天分享给大家。 数字IC后端先进工艺设计实现之TSMC 12nm 6Track工艺数字IC后端实现重点难点盘点 下图所示为Calibre LVS的报告。从报告中看到…

深度解析阿里的Sentinel

1、前言 这是《Spring Cloud 进阶》专栏的第五篇文章&#xff0c;这篇文章介绍一下阿里开源的流量防卫兵Sentinel&#xff0c;一款非常优秀的开源项目&#xff0c;经过近10年的双十一的考验&#xff0c;非常成熟的一款产品。 文章目录如下&#xff1a; 2、什么是sentinel&…

ReactPress系列—Next.js 的动态路由使用介绍

ReactPress Github项目地址&#xff1a;https://github.com/fecommunity/reactpress 欢迎提出宝贵的建议&#xff0c;感谢Star。 Next.js 的动态路由使用介绍 Next.js 是一个流行的 React 框架&#xff0c;支持服务端渲染、静态站点生成和动态路由等功能&#xff0c;极大地简化…

软件压力测试有多重要?北京软件测试公司有哪些?

软件压力测试是一种基本的质量保证行为&#xff0c;它是每个重要软件测试工作的一部分。压力测试是给软件不断加压&#xff0c;强制其在极限的情况下运行&#xff0c;观察它可以运行到何种程度&#xff0c;从而发现性能缺陷。 在数字化时代&#xff0c;用户对软件性能的要求越…

学习方法该升级了,‌AI时代的弯道超车:【心流学习法】行动与意识合一的巅峰进化

你是否曾感到内心如荒漠般干涸&#xff0c;面对浩瀚的知识海洋&#xff0c;热情逐渐消磨殆尽&#xff1f; 你是否渴望忘却时间的流逝&#xff0c;心无旁骛&#xff0c;与知识展开一场纯粹而深邃的对话&#xff1f; ​在AI时代&#xff0c;智能体处理数据、知识迭代的速率让人…

手边酒店多商户版V2源码独立部署_博纳软云

新版采用laraveluniapp开发&#xff0c;为更多平台小程序开发提供坚实可靠的底层架构基础。后台UI全部重写&#xff0c;兼容手机端管理。 全新架构、会员卡、钟点房、商城、点餐、商户独立管理

机器学习(二)——线性回归模型、多分类学习(附核心思想和Python实现源码)

目录 关于1. 基本形式2. 线性回归2.1 单变量线性回归2.2 多元线性回归2.2 对数线性回归 3. 对数几率回归4. 线性判别分析5. 多分类学习5.1 拆分策略 6. 类别不平衡问题X 案例代码X.1 源码X.2 数据集&#xff08;糖尿病数据集&#xff09;X.3 模型效果 关于 本文是基于西瓜书&a…

跳表原理笔记

课程地址 跳表是一种基于随机化的有序数据结构&#xff0c;它提出是为了赋予有序单链表以 O(logn) 的快速查找和插入的能力 创建 首先在头部创建一个 sentinel 节点&#xff0c;然后在 L1 层采用“抛硬币”的方式来决定 L0 层的指针是否增长到 L1 层 例如上图中&#xff0c;L…

wpf 制作丝滑Flyout浮出侧边栏Demo (Mahapps UI框架)

Flyout 属性 CloseButtonVisibility: 设置为 Collapsed&#xff0c;意味着关闭按钮不可见。TitleVisibility: 设置为 Collapsed&#xff0c;意味着标题不可见。IsPinned: 设置为 True&#xff0c;意味着这个 Flyout 会固定住&#xff0c;不会自动关闭。Opacity: 设置为 1&…

MySQL记录锁、间隙锁、临键锁(Next-Key Locks)详解

行级锁&#xff0c;每次操作锁住对应的行数据。锁定粒度最小&#xff0c;发生锁冲突的概率最低&#xff0c;并发度最高。 应用在InnoDB存储引擎中。InnoDB的数据是基于索引组织的&#xff0c;行锁是通过对索引上的索引项加锁来实现的&#xff0c;而不是对记录加的锁。 对于行…

GeoSever发布图层(保姆姬)

发布服务的具体步骤。 1. 安装 GeoServer 下载 GeoServer 安装包&#xff1a;GeoServer 官网按照安装说明进行安装&#xff0c;可以选择 Windows、Linux 或其他平台。 2. 启动 GeoServer 启动 GeoServer 通常通过访问 http://localhost:8080/geoserver 进行。默认用户名和密…

交易所开发:构建安全、高效、可靠的数字资产交易平台

随着数字资产的不断发展&#xff0c;数字货币交易所作为连接数字资产与现实世界的重要桥梁&#xff0c;逐渐成为全球金融市场的核心组成部分。无论是比特币、以太坊等主流加密货币&#xff0c;还是各种基于区块链的资产&#xff0c;都需要通过交易所进行交换和流通。因此&#…

了解分布式数据库系统中的CAP定理

在分布式数据库系统的设计和实现中&#xff0c;CAP定理是一个至关重要的概念。CAP定理&#xff0c;全称为一致性&#xff08;Consistency&#xff09;、可用性&#xff08;Availability&#xff09;和分区容忍性&#xff08;Partition tolerance&#xff09;定理&#xff0c;由…

HTB:Sense[WriteUP]

目录 连接至HTB服务器并启动靶机 1.What is the name of the webserver running on port 80 and 443 according to nmap? 使用nmap对靶机TCP端口进行开放扫描 2.What is the name of the application that presents a login screen on port 443? 使用浏览器访问靶机80端…

【LeetCode每日一题】——802.找到最终的安全状态

文章目录 一【题目类别】二【题目难度】三【题目编号】四【题目描述】五【题目示例】六【题目提示】七【解题思路】八【时空频度】九【代码实现】十【提交结果】 一【题目类别】 图 二【题目难度】 中等 三【题目编号】 802.找到最终的安全状态 四【题目描述】 有一个有…

stm32使用串口的轮询模式,实现数据的收发

------内容以b站博主keysking为原型&#xff0c;整理而来&#xff0c;用作个人学习记录。 首先在STM32CubeMX中配置 前期工作省略&#xff0c;只讲重点设置。 这里我配置的是USART2的模式。 会发现&#xff0c;PA2和PA3分别是TX与RX&#xff0c;在连接串口时需要TX对RX&…

C++上机实验|继承与派生编程练习

1.实验目的 (1) 掌握派生与继承的概念与使用方法 (2) 运用继承机制对现有的类进行重用。 (3) 掌握继承中的构造函数与析构函数的调用顺序, (4) 为派生类设计合适的构造函数初始化派生类。 (5) 深入理解继承与组合的区别。 2.实验内容 设计一个人员类 person 和一个日期类 da…

【STL_list 模拟】——打造属于自己的高效链表容器

一、list节点 ​ list是一个双向循环带头的链表&#xff0c;所以链表节点结构如下&#xff1a; template<class T>struct ListNode{T val;ListNode* next;ListNode* prve;ListNode(int x){val x;next prve this;}};二、list迭代器 2.1、list迭代器与vector迭代器区别…

如何高效集成每刻与金蝶云星空的报销单数据

每刻报销单集成到金蝶云星空的技术实现 在企业日常运营中&#xff0c;费用报销和付款申请是两个至关重要的环节。为了提升数据处理效率和准确性&#xff0c;我们采用了轻易云数据集成平台&#xff0c;将每刻系统中的报销单数据无缝对接到金蝶云星空的付款申请单中。本案例将详…