ElasticSearch - DSL查询文档语法，以及深度分页问题、解决方案

目录

一、DSL 查询文档语法

前言

1.1、DSL Query 基本语法

1.2、全文检索查询

1.2.1、match 查询

1.2.2、multi_match

1.3、精确查询

1.3.1、term 查询

1.3.2、range 查询

1.4、地理查询

1.4.1、geo_bounding_box

1.4.2、geo_distance

1.5、复合查询

1.5.1、相关性算分

1.5.2、function_score

1.5.3、boolean query

1.6、搜索结果处理

1.6.1、排序

1.6.2、分页

深度分页问题

深度分页问题的解决方案

1.6.3、高亮

1.6.4、搜索语法汇总语法

一、DSL 查询文档语法

前言

本文中的案例，继续延续上一章节的酒店数据.

1.1、DSL Query 基本语法

基本查询语法如下：

GET /索引库名/_search
{"query": {"查询类型": {"查询条件": "条件值"}}
}

例如查询酒店所有数据（一般生产环境下不会这么做，因为数据量有可能非常大，所以查询非常耗时，因此一般用于测试用）

GET /hotel/_search
{"query": {"match_all": {//由于这里是查询所有数据，因此没有查询条件}}
}

1.2、全文检索查询

全文检索查询，会通过 分词器 对用户输入内容进行分词处理，然后去倒排索引库中匹配.  经常用于搜索框的搜索，例如百度搜索框.

1.2.1、match 查询

全文检索查询中的一种，会对用户输入内容进行分词，然后去倒排索引库中检索，语法如下：

GET /索引库名/_search
{"query": {"match": {"字段名": "TEXT文本内容"}}
}

例如查询 “如家酒店” 相关的数据.

GET /hotel/_search
{"query": {"match": {"all": "北京如家酒店"}}
}

Ps：all 这里通过 copy_to 拷贝了多个字段，例如 name、city....（具体上章有介绍） 

1.2.2、multi_match

与 match 查询类似，只不过允许同时查询多个字段. 

Ps：多个字段查询也意味着查询性能低下，建议可以使用 copy_to 将其他字段的索引拷贝到一个字段，可以提升查询效率.

语法如下：

GET /indexName/_search
{"query": {"multi_match": {"query": "TEXT","fields": ["字段名1", " 字段名2"]}}
}

例如根据 name、和 city 字段查询酒店数据.

GET /hotel/_search
{"query": {"multi_match": {"query": "上海如家酒店","fields": ["name", "city"]}}
}

1.3、精确查询

精确查询一般是查找 keyword、数值、日期、boolean 等类型字段，因此 不会 对搜索条件进行分词.

例如你在淘宝里买东西的时候，要通过一些信息进行筛选，比如 销量、信誉、价格升序... 这些词一般都是固定一个按钮，点击就会帮你做筛选.

1.3.1、term 查询

term 查询主要是根据 词条 精确值进行查询，一般搜索 keyword 类型、数值类型、布尔类型、日期类型字段.

语法如下：

// term查询
GET /索引名/_search
{"query": {"term": {"字段名": {"value": "字段值"}}}
}或者简化为GET /索引名/_search
{"query": {"term": {"字段名": "字段值"}}
}

例如我要搜索在上海的所有酒店（这里 city 就是 keyword）.

GET /hotel/_search
{"query": {"term": {"city": {"value": "上海"}}}
}或者GET /hotel/_search
{"query": {"term": {"city": "上海"}}
}

1.3.2、range 查询

根据数值的范围查询，可以是数值、日期的范围.

语法如下：

// range查询
GET /indexName/_search
{"query": {"range": {"字段名": {"gte": 10,  //大于等于 10"lte": 20   //小于等于 20}}}
}或者GET /indexName/_search
{"query": {"range": {"字段名": {"gt": 10,  //大于 10"lt": 20   //小于 20}}}
}

例如我要查询价格大于等于 161， 小于等于 300 的酒店.

1.4、地理查询

根据经纬度查询，例如 

  • 滴滴：搜索附近的出租出.
  • 携程：搜索附近的酒店.
  • 微信：搜索附近的人.

1.4.1、geo_bounding_box

geo_bounding_box 用来查询 geo_point 值在某个矩形范围的所有文档.

// geo_bounding_box查询
GET /索引库名/_search
{"query": {"geo_bounding_box": {"字段名": {"top_left": {"lat": 31.1, //纬度"lon": 121.5 //经度},"bottom_right": {"lat": 30.9,"lon": 121.7}}}}
}

Ps：这个不是很常用

1.4.2、geo_distance

查询到指定中心点小于某个距离值的所有文档.

语法如下：

// geo_distance 查询
GET /索引库名/_search
{"query": {"geo_distance": {"distance": "15km",//半径长度"FIELD": "31.21,121.5" //纬度，经度}}
}

例如查询纬度 31.21，经度 121.5 ，半径 10km 画圆内的酒店.

1.5、复合查询

复合查询，可以将其他简单的查询组合起来，实现更复杂的搜索逻辑.

例如 function score（算分函数查询），可以控制文档相关性算分，控制文档排名，比如你在百度搜索 “不孕不育”，指定的肯定是广告~  为什么？人家给的钱到位~

1.5.1、相关性算分

当我们使用 match 查询的时候，查询的结果会根据与搜索词条的关联度打分（_score），返回结果时按照分值降序排列.

在 elasticsearch 5.0 之前，使用 TF-IDF 算法，会随着词频增加而越来越大.

在 elasticsearch 5.0 之后，使用 BM25 算法，分值会随着词频增加而增大，但增长曲线会趋于水平.

1.5.2、function_score

使用 function_score ，可以修改文档的相关性算分，根据新得的算分排序.

由于这里语法比较复杂，先给出个示例，如下

GET /hotel/_search
{"query": {"function_score": {"query": {"match": {"city": "上海"}},"functions": [{"filter": {"term": {"id": "1"}},"weight": 10}],"boost_mode": "multiply"}}
}
  • "query": {"match": {"city": "上海"}}：原始查询条件，搜索文档并根据相关性打分.
  • "filter": {"term": {"id": "1"}}：过滤条件，符合条件的文档才会背重新算分.
  • "weight": 10：算分函数，将来会与 query score 进行运算，得到新算分，常见的算分函数有
    • weight：给一个常量值，作为函数的结果.
    • field_value_factor：用文档中的某个字段值作为函数结果.
    • random_score：随机生成一个值，作为函数的结果.
    • script_score：自定义计算公式，公式结果作为函数结果.
  • "boost_mode": "multiply"：加权模式，定义 function score 和 query score 运算方式，包括
    • multiply（默认）：两者相乘.
    • replace：sum、avg、max、min.

例如给 “如家” 这个品牌的酒店排名靠前一些.

那么这里只需要明确以下几个点即可：

  • 品牌："如家"
  • 算分函数：weight 就可以.
  • 加权：求和.
GET /hotel/_search 
{"query": {"function_score": {"query": {"match_all": {}},"functions": [ //算分函数{"filter": {"term": { //需要满足的条件: 品牌必须是如家"brand": "如家"}},"weight": 3 //算分权重为 3}],"boost_mode": "sum" //加和算分}}
}

1.5.3、boolean query

布尔查询是一个或多个查询子句的组合. 子查询的组合方式有：

  • must：必须匹配的查询条件，类似 “与”.
  • should：选择性匹配的查询条件，类似 “或”.
  • must_not：必须不匹配，不参与算分，类似 “非”.
  • filter：必须匹配，不参与算分.

例如，查询城市在上海，品牌可以是 "皇冠假日" 或者是 “华美达”，价格必须不小于等于 500，并且评分大于等于 45 的.

GET /hotel/_search
{"query": {"bool": {"must": [{"term": {"city": "上海"}}],"should": [{"term": {"brand": "皇冠假日"}},{"term": {"brand": "华美达"}}],"must_not": [{"range": {"price": {"lte": 500}}}],"filter": [{"range": {"score": {"gte": 45}}}]}}
}

1.6、搜索结果处理

1.6.1、排序

es 支持对搜索结果进行排序处理，默认是根据相关度算分（_score）来排序.  可以排序的字段类型有（不分词）：keyword 类型、数值类型、地理坐标类型、日期类型.

语法如下：

GET /索引库名/_search
{"query": {"match_all": {} //搜索内容},"sort": [{"字段名": "desc"  // 排序字段和排序方式ASC、DESC}]
}

如果要根据经纬度排序，语法如下：

GET /索引库名/_search
{"query": {"match_all": {}},"sort": [{"_geo_distance" : {"字段名" : "纬度，经度","order" : "asc","unit" : "km"}}]
}

例如对酒店用户评价降序排序，评价相同的按照价格升序排序.

GET /hotel/_search
{"query": {"match_all": {}},"sort": [{"score": {"order": "desc"},"price": {"order": "asc"}}]
}

1.6.2、分页

elasticsearch 默认情况下只会返回 top 10 的数据.  如果要查询更多数据，就需要修改分页参数了.

在 es 中通过 from（偏移量，分页开始的位置，默认为 0） 和 size（期望获取的文档总数） 参数控制返回的分页结果，这里和 mysql 中的 limit 本质是一样的.

例如获取 20 ~ 29 这 10 条数据.

GET /hotel/_search
{"query": {"match_all": {}},"from": 20, // 分页开始的位置，默认为0"size": 10, // 期望获取的文档总数"sort": [{"price": "asc"}]
}

 

深度分页问题

ES 是支持分布式的，所以会存在深度分页的问题.

例如按照 price 排序后，获取 from = 990, size = 10 的数据.

1. 首先在每个数据分片上都排序并查询前 1000 条文档.

2. 将所有节点的数据聚合，在内从中重新排序选出前 1000 条文档.

3. 最后从这 1000 条文档中，选取 990 开始往后的 10 条数据.

打个比方，就类似于你在学校，有 10 个年级（10 个分片），你需要从这 10 个年级中找出排名前 100 的学生，那么由于考试的排名是以班级为单位的，因此，你就需要从每个班里都找出 排名前100 的学生，那么 10 个年级就意味着需要拿出 1000 个学生，然后再让他们进行一次考试，才能拿到排名前 10 的学生.

那么如果搜索页数过深，或者结果集过大，对 内存 和 CPU 的消耗也越高，因此 es 设定结果集查询的上显示 10000.

深度分页问题的解决方案

有两种办法，可以使得查询数据没有上限：

1. search after（官方推荐）：分页的时候需要排序.  也就是说先对数据排序，接着当本次分页完成后，就从这次分页完成的下一个排序值开始，查询下一页数据. 

但是这种方法的缺点就是 只能向后逐页查询，不支持随机翻页.

适合没有随机翻页需求的搜索，例如手机向下翻页.

2. scroll（es 7.1 后，官方已经不推荐使用了）：原理就是将排序数据形成快照，保存再内存. 

缺点很明显，就是消耗额外内存.

1.6.3、高亮

高亮就是指再搜索结果中把搜索关键字突出显示.  例如你在百度中搜索 "不孕不育"，就会把搜索结果中所有出现 Java 关键字的内容标红.

原理如下：

  1. 给搜索结果中的关键字添加 HTML 标签处理.
  2. 在页面中给标签添加 css 样式.

语法如下：

GET /索引库/_search
{"query": {"match": {"字段名": "要搜索的文本" //注意！默认情况下，搜索的字段必须要于高亮的字段一致，否则不会高亮}},"highlight": {"fields": { // 指定要高亮的字段"字段名": {"pre_tags": "<em>",  // 用来标记高亮字段的前置标签"post_tags": "</em>" // 用来标记高亮字段的后置标签}}}
}

例如，我要搜索品牌是如家，并且让 "如家" 字段高亮. 

Ps：默认情况下，es 中搜索的字段必须要于高亮的字段一致，否则不会高亮

但是如果你就是想让搜索的字段和高亮字段不一致，那可以添加 "require_field_match": "false" 的属性，如下：

1.6.4、搜索语法汇总语法

语法如下：

GET /hotel/_search
{"query": {"match": {"brand": "如家"}},"from": 20, // 分页开始的位置"size": 10, // 期望获取的文档总数"sort": [ {  "price": "asc" }, // 升序排序{"_geo_distance" : { // 距离排序"location" : "31.04,121.61", "order" : "asc","unit" : "km"}}],"highlight": {"fields": { // 高亮字段"name": {"require_field_match": "false", //高亮字段不受查询字段限制"pre_tags": "<em>",  // 用来标记高亮字段的前置标签"post_tags": "</em>" // 用来标记高亮字段的后置标签}}}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/87887.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ubuntu18.04安装docker

ubuntu18.04安装docker

ubuntu18.04安装docker 文章目录 ubuntu18.04安装docker一.安装1.更新软件库索引2.安装一些必要的软件包3.添加Docker的官方GPG密钥4.添加Docker软件库5.再次更新软件库索引6.安装Docker CE7.启动Docker并设置开机启动8.验证Docker安装9.(若要让非root用户可以运行Docker命令)可…
阅读更多...
Pipenv：一个Python的包管理工具,用于创建一个python的虚拟环境

Pipenv：一个Python的包管理工具,用于创建一个python的虚拟环境

Pipenv是一个Python的包管理工具&#xff0c;它提供了一种简单的方式来管理Python项目的依赖关系。 以下是使用Pipenv的一些基本步骤&#xff1a; 安装Pipenv&#xff1a;可以通过运行以下命令来安装pipenv&#xff1a; pip install pipenv初始化项目&#xff1a;在项目的根…
阅读更多...
【QT】QT事件Event大全

【QT】QT事件Event大全

很高兴在雪易的CSDN遇见你 &#xff0c;给你糖糖 欢迎大家加入雪易社区-CSDN社区云 前言 本文分享QT中的事件Event技术&#xff0c;主要从QT事件流程和常用QT事件方法等方面展开&#xff0c;希望对各位小伙伴有所帮助&#xff01; 感谢各位小伙伴的点赞关注&#xff0c;小易…
阅读更多...
C# string stringbuilder区别

C# string stringbuilder区别

在C#中&#xff0c;有三个主要的字符串类型&#xff0c;分别是string、StringBuffer和StringBuilder。这些类型之间有一些重要的区别&#xff1a; string&#xff1a; string 是C#中的字符串类型&#xff0c;是不可变的。这意味着一旦创建了一个字符串对象&#xff0c;就不能修…
阅读更多...
如何搭建数据驱动自动化测试框架？

如何搭建数据驱动自动化测试框架？

前言 说到数据驱动自动化测试&#xff0c;你会不会有这样的疑问&#xff1a;数据怎么管理&#xff1f;数据怎么才能驱动测试用例执行&#xff1f;到底怎么样才算数据驱动&#xff1f;那么本篇文章就教你如何进行数据驱动测试&#xff0c;相信你一定能对数据驱动自动化测试有一…
阅读更多...
Android AMS——ActivityThread解析（四）

Android AMS——ActivityThread解析（四）

一、ActivityThread简介 ActivityThread 是Android 系统中的一个关键类，它是应用程序的入口点，并且负责启动和管理应用程序的主线程以及处理与UI相关的操作。下面是关于 ActivityThread 的一些简介： 应用程序的启动：当用户启动一个应用程序时，Android系统会创建一个新的进…
阅读更多...
FlashDuty Changelog 2023-09-21 | 自定义字段和开发者中心

FlashDuty Changelog 2023-09-21 | 自定义字段和开发者中心

FlashDuty&#xff1a;一站式告警响应平台&#xff0c;前往此地址免费体验&#xff01; 自定义字段 FlashDuty 已支持接入大部分常见的告警系统&#xff0c;我们将推送内容中的大部分信息放到了 Lables 进行展示。尽管如此&#xff0c;我们用户还是会有一些扩展或定制性的需求…
阅读更多...
设计模式：享元模式（C++实现）

设计模式：享元模式（C++实现）

享元模式&#xff08;Flyweight Pattern&#xff09;是一种结构设计模式&#xff0c;它通过共享对象来有效地支持大量细粒度的对象。享元模式的目标是尽量减少内存使用&#xff0c;通过共享相同的数据来减少对象的数量。 以下是一个简单的C享元模式的示例&#xff1a; #includ…
阅读更多...
网络安全--防火墙旁挂部署方式和高可靠性技术

网络安全--防火墙旁挂部署方式和高可靠性技术

目录 一、防火墙 二、防火墙旁挂部署方式 使用策略路由实现 第一步、IP地址配置 第二步、配置路由 第三步、在防火墙上做策略 第四步、在R2上使用策略路由引流 三、防火墙高可靠性技术--HRP 拓扑图 第一步、配置SW1、SW2、FW1、FW2 第二步、进入防火墙Web页面进行配…
阅读更多...
基于Python的微博舆论分析，微博情感分析可视化系统（V2.0）

基于Python的微博舆论分析，微博情感分析可视化系统（V2.0）

简介 Python基于微博的舆情分析&#xff0c;情感分析可视化系统 微博舆情分析系统&#xff0c;项目后端分爬虫模块、数据分析模块、数据存储模块、业务逻辑模块组成。 功能包括 登陆注册用户管理热门事件展示舆情分析&#xff0c;包括舆情分析&#xff0c;情感分类&#xff0…
阅读更多...
程序运行过程中消耗的是堆内存还是栈内存还是其他？

程序运行过程中消耗的是堆内存还是栈内存还是其他？

程序在运行过程中会使用多种类型的内存&#xff0c;其中最常见的是堆内存和栈内存。下面是对它们的简要描述&#xff0c;以及它们在程序中的用途&#xff1a; 栈内存 (Stack Memory)&#xff1a; 当函数调用发生时&#xff0c;栈用于存储局部变量、函数参数和返回地址。栈是后进…
阅读更多...
2023最新PS(photoshop)Win+Mac免费下载安装包及教程内置AI绘画-网盘下载

2023最新PS(photoshop)Win+Mac免费下载安装包及教程内置AI绘画-网盘下载

2023最新PS(photoshop)WinMac免费下载安装包及教程内置AI绘画-网盘下载 2023最新PS(photoshop)免费下载安装教程来咯&#xff5e; 「PhotoShop」全套&#xff0c;winmac&#xff1a; https://pan.quark.cn/s/9d8d8ef5c400#/list/share 所有版本都有 1&#xff0c;复制链接…
阅读更多...
400G QSFP-DD FR4 与 400G QSFP-DD FR8光模块：哪个更适合您的网络需求？

400G QSFP-DD FR4 与 400G QSFP-DD FR8光模块：哪个更适合您的网络需求？

QSFP-DD 光模块随着光通信市场规模的不断增长已成为400G市场中客户需求量最高的产品。其中400G QSFP-DD FR4和400G QSFP-DD FR8光模块都是针对波分中距离传输&#xff08;2km&#xff09;的解决方案&#xff0c;它们之间有什么不同&#xff1f;应该如何选择应用&#xff1f;飞速…
阅读更多...
安卓生成公钥和md5签名

安卓生成公钥和md5签名

安卓公钥和md5证书签名 大家好&#xff0c;最近需要备案app&#xff0c;用到了公钥和md5&#xff0c;MD5签名我倒是知道&#xff0c;然而对于公钥却一下子不知道了&#xff0c; 现在我讲一下我的流程。 首先是md5证书签名的查看&#xff0c; 生成了apk和签名.jks后&…
阅读更多...
Oracle 12c Docker镜像配置SSL

Oracle 12c Docker镜像配置SSL

一、Docker运行Oracle 12c服务 a.拉取镜像 docker pull truevoly/oracle-12cb.运行 docker run -d -p 1521:1521 -p 2484:2484 -v /data/oracle/:/opt/oracle --name oracle_12c truevoly/oracle-12cc.查看日志 docker logs -f oracle_12cd.出现如下信息&#xff0c;则启动…
阅读更多...
makefile中常见函数应用例子

makefile中常见函数应用例子

makefile中常见函数应用例子 1&#xff09;subst函数&#xff1a; subst函数用于字符串替换。以下是一个示例&#xff1a; $(subst ee,EE,feet on the street)2&#xff09;patsubst函数&#xff1a; patsubst函数用于模式字符串替换。以下是一个示例&#xff1a; $(patsubst…
阅读更多...
华为多路径软件UltraPath

华为多路径软件UltraPath

检查多路径是否安装。 # rpm -qa|grep UltraPath 查看UltraPath软件版本 # upadmin show version 查看物理路径状态。 #upadmin show path 查看虚拟磁盘信息。 #upadmin show vlun 查看逻辑路径状态。 #upadmin show vlun 查看多路径配置。 #upadmin show upconfig 卸载Ul…
阅读更多...
解释器模式简介

解释器模式简介

概念&#xff1a; 解释器模式&#xff08;Interpreter Pattern&#xff09;是一种行为型设计模式&#xff0c;它用于定义语言的文法&#xff0c;并解析和执行给定语言中的表达式。该模式将每个表达式表示为一个类&#xff0c;并提供了一种方式来组合这些表达式以实现复杂的语句…
阅读更多...
竞赛选题 基于生成对抗网络的照片上色动态算法设计与实现 - 深度学习 opencv python

竞赛选题 基于生成对抗网络的照片上色动态算法设计与实现 - 深度学习 opencv python

文章目录 1 前言1 课题背景2 GAN(生成对抗网络)2.1 简介2.2 基本原理 3 DeOldify 框架4 First Order Motion Model5 最后 1 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; 基于生成对抗网络的照片上色动态算法设计与实现 该项目较为新颖&am…
阅读更多...
Spring常考知识点（IOC、事务、容器等）

Spring常考知识点（IOC、事务、容器等）

作者&#xff1a;逍遥Sean 简介&#xff1a;一个主修Java的Web网站\游戏服务器后端开发者 主页&#xff1a;https://blog.csdn.net/Ureliable 觉得博主文章不错的话&#xff0c;可以三连支持一下~ 如有需要我的支持&#xff0c;请私信或评论留言&#xff01; Spring需要理解的问…
阅读更多...
最新文章

Copyright @ 2022~2023