ES系列十二、ES的scroll Api及分页实例

1.官方api

1.Scroll概念

Version：6.1

英文原文地址：Scroll

当一个搜索请求返回单页结果时，可以使用 scroll API 检索体积大量（甚至全部）结果，这和在传统数据库中使用游标的方式非常相似。

不要把 scroll 用于实时请求，它主要用于大数据量的场景。例如：将一个索引的内容索引到另一个不同配置的新索引中。

2.Client support for scrolling and reindexing（滚动搜索和索引之间的文档重索引）

一些官方支持的客户端提供了一些辅助类，可以协助滚动搜索和索引之间的文档重索引：

Perl

​ 参阅 Search::Elasticsearch::Client::5_0::Bulk 和 Search::Elasticsearch::Client::5_0::Scroll

Python

​ 参阅 elasticsearch.helpers.*

NOTE：从 scroll 请求返回的结果反映了初始搜素请求生成时的索引状态，就像时间快照一样。对文档的更改（索引、更新或者删除）只会影响以后的搜索请求。

回到顶部

3.基本用法

为了使用 scroll ，初始的搜索请求应该在查询字符串中指定 scroll 参数，这个参数会告诉 Elasticsearch 将 “search context” 保存多久。例如：?scroll=1m

复制代码

POST /twitter/_search?scroll=1m
{"size": 100,"query": {"match" : {"title" : "elasticsearch"}}
}

复制代码

上面的请求返回的结果里会包含一个 _scroll_id ，我们需要把这个值传递给 scroll API ，用来取回下一批结果。

　　

POST  /_search/scroll 
{"scroll" : "1m", "scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ==" 
}

(1) GET 或者 POST 都可以

(2) URL 不能包含 index 和 type 名称，原始请求中已经指定了

(3) scroll 参数告诉 Elasticsearch 把搜索上下文再保持一分钟

(4) scroll_id 的值就是上一个请求中返回的 _scroll_id 的值

size 参数允许我们配置每批结果返回的最大命中数。每次调用 scroll API 都会返回下一批结果，直到不再有可以返回的结果，即命中数组为空。

IMPORTANT：初始的搜索请求和每个 scroll 请求都会返回一个新的 _scroll_id ，只有最近的 _scroll_id 是可用的

NOTE：如果请求指定了过滤，就只有初始搜索的响应中包含聚合结果。

NOTE：Scroll 请求对 _doc 排序做了优化。如果要遍历所有的文档，而且不考虑顺序，_doc 是最高效的选项。

复制代码

GET /_search?scroll=1m
{"sort": ["_doc"]
}

复制代码

1.Keeping the search context alive

scroll 参数告诉了 Elasticsearch 应当保持搜索上下文多久。它的值不需要长到能够处理完所有的数据，只要足够处理前一批结果就行了。每个 scroll 请求都会设置一个新的过期时间。

通常，为了优化索引，后台合并进程会把较小的段合并在一起创建出新的更大的段，此时会删除较小的段。这个过程在 scrolling 期间会继续进行，但是一个打开状态的索引上下文可以防止旧段在仍需要使用时被删除。这就解释了 Elasticsearch 为什么能够不考虑对文档的后续修改，而返回初始搜索请求的结果。

TIP：使旧段保持活动状态意味着需要更多的文件句柄。请确保你已将节点配置为拥有足够的可用的文件句柄。详情参阅 File Descriptors

你可以使用 nodes stats API 查看有多少搜索上下文处于开启状态

GET /_nodes/stats/indices/search
GET /_nodes/stats/indices/search

2.Clear scroll API

当超出了 scroll timeout 时，搜索上下文会被自动删除。但是，保持 scrolls 打开是有成本的，当不再使用 scroll 时应当使用 clear-scroll API 进行显式清除。

DELETE /_search/scroll
{"scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ=="
}

可以使用数组传递多个 scroll ID

复制代码

DELETE /_search/scroll
{"scroll_id" : ["DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ==","DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAABFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAAAxZrUllkUVlCa1NqNmRMaUhiQlZkMWFBAAAAAAAAAAIWa1JZZFFZQmtTajZkTGlIYkJWZDFhQQAAAAAAAAAFFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAABBZrUllkUVlCa1NqNmRMaUhiQlZkMWFB"]
}

复制代码

使用 _all 参数清除所有的搜索上下文

DELETE /_search/scroll/_all
DELETE /_search/scroll/_all

也可以使用 query string 参数传递 scroll_id ，多个值使用英文逗号分割

DELETE /_search/scroll/DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ==,DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAABFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAAAxZrUllkUVlCa1NqNmRMaUhiQlZkMWFBAAAAAAAAAAIWa1JZZFFZQmtTajZkTGlIYkJWZDFhQQAAAAAAAAAFFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAABBZrUllkUVlCa1NqNmRMaUhiQlZkMWFB
DELETE /_search/scroll/DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ==,DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAABFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAAAxZrUllkUVlCa1NqNmRMaUhiQlZkMWFBAAAAAAAAAAIWa1JZZFFZQmtTajZkTGlIYkJWZDFhQQAAAAAAAAAFFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAABBZrUllkUVlCa1NqNmRMaUhiQlZkMWFB

3.Sliced Scroll

如果 scroll 查询返回的文档数量过多，可以把它们拆分成多个切片以便独立使用

复制代码

GET /twitter/_search?scroll=1m
{"slice": {"id": 0, "max": 2 },"query": {"match" : {"title" : "elasticsearch"}}
}
GET /twitter/_search?scroll=1m
{"slice": {"id": 1,"max": 2},"query": {"match" : {"title" : "elasticsearch"}}
}

复制代码

(1) 切片的 id

(2) 最大切片数量

上面的栗子，第一个请求返回的是第一个切片（id : 0）的文档，第二个请求返回的是第二个切片的文档。因为我们设置了最大切片数量是 2 ，所以两个请求的结果等价于一次不切片的 scroll 查询结果。默认情况下，先在第一个分片（shard）上做切分，然后使用以下公式：slice(doc) = floorMod(hashCode(doc._uid), max) 在每个 shard 上执行切分。例如，如果 shard 的数量是 2 ，并且用户请求 4 slices ，那么 id 为 0 和 2 的 slice 会被分配给第一个 shard ，id 为 1 和 3 的 slice 会被分配给第二个 shard 。

每个 scroll 是独立的，可以像任何 scroll 请求一样进行并行处理。

NOTE：如果 slices 的数量比 shards 的数量大，第一次调用时，slice filter 的速度会非常慢。它的复杂度时 O(n) ，内存开销等于每个 slice N 位，其中 N 时 shard 中的文档总数。经过几次调用后，筛选器会被缓存，后续的调用会更快。但是仍需要限制并行执行的 sliced 查询的数量，以免内存激增。

为了完全避免此成本，可以使用另一个字段的 doc_values 来进行切片，但用户必须确保该字段具有以下属性：

  • 该字段是数字类型
  • 该字段启用了 doc_values
  • 每个文档应当包含单个值。如果一份文档有指定字段的多个值，则使用第一个值
  • 每个文档的值在创建文档时设置了之后不再更新，这可以确保每个切片获得确定的结果
  • 字段的基数应当很高，这可以确保每个切片获得的文档数量大致相同

复制代码

GET /twitter/_search?scroll=1m
{"slice": {"field": "date","id": 0,"max": 10},"query": {"match" : {"title" : "elasticsearch"}}
}

复制代码

NOTE：默认情况下，每个 scroll 允许的最大切片数量时 1024。你可以更新索引设置中的 index.max_slices_per_scroll 来绕过此限制。

回到顶部

3.实现分页案例

1.实现分页，每页20条数据，第一次请求返回第一页数据

POST /book1/_search?scroll=10m{"size":20
}

复制代码

{"_scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAL6FlI4dDZSMjBYUXJpdEpCXzVRVlFzdmcAAAAAAAAC_hZSOHQ2UjIwWFFyaXRKQl81UVZRc3ZnAAAAAAAAAvsWUjh0NlIyMFhRcml0SkJfNVFWUXN2ZwAAAAAAAAL8FlI4dDZSMjBYUXJpdEpCXzVRVlFzdmcAAAAAAAAC_RZSOHQ2UjIwWFFyaXRKQl81UVZRc3Zn","took": 1,"timed_out": false,"_shards": {"total": 5,"successful": 5,"skipped": 0,"failed": 0},"hits": {"total": 41,"max_score": 1,"hits": [{"_index": "book1","_type": "english","_id": "_update","_score": 1,"_source": {"scripted_upsert": true,"script": {"id": "my_web_session_summariser","params": {"pageViewEvent": {"url": "foo.com/bar","response": 404,"time": "2014-01-01 12:32"}}},"upsert": {}}},{"_index": "book1","_type": "english","_id": "79","_score": 1,"_source": {"name": "new_name"}}
。。。。
}

复制代码

2.使用scroll_id请求后面的几页的数据，每次返回一页

POST /_search/scroll
{"scroll":"10m","scroll_id" : "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAL6FlI4dDZSMjBYUXJpdEpCXzVRVlFzdmcAAAAAAAAC_hZSOHQ2UjIwWFFyaXRKQl81UVZRc3ZnAAAAAAAAAvsWUjh0NlIyMFhRcml0SkJfNVFWUXN2ZwAAAAAAAAL8FlI4dDZSMjBYUXJpdEpCXzVRVlFzdmcAAAAAAAAC_RZSOHQ2UjIwWFFyaXRKQl81UVZRc3Zn" 
}

最后一页只有一条：

复制代码

{"_scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAL6FlI4dDZSMjBYUXJpdEpCXzVRVlFzdmcAAAAAAAAC_hZSOHQ2UjIwWFFyaXRKQl81UVZRc3ZnAAAAAAAAAvsWUjh0NlIyMFhRcml0SkJfNVFWUXN2ZwAAAAAAAAL8FlI4dDZSMjBYUXJpdEpCXzVRVlFzdmcAAAAAAAAC_RZSOHQ2UjIwWFFyaXRKQl81UVZRc3Zn","took": 1,"timed_out": false,"_shards": {"total": 5,"successful": 5,"skipped": 0,"failed": 0},"hits": {"total": 41,"max_score": 1,"hits": [{"_index": "book1","_type": "english","_id": "oAmI_mQBbhSmAk-TGrMQ","_score": 1,"_source": {"name": "否sdfdsfds","age": 13,"class": "dsfdsf","addr": "中国"}}]}
}

复制代码

继续执行返回空：

复制代码

{"_scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAL6FlI4dDZSMjBYUXJpdEpCXzVRVlFzdmcAAAAAAAAC_hZSOHQ2UjIwWFFyaXRKQl81UVZRc3ZnAAAAAAAAAvsWUjh0NlIyMFhRcml0SkJfNVFWUXN2ZwAAAAAAAAL8FlI4dDZSMjBYUXJpdEpCXzVRVlFzdmcAAAAAAAAC_RZSOHQ2UjIwWFFyaXRKQl81UVZRc3Zn","took": 1,"timed_out": false,"_shards": {"total": 5,"successful": 5,"skipped": 0,"failed": 0},"hits": {"total": 41,"max_score": 1,"hits": []}
}

复制代码

3.异常：earchContextMissingException

SearchContextMissingException[No search context found for id [721283]];
原因：scroll设置的时间过短了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/98507.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

无法向会话状态服务器发出会话状态请求。请确保 ASP.NET State Service (ASP.NET 状态服务)已启动，并且客户端端口与服务器端口相同

无法向会话状态服务器发出会话状态请求。请确保 ASP.NET State Service (ASP.NET 状态服务)已启动，并且客户端端口与服务器端口相同

“/”应用程序中的服务器错误。 无法向会话状态服务器发出会话状态请求。请确保 ASP.NET State Service (ASP.NET 状态服务)已启动，并且客户端端口与服务器端口相同。如果服务器位于远程计算机上，请检查 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Se…
阅读更多...
【算法设计与分析】— —实现活动安排问题的贪心算法。

【算法设计与分析】— —实现活动安排问题的贪心算法。

🎃欢迎大家前去观看我的算法设计与分析专栏： 算法设计与分析_IT闫的博客-CSDN博客 希望对大家有所帮助！ 🎃个人专栏： 🐬 算法设计与分析：算法设计与分析_IT闫的博客-CSDN博客 🐳Java…
阅读更多...
RFID系统简介：优点、应用与发展前景

RFID系统简介：优点、应用与发展前景

一、介绍RFID系统 RFID系统全称是Radio Frequency Identification，是一种通过电磁场自动识别标记（Tag或RFID标签）并读取相关数据的技术。与条形码技术相比，RFID系统最大的特点就是可以自动识别、无须接触扫描，并且可以…
阅读更多...
简单对比一下 C 与 Go 两种语言

简单对比一下 C 与 Go 两种语言

使用一个简单的计数程序将古老的 C 语言与现代 Go 进行比较。 Go 是一种现代编程语言，追溯其历史大部分源自编程语言 C。所以，任何熟悉 C 语言的开发者都可能会觉得 Go 很熟悉。C 程序员使用 Go 编写新程序变得容易，同时避免了 C 编程语言的…
阅读更多...
QML 带框最大化显示方法

QML 带框最大化显示方法

1.QML窗口最大化很多会给出如下方法: visibility: "FullScreen" 此方法不好的方面是没有最大化，最小化，关闭按钮 2.通过showMaximized() 方法可以满足我们需求:在onCompleted 方法中执行 实现的效果如下:
阅读更多...
QT基础入门——界面布局和常用控件（四）

QT基础入门——界面布局和常用控件（四）

前言： 所谓 GUI 界面，归根结底，就是一堆组件的叠加。我们创建一个窗口，把按钮放上面，把图标放上面，这样就成了一个界面。在放置时，组件的位置尤其重要。我们必须要指定组件放在哪里&#xff0c…
阅读更多...
改变世界-生成式人工智能

改变世界-生成式人工智能

麦肯锡在其《生成人工智能的经济潜力：下一个生产力前沿》中声称，“ChatGPT、GitHub Copilot、Stable Diffusion 等生成式人工智能应用程序以 AlphaGo 没有的方式吸引了世界各地人们的想象力，这要归功于它们广泛的实用性——几乎任何人都可以使…
阅读更多...
动态代理初步了解

动态代理初步了解

准备案例 需求 模拟某企业用户管理业务，需包含用户登录，用户删除，用户查询功能，并要统计每个功能的耗时。 分析与实现 定义一个UserService表示用户业务接口，规定必须完成用户登录，用户删除&#xff0c…
阅读更多...
2019年[海淀区赛 第2题] 阶乘

2019年[海淀区赛 第2题] 阶乘

题目描述 n的阶乘定义为n!n*(n -1)* (n - 2)* ...* 1。n的双阶乘定义为n!!n*(n -2)* (n -4)* ...* 2或n!!n(n - 2)*(n - 4)* ...* 1取决于n的奇偶性，但是阶乘的增长速度太快了，所以我们现在只想知道n!和n!!末尾的的个数 输入格式 一个正整数n &#xff…
阅读更多...
华为OD七日集训第7期 - 按算法分类，由易到难，循序渐进，玩转OD

华为OD七日集训第7期 - 按算法分类，由易到难，循序渐进，玩转OD

目录 一、适合人群二、本期训练时间三、如何参加四、7日集训第7期五、精心挑选21道高频100分经典题目，作为入门。第1天、逻辑分析第2天、字符串处理第3天、数据结构第4天、递归回溯第5天、二分查找第6天、深度优先搜索dfs算法第7天、动态规划 六、集训总结 大家好&a…
阅读更多...
基于Stable Diffusion的图像合成数据集

基于Stable Diffusion的图像合成数据集

当前从文本输入生成合成图像的模型不仅能够生成非常逼真的照片，而且还能够处理大量不同的对象。 在论文“评估使用稳定扩散生成的合成图像数据集”中，我们使用“稳定扩散”模型来研究哪些对象和类型表现得如此逼真，以便后续图像分类正确地分配…
阅读更多...
【C++】Stack Queue -- 详解

【C++】Stack Queue -- 详解

一、stack的介绍和使用 1、stack的介绍 https://cplusplus.com/reference/stack/stack/?kwstack 1. stack 是一种容器适配器，专门用在具有后进先出操作的上下文环境中，其删除只能从容器的一端进行元素的插入与提取操作。 2. stack 是作为容器适配器被…
阅读更多...
Docker Mysql实战：docker compose 搭建Mysql

Docker Mysql实战：docker compose 搭建Mysql

1、docker-compose-mysql文件准备 进入/home/docker目录，新建docker-compose-mysql.yml文件，内容如下： version: 3.0 services:mysql:image: "mysql:5.7"container_name: "mysql"environment:MYSQL_ROOT_PASSWORD: &q…
阅读更多...
Java中树形菜单的实现方式（超全详解！）

Java中树形菜单的实现方式（超全详解！）

前言 这篇文中，我一共会用两种方式来实现目录树的数据结构，两种写法逻辑是一样的，只是一种适合新手理解，一种看着简单明了但是对于小白不是很好理解。在这里我会很详细的讲解每一步代码，主要是方便新人看懂&#xff0…
阅读更多...
从0开始python学习-31.selenium 文本输入框、下拉选择框、文件上传、时间插件选择元素定位

从0开始python学习-31.selenium 文本输入框、下拉选择框、文件上传、时间插件选择元素定位

目录 1. 纯文本输入框 2. 存在默认值的文本输入 3. 下拉选择框 4. 输入后下拉选择框 5. 文件上传 6. 时间插件 1. 纯文本输入框 driver.find_element(By.XPATH,/html/body/div[2]/td[2]/input).send_keys(测试名称) 2. 存在默认值的文本输入 注意： 1. 这种存…
阅读更多...
AQS内部的体系架构

AQS内部的体系架构

AQS本质上是一个双向队列，加一个状态位state。内部靠Node节点形成队列。 AQS由state和CLH变体的虚拟双端队列组成。 AQS的内部类Node类 属性说明： 内部结构：
阅读更多...
上门按摩小程序｜同城上门按摩软件开发｜上门按摩系统；

上门按摩小程序｜同城上门按摩软件开发｜上门按摩系统；

上门按摩小程序的开发具有许多优势，下面就给大家介绍下按摩小程序功能: 上门按摩小程序的优势 方便快捷：上门按摩小程序提供在线预约服务，用户可以通过手机随时随地预约按摩师上门服务，避免了传统预约方式的繁琐和不确定性。 个性…
阅读更多...
TCP/IP网络协议通信函数接口

TCP/IP网络协议通信函数接口

创建套接字函数 socket 【头文件】 #include <sys/types.h> #include <sys/socket.h> 【函数原型】 int socket(int domain, int type, int protocol); 【函数功能】 socket 函数创建一个通信端点&#xff0c;并返回一个引用该端点的文件描述符&#xff0c;…
阅读更多...
IDEA2021创建Web项目配置Tomcat

IDEA2021创建Web项目配置Tomcat

1.新建一个普通的项目。 2.右键新建的项目&#xff0c;选择添加框架支持 3.勾选web application 4.在WEB-INF里创建lib和classes文件夹 5.file-project structure-modules-paths&#xff0c;选择use module compile output path&#xff0c;将output path和test output path的路…
阅读更多...
基于FPGA的I2C读写EEPROM

基于FPGA的I2C读写EEPROM

文章目录 前言一、I2C协议1.1 I2C协议简介1.2 物理层1.3 协议层 二、EEPROM2.1 型号及硬件规格2.2 各种读写时序 三、状态机设计四、项目源码&#xff1a;五、实现效果参考资料 前言 本次项目所用开发板FPGA芯片型号为&#xff1a;EP4CE6F17C8 EEPROM芯片型号为&#xff1a;24L…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023