【Elasticsearch】es脚本编程使用详解

目录

一、es脚本语言介绍

1.1 什么是es脚本

1.2 es脚本支持的语言

1.3 es脚本语言特点

1.4 es脚本使用场景

二、环境准备

2.1 docker搭建es过程

2.1.1 拉取es镜像

2.1.2 启动容器

2.1.3 配置es参数

2.1.4 重启es容器并访问

2.2 docker搭建kibana过程

2.2.1 拉取kibana镜像

2.2.2 启动kibana容器

2.2.3 修改配置文件

2.2.4 重启容器并访问

三、Scripting 使用详解

3.1 数据准备

3.1.1 创建索引

3.1.2 添加测试数据

3.2 es脚本常用CRUD操作

3.2.1 修改id为1001数据的价格

3.2.2 修改id为1005数据的tag

3.2.3 删除id为1005数据

3.2.4 upsert操作

3.2.5 使用expression查询

3.3 参数化脚本使用

3.3.1 修改1005这条数据的字段值

3.3.2 对字段值进行计算

3.3.3 对字段值进行计算并输出多个结果

3.4 参数化脚本的存储

3.4.1 自定义一个参数脚本

3.4.2 查询脚本模板

3.4.3 使用自定义脚本模板

四、Scripting 函数式编程

4.1 函数式编程格式

4.2 函数式编程使用

4.2.1 同时操作多个字段

4.2.2 条件表达式

4.2.3 数据统计与聚合

五、写在文末

一、es脚本语言介绍

1.1 什么是es脚本

Elasticsearch的 Scripting 是es支持的一种专门用于复杂场景下实现可编程的强大脚本功能。通过Scripting 脚本编程，可以实现更复杂的查询、数据处理、数据定制统计聚合以及柔性调整索引结构等。

1.2 es脚本支持的语言

es支持多种脚本语言，比如Painless，这是 Elasticsearch 自家开发的一种安全、高效并且易于学习的语言，其语法与Java很类似，编程中，也有注释、关键字、类型、变量、函数等，相较于其他支持的脚本语言性能更高，并且安全可靠，可以用于内联和存储脚本。

除了 Painless，Elasticsearch 也支持其他几种脚本语言，如 Lucene 的表达式语言，但 Painless 是推荐和默认的选项。具体来说，常用的支持语言如下：

  • groovy，ES1.4X~5.0默认的脚本语言；

  • Painless，JavaEE使用java语言开发，.net使用C#语言开发，Flutter使用Dart语言开发，ES5.X之后的Scripting 使用的默认语法就是Painless，Painless是一种专门用于es的脚本语法，是ES5.0+的默认脚本语言，其语法与Java很类似；

  • expression：每个文档的开销较低，表达式的作用更多，可以非常快速地执行，甚至比编写native脚本还要快，支持javascript语法的子集。缺点：只能访问数字，布尔值，日期和geo_point字段，存储的字段不可用；

  • mustache：提供模板参数化查询。

1.3 es脚本语言特点

使用es脚本语言进行编程具有如下特点

  • 语法简单，学习成本较低；

  • 灵活度高，可编程能力强；

  • 性能相对于其他脚本语言高；

  • 安全性好；

  • 独立语言，虽然易学但是仍需单独学习；

  • 相较于DSL语言性能低；

  • 不适用于复杂的业务场景；

1.4 es脚本使用场景

在下面的一些场景下可以考虑使用es脚步。

计算字段

你可以使用脚本在查询时动态地改变或添加字段的值，这对于数据分析的场景下具有重要的作用。 

脚本查询

在查询中使用脚本进行复杂的条件判断。es脚本语言很灵活，其中painless类型下，其语法格式和java非常相似，支持各类条件查询。 

脚本聚合

使用脚本进行更复杂的聚合计算。 

二、环境准备

为了后面的操作和演示方便，使用docker 快速搭建起es的操作环境。

搭建的服务包括 es+kibana。使用的版本为7.6.2.

2.1 docker搭建es过程

2.1.1 拉取es镜像

docker pull elasticsearch:7.6.2

2.1.2 启动容器

使用下面的命令启动es的容器

docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms512m -Xmx512m" --name es7.6 -d elasticsearch:7.6.2

重点需要注意这个配置，ES_JAVA_OPTS="-Xms512m -Xmx512m"，这个配置参数的值最好根据你的服务器配置来决定，一般最好不要低于512m即可；

2.1.3 配置es参数

进入到es容器内部，然后找到下面的这个文件

然后将下面的配置参数配置进去

cluster.name: "docker-cluster"
http.cors.enabled: true
network.host: 0.0.0.0
http.port: 9200
http.cors.allow-origin: "*"

2.1.4 重启es容器并访问

配置完成后重启docker容器，重启成功后，开放9200的端口，然后浏览器可以访问IP:9200，看到如下信息，说明es的搭建完成

2.2 docker搭建kibana过程

2.2.1 拉取kibana镜像

为了减少后面的配置麻烦和一些问题，建议kibana版本与es版本一致

docker pull kibana:7.6.2

2.2.2 启动kibana容器

这里的IP，如果是云服务器，注意使用内网的IP地址

docker run --name kibana -e ELASTICSEARCH_HOSTS=http://es服务IP:9200 -p 5601:5601 -d kibana:7.6.2

2.2.3 修改配置文件

进入到kibana容器中，进入到下面的目录中

cd /usr/share/kibana/config
vi kibana.yml

将如下的配置信息配置进去（es的IP地址如果是云服务器建议使用内网IP）

server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://es服务IP:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: zh-CN

2.2.4 重启容器并访问

上述配置信息配置完成后，重启容器，开放5601端口，浏览器就可以直接访问，IP:5601，看到下面的效果说明kibana搭建完成

三、Scripting 使用详解

3.1 数据准备

3.1.1 创建索引

使用下面的语句创建一个book的索引

PUT books

3.1.2 添加测试数据

添加如下测试数据

PUT /books/_doc/1001
{"id":"1001","title":"Java technology fans","category":"Java","price":129,"from":"shanghai"
}PUT /books/_doc/1002
{"id":"10034","title":"Python data analysis","category":"Python","price":98,"from":"hangzhou","tags":["python","analysis"]
}PUT /books/_doc/1003
{"id":"1003","title":"Js vue","category":"web","price":68,"from":"wuhan","barcode":["js","web"]
}PUT /books/_doc/1004
{"id":"1004","title":"Mysql dba","category":"mysql","price":88,"from":"hangzhou","barcode":["mysql","analysis"]
}PUT /books/_doc/1005
{"id":"1005","title":"Python official ","category":"Python","price":108,"from":"hangzhou","barcode":["python","analysis"]
}

测试其中一条添加数据效果

全部添加之后，可以检查下是否添加成功

3.2 es脚本常用CRUD操作

操作语法

ctx._source.<field-name>

参数说明

  • ctx，表示当前操作对象的上下文环境；

  • _source，表示包裹数据对象的标识；

  • field-name，具体操作的某个字段

3.2.1 修改id为1001数据的价格

将id为1001的数据的价格加1元，操作语法如下

POST /books/_update/1001
{"script": {"source": "ctx._source.price+=1"}
}

操作完成后，再次查看这条数据，发现价格加1了

上面的语法也可以简写为下面这样

POST /books/_update/1001
{"script": "ctx._source.price+=1"
}

3.2.2 修改id为1005数据的tag

给id为1005的这条数据中的barcode字段的值再增加一个service的值

执行下面的语句

POST /books/_update/1005
{"script": {"lang": "painless", "source": "ctx._source.barcode.add('service')"}
}

执行完成后再次查询，可以看到barcode中就多了一个service的值

3.2.3 删除id为1005数据

执行下面的语句进行数据删除

POST /books/_update/1005
{"script": {"lang": "painless", "source": "ctx.op='delete'"}
}

执行完成后再次查询这条数据，已经查不到了

3.2.4 upsert操作

upsert为更新或新增，当操作的这条数据不存在的时候，执行新增；如果已存在，则执行修改操作，以上面的1005这条被删除的数据，当执行下面的语句时，由于1005不存在，所以会新增一条数据，而其他已存在的数据的price会加10；

POST /books/_update/1005
{"script": {"lang": "painless", "source": "ctx._source.price += 10"},"upsert": {"id":"1005","title":"Python official ","category":"Python","price":108,"from":"hangzhou","barcode":["python","analysis"]}
}

执行上面的语句之后，查询一下看到新增了一条100的数据

如果再执行一次，通过右侧执行结果，这一次就是修改操作了

3.2.5 使用expression查询

在上文讲到，es5之后默认的脚本语言是Painless，在某些场景下也可以使用expression来操作，注意的是，使用expression类型查询时，语法格式将有所变化，需要以script_fields开头，这个在kibana中会有提示，如下为查询数据的price字段的值

GET /books/_search
{"script_fields": {"get_price": {"script": {"lang": "expression","source": "doc['price'].value"}}}
}

也可以基于某个值进行计算操作，比如将price的值*10

3.3 参数化脚本使用

在很多编程语言中都支持外部参数的传入，在es的painless脚本编程中，也支持参数化使用，参数化脚本可以让脚本程序的灵活性和可扩展性更好。

3.3.1 修改1005这条数据的字段值

比如在上面的案例中，为id为1005的这条数据的barcode字段中添加一个service的值，如果使用参数化的方式来做，可以修改为下面这样

POST /books/_update/1005
{"script": {"lang": "painless", "source": "ctx._source.barcode.add(params.barcode_name)","params":{"barcode_name":"service"}}
}

执行上面的语句之后再次查询这条数据，barcode字段中就多了一个service的值

3.3.2 对字段值进行计算

使用下面的这段脚本对price进行计算

GET /books/_search
{"script_fields": {"get_price": {"script": {"lang": "painless","source": "doc['price'].value * params.num","params":{"num":10}}}}
}

得到如下结果

当然也可以使用expression来做，执行语句如下

GET /books/_search
{"script_fields": {"get_price": {"script": {"lang": "expression","source": "doc['price'].value * num","params":{"num":10}}}}
}

3.3.3 对字段值进行计算并输出多个结果

也可以自定义多个参数，根据需要输出多个参数的计算结果值，如下，为一个书本打折扣的场景，分别输出在9折，8折，7折下的价格

GET /books/_search
{"script_fields": {"get_price": {"script": {"lang": "painless","source": "[doc['price'].value * params.num_9,doc['price'].value * params.num_8,doc['price'].value * params.num_7]","params":{"num_9":0.9,"num_8":0.8,"num_7":0.7}}}}
}

执行结果如下

3.4 参数化脚本的存储

有些脚本可能在后续经常被使用到，就可以考虑将这些脚本存储到es的内存中，这就有点像mysql中的存储过程或函数一样。下面来看具体的操作流程。

3.4.1 自定义一个参数脚本

自定义如下参数化脚本

# 语法格式，_scripts/{script_id}
POST _scripts/caculate_price
{"script": {"lang": "painless", "source": "doc.price.value * params.discount"}
}

执行之后，将会在内存中存储一个参数化脚本的模板

3.4.2 查询脚本模板

使用下面的语句可以查询内存中存储的脚本模板

3.4.3 使用自定义脚本模板

在查询数据的时候，为了计算折扣后的值，就可以直接使用上面定义的脚本模板

GET /books/_search
{"script_fields": {"discount_price": {"script": {"id":"caculate_price","params":{"discount":0.9}}}}
}

得到如下的结果

四、Scripting 函数式编程

在上文通过实际案例演示了使用es的脚本编程的能力，细心的同学会发现，其实在上面的操作中，都是针对一些比较简单的场景进行使用，大多数基本上一行代码搞定，如果是更复杂的操作呢？比如既要更新字段的数据，同时也要对对数据进行计算等更复杂的操作呢，这时候就需要使用Scripting 的函数式编程了。官方文档地址： 官方文档

4.1 函数式编程格式

以上面的某个案例为例，如下是对1005数据的字段进行修改

POST /books/_update/1005
{"script": {"lang": "painless", "source": "ctx._source.barcode.add(params.barcode_name)","params":{"barcode_name":"service"}}
}

如果使用函数式编程的，在上面的脚本中，需要对 source这里做如下调整，即source后面的表达式使用3个引号包裹起来，如下所示

POST /books/_update/1005
{"script": {"lang": "painless", "source": """ctx._source.barcode.add(params.barcode_name)""","params":{"barcode_name":"caculate"}}
}

那么在做业务编码时，只需在3个引号中做即可，执行上面的脚本，效果类似

4.2 函数式编程使用

进入es官方文档：https://www.elastic.co/guide/en/elasticsearch/painless/7.10/painless-lang-spec.html ​​​​​​​，可以看到更多关于函数式编程的操作使用，可以结合这些示例进行使用，比如在官方文档中看到可以支持更多的语法，像if，try等

下面结合上述的books这个索引中的相关数据进行操作说明

4.2.1 同时操作多个字段

对当前索引中的id为1005的数据price值+10，同时给每条数据的barcode添加一个新的标签mark，参考如下的语句；

POST /books/_update/1005
{"script": {"lang": "painless", "source": """ctx._source.barcode.add(params.barcode_name);ctx._source.price += 10""","params":{"barcode_name":"mark"}}
}

检查是否执行成功

4.2.2 条件表达式

在script脚本中，也支持对条件表达式的使用，比如在某些情况下需要结合业务对字段进行判断，就可以使用if来处理，如下，是对1005这条数据的操作

POST /books/_update/1005
{"script": {"lang": "painless", "source": """if(ctx._source.price > 100){ctx._source.price = 100;}""","params":{"barcode_name":"mark"}}
}

执行成功后，确认数据是否修改成功

4.2.3 数据统计与聚合

统计数据中price大于100的数据，如下

GET /books/_search
{"aggs": {"big100_total_count": {"cardinality": {"script": {"source":"""if(doc['price'].value < 100) { return null ; } else { return  doc['_id'].value}""","lang": "painless"}}}}
}

执行结果如下，当前查到了2条数据

五、写在文末

es脚本编程在某些特殊的场景下可以发挥很大的用场，也算是es众多高级功能中一个重要的组成部分，合理使用es的脚步语言编程，可以给实际工作带来意想不到的效果，感兴趣的同学可以深入学习。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/118170.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LSKA（大可分离核注意力）：重新思考CNN大核注意力设计

LSKA（大可分离核注意力）：重新思考CNN大核注意力设计

文章目录 摘要1、简介2、相关工作3、方法4、实验5、消融研究6、与最先进方法的比较7、ViTs和CNNs的鲁棒性评估基准比较8、结论 摘要 https://arxiv.org/pdf/2309.01439.pdf 大型可分离核注意力&#xff08;LSKA&#xff09;模块的视觉注意力网络&#xff08;VAN&#xff09;已…
阅读更多...
Linux CentOS 8（firewalld的配置与管理）

Linux CentOS 8（firewalld的配置与管理）

Linux CentOS 8&#xff08;firewalld的配置与管理&#xff09; 目录 一、firewalld 简介二、firewalld 工作概念1、预定义区域&#xff08;管理员可以自定义修改&#xff09;2、预定义服务 三、firewalld 配置方法1、通过firewall-cmd配置2、通过firewall图形界面配置 四、配置…
阅读更多...
利用Jpom在线构建Spring Boot项目

利用Jpom在线构建Spring Boot项目

1 简介 前面介绍了运用Jpom构建部署Vue项目&#xff0c;最近研究了怎么部署Spring Boot项目&#xff0c;至此&#xff0c;一套简单的前后端项目就搞定了。 2 基本步骤 因为就是一个简单的自研测试项目&#xff0c;所以构建没有使用docker容器&#xff0c;直接用java -jar命令…
阅读更多...
Java程序设计进阶

Java程序设计进阶

Java异常处理机制 异常 异常的最高父类是 Throwable&#xff0c;在 java.lang 包下。 Throwable 类的方法主要有&#xff1a; 方法说明public String getMessage()返回对象的错误信息public void printStackTrace()输出对象的跟踪信息到标准错误输出流public void printSta…
阅读更多...
【项目设计】网络对战五子棋（下）

【项目设计】网络对战五子棋（下）

我不再装模作样地拥有很多朋友&#xff0c;而是回到了孤单之中&#xff0c;以真正的我开始了独自的生活。有时我也会因为寂寞而难以忍受空虚的折磨&#xff0c;但我宁愿以这样的方式来维护自己的自尊&#xff0c;也不愿以耻辱为代价去换取那种表面的朋友。 文章目录 一、项目设…
阅读更多...
Postman笔记

Postman笔记

文章目录 1.安装2.简介和使用流程3 postman使用3.1 测试集与HTTP请求发送HTTP请求和分析响应数据 3.2 发送HTTP请求和分析响应数据3.3 Postman中请求体提交方式3.4 Postman使用之接口测试3.5 使用Postman新建一个mock服务3.6 请求数据的参数化3.7 断言与脚本导出 1.安装 官网地…
阅读更多...
DP读书：《openEuler操作系统》（五）进程与线程

DP读书：《openEuler操作系统》（五）进程与线程

进程与线程 进程的概念程序&#xff1a;从源码到执行1. 编译阶段:2. 加载阶段:3. 执行阶段: 程序的并发执行与进程抽象 进程的描述进程控制块1. 描述信息2. 控制信息3. CPU上下文4. 资源管理信息 进程状态1.就绪状态2.运行状态3.阻塞状态4.终止状态 进程的控制进程控制源语1.创…
阅读更多...
CrossOver23.6软件激活码怎么获取 CrossOver软件2023怎么激活

CrossOver23.6软件激活码怎么获取 CrossOver软件2023怎么激活

CrossOver一款类虚拟机&#xff0c;它的主要功能是在mac系统中安装windows应用程序。其工作原理是将exe格式的windows应用程序安装包安装至CrossOver容器中&#xff0c;并将运行该exe文件所需的配置文件下载至容器中&#xff0c;便能在mac正常运行windows应用程序了。下面就让我…
阅读更多...
如何构建一个外卖微信小程序

如何构建一个外卖微信小程序

随着外卖行业的不断发展&#xff0c;越来越多的商家开始关注外卖微信小程序的开发。微信小程序具有使用方便、快速上线、用户覆盖广等优势&#xff0c;成为了商家们的首选。 那么&#xff0c;如何快速开发一个外卖微信小程序呢&#xff1f;下面就让我们来看看吧&#xff01; 首…
阅读更多...
【C++入门：C++世界的奇幻之旅】

【C++入门：C++世界的奇幻之旅】

1. 什么是C 2. C发展史 3. C的重要性 4. C关键字 5. 命名空间 6. C输入&输出 7. 缺省参数 8. 函数重载 9. 引用 10. 内联函数 11. auto关键字(C11) 12. 基于范围的for循环(C11) 13. 指针空值---nullptr(C11)05. 1. 什么是C C语言是结构化和模块化的语言&…
阅读更多...
什么是web3.0？

什么是web3.0？

Web 3.0&#xff0c;也常被称为下一代互联网&#xff0c;代表着互联网的下一个重大演变。尽管关于Web 3.0的确切定义尚无共识&#xff0c;但它通常被认为是一种更分散、更开放且更智能的互联网。 以下是Web 3.0的一些主要特征和概念&#xff1a; 1. 去中心化 Web 3.0旨在减少…
阅读更多...
人工智能：CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理

人工智能：CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理

卷积神经网络&#xff08;CNN&#xff09; 卷积神经网络&#xff08;CNN&#xff09;&#xff0c;也被称为ConvNets或Convolutional Neural Networks&#xff0c;是一种深度学习神经网络架构&#xff0c;主要用于处理和分析具有网格状结构的数据&#xff0c;特别是图像和视频数…
阅读更多...
CSS中 通过自定义属性（变量）动态修改元素样式（以 el-input 为例）

CSS中 通过自定义属性（变量）动态修改元素样式（以 el-input 为例）

传送门&#xff1a;CSS中 自定义属性&#xff08;变量&#xff09;详解 1. 需求及解决方案 需求&#xff1a;通常我们动态修改 div 元素的样式&#xff0c;使用 :style 和 :class 即可&#xff1b;但想要动态修改 如&#xff1a;Element-ui 中输入框&#xff08;input&#x…
阅读更多...
Windows与Linux服务器互传文件

Windows与Linux服务器互传文件

使用winscp实现图形化拖动的方式互传文件. 1.下载winscp软件并安装&#xff0c;官方地址&#xff1a; https://winscp.net/eng/index.php 2.打开软件&#xff1a; 文件协议选择scp&#xff0c;输入linux服务器的IP和端口号&#xff0c;然后输入你的用户名和密码就可以登陆了。…
阅读更多...
postman打开后，以前的接口记录不在，问题解决

postman打开后，以前的接口记录不在，问题解决

要不这些文件保存在C:\Users\{用户名}\AppData\Roaming\Postman 比如&#xff0c;你目前使用的window登录用户是abc&#xff0c;那么地址便是C:\Users\abc\AppData\Roaming\Postman 打开后&#xff0c;这个目录下会有一些命名为backup-yyyy-MM-ddThh-mm-ss.SSSZ.json类似的文…
阅读更多...
渗透攻击漏洞——原型链污染

渗透攻击漏洞——原型链污染

背景 2019年初&#xff0c;Snyk的安全研究人员披露了流行的JavaScript库Lodash中一个严重漏洞的详细信息&#xff0c;该漏洞使黑客能够攻击多个Web应用程序&#xff0c;这个安全漏洞就是一个“原型污染漏洞”&#xff08;JavaScript Prototype Pollution&#xff09;&#xff…
阅读更多...
【分布式】大模型分布式训练入门与实践 - 04

【分布式】大模型分布式训练入门与实践 - 04

大模型分布式训练 数据并行-Distributed Data Parallel1.1 背景1.2 PyTorch DDP1&#xff09; DDP训练流程2&#xff09;DistributedSampler3&#xff09;DataLoader: Parallelizing data loading4&#xff09;Data-parallel&#xff08;DP&#xff09;5&#xff09;DDP原理解析…
阅读更多...
图论06-【无权无向】-图的遍历并查集Union Find-力扣695为例

图论06-【无权无向】-图的遍历并查集Union Find-力扣695为例

文章目录 1. 代码仓库2. 思路2.1 UF变量设计2.2 UF合并两个集合2.3 查找当前顶点的父节点 find(element) 3. 完整代码 1. 代码仓库 https://github.com/Chufeng-Jiang/Graph-Theory 2. 思路 2.1 UF变量设计 parent数组保存着每个节点所指向的父节点的索引&#xff0c;初始值为…
阅读更多...
Java IDEA controller导出CSV，excel

Java IDEA controller导出CSV，excel

Java IDEA controller导出CSV&#xff0c;excel 导出excel/csv&#xff0c;亲测可共用一个方法&#xff0c;代码逻辑里判断设置不同的表头及contentType&#xff1b;导出excel导出csv 优化&#xff1a;有数据时才可以导出参考 导出excel/csv&#xff0c;亲测可共用一个方法&…
阅读更多...
js延时加载有哪些方式

js延时加载有哪些方式

阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023