Elasticsearch 8.1官网文档梳理 - 十一、Ingest pipelines(管道)

Ingest pipelines

管道(Ingest pipelines)可让让数据在写入前进行常见的转换。例如可以利用管道删除文档(doc)的字段、或从文本中提取数据、丰富文档(doc)的字段等其他操作。

管道(Ingest pipelines)由一系列处理器(processors)组成,每个处理器都是一个可配置的任务。在管道(Ingest pipelines)中每个处理器(processors)按顺序运行,对接收到的文档(doc)进行特定更改。处理器(processors)运行后,Elasticsearch 会将转换后的文档(doc)添加到数据流(data stream)或索引(index)中。
在这里插入图片描述

一、Example: Parse logs

举例通过一个 pipline 来清理一份日志数据

二、Enrich your data

可以使用 enrich 处理器在管道中将现有索引中的数据添加到传入文档中。
在这里插入图片描述

2.1 Set up an enrich processor

这里描述了如何创建一个 enrich processor,里面提供了从创建到修改的 API 链接地址。

2.2 Example: Enrich your data based on geolocation

例子

2.3 Example: Enrich your data based on exact values

例子

2.4 Example: Enrich your data by matching a value to a range

例子

三、Processor reference

这里罗列了一些可以用的 处理器

3.1 Append
3.2 Bytes
3.3 Circle
3.4 Community ID
3.5 Convert
3.6 CSV
3.7 Date
3.8 Date index name
3.9 Dissect
3.10 Dot expander
3.11 Drop
3.12 Enrich

引入另外索引的数据到管道内的文档中

3.13 Fail
3.14 Fingerprint
3.15 Foreach

对数组或对象的每个元素运行管道的处理器。

3.16 GeoIP
3.17 Grok
3.18 Gsub
3.19 HTML strip
3.20 Inference
3.21 Join
3.22 JSON
3.23 KV
3.24 Lowercase
3.25 Network direction
3.26 Pipeline
3.27 Registered domain
3.28 Remove

删除现有字段。

3.29 Rename

重命名现有字段。如果字段不存在或新名称已被使用,则会出现异常。

3.30 Script

脚本

3.31 Set

设置一个字段并指定字段的值。如果字段已经存在,则替换字段的值。

3.32 Set security user

将当前已经验证的 用户 的详细信息写入到文档。

3.33 Sort
3.34 Split

分割

3.35 Trim

去除字符串首尾的空白字符

3.36 Uppercase

字符串大写

3.37 URL decode
3.38 URI parts
3.39 User agent

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/28384.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vite支持的React项目使用SASS指南

前言 在现代前端开发中,SASS是一种广受欢迎的CSS扩展语言,它提供了许多实用功能,如变量、嵌套、部分和混合等。 本教程将指导您在一个使用Vite作为构建工具的React项目中如何配置和使用SASS。 使用步骤 1、创建一个Vite React项目 首先确…

VirtualBox、Centos7下安装docker后pull镜像问题、ftp上传文件问题

Docker安装篇(CentOS7安装)_docker 安装 centos7-CSDN博客 首先,安装docker可以根据这篇文章进行安装,安装完之后,我们就需要去通过docker拉取相关的服务镜像,然后安装相应的服务容器,比如我们通过docker来安装mysql,…

vue 使用 ztree 超大量数据,前端树形结构展示

ztree 是一个很经典的基于jquey开发的树结构编辑展示UI组件库。 创建一个文件 ztree.vue&#xff0c;代码如下&#xff1a; <template><div><div class"ztree vue-giant-tree" :id"ztreeId"></div><div class"treeBox&q…

Android 14 蓝牙主从模式切换

切换蓝牙的A2DP&#xff08;高级音频分布配置文件&#xff09;和AVRCP&#xff08;音频/视频远程控制配置文件&#xff09;的源&#xff08;source&#xff09;和汇点&#xff08;sink&#xff09;模式。 这里&#xff0c;SystemProperties.get尝试获取bluetooth.profile.a2dp.…

在WSL2的Ubuntu中安装和使用Docker/Podman

在WSL2的Ubuntu中安装和使用Docker/Podman 0. 目的 当网络环境良好&#xff08;例如在公司&#xff0c;能直接访问Google等&#xff09;时&#xff0c; Docker/Podman 安装和使用不是问题。 当网络环境不佳&#xff08;例如在家里&#xff09;&#xff0c;要把 WSL2 的 Ubun…

Termius安装docker

安装Termius 直接上官网 新建主机 更新一下yum 更新完成 安装docker的包 直接用命令安装 设置一下开机启动&#xff0c;可以查看docker的版本

Ui学习--UITableView

UI学习 UITableView基础UITableView协议UITableView高级协议与单元格总结 UITableView基础 UITableView作为iOS中的一个控件&#xff0c;用于以表格形式展示数据。例如通讯录好友&#xff0c;朋友圈信息等&#xff0c;都是UITableView的实际运用场景。 首先我们先要加入两个协…

Mysql的增、删、查、改

MySQL 是一个流行的关系型数据库管理系统&#xff0c;它支持 SQL&#xff08;结构化查询语言&#xff09;用于管理数据库中的数据。以下是使用 SQL 在 MySQL 中进行增&#xff08;INSERT&#xff09;、删&#xff08;DELETE&#xff09;、查&#xff08;SELECT&#xff09;、改…

K210使用雷龙NAND完成火灾检测

NAND 文章目录 NAND前言一、NAND是什么&#xff1f;二、来看一看NAND三、部署火灾检测 前言 前几天收到了雷龙NAND的芯片&#xff0c;一共两个芯片和一个转接板&#xff0c;我之前也没有使用过这款芯片&#xff0c;比较好奇&#xff0c;体验了一下&#xff0c;个人认为&#x…

嵌入式微处理器重点学习(三)

堆栈操作 R1=0x005 R3=0x004 SP=0x80014 STMFD sp!, {r1, r3} 指令STMFD sp!, {r1, r3}是一条ARM架构中的存储多个寄存器到内存的指令,这里用于将r1和r3寄存器的内容存储到栈上。STMFD(Store Multiple Full Descending)是一种全递减模式的多寄存器存储指令,它会先将栈指针…

外包公司泛滥,这些常识你应该提前知道?

今年大环境确实很不好 很多985,211的应届生都在网上大吐苦水&#xff0c;很多大龄离职大厂的技术人也好&#xff0c;业务人也好&#xff0c;都纷纷转向短视频平台做起了自媒体。而找工作的人普遍发现&#xff0c;某最火的招聘平台几乎都被外包公司刷屏了。大大小小的外包公司如…

车载以太网-TC8测试

文章目录 TC8测试的用例数量TC8测试基本流程TC8测试内容TC8测试的用例数量 TC8测试的用例数量可能会因版本和具体测试内容而有所不同。一般来说,TC8测试用例总数在800条左右。 以OPEN Alliance Automotive Ethernet ECU Test Specification的3.0版本为例,该版本的测试用例总…

three.js 基础01

1.场景创建 Scene() 2.常用形状集几何体「Geometry」[可设置长宽高等内容,如:new THREE.BoxGeometry(...)] 长方体 BoxGeometry圆柱体CylinderGeometry 球体SphereGeometry圆锥体ConeGeometry矩形平面 PlaneGeometry 圆面体CircleGeometry 3.常用材质「Materi…

linux 部署瑞数6实战(维普,药监局)sign第二部分

声明 本文章中所有内容仅供学习交流使用&#xff0c;不用于其他任何目的&#xff0c;抓包内容、敏感网址、数据接口等均已做脱敏处理&#xff0c;严禁用于商业用途和非法用途&#xff0c;否则由此产生的一切后果均与作者无关&#xff01;wx …

C/C++李峋同款跳动的爱心代码

一、写在前面 在编程的世界里&#xff0c;代码不仅仅是冷冰冰的命令&#xff0c;它也可以成为表达情感、传递浪漫的工具。今天&#xff0c;就让小编带着大家用C语言打造出李峋同款跳动的爱心吧&#xff01; 首先&#xff0c;我们需要知道C作为一种高级编程语言&#xff0c;拥…

软件版本库管理工具

0 Preface/Foreword 常用代码版本管理工具包括如下几种&#xff1a; Git&#xff0c;最基本管理工具&#xff0c;由Linux kernel开发者开发Repo&#xff0c;主要用于管理Android SDK&#xff0c;由Google开发Gerrit&#xff0c;代码审查软件 1 Git 最基本的代码版本库管理工…

Linux软连接和硬连接

文章目录 软链接创建软链接查看软连接删除软链接 硬链接创建硬链接 区别小结 软链接 软连接是linux中一个常用命令&#xff0c;它的功能是为某一个文件在另外一个位置建立一个同步的链接。换句话说&#xff0c;也可以理解成Windows中的快捷方式。 创建软链接 ln -s [dir1] […

宠物健康顾问系统的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;顾问管理&#xff0c;用户管理&#xff0c;健康知识管理&#xff0c;管理员管理&#xff0c;论坛管理&#xff0c;公告管理 顾问账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;顾…

头歌资源库(7)汉诺塔(循环)

一、 问题描述 二、算法思想 初始化三个柱子A、B、C&#xff0c;初始时所有的盘子都在柱子A上。对于从1到N&#xff08;N表示盘子的数量&#xff09;的每一个数字i&#xff0c;执行以下循环&#xff1a; a. 如果i是偶数&#xff0c;则将柱子B视为目标柱子&#xff0c;柱子C视为…

如何在 Python 3 中处理纯文本文件

简介 Python 是一个处理数据的强大工具。编程中最常见的任务之一就是读取、写入或操作数据。因此&#xff0c;了解如何处理存储不同类型数据的不同文件格式尤为重要。 例如&#xff0c;考虑一个检查用户访问控制列表的 Python 程序。你的用户列表可能存储在一个文本文件中&am…