Ingest pipelines
管道(Ingest pipelines)可让让数据在写入前进行常见的转换。例如可以利用管道删除文档(doc)的字段、或从文本中提取数据、丰富文档(doc)的字段等其他操作。
管道(Ingest pipelines)由一系列处理器(processors)组成,每个处理器都是一个可配置的任务。在管道(Ingest pipelines)中每个处理器(processors)按顺序运行,对接收到的文档(doc)进行特定更改。处理器(processors)运行后,Elasticsearch 会将转换后的文档(doc)添加到数据流(data stream)或索引(index)中。
一、Example: Parse logs
举例通过一个 pipline 来清理一份日志数据
二、Enrich your data
可以使用 enrich
处理器在管道中将现有索引中的数据添加到传入文档中。
2.1 Set up an enrich processor
这里描述了如何创建一个 enrich processor,里面提供了从创建到修改的 API 链接地址。
2.2 Example: Enrich your data based on geolocation
例子
2.3 Example: Enrich your data based on exact values
例子
2.4 Example: Enrich your data by matching a value to a range
例子
三、Processor reference
这里罗列了一些可以用的 处理器
3.1 Append
3.2 Bytes
3.3 Circle
3.4 Community ID
3.5 Convert
3.6 CSV
3.7 Date
3.8 Date index name
3.9 Dissect
3.10 Dot expander
3.11 Drop
3.12 Enrich
引入另外索引的数据到管道内的文档中
3.13 Fail
3.14 Fingerprint
3.15 Foreach
对数组或对象的每个元素运行管道的处理器。
3.16 GeoIP
3.17 Grok
3.18 Gsub
3.19 HTML strip
3.20 Inference
3.21 Join
3.22 JSON
3.23 KV
3.24 Lowercase
3.25 Network direction
3.26 Pipeline
3.27 Registered domain
3.28 Remove
删除现有字段。
3.29 Rename
重命名现有字段。如果字段不存在或新名称已被使用,则会出现异常。
3.30 Script
脚本
3.31 Set
设置一个字段并指定字段的值。如果字段已经存在,则替换字段的值。
3.32 Set security user
将当前已经验证的 用户 的详细信息写入到文档。
3.33 Sort
3.34 Split
分割
3.35 Trim
去除字符串首尾的空白字符
3.36 Uppercase
字符串大写