logstash插件简单介绍

logstash插件

输入插件(input)

Input：输入插件。

Input plugins | Logstash Reference [8.11] | Elastic

  • 所有输入插件都支持的配置选项

SettingInput typeRequiredDefaultDescription
add_fieldhashNo{}添加一个字段到一个事件
codeccodecNoplain用于输入数据的编解码器
enable_metricbooleanNotrue
idstringNo添加一个ID插件配置，如果没有指定ID，则Logstash将生成一个ID。强烈建议配置此ID，当两个或多个相同类型的插件时，这个非常有用的。例如，有两个文件输入，添加命名标识有助于监视
tagsarrayNo添加任意数量的标签，有助于后期处理
typestringNo为输入处理的所有事件添加一个字段，自已随便定义，比如linux系统日志，定义为syslog

stdin

  • 标准输入

# cat /etc/logstash/config.d/stdtest.conf
input {stdin {
​}
}
filter {
​
}
output {stdout {}
}
​

file

  • 从文件中读取内容

File input plugin | Logstash Reference [8.11] | Elastic

SettingInput typeRequiredDefaultDescription
close_oldernumberNo3600单位秒，打开文件多长时间关闭
delimiterstringNo\n每行分隔符
discover_intervalnumberNo15单位秒，多长时间检查一次path选项是否有新文件
excludearrayNo排除监听的文件，跟path一样，支持通配符
max_open_filesnumberNo打开文件最大数量
patharrayYES输入文件的路径，可以使用通配符 例如/var/log/*/.log，则会递归搜索
sincedb_pathstringNosincedb数据库文件的路径，用于记录被监控的日志文件当前位置
sincedb_write_intervalnumberNo15单位秒，被监控日志文件当前位置写入数据库的频率
start_positionstring, one of ["beginning", "end"]Noend指定从什么位置开始读取文件：开头或结尾。默认从结尾开始，如果要想导入旧数据，将其设置为begin。如果sincedb记录了此文件位置，那么此选项不起作用
stat_intervalnumberNo1单位秒，统计文件的频率，判断是否被修改。增加此值会减少系统调用次数。

# cat /etc/logstash/conf.d/filetest.conf
input {file {path => "/var/log/messages"}
}
filter {
}
output {stdout {}
}

TCP

  • 通过TCP套接字读取事件,即接收数据。与标准输入和文件输入一样，每个事件都被定位一行文本。

# cat /etc/logstash/conf.d/tcptest.conf
input {tcp {port => 12345}
}
filter {
​
}
output {stdout{}
}

在其他主机上安装nc工具，对logstash发送信息，即可被读取出来。

[root@vm4 ~]# yum -y install nc
[root@vm4 ~]# nc 10.1.1.13 12345
haha
​
​
在vm3上验证查看
{"@version" => "1","@timestamp" => 2019-07-02T15:28:00.301Z,"port" => 33778,"type" => "nc","message" => "haha","host" => "vm4.cluster.com"
}

Beats

  • 从Elastic Beats框架接收事件

logstash配置文件
​
# cat /etc/logstash/conf.d/filebeattest.conf
input {beats {port => 5044host => "0.0.0.0"}
}filter {}
​
output {stdout { }
}

filebeat配置文件
​
filebeat.prospectors:- type: logpaths:- /var/log/messagestags: ["system-log","123"]fields:level: debug
​
output.logstash:hosts: ['127.0.0.1:5044']
​

过滤插件(filter)

参考: Filter plugins | Logstash Reference [8.11] | Elastic

Filter：过滤，将日志格式化。

有丰富的过滤插件：

  • Grok正则捕获

  • date时间处理

  • JSON编解码

  • 数据修改Mutate

  • geoip等。

所有的过滤器插件都支持以下配置选项：

SettingInput typeRequiredDefaultDescription
add_fieldhashNo{}如果过滤成功，添加任何field到这个事件。例如：add_field => [ "foo_%{somefield}", "Hello world, from %{host}" ]，如果这个事件有一个字段somefiled，它的值是hello，那么我们会增加一个字段foo_hello，字段值则用%{host}代替。
add_tagarrayNo[]过滤成功会增加一个任意的标签到事件例如：add_tag => [ "foo_%{somefield}" ]
enable_metricbooleanNotrue
idstringNo
periodic_flushbooleanNofalse定期调用过滤器刷新方法
remove_fieldarrayNo[]过滤成功从该事件中移除任意filed。例：remove_field => [ "foo_%{somefield}" ]
remove_tagarrayNo[]过滤成功从该事件中移除任意标签，例如：remove_tag => [ "foo_%{somefield}" ]

json(关注)

  • JSON解析过滤器，接收一个JSON的字段，将其展开为Logstash事件中的实际数据结构。

示例: 将原信息转成一个大字段，key-value做成大字段中的小字段

# cat /etc/logstash/conf.d/jsontest.conf
input {stdin {}
}
​
filter {json {source => "message"target => "content"}
}
​
output {stdout {}
}
​
​
对标准输入的内容进行json格式输出
把输出内容定向到target指定的content
​
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/jsontest.conf
输入测试数据
​
{"ip":"10.1.1.1","hostname":"vm3.cluster.com"}
​
输出测试数据
​
{"content" => {"hostname" => "vm3.cluster.com","ip" => "10.1.1.1"},"@timestamp" => 2019-07-02T11:57:36.398Z,"@version" => "1","host" => "vm3.cluster.com","message" => "{\"ip\":\"10.1.1.1\",\"hostname\":\"vm3.cluster.com\"}"
}

示例: 直接将原信息转成各个字段

# cat /etc/logstash/conf.d/jsontest.conf
input {stdin {}
}
​
filter {json {source => "message"}
}
​
output {stdout {}
}
​
​
​
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/jsontest.conf
​
输入测试数据
​
{"ip":"10.1.1.1","hostname":"vm3.cluster.com"}
​
输出测试数据
​
​
{"port" => 39442,"@version" => "1","@timestamp" => 2019-09-19T09:07:03.800Z,"hostname" => "vm3.cluster.com","host" => "vm4.cluster.com","ip" => "10.1.1.1","message" => "{\"ip\":\"10.1.1.1\",\"hostname\":\"vm3.cluster.com\"}"
}
​

kv

  • 自动解析为key=value。

  • 也可以任意字符串分割数据。

  • field_split 一串字符，指定分隔符分析键值对

URL查询字符串拆分参数示例
# cat /etc/logstash/conf.d/kvtest.conf
input {stdin {}
}
​
filter {kv {field_split => "&?"}
}
​
output {stdout {
​}
}
​
文件中的列以&或?进行分隔
​
执行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/kvtest.conf

输入数据
address=www.abc.com?pid=123&user=abc
​
输出数据
{"user" => "abc","@timestamp" => 2019-07-02T12:05:23.143Z,"host" => "vm3.cluster.com","@version" => "1","message" => "address=www.abc.com?pid=123&abc=user","address" => "www.abc.com","pid" => "123"
}

使用正则也可以匹配
​
[root@vm3 bin]# cat /etc/logstash/conf.d/kvtest.conf
input {stdin {}
}
​
filter {kv {field_split_pattern => ":+"}
}
​
output {stdout {
​}
}

grok(关注)

  • grok是将非结构化数据解析为结构化

  • 这个工具非常适于系统日志，mysql日志，其他Web服务器日志以及通常人类无法编写任何日志的格式。

  • 默认情况下，Logstash附带约120个模式。也可以添加自己的模式（patterns_dir）

  • 模式后面对应正则表达式

  • 查看模式地址：https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

  • 包含字段如下

SettingInput typeRequiredDefaultDescription
break_on_matchbooleanNotrue
keep_empty_capturesNofalse如果true将空保留为事件字段
matchhashNo{}一个hash匹配字段=>值
named_captures_onlybooleanNotrue如果true，只存储
overwritearrayNo[]覆盖已存在的字段的值
pattern_definitionsNo{}
patterns_dirarrayNo[]自定义模式
patterns_files_globstringNo*Glob模式，用于匹配patterns_dir指定目录中的模式文件
tag_on_failurearrayNo_grokparsefailuretags没有匹配成功时，将值附加到字段
tag_on_timeoutstringNo_groktimeout如果Grok正则表达式超时，则应用标记
timeout_millisnumber30000正则表达式超时时间

grok模式语法

格式：%{SYNTAX:SEMANTIC}

  • SYNTAX 模式名称

  • SEMANTIC 匹配文本的标识符

例如：%{NUMBER:duration} %{IP:client}

# vim /etc/logstash/conf.d/groktest.conf
input {stdin {}
}
​
​
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}}
}
​
​
output {stdout {
​}
}
​
​
虚构http请求日志抽出有用的字段
55.3.244.1 GET /index.html 15824 0.043
​
​
输出结果
{"client" => "55.3.244.1","duration" => "0.043","message" => "55.3.244.1 GET /index.html 15824 0.043","method" => "GET","bytes" => "15824","@version" => "1","@timestamp" => 2019-07-03T12:24:47.596Z,"host" => "vm3.cluster.com","request" => "/index.html"
}
​

自定义模式

如果默认模式中没有匹配的，可以自己写正则表达式。

# vim /opt/patterns
ID [0-9]{3,5}
​
配置文件中应包含如下内容
filter {grok {patterns_dir =>"/opt/patterns"match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} %{ID:id}"              }}
}
​
​
完整文件内容
[root@vm3 ~]# cat /etc/logstash/conf.d/groktest.conf
input {stdin {}
}
​
filter {grok {patterns_dir =>"/opt/patterns"match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} %{ID:id}"}}
}
​
output {stdout {}
}
​
#执行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/groktest.conf
​
输入测试数据
55.3.244.1 GET /index.html 15824 0.043 6666
​
输出测试数据
{"client" => "55.3.244.1","host" => "vm3.cluster.com","request" => "/index.html","@timestamp" => 2019-07-02T12:34:11.906Z,"bytes" => "15824","method" => "GET","message" => "55.3.244.1 GET /index.html 15824 0.043 15BF7F3ABB","@version" => "1","id" => "666","duration" => "0.043"
}

geoip(关注)

  • 开源IP地址库

  • GeoLite2 Free Geolocation Data | MaxMind Developer Portal

下载IP地址库
[root@vm3 ~]# wget https://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz
​
[root@vm3 ~]# tar xf GeoLite2-City.tar.gz
​
[root@vm3 ~]# cp GeoLite2-City_20190625/GeoLite2-City.mmdb /opt

# cat /etc/logstash/conf.d/geoiptest.conf                          
input {stdin {}
}
​
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}}geoip {source => "client"database => "/opt/GeoLite2-City.mmdb"}
}
​
​
output {stdout {
​}
}
​
​
​
执行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/geoiptest.conf
​
​
输入测试数据
​
202.106.0.20 GET /index.html 123 0.331
​
输出结果
​
{"method" => "GET","client" => "202.106.0.20","bytes" => "123","request" => "/index.html","geoip" => {"country_code2" => "CN","country_name" => "China","region_code" => "BJ","longitude" => 116.3883,"latitude" => 39.9289,"timezone" => "Asia/Shanghai","location" => {"lon" => 116.3883,"lat" => 39.9289},"country_code3" => "CN","ip" => "202.106.0.20","continent_code" => "AS","region_name" => "Beijing"},"duration" => "0.331","host" => "vm3.cluster.com","message" => "202.106.0.20 GET /index.html 123 0.331","@timestamp" => 2019-07-02T12:15:29.384Z,"@version" => "1"
}
​
​

[root@vm3 bin]# cat /etc/logstash/conf.d/geoiptest2.conf
input {stdin {}
}
​
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
​}}geoip {source => "client"database => "/opt/GeoLite2-City.mmdb"target => "geoip"fields => ["city_name", "country_code2", "country_name","region_name"]}
}
​
​
output {stdout {codec => rubydebug}
}
​
​
​
执行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/geoiptest2.conf
​
​
输入测试数据
​
110.226.4.6 GET /home.html 518 0.247
​
输出结果
​
{"host" => "vm3.cluster.com","duration" => "0.247","request" => "/home.html","@version" => "1","client" => "110.226.4.6","message" => "110.226.4.6 GET /home.html 518 0.247","method" => "GET","bytes" => "518","@timestamp" => 2019-07-02T12:22:22.458Z,"geoip" => {"country_name" => "India","country_code2" => "IN"}
}
​

输出插件(output)

Output：输出，输出目标可以是Stdout、ES、Redis、File、TCP等。

ES

SettingInput typeRequiredDefaultDescription
hostsURLNo
indexstringNologstash-%{+YYYY.MM.dd}将事件写入索引。默认按日期划分。
userstringNoES集群用户
passwordpasswordNoES集群密码

input {file {path => ["/var/log/messages"]type => "system"tags => ["syslog","test"]start_position => "beginning"}file {path => ["/var/log/audit/audit.log"]type => "system"tags => ["auth","test"]start_position => "beginning"}
}
​
​
filter {
​
}
​
output {if [type] == "system" {if [tags][0] == "syslog" {elasticsearch {hosts  => ["http://es1:9200","http://es2:9200","http://es3:9200"]index  => "logstash-system-syslog-%{+YYYY.MM.dd}"}stdout { codec=> rubydebug }}else if [tags][0] == "auth" {elasticsearch {hosts  => ["http://es1:9200","http://es2:9200","http://es3:9200"]index  => "logstash-system-auth-%{+YYYY.MM.dd}"}stdout { codec=> rubydebug }}}
}
​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/213426.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

鼠标光标不见了怎么办？速速get这4个方法！

鼠标光标不见了怎么办？速速get这4个方法！

“非常奇怪，我的鼠标光标用着用着就不见了，这是为什么呢？有什么方法可以解决这个问题吗？” 在电脑使用过程中，有时候会遇到鼠标光标突然消失的情况，这无疑会给我们日常操作带来很大的不便。那么&#xff0c…
阅读更多...
使用Python提取PDF文件中指定页面的内容

使用Python提取PDF文件中指定页面的内容

在日常工作和学习中，我们经常需要从PDF文件中提取特定页面的内容。在本篇文章中，我们将介绍如何使用Python编程语言和两个强大的库——pymupdf和wxPython，来实现这个任务。 1. 准备工作 首先，确保你已经安装了以下两个Python库&…
阅读更多...
【办公软件】Outlook启动一直显示“正在启动”的解决方法

【办公软件】Outlook启动一直显示“正在启动”的解决方法

早上打开电脑Outlook2016以后，半个多小时了，一直显示这个界面： 解决办法 按WIN R键打开“运行”，输入如下命令： outlook.exe /safe 然后点击“确定” 这样就进入了Outlook的安全模式。 点击“文件”->“选项”-…
阅读更多...
nbcio-vue下载安装后运行报错，diagram-js没有安装

nbcio-vue下载安装后运行报错，diagram-js没有安装

更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码： https://gitee.com/nbacheng/nbcio-boot 前端代码：https://gitee.com/nbacheng/nbcio-vue.git 在线演示（包括H5） ： http://122.227.135.243:9888 根据…
阅读更多...
047：vue加载循环倒计时 示例

047：vue加载循环倒计时 示例

第047个 查看专栏目录: VUE ------ element UI 专栏目标 在vue和element UI联合技术栈的操控下，本专栏提供行之有效的源代码示例和信息点介绍，做到灵活运用。 （1）提供vue2的一些基本操作：安装、引用，模板使…
阅读更多...
基于java web的网上书城系统的设计与实现论文

基于java web的网上书城系统的设计与实现论文

摘 要 随着科学技术的飞速发展，各行各业都在努力与现代先进技术接轨，通过科技手段提高自身的优势，商品交易当然也不能排除在外，随着商品交易管理的不断成熟，它彻底改变了过去传统的经营管理方式，不仅使商品…
阅读更多...
统信UOS_麒麟KYLINOS上跨架构下载离线软件包

统信UOS_麒麟KYLINOS上跨架构下载离线软件包

原文链接：统信UOS/麒麟KYLINOS上跨架构下载离线软件包 hello，大家好啊，今天给大家带来一篇在统信UOS/麒麟KYLINOS上跨架构下载离线软件包的实用教程。在我们的日常工作中，可能会遇到这样的情况：需要为不同架构的设备下…
阅读更多...
【总结】机器学习中的15种分类算法

【总结】机器学习中的15种分类算法

目录 一、机器学习中的分类算法 1.1 基础分类算法 1.2 集成分类算法 1.3 其它分类算法： 二、各种机器学习分类算法的优缺点 分类算法也称为模式识别，是一种机器学习算法，其主要目的是从数据中发现规律并将数据分成不同的类别。分类算法通…
阅读更多...
排序算法——桶排序/基数排序/计数排序

排序算法——桶排序/基数排序/计数排序

桶排序 是计数排序的升级版。它利用了函数的映射关系，高效与否的关键就在于这个映射函数的确定。桶排序 (Bucket sort)的工作的原理： 假设输入数据服从均匀分布，将数据分到有限数量的桶里，每个桶再分别排序（有可能再使…
阅读更多...
想进阶JAVA高级程序员吗？多线程必学

想进阶JAVA高级程序员吗？多线程必学

❤️作者主页：小虚竹 ❤️作者简介：大家好,我是小虚竹。2022年度博客之星评选TOP 10🏆，Java领域优质创作者🏆，CSDN博客专家🏆，华为云享专家🏆，掘金年度人气作…
阅读更多...
【SpringSecurity】-- 认证、授权

【SpringSecurity】-- 认证、授权

文章目录 SpringSecurity简介快速入门1.准备工作1.2引入SpringSecurity 认证1.登录校验流程2.原理2.1SpringSecurity完整流程2.2认证流程详解 3.解决问题3.1思路分析3.2准备工作3.3.实现3.3.1数据库校验用户3.3.2密码加密存储3.3.3登录接口3.3.4认证过滤器3.3.5退出登录 授权1.…
阅读更多...
输入一组数据，以-1结束输入[c]

输入一组数据，以-1结束输入[c]

我们新手写题时总能看到题目中类似这样的输入 没有给固定多少个数据，我们没有办法直接设置数组的元素个数，很纠结，下面我来提供一下本人的方法（新手，看到有错误或者不好的地方欢迎大佬指出，纠正&#xff0…
阅读更多...
【开源】基于Vue和SpringBoot的衣物搭配系统

【开源】基于Vue和SpringBoot的衣物搭配系统

项目编号： S 016 ，文末获取源码。 \color{red}{项目编号：S016，文末获取源码。} 项目编号：S016，文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、研究内容2.1 衣物档案模块2.2 衣物搭配模块2.3 衣…
阅读更多...
HarmonyOS鸿蒙操作系统架构开发

HarmonyOS鸿蒙操作系统架构开发

什么是HarmonyOS鸿蒙操作系统？ HarmonyOS是华为公司开发的一种全场景分布式操作系统。它可以在各种智能设备（如手机、电视、汽车、智能穿戴设备等）上运行，具有高效、安全、低延迟等优势。 目录 HarmonyOS 一、HarmonyOS 与其他操…
阅读更多...
CRM系统的这些功能助您高效管理客户

CRM系统的这些功能助您高效管理客户

客户管理可以理解为企业收集并利用客户信息，满足客户的需求，从而提升客户价值的过程。CRM系统一直被誉为客户管理的“神器”，下面我们就来说说CRM系统有哪些功能可以管理客户？ 1、客户信息管理 CRM可以帮助企业收集客户的基本信…
阅读更多...
C++ Qt开发：如何使用信号与槽

C++ Qt开发：如何使用信号与槽

在Qt中，信号与槽（Signal and Slot）是一种用于对象之间通信的机制。是Qt框架引以为傲的一项机制，它带来了许多优势，使得Qt成为一个强大且灵活的开发框架之一。信号与槽的关联通过QObject::connect函数完成。这样的机制使…
阅读更多...
【EI会议征稿】第三届光学与机器视觉国际学术会议(ICOMV 2024)

【EI会议征稿】第三届光学与机器视觉国际学术会议(ICOMV 2024)

第三届光学与机器视觉国际学术会议(ICOMV 2024) 2024 3rd International Conference on Optics and Machine Vision 第三届光学与机器视觉国际学术会议(ICOMV 2024)将于2024年1月19-21日在中国南昌举行。本次会议将围绕“光学”与"机器视觉”等研究领域展开讨论&#xf…
阅读更多...
万界星空科技五金家具行业MES解决方案

万界星空科技五金家具行业MES解决方案

MES系统如何与家具企业生产相匹配？相较于其它大多数工业软件，MES系统无疑是受企业欢迎的软件之一。MES系统处于制造生产企业信息化的核心领域，有着承上启下的作用。那MES系统如何与家具企业生产相匹配？ 五金家具行业的工艺特点&am…
阅读更多...
最简单的pixel刷机和安装面具、lsposed

最简单的pixel刷机和安装面具、lsposed

一 下载手机对应的系统 1，手机usb连接然后重启进入Fastboot模式：adb reboot bootloader2，找到你下载的系统，Windows 系统 直接运行 flash-all.bat上图 ：左边就是安卓11和12的系统，右边是对应的手机型号 下…
阅读更多...
mysql:修改整数字段的显式长度不生效

mysql:修改整数字段的显式长度不生效

例如，我使用mysql 8.2.0版本，想修改整数字段的显式长度，不会生效，提醒整数的显示长度已经废弃，会在将来某个版本去掉： mysql官网中也有说明： https://dev.mysql.com/doc/refman/8.2/en/numeric…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023