logstash插件简单介绍

logstash插件

输入插件(input)

Input：输入插件。

Input plugins | Logstash Reference [8.11] | Elastic

  • 所有输入插件都支持的配置选项

SettingInput typeRequiredDefaultDescription
add_fieldhashNo{}添加一个字段到一个事件
codeccodecNoplain用于输入数据的编解码器
enable_metricbooleanNotrue
idstringNo添加一个ID插件配置，如果没有指定ID，则Logstash将生成一个ID。强烈建议配置此ID，当两个或多个相同类型的插件时，这个非常有用的。例如，有两个文件输入，添加命名标识有助于监视
tagsarrayNo添加任意数量的标签，有助于后期处理
typestringNo为输入处理的所有事件添加一个字段，自已随便定义，比如linux系统日志，定义为syslog

stdin

  • 标准输入

# cat /etc/logstash/config.d/stdtest.conf
input {stdin {
​}
}
filter {
​
}
output {stdout {}
}
​

file

  • 从文件中读取内容

File input plugin | Logstash Reference [8.11] | Elastic

SettingInput typeRequiredDefaultDescription
close_oldernumberNo3600单位秒，打开文件多长时间关闭
delimiterstringNo\n每行分隔符
discover_intervalnumberNo15单位秒，多长时间检查一次path选项是否有新文件
excludearrayNo排除监听的文件，跟path一样，支持通配符
max_open_filesnumberNo打开文件最大数量
patharrayYES输入文件的路径，可以使用通配符 例如/var/log/*/.log，则会递归搜索
sincedb_pathstringNosincedb数据库文件的路径，用于记录被监控的日志文件当前位置
sincedb_write_intervalnumberNo15单位秒，被监控日志文件当前位置写入数据库的频率
start_positionstring, one of ["beginning", "end"]Noend指定从什么位置开始读取文件：开头或结尾。默认从结尾开始，如果要想导入旧数据，将其设置为begin。如果sincedb记录了此文件位置，那么此选项不起作用
stat_intervalnumberNo1单位秒，统计文件的频率，判断是否被修改。增加此值会减少系统调用次数。

# cat /etc/logstash/conf.d/filetest.conf
input {file {path => "/var/log/messages"}
}
filter {
}
output {stdout {}
}

TCP

  • 通过TCP套接字读取事件,即接收数据。与标准输入和文件输入一样，每个事件都被定位一行文本。

# cat /etc/logstash/conf.d/tcptest.conf
input {tcp {port => 12345}
}
filter {
​
}
output {stdout{}
}

在其他主机上安装nc工具，对logstash发送信息，即可被读取出来。

[root@vm4 ~]# yum -y install nc
[root@vm4 ~]# nc 10.1.1.13 12345
haha
​
​
在vm3上验证查看
{"@version" => "1","@timestamp" => 2019-07-02T15:28:00.301Z,"port" => 33778,"type" => "nc","message" => "haha","host" => "vm4.cluster.com"
}

Beats

  • 从Elastic Beats框架接收事件

logstash配置文件
​
# cat /etc/logstash/conf.d/filebeattest.conf
input {beats {port => 5044host => "0.0.0.0"}
}filter {}
​
output {stdout { }
}

filebeat配置文件
​
filebeat.prospectors:- type: logpaths:- /var/log/messagestags: ["system-log","123"]fields:level: debug
​
output.logstash:hosts: ['127.0.0.1:5044']
​

过滤插件(filter)

参考: Filter plugins | Logstash Reference [8.11] | Elastic

Filter：过滤，将日志格式化。

有丰富的过滤插件：

  • Grok正则捕获

  • date时间处理

  • JSON编解码

  • 数据修改Mutate

  • geoip等。

所有的过滤器插件都支持以下配置选项：

SettingInput typeRequiredDefaultDescription
add_fieldhashNo{}如果过滤成功，添加任何field到这个事件。例如：add_field => [ "foo_%{somefield}", "Hello world, from %{host}" ]，如果这个事件有一个字段somefiled，它的值是hello，那么我们会增加一个字段foo_hello，字段值则用%{host}代替。
add_tagarrayNo[]过滤成功会增加一个任意的标签到事件例如：add_tag => [ "foo_%{somefield}" ]
enable_metricbooleanNotrue
idstringNo
periodic_flushbooleanNofalse定期调用过滤器刷新方法
remove_fieldarrayNo[]过滤成功从该事件中移除任意filed。例：remove_field => [ "foo_%{somefield}" ]
remove_tagarrayNo[]过滤成功从该事件中移除任意标签，例如：remove_tag => [ "foo_%{somefield}" ]

json(关注)

  • JSON解析过滤器，接收一个JSON的字段，将其展开为Logstash事件中的实际数据结构。

示例: 将原信息转成一个大字段，key-value做成大字段中的小字段

# cat /etc/logstash/conf.d/jsontest.conf
input {stdin {}
}
​
filter {json {source => "message"target => "content"}
}
​
output {stdout {}
}
​
​
对标准输入的内容进行json格式输出
把输出内容定向到target指定的content
​
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/jsontest.conf
输入测试数据
​
{"ip":"10.1.1.1","hostname":"vm3.cluster.com"}
​
输出测试数据
​
{"content" => {"hostname" => "vm3.cluster.com","ip" => "10.1.1.1"},"@timestamp" => 2019-07-02T11:57:36.398Z,"@version" => "1","host" => "vm3.cluster.com","message" => "{\"ip\":\"10.1.1.1\",\"hostname\":\"vm3.cluster.com\"}"
}

示例: 直接将原信息转成各个字段

# cat /etc/logstash/conf.d/jsontest.conf
input {stdin {}
}
​
filter {json {source => "message"}
}
​
output {stdout {}
}
​
​
​
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/jsontest.conf
​
输入测试数据
​
{"ip":"10.1.1.1","hostname":"vm3.cluster.com"}
​
输出测试数据
​
​
{"port" => 39442,"@version" => "1","@timestamp" => 2019-09-19T09:07:03.800Z,"hostname" => "vm3.cluster.com","host" => "vm4.cluster.com","ip" => "10.1.1.1","message" => "{\"ip\":\"10.1.1.1\",\"hostname\":\"vm3.cluster.com\"}"
}
​

kv

  • 自动解析为key=value。

  • 也可以任意字符串分割数据。

  • field_split 一串字符，指定分隔符分析键值对

URL查询字符串拆分参数示例
# cat /etc/logstash/conf.d/kvtest.conf
input {stdin {}
}
​
filter {kv {field_split => "&?"}
}
​
output {stdout {
​}
}
​
文件中的列以&或?进行分隔
​
执行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/kvtest.conf

输入数据
address=www.abc.com?pid=123&user=abc
​
输出数据
{"user" => "abc","@timestamp" => 2019-07-02T12:05:23.143Z,"host" => "vm3.cluster.com","@version" => "1","message" => "address=www.abc.com?pid=123&abc=user","address" => "www.abc.com","pid" => "123"
}

使用正则也可以匹配
​
[root@vm3 bin]# cat /etc/logstash/conf.d/kvtest.conf
input {stdin {}
}
​
filter {kv {field_split_pattern => ":+"}
}
​
output {stdout {
​}
}

grok(关注)

  • grok是将非结构化数据解析为结构化

  • 这个工具非常适于系统日志，mysql日志，其他Web服务器日志以及通常人类无法编写任何日志的格式。

  • 默认情况下，Logstash附带约120个模式。也可以添加自己的模式（patterns_dir）

  • 模式后面对应正则表达式

  • 查看模式地址：https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

  • 包含字段如下

SettingInput typeRequiredDefaultDescription
break_on_matchbooleanNotrue
keep_empty_capturesNofalse如果true将空保留为事件字段
matchhashNo{}一个hash匹配字段=>值
named_captures_onlybooleanNotrue如果true，只存储
overwritearrayNo[]覆盖已存在的字段的值
pattern_definitionsNo{}
patterns_dirarrayNo[]自定义模式
patterns_files_globstringNo*Glob模式，用于匹配patterns_dir指定目录中的模式文件
tag_on_failurearrayNo_grokparsefailuretags没有匹配成功时，将值附加到字段
tag_on_timeoutstringNo_groktimeout如果Grok正则表达式超时，则应用标记
timeout_millisnumber30000正则表达式超时时间

grok模式语法

格式：%{SYNTAX:SEMANTIC}

  • SYNTAX 模式名称

  • SEMANTIC 匹配文本的标识符

例如：%{NUMBER:duration} %{IP:client}

# vim /etc/logstash/conf.d/groktest.conf
input {stdin {}
}
​
​
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}}
}
​
​
output {stdout {
​}
}
​
​
虚构http请求日志抽出有用的字段
55.3.244.1 GET /index.html 15824 0.043
​
​
输出结果
{"client" => "55.3.244.1","duration" => "0.043","message" => "55.3.244.1 GET /index.html 15824 0.043","method" => "GET","bytes" => "15824","@version" => "1","@timestamp" => 2019-07-03T12:24:47.596Z,"host" => "vm3.cluster.com","request" => "/index.html"
}
​

自定义模式

如果默认模式中没有匹配的，可以自己写正则表达式。

# vim /opt/patterns
ID [0-9]{3,5}
​
配置文件中应包含如下内容
filter {grok {patterns_dir =>"/opt/patterns"match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} %{ID:id}"              }}
}
​
​
完整文件内容
[root@vm3 ~]# cat /etc/logstash/conf.d/groktest.conf
input {stdin {}
}
​
filter {grok {patterns_dir =>"/opt/patterns"match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} %{ID:id}"}}
}
​
output {stdout {}
}
​
#执行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/groktest.conf
​
输入测试数据
55.3.244.1 GET /index.html 15824 0.043 6666
​
输出测试数据
{"client" => "55.3.244.1","host" => "vm3.cluster.com","request" => "/index.html","@timestamp" => 2019-07-02T12:34:11.906Z,"bytes" => "15824","method" => "GET","message" => "55.3.244.1 GET /index.html 15824 0.043 15BF7F3ABB","@version" => "1","id" => "666","duration" => "0.043"
}

geoip(关注)

  • 开源IP地址库

  • GeoLite2 Free Geolocation Data | MaxMind Developer Portal

下载IP地址库
[root@vm3 ~]# wget https://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz
​
[root@vm3 ~]# tar xf GeoLite2-City.tar.gz
​
[root@vm3 ~]# cp GeoLite2-City_20190625/GeoLite2-City.mmdb /opt

# cat /etc/logstash/conf.d/geoiptest.conf                          
input {stdin {}
}
​
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}}geoip {source => "client"database => "/opt/GeoLite2-City.mmdb"}
}
​
​
output {stdout {
​}
}
​
​
​
执行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/geoiptest.conf
​
​
输入测试数据
​
202.106.0.20 GET /index.html 123 0.331
​
输出结果
​
{"method" => "GET","client" => "202.106.0.20","bytes" => "123","request" => "/index.html","geoip" => {"country_code2" => "CN","country_name" => "China","region_code" => "BJ","longitude" => 116.3883,"latitude" => 39.9289,"timezone" => "Asia/Shanghai","location" => {"lon" => 116.3883,"lat" => 39.9289},"country_code3" => "CN","ip" => "202.106.0.20","continent_code" => "AS","region_name" => "Beijing"},"duration" => "0.331","host" => "vm3.cluster.com","message" => "202.106.0.20 GET /index.html 123 0.331","@timestamp" => 2019-07-02T12:15:29.384Z,"@version" => "1"
}
​
​

[root@vm3 bin]# cat /etc/logstash/conf.d/geoiptest2.conf
input {stdin {}
}
​
filter {grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
​}}geoip {source => "client"database => "/opt/GeoLite2-City.mmdb"target => "geoip"fields => ["city_name", "country_code2", "country_name","region_name"]}
}
​
​
output {stdout {codec => rubydebug}
}
​
​
​
执行
[root@vm3 bin]# ./logstash --path.settings /etc/logstash -r -f /etc/logstash/conf.d/geoiptest2.conf
​
​
输入测试数据
​
110.226.4.6 GET /home.html 518 0.247
​
输出结果
​
{"host" => "vm3.cluster.com","duration" => "0.247","request" => "/home.html","@version" => "1","client" => "110.226.4.6","message" => "110.226.4.6 GET /home.html 518 0.247","method" => "GET","bytes" => "518","@timestamp" => 2019-07-02T12:22:22.458Z,"geoip" => {"country_name" => "India","country_code2" => "IN"}
}
​

输出插件(output)

Output：输出，输出目标可以是Stdout、ES、Redis、File、TCP等。

ES

SettingInput typeRequiredDefaultDescription
hostsURLNo
indexstringNologstash-%{+YYYY.MM.dd}将事件写入索引。默认按日期划分。
userstringNoES集群用户
passwordpasswordNoES集群密码

input {file {path => ["/var/log/messages"]type => "system"tags => ["syslog","test"]start_position => "beginning"}file {path => ["/var/log/audit/audit.log"]type => "system"tags => ["auth","test"]start_position => "beginning"}
}
​
​
filter {
​
}
​
output {if [type] == "system" {if [tags][0] == "syslog" {elasticsearch {hosts  => ["http://es1:9200","http://es2:9200","http://es3:9200"]index  => "logstash-system-syslog-%{+YYYY.MM.dd}"}stdout { codec=> rubydebug }}else if [tags][0] == "auth" {elasticsearch {hosts  => ["http://es1:9200","http://es2:9200","http://es3:9200"]index  => "logstash-system-auth-%{+YYYY.MM.dd}"}stdout { codec=> rubydebug }}}
}
​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/213426.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【SpringBoot教程】SpringBoot Thymeleaf 基于HTML5的现代模板引擎

【SpringBoot教程】SpringBoot Thymeleaf 基于HTML5的现代模板引擎

作者简介：大家好，我是撸代码的羊驼，前阿里巴巴架构师，现某互联网公司CTO 联系v：sulny_ann（17362204968），加我进群，大家一起学习，一起进步，一起对抗…
阅读更多...
error：move_base_msgs

error：move_base_msgs

CMake Warning at /opt/ros/kinetic/share/catkin/cmake/catkinConfig.cmake:76 (find_package): Could not find a package configuration file provided by “move_base_msgs” with any of the following names: move_base_msgsConfig.cmake move_base_msgs-config.cmake …
阅读更多...
鼠标光标不见了怎么办？速速get这4个方法！

鼠标光标不见了怎么办？速速get这4个方法！

“非常奇怪，我的鼠标光标用着用着就不见了，这是为什么呢？有什么方法可以解决这个问题吗？” 在电脑使用过程中，有时候会遇到鼠标光标突然消失的情况，这无疑会给我们日常操作带来很大的不便。那么&#xff0c…
阅读更多...
Linux bin包生成

Linux bin包生成

需求背景： 在实际项目时我们很少把源码用个tar给到客户，这样显得很不专业，且有的时候我们提供补丁，那么这个时候我们提供一个补丁的bin包可以直接安装运行就显得很高大上了。 物料准备 准备一台liunx，虚拟机亦可&am…
阅读更多...
自定义插件vue-router简单实现hashRouter设计思路

自定义插件vue-router简单实现hashRouter设计思路

步骤 1.挂载 vue.prototype.$router 2.声明两个组件 router-view this.$router.current>component > h(component) router-link h(a,{attrs:{href:#this.to}},this.$slots.default) 3.url的监听：window hashchange的改变 4.定义响应式current&#xff0…
阅读更多...
使用Python提取PDF文件中指定页面的内容

使用Python提取PDF文件中指定页面的内容

在日常工作和学习中，我们经常需要从PDF文件中提取特定页面的内容。在本篇文章中，我们将介绍如何使用Python编程语言和两个强大的库——pymupdf和wxPython，来实现这个任务。 1. 准备工作 首先，确保你已经安装了以下两个Python库&…
阅读更多...
JavaScript深拷贝和浅拷贝

JavaScript深拷贝和浅拷贝

对于原始数据类型，并没有深浅拷贝的区别，深浅拷贝都是对于引用数据类型而言，如果我们要赋值对象的所有属性都是引用类型可以用浅拷贝 浅拷贝：只复制一层对象，当对象的属性是引用类型时，实质复制的是其引用&…
阅读更多...
【办公软件】Outlook启动一直显示“正在启动”的解决方法

【办公软件】Outlook启动一直显示“正在启动”的解决方法

早上打开电脑Outlook2016以后，半个多小时了，一直显示这个界面： 解决办法 按WIN R键打开“运行”，输入如下命令： outlook.exe /safe 然后点击“确定” 这样就进入了Outlook的安全模式。 点击“文件”->“选项”-…
阅读更多...
第6节：Vue3 调用函数

第6节：Vue3 调用函数

在Vue3中&#xff0c;你可以使用setup函数来调用函数。 <template><button click"handleClick">点击我</button> </template><script> import { ref } from vue;export default {setup() {// 创建一个响应式的引用const count ref(0…
阅读更多...
nbcio-vue下载安装后运行报错，diagram-js没有安装

nbcio-vue下载安装后运行报错，diagram-js没有安装

更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a; https://gitee.com/nbacheng/nbcio-boot 前端代码&#xff1a;https://gitee.com/nbacheng/nbcio-vue.git 在线演示&#xff08;包括H5&#xff09; &#xff1a; http://122.227.135.243:9888 根据…
阅读更多...
047：vue加载循环倒计时 示例

047：vue加载循环倒计时 示例

第047个 查看专栏目录: VUE ------ element UI 专栏目标 在vue和element UI联合技术栈的操控下&#xff0c;本专栏提供行之有效的源代码示例和信息点介绍&#xff0c;做到灵活运用。 &#xff08;1&#xff09;提供vue2的一些基本操作&#xff1a;安装、引用&#xff0c;模板使…
阅读更多...
基于java web的网上书城系统的设计与实现论文

基于java web的网上书城系统的设计与实现论文

摘 要 随着科学技术的飞速发展&#xff0c;各行各业都在努力与现代先进技术接轨&#xff0c;通过科技手段提高自身的优势&#xff0c;商品交易当然也不能排除在外&#xff0c;随着商品交易管理的不断成熟&#xff0c;它彻底改变了过去传统的经营管理方式&#xff0c;不仅使商品…
阅读更多...
32、Bean的生产顺序是由什么决定的？

32、Bean的生产顺序是由什么决定的？

Bean的生产顺序是由什么决定的？ BeanDefinition的注册顺序是有什么决定的？ Bean在生产之前有个临时状态：BeanDefinition；存储着bean的描述信息。由BeanDefinition决定着Bean的生产顺序。会按照BeanDefinition的注册顺序来决定Bean的生产顺序。因为所有的BeanDefinition存…
阅读更多...
Lua字符串（包含任意字符，如中文）任意位置截取

Lua字符串（包含任意字符，如中文）任意位置截取

常规的截取只需要lua自带的api就可以解决问题：如 string.sub 但是当字符串之中含有中文或者符号的时候，这些接口就麻爪了，当然lua后续更新有可能支持，至少本少当前的Lua版本是不支持的。 废话少说，直接上代码和测试用例 -- 判断utf8字符byte长度 function stringTool.ch…
阅读更多...
统信UOS_麒麟KYLINOS上跨架构下载离线软件包

统信UOS_麒麟KYLINOS上跨架构下载离线软件包

原文链接&#xff1a;统信UOS/麒麟KYLINOS上跨架构下载离线软件包 hello&#xff0c;大家好啊&#xff0c;今天给大家带来一篇在统信UOS/麒麟KYLINOS上跨架构下载离线软件包的实用教程。在我们的日常工作中&#xff0c;可能会遇到这样的情况&#xff1a;需要为不同架构的设备下…
阅读更多...
【总结】机器学习中的15种分类算法

【总结】机器学习中的15种分类算法

目录 一、机器学习中的分类算法 1.1 基础分类算法 1.2 集成分类算法 1.3 其它分类算法&#xff1a; 二、各种机器学习分类算法的优缺点 分类算法也称为模式识别&#xff0c;是一种机器学习算法&#xff0c;其主要目的是从数据中发现规律并将数据分成不同的类别。分类算法通…
阅读更多...
鸿蒙OS应用开发之数据类型

鸿蒙OS应用开发之数据类型

前面学习了一个简单的例子，这是多年来学习应用程序开发的经典路径，在这里也是这种待遇，通过这样的学习明白了一个简单应用是怎么样构成的，知道它是怎么运行输出的。在这个基础之上，你还是不会开发应用程序的，因为你还没有学习鸿蒙应用的开发语言基础，所以在这里要学习一…
阅读更多...
nvue页面用法uniapp

nvue页面用法uniapp

1.介绍 Nvue是一个基于weex改进的原生渲染引擎&#xff0c;它在某些方面要比vue更高性能&#xff0c;在app上使用更加流畅&#xff0c;但是缺点也很明显&#xff0c;没有足够的api能力&#xff0c;语法限制太大&#xff0c;所以nvue适用于特定场景&#xff08;需要高性能的区域…
阅读更多...
排序算法——桶排序/基数排序/计数排序

排序算法——桶排序/基数排序/计数排序

桶排序 是计数排序的升级版。它利用了函数的映射关系&#xff0c;高效与否的关键就在于这个映射函数的确定。桶排序 (Bucket sort)的工作的原理&#xff1a; 假设输入数据服从均匀分布&#xff0c;将数据分到有限数量的桶里&#xff0c;每个桶再分别排序&#xff08;有可能再使…
阅读更多...
pve(proxmox)宿主机奔溃无法进入系统，lxc容器和虚拟机迁移，无备份，硬盘未损坏，记录数据找回过程及思考

pve(proxmox)宿主机奔溃无法进入系统，lxc容器和虚拟机迁移，无备份，硬盘未损坏，记录数据找回过程及思考

pve的主机突然CPU满载，然后远程断电后pve就无法启动了，之前一直上面的虚拟机和容器也没有备份，折腾了两天总算找回来了记录一下处理过程和思路，方便后续查找。 一、隐患分析 1.周四突然手欠，由于之前家里的pve主机老给我发邮件，提示我硬盘有问题，但可以正常使用，我从…
阅读更多...
最新文章

Copyright @ 2022~2023