filter-mutate过滤插件

之前的nginx日志使用grok匹配,但是后来发现nginx的日志中每个值之间都使用了分隔符"|",这下就可以使用mutate来分隔出每个字段的含义,同时还减少了运算。

描述

mutate过滤器允许您对字段执行常规突变。您可以重命名,删除,替换和修改事件中的字段。
长用配置选项:

  • rename:重命令字段
  • update:更新字段值,如果字段不存在,则不执行操作
  • convert:将字段转换成 其它类型
  • copy:将字段复制到另一字段
  • join:使用分隔符加入数组
  • lowercase:将字符串转换为小写
  • replace:用新值替换字段的值
  • split:使用分隔符将字段拆分为数组。仅适用于字符串字段
  • uppercase:将字符串转换为大写的等效字符串

官方文档:https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html


如下使用了分隔符进行处理,分隔出来的字段的数组下标是从0开始的。

input {file {path => "/tmp/nginx.log"start_position => "beginning"}
}filter {mutate {split => ["message", "|"]add_field => {"timestamp" => "%{[message][0]}""remote_addr" => "%{[message][1]}""request_all" => "%{[message][2]}""status" => "%{[message][3]}""body_bytes_sent" => "%{[message][4]}""request_time" => "%{[message][5]}""request_body" => "%{[message][6]}""http_referer" => "%{[message][7]}""http_user_agent" => "%{[message][8]}""http_x_forwarded_for" => "%{[message][9]}""upstream_addr" => "%{[message][10]}""upstream_response_time" => "%{[message][11]}""upstream_cache_status" => "%{[message][12]}""scheme" => "%{[message][13]}"}}grok {match => {"request_all" => "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}"}remove_field => [ "request_all" ]remove_field => [ "message" ]}convert => {"body_bytes_sent" => "integer""request_time" => "integer"}
}output {elasticsearch {hosts => ["http://192.168.20.6:9200"]index => "logstash-nginx_local"}
}

转载于:https://www.cnblogs.com/dance-walter/p/10196157.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/265084.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ADC实验(读取引脚电压值)

目录ADC 简介什么是ADCI.MX6ULL ADC 简介ADC寄存器介绍配置步骤硬件原理分析实验程序编写编译下载验证编写Makefile 和链接脚本编译下载ADC 是一种常见的外设,你可以在STM32 上见到它,在I.MX 6ULL 上依然能看到它的存在。通过读取GPIO 引脚的高低电平我们…

Linux CAN 驱动实验

目录CAN 协议简析何为CANCAN 电气属性显隐性电平接线端接电阻速度距离CAN 协议1、数据帧2、遥控帧3、错误帧4、过载帧5、帧间隔CAN 速率I.MX6ULL FlexCAN 简介硬件原理图分析实验程序编写修改设备树使能Linux 内核自带的FlexCAN 驱动FlexCAN 测试检查CAN 网卡设备是否存在移植i…

git 常用的撤销操作

git 开发时的使用流程,从同事那里学习的, 第一步,先建立一个新的分支,可以在GITLAB或通过命令git checkout -b newbranch 或通过IDE插件 第二步,让项目切换到该分支,然后在这个分支上进行开发 第三个&#…

MySQL存储引擎MyISAM和 InnoDB

2019独角兽企业重金招聘Python工程师标准>>> 区别 事务处理MyISAM强调性能,但是不提供事务支持InnoDB提供事务支持,外部键等CURD操作如果执行大量SELECT,MyISAM更合适(读)如果执行大量INSERT/UPDATE,InnoDB更合适(写)DELETE FROM table时,InnoDB不会重新…

Luogu 4721 【模板】分治 FFT

还不会这题的多项式求逆的算法。 发现每一项都是一个卷积的形式,那么我们可以使用$NTT$来加速,直接做是$O(n^2logn)$的,我们考虑如何加速转移。 可以采用$cdq$分治的思想,对于区间$[l, r]$中的数,先计算出$[l, mid]$中…

根文件系统构建(Buildroot 方式)

目录何为buildroot?buildroot 简介buildroot 下载buildroot 构建根文件系统配置buildroot编译buildrootbuildroot 根文件系统测试buildroot 第三方软件和库的配置buildroot 下的busybox 配置busybox 配置busybox 中文字符的支持编译busybox根文件系统测试前面我们学…

Kernel panic -not syncing:Attempted to kill init!

DELL R210II安装RHEL后启动系统正常,关机再装磁盘阵列卡接好磁盘阵列,开机后CTRLR进入界面配置RAID5。启动后出现错误: Kernel panic -not syncing:Attempted to kill init! 解决过程:1、强行关机,再重启进入系统选择界…

根文件系统构建(Yocto方式)

本章有独立的教程,请参考《【正点原子】I.MX6U Yocto 构建根文件系统V1.0.pdf》!

Jquery weui picker 支持label和value

万年没更新了. 最近用jquery weui. 在使用picker时需要一些问题. 就是让picker 显示label, 但是取值的时候取value用于存储. 官网例子如下 Jquery-weui 官网 : 点这里 写这篇文章时,用的版本是1.2.1版本 $("#picker-name").picker({title: "请选择您…

Linux—任务计划

1、周期性任务计划:管理系统的过程中,我们并不是每次都直接执行脚本或者命令,有时候需要让脚本、命令以及系统等在指定的时间按照我们的意愿执行我们设定好的脚本或者命令,这时候就需要使用到Linux任务计划的功能了,但…

计算机网络第1章(概述)

B站视频:计算机网络微课堂(有字幕无背景音乐版) 网址:https://www.bilibili.com/video/BV1c4411d7jb?p61 目录图示说明1.1、计算机网络在信息时代的作用我国互联网发展状况1.2、因特网概述1、网络、互连网(互联网&…

django 中使用 channels 实现websocket

.... 转载于:https://www.cnblogs.com/zxmbky/p/10203009.html

HDU 1754线段树

第一个自己动手写的线段树&#xff0c;1Y还是有点小激动哈&#xff08;虽然是模版题&#xff09; 1 #include<cstdio>2 #include<cstring>3 #include<algorithm>4 using namespace std;5 const int SIZE200005;6 const int INF1000000;7 int maxv[SIZE<&l…

Linux命令(七)Linux用户管理和修改文件权限

1. 用户管理 1.1 创建用户/设置密码/删除用户 &#xff08;-m很重要&#xff0c;自动添加用户家目录&#xff09; 创建用户组dev, 给用户组dev新建xiaoqin用户&#xff0c;给新用户设置密码&#xff01; 1.2 查看用户信息 1.3 设置用户主组/附加组 &#xff08;常使用修改用户附…

元模型驱动

感谢徐昊给我们传授这么好的思想。虽然我现在还没有全部弄明白——————————在网上查到了元数据的解释是关于数据的数据。那么元模型就是关于模型的模型。抽象的过程就是形成元模型的过程。建模的过程就是抽象的过程。我们要形成object的模型&#xff0c;所以建立了的是…

2月末周全球域名解析商Top15:万网DNSPod份额均上涨

IDC评述网&#xff08;idcps.com&#xff09;03月11日报道&#xff1a;据域名统计机构WebHosting.info最新数据&#xff0c;在2月末周&#xff08;截至3月3日&#xff09;期间&#xff0c;我国仍是两名域名解析服务商跻身进全球前十五强。其中&#xff0c;中国万网排名第9&…

IHttpHandler与IHttpHandlerFactory的区别一例

在进行访问请求拦截处理时&#xff0c;处理类可以继承自IHttpHandler也可以继承自IHttpHandlerFactory&#xff0c;但他们之间有什么区别呢&#xff1f;近日开发一个需要拦截访问处理的项目&#xff0c;由于需要使用到SESSION&#xff0c;在这里发出了求助贴子&#xff08;积木…

ubuntu - 安装hive

粗略步骤&#xff1a; 详细参考&#xff1a;https://www.2cto.com/net/201804/735478.html 环境&#xff1a;ubunut jdk hadoop mysql 一、下载hive 二、解压&#xff08;到指定目录&#xff09; 三、配置 /etc/profile [环境变量] - 执行&#xff1a; source /etc/profil…

今天拿到了同事给我买的《java与模式》

自从有了设计模式的概念后一直想买本模式方面的书&#xff0c;所以买了《C#设计模式》&#xff0c;但是读了几个月的时间发现自己还只是看了简单工厂&#xff0c;工厂&#xff0c;抽象工厂和单件模式&#xff0c;已经被此书搞得晕头转向了&#xff08;书也烂&#xff0c;自己水…

计算机网络第4章(网络层)

B站视频&#xff1a;计算机网络微课堂&#xff08;有字幕无背景音乐版&#xff09; 网址&#xff1a;https://www.bilibili.com/video/BV1c4411d7jb?p61 目录4.1、网络层概述简介总结4.2、网络层提供的两种服务面向连接的虚电路服务无连接的数据报服务虚电路服务与数据报服务的…