linux系统elk组件logstash部署

Logstash部署

      • 安装配置Logstash
      • 测试文件
        • 配置
        • 手动输入日志数据
          • 数据链路
        • 手动输入数据，并存储到es
          • 数据链路
        • 自定义日志1
          • 数据链路
        • 自定义日志2
          • 数据链路
        • nginx access 日志
          • 数据链路
        • nginx error日志
          • 数据链路
        • filebate 传输给 logstash
        • filebeat 日志模板

安装配置Logstash

Logstash运行同样依赖jdk

tar zxf /usr/local/package/logstash-7.13.2.tar.gz -C /usr/local/./logstash-7.13.2/bin/logstash -f logstash-7.13.2/conf/set.conf    //启动

测试文件

标准输入=>标准输出

1、启动logstash：-f 指定配置文件

2、logstash启动后，直接进行数据输入

3、logstash处理后，直接进行返回

input {stdin {}
}
output {stdout {codec => rubydebug}
}

标准输入=>标准输出及es集群

1、启动logstash

2、启动后直接在终端输入数据

3、数据会由logstash处理后返回并存储到es集群中

input {stdin {}
}
output {stdout {codec => rubydebug}elasticsearch {hosts => ["10.3.145.14","10.3.145.56","10.3.145.57"]index => 'logstash-debug-%{+YYYY-MM-dd}'}
}

端口输入=>字段匹配=>标准输出及es集群

1、由tcp 的8888端口将日志发送到logstash

2、数据被grok进行正则匹配处理

3、处理后，数据将被打印到终端并存储到es

input {  #输入tcp {port => 8888}
}
filter {  #数据处理grok {match => {"message" => "%{DATA:key} %{NUMBER:value:int}"} }
}
output { #输出stdout {codec => rubydebug}elasticsearch {hosts => ["10.3.145.14","10.3.145.56","10.3.145.57"]index => 'logstash-debug-%{+YYYY-MM-dd}'}
}
# yum install -y nc
# free -m |awk 'NF==2{print $1,$3}' |nc logstash_ip 8888

文件输入=>字段匹配及修改时间格式修改=>es集群

1、直接将本地的日志数据拉去到logstash当中

2、将日志进行处理后存储到es

input {file {type => "nginx-log"path => "/var/log/nginx/error.log"start_position => "beginning" # 此参数表示在第一次读取日志时从头读取# sincedb_path => "自定义位置"  # 此参数记录了读取日志的位置，默认在 data/plugins/inputs/file/.sincedb*}
}
filter {grok {match => { "message" => '%{DATESTAMP:date} [%{WORD:level}] %{DATA:msg} client: %{IPV4:cip},%{DATA}"%{DATA:url}"%{DATA}"%{IPV4:host}"'}    }    date {match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]    }    
}output {if [type] == "nginx-log" {elasticsearch {hosts => ["192.168.249.139:9200","192.168.249.149:9200","192.168.249.159:9200"]index => 'logstash-audit_log-%{+YYYY-MM-dd}'}}}

filebeat => 字段匹配 => 标准输出及es

input {beats {port => 5000}
}
filter {grok {match => {"message" => "%{IPV4:cip}"}	}
}
output {elasticsearch {hosts => ["192.168.249.139:9200","192.168.249.149:9200","192.168.249.159:9200"]index => 'test-%{+YYYY-MM-dd}'}stdout { codec => rubydebug }
}
配置

创建目录，我们将所有input、filter、output配置文件全部放到该目录中。

[root@elk ~]# mkdir -p /usr/local/logstash-7.13.2/etc/conf.d
[root@elk ~]# vim /usr/local/logstash-7.13.2/etc/conf.d/input.conf
input { 
kafka {type => "audit_log"codec => "json"topics => "nginx"decorate_events => truebootstrap_servers => "10.3.145.41:9092, 10.3.145.42:9092, 10.3.145.43:9092"}
}[root@elk ~]# vim /usr/local/logstash-7.13.2/etc/conf.d/filter.conf
filter {json { # 如果日志原格式是json的，需要用json插件处理source => "message"target => "nginx" # 组名}
}[root@elk ~]# vim /usr/local/logstash-7.13.2/etc/conf.d/output.conf
output {if [type] == "audit_log" {elasticsearch {hosts => ["10.3.145.14","10.3.145.56","10.3.145.57"]index => 'logstash-audit_log-%{+YYYY-MM-dd}'}}}

启动

[root@elk ~]# cd /usr/local/logstash-7.13.2
[root@elk ~]# nohup bin/logstash -f etc/conf.d/  --config.reload.automatic &
手动输入日志数据
数据链路

1、启动logstash

2、logstash启动后，直接进行数据输入

3、logstash处理后，直接进行返回

input {stdin {}
}
output {stdout {codec => rubydebug}
}
手动输入数据，并存储到es
数据链路

1、启动logstash

2、启动后直接在终端输入数据

3、数据会由logstash处理后返回并存储到es集群中

input {stdin {}
}
output {stdout {codec => rubydebug}elasticsearch {hosts => ["10.3.145.14","10.3.145.56","10.3.145.57"]index => 'logstash-debug-%{+YYYY-MM-dd}'}
}
自定义日志1
数据链路

1、由tcp 的8888端口将日志发送到logstash

2、数据被grok进行正则匹配处理

3、处理后，数据将被打印到终端并存储到es

input {tcp {port => 8888}
}
filter {grok {match => {"message" => "%{DATA:key} %{NUMBER:value:int}"} 	}
}
output {stdout {codec => rubydebug}elasticsearch {hosts => ["10.3.145.14","10.3.145.56","10.3.145.57"]index => 'logstash-debug-%{+YYYY-MM-dd}'}
}
# yum install -y nc
# free -m |awk 'NF==2{print $1,$3}' |nc logstash_ip 8888
自定义日志2
数据链路

1、由tcp 的8888端口将日志发送到logstash

2、数据被grok进行正则匹配处理

3、处理后，数据将被打印到终端

input {tcp {port => 8888}
}
filter {grok {match => {"message" => "%{WORD:username}\:%{WORD:passwd}\:%{INT:uid}\:%{INT:gid}\:%{DATA:describe}\:%{DATA:home}\:%{GREEDYDATA:shell}"}}
}
output {stdout {codec => rubydebug}
}# cat /etc/passwd | nc logstash_ip 8888
nginx access 日志
数据链路

1、在filebeat配置文件中，指定kafka集群ip [output.kafka] 的指定topic当中

2、在logstash配置文件中，input区域内指定kafka接口，并指定集群ip和相应topic

3、logstash 配置filter 对数据进行清洗

4、将数据通过 output 存储到es指定index当中

5、kibana 添加es 索引，展示数据

input {kafka {type => "audit_log"codec => "json"topics => "haha"    #与filebeat中配置kafka一致#decorate_events => true#enable_auto_commit => trueauto_offset_reset => "earliest"bootstrap_servers => ["192.168.52.129:9092,192.168.52.130:9092,192.168.52.131:9092"]}
}filter {grok {match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}    }    date {match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]    }    geoip {source => "lan_ip"    }
}output {if [type] == "audit_log" {stdout {codec => rubydebug}elasticsearch {hosts => ["192.168.52.129","192.168.52.130","192.168.52.131"]index => 'tt-%{+YYYY-MM-dd}'}}}#filebeat 配置filebeat.prospectors:
- input_type: logpaths:-  /opt/logs/server/nginx.logjson.keys_under_root: truejson.add_error_key: truejson.message_key: logoutput.kafka:   hosts: ["10.12.153.8:9092","10.12.153.9:9092","10.12.153.10:9092"]topic: 'nginx'# nginx 配置log_format main        '{"user_ip":"$http_x_real_ip","lan_ip":"$remote_addr","log_time":"$time_iso8601","user_req":"$request","http_code":"$status","body_bytes_sents":"$body_bytes_sent","req_time":"$request_time","user_ua":"$http_user_agent"}';access_log  /var/log/nginx/access.log  main;
nginx error日志
数据链路

1、直接将本地的日志数据拉去到logstash当中

2、将日志进行处理后存储到es

input {file {type => "nginx-log"path => "/var/log/nginx/error.log"start_position => "beginning"}
}
filter {grok {match => { "message" => '%{DATESTAMP:date} [%{WORD:level}] %{DATA:msg} client: %{IPV4:cip},%{DATA}"%{DATA:url}"%{DATA}"%{IPV4:host}"'}    }    date {match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]    }    
}output {if [type] == "nginx-log" {elasticsearch {hosts => ["192.168.249.139:9200","192.168.249.149:9200","192.168.249.159:9200"]index => 'logstash-audit_log-%{+YYYY-MM-dd}'}}}
filebate 传输给 logstash
input {beats {port => 5000}
}
filter {grok {match => {"message" => "%{IPV4:cip}"}	}
}
output {elasticsearch {hosts => ["192.168.249.139:9200","192.168.249.149:9200","192.168.249.159:9200"]index => 'test-%{+YYYY-MM-dd}'}stdout { codec => rubydebug }
}filebeat.inputs:
- type: logenabled: truepaths:- /var/log/nginx/access.log
output.logstash:hosts: ["192.168.52.134:5000"]
filebeat 日志模板
filebeat.inputs:
- type: logenabled: truepaths:- /var/log/nginx/access.logoutput.kafka:hosts: ["192.168.52.129:9092","192.168.52.130:9092","192.168.52.131:9092"]topic: hahapartition.round_robin:reachable_only: truerequired_acks: 1

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/725554.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

app逆向-ratel框架-AES，DES，MD5，SHA1加密算法java hook程序

app逆向-ratel框架-AES，DES，MD5，SHA1加密算法java hook程序

一、前言 AES（高级加密标准）、DES（数据加密标准）、MD5（消息摘要算法5）和SHA-1（安全哈希算法1）都是常见的加密算法，用于数据加密和哈希计算。 二、加密算法实现 1、创建…
阅读更多...
Linux第71步_将linux中的多个文件编译成一个驱动模块

Linux第71步_将linux中的多个文件编译成一个驱动模块

学习目的：采用旧字符设备测试linux系统点灯，进一步熟悉其设计原理。采用多文件参与编译，深度学习编写Makefile，有利于实现驱动模块化设计。 1、创建MyOldLED目录 输入“cd /home/zgq/linux/Linux_Drivers/回车” 切换到“/home…
阅读更多...
Python程序怎么让鼠标键盘在后台进行点击，不干扰用户其他鼠标键盘操作

Python程序怎么让鼠标键盘在后台进行点击，不干扰用户其他鼠标键盘操作

在Python中实现鼠标和键盘在后台点击而不干扰用户的其他操作是一个比较复杂的任务。大多数库，如pyautogui或pynput，都是直接控制鼠标和键盘的，这意味着它们的操作会干扰用户的正常活动。 为了在不干扰用户的情况下实现这一点，你可…
阅读更多...
14、电源管理入门之Watchdog看门狗

14、电源管理入门之Watchdog看门狗

目录 1. 软硬件watchdog的区别 2. 软件看门狗 2.1 kernel watchdog 2.1.1 soft lockup 2.1.1 hard lockup 2.2 用户态watchdog 2.2.1 softdog 2.2.1 hardware watchdog 3. 硬件看门狗 3.1 硬件寄存器介绍 3.2 喂狗操作 3.3 watchdog硬件驱动编写 参考： 看门狗,又…
阅读更多...
量化人这样用Jupyter(2) - JupySQL， D-tale

量化人这样用Jupyter(2) - JupySQL， D-tale

当我们使用 Jupyter 时，很显然我们的主要目的是探索数据。这篇文章将介绍如何利用 JupySQL 来进行数据查询–甚至代替你正在使用的 Navicat, dbeaver 或者 pgAdmin。此外，我们还将介绍如何更敏捷地探索数据，相信这些工具，可以帮你省下 90%的 coding 时间。 原文发表在这里…
阅读更多...
Matlab控制仿真

Matlab控制仿真

Simulink里的S函数介绍（Matlab-1）_simulink的s函数用法-CSDN博客
阅读更多...
基于51单片机的秒表系统设计

基于51单片机的秒表系统设计

基于51单片机的秒表系统设计 摘要： 本文介绍了一个基于51单片机的秒表系统设计。该系统采用51单片机作为核心控制器，通过编程实现秒表的计时、显示和复位等功能。本文详细阐述了系统的硬件设计、软件编程和测试结果，并探讨了系统的优化和改进…
阅读更多...
excel统计分析——正交设计

excel统计分析——正交设计

参考资料：生物统计学 单因素试验通常采用完全随机设计活动随机区组设计；两因素试验通常采用析因设计；多因素试验不考虑因素间的互作时，可以采用拉丁方设计或正交拉丁方设计；需要考虑因素间的互作时，析因设计…
阅读更多...
Day 27[补档] |● 39. 组合总和● 40.组合总和II● 131.分割回文串

Day 27[补档] |● 39. 组合总和● 40.组合总和II● 131.分割回文串

39. 组合总和 class Solution { public:vector<int> path;vector<vector<int>> res;void func(vector<int>& candi, int target, int sum,int st){if(sum target){res.push_back(path);return;}for(int i st; i < candi.size(); i){if(sum &…
阅读更多...
Spring Boot(六十六)：集成Alibaba Druid 连接池

Spring Boot(六十六)：集成Alibaba Druid 连接池

1 Alibaba Druid介绍 在现代的Java应用中，使用一个高效可靠的数据源是至关重要的。Druid连接池作为一款强大的数据库连接池，提供了丰富的监控和管理功能，成为很多Java项目的首选。本文将详细介绍如何在Spring Boot项目中配置数据源，集成Druid连接池，以实现更高效的数据库…
阅读更多...
【Docker】掌握 Docker 镜像操作：从基础到进阶

【Docker】掌握 Docker 镜像操作：从基础到进阶

&#x1f34e;个人博客&#xff1a;个人主页 &#x1f3c6;个人专栏&#xff1a;Linux ⛳️ 功不唐捐&#xff0c;玉汝于成 目录 前言 正文 结语 我的其他博客 前言 在现代软件开发和部署中&#xff0c;容器化技术已经成为不可或缺的一部分。而 Docker 作为最流行的容器化…
阅读更多...
JVM工作原理与实战(四十二)：JVM常见面试题目

JVM工作原理与实战(四十二)：JVM常见面试题目

专栏导航 JVM工作原理与实战 RabbitMQ入门指南 从零开始了解大数据 目录 专栏导航 前言 一、JVM常见面试题目 1.请阐述JVM的概念及其核心功能&#xff0c;并简要介绍其组成部分和常用的实现。 2.请阐述Java字节码文件的组成部分。 3.请描述JVM的运行时数据区及其组成部分…
阅读更多...
RedTiger‘s Hackit

RedTiger‘s Hackit

本文相关的ctf平台链接&#xff1a;RedTigers Hackit (overthewire.org) level 1 这里有个1可以点&#xff0c;先尝试点一下 因为这题是sql注入&#xff0c;cat应该就是注入点了 先判断注入类型 ?cat1 and 11 ?cat1 and 12 数字型注入 再判断列数 1 order by 4 -- 接下来…
阅读更多...
Python查看函数信息的几种方法

Python查看函数信息的几种方法

在 Python 中&#xff0c;可以通过以下4种方法来查看函数的相关信息&#xff1a; 使用help()函数&#xff1a;可以直接在交互式解释器中或在脚本中使用help()函数来查看函数的详细帮助信息。例如&#xff1a;help(len)将显示len()函数的帮助信息。 使用.doc属性&#xff1a;许…
阅读更多...
智慧路灯物联网解决方案

智慧路灯物联网解决方案

概述 城市路灯是与人们生活息息相关的重要公共基础设施，一方面保证夜间车辆和行人的交通的安全，另一方面承担了整个城市形象美化的重任。路灯作为城市重要基础设施，遍布城市所有的交通网络。当前随着我国新型城市的发展，更多与城市环境、民生相关的问题，已纳入到现代城市建…
阅读更多...
2023 0305笔记

2023 0305笔记

go 1. map、Chanel、slice是线程安全的吗&#xff1f; 2. map遍历时是有序的吗 3. 如果同时启动了多个gorutine&#xff0c;有一个gorutine linux 1. 查看端口监听情况的命令 netstat -anp docker 1. 常见参数 2. 网络模型有哪些 桥接网络和主机网络 3. CMD和entrypoi…
阅读更多...
Vue深度教程

Vue深度教程

一、Vue简介 1.简介 2.快速上手 二、基础 1.创建一个Vue应用 2.模板语法 3.响应式基础 4.计算属性 5.Class与 Style绑定 6.条件渲染 7.列表渲染 8.事件处理 9.表单输入绑定 10.生命周期钩子 11.侦听器 12.模板引用 13.组件基础 三、深入组件 1.组件注册 2.Props 3.组件事件 …
阅读更多...
css补充（上）

css补充（上）

有关字体 1.所有有关字体的样式都会被继承 div {font-size: 30px;}<span>777</span> <div>123<p>456</p> </div>span中777是默认大小16px div设置了30px p作为div的后代继承了字体样式也是30px 2.字体颜色 div{color: red;border: 1px …
阅读更多...
MySQL CTE 通用表表达式：基础学习

MySQL CTE 通用表表达式：基础学习

MySQL CTE 通用表表达式&#xff1a;基础学习 CTE&#xff08;Common Table Expressions&#xff09;&#xff0c;是一个可以在单个语句范围内被创建的临时结果集&#xff0c;可在该语句中被多次引用。 使用基础 CTE通常以 WITH 关键字开头&#xff0c;后跟一个或多个子句&a…
阅读更多...
【VTKExamples::PolyData】第四十九期 Silhouette

【VTKExamples::PolyData】第四十九期 Silhouette

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ：870202403 前言 本文分享VTK样例Silhouette，并解析接口vtkPolyDataSilhouette，希望对各位小伙伴有所帮助！ 感谢各位小伙伴的点赞+关注，小易会继续努力分享，一起进步！ 你的点赞就是我的动力(＾Ｕ＾)ノ~ＹＯ 1. Silhouett…
阅读更多...
最新文章

Copyright @ 2022~2023