ELK日志收集系统集群实验（5.5.0版）

目录

前言

一、概述

二、组件介绍

1、elasticsearch

2、logstash

3、kibana

三、架构类型

四、ELK日志收集集群实验

1、实验拓扑

2、在node1和node2节点安装elasticsearch

3、启动elasticsearch服务

4、在node1安装elasticsearch-head插件

5、测试输入

6、node1服务器安装logstash

7、logstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

8、node1节点安装kibana

五、配置http节点

前言

ELK是指Elasticsearch、Logstash和Kibana的组合。它们是一套开源的日志收集、存储、搜索和可视化系统，常用于集中管理和分析日志数据。

1. Elasticsearch：一个分布式的实时搜索和分析引擎。它能够处理大规模的数据，并提供快速的搜索、聚合和数据分析功能。

2. Logstash：一个用于日志收集、处理和传输的工具。它支持从多种来源收集日志数据，可以进行数据清洗、转换和过滤，并将数据发送到Elasticsearch等目标存储。

3. Kibana：一个用于数据可视化和分析的工具。它可以通过图表、仪表盘和报表等方式，直观地展示Elasticsearch中的数据，帮助用户理解和分析日志。

ELK日志收集系统的工作流程如下：
1. Logstash配置：在Logstash中配置输入插件，指定日志数据的来源，如文件、网络或消息队列等。
2. 数据处理：通过Logstash的过滤插件对日志数据进行清洗、转换和过滤，使其符合需要，然后将处理后的数据发送到Elasticsearch。
3. 数据存储：Elasticsearch将接收到的日志数据进行索引并存储，以便快速搜索和分析。
4. 数据可视化：使用Kibana创建图表、仪表盘和报表等可视化组件，通过搜索和聚合数据，展示日志数据的统计信息和趋势。
5. 实时搜索和分析：通过Kibana提供的搜索功能，可以实时搜索和分析日志数据，帮助发现问题、监控系统和进行性能优化。

ELK日志收集系统的优点包括：
- 高效处理大规模日志数据：Elasticsearch作为存储和搜索引擎，能够处理大规模的日志数据。
- 灵活的数据处理和过滤：Logstash提供了丰富的插件和过滤器，可以对日志数据进行灵活的处理和转换。
- 直观的数据可视化：Kibana提供了图形化的界面，以直观的方式展示日志数据的统计信息和趋势。
- 实时搜索和分析：ELK系统支持实时搜索和分析，可以帮助快速定位和解决问题。

总之，ELK日志收集系统是一个功能强大的工具组合，可以帮助企业集中管理、存储、搜索和可视化大量的日志数据，提高系统的监控和故障排查能力。

一、概述

1、ELK由三个组件构成Elasticsearch、Logstash和Kibana的组合

日志收集Logstash
日志分析Elasticsearch
日志可视化Kibana

   
2、 为什么使用？
    日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。
    如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
    

二、组件介绍

1、elasticsearch

作用：日志分析、开源的日志收集、分析、存储程序

特点：

分布式
零配置
自动发现
索引自动分片
索引副本机制
Restful风格接口
多数据源
自动搜索负载

2、logstash

作用：日志收集 、搜集、分析、过滤日志的工具

工作的过程：

一般工作方式为c/s架构，Client端安装在需要收集日志的服务器上，Server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往Elasticsearch上去
Inputs → Filters → Outputs
输入-->过滤-->输出

inputs（输入）
File：从文件系统的文件中读取，类似于tail -f命令
Syslog：在514端口上监听系统日志消息，并根据RFC3164标准进行解析
Redis：从redis service中读取
Beats：从filebeat中读取
FILETER（过滤）
Grok：解析任意文本数据，Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式使用。
官方提供的grok表达式：logstash-patterns-core/patterns at main · logstash-plugins/logstash-patterns-core · GitHub
Grok在线调试：Grok Debugger
Mutate：对字段进行转换。例如对字段进行删除、替换、修改、重命名等。
Drop：丢弃一部分Events不进行处理。
Clone：拷贝Event，这个过程中也可以添加或移除字段。
Geoip：添加地理信息(为前台kibana图形化展示使用)
OUTPUTS（输出）
Elasticsearch：可以高效的保存数据，并且能够方便和简单的进行查询。
File：将Event数据保存到文件中。
Graphite：将Event数据发送到图形化组件中，踏实一个当前较流行的开源存储图形化展示的组件。

3、kibana

作用：日志可视化

为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。

三、架构类型

1、ELK
    es
    logstash
    kibana

2、ELKK
    es
    logstash
    kafka
    kibana

3、ELFK
    es
    logstash  重量级 、占用系统资源较多
    filebeat    轻量级、占用系统资源较少
    kibana

4、ELFKK
    es
    logstash
    filebeat
    kafka
    kibana

四、ELK日志收集集群实验

1、实验拓扑

在进行本实验时至少每台主机给到2核4G。不然嘿嘿~~你懂得。

下载地址 https://elasticsearch.cn/download/

在node1和node2设置主机名

####分别修改主机名#####
###node1
hostnamectl set-hostname node1
echo "192.168.115.131 node1" "192.168.115.136 node2" >> /etc/hosts
scp /etc/hosts 192.168.115.136:/etc/hosts
bash
###node2
hostnamectl set-hostname node2
bash
######测试通联#######
###node1
ping node2
###node2
ping node1

2、在node1和node2节点安装elasticsearch

2.1、首先检查Java环境Java-version，如果没有就装一个yum install -y java-1.8.0-openjdk

2.2、安装elasticsearch

如下所示这是本次实验用到的安装包

##安装elasticsearch
rpm -ivh elasticsearch-5.5.0.rpm
##配置
vim /etc/elasticsearch/elasticsearch.yml
###进去解开注释
cluster.name:my-elk-cluster  #集群名称   
node.name:node1              #节点名字
path.data: /var/lib/elasticsearch      #数据存放路径
path.logs：/var/log/elasticsearch/   #日志存放路径
bootstrap.memory_lock:false           #在启动的时候不锁定内存
network.host:192.168.115.131                  #提供服务绑定的IP地址，0.0.0.0代表所有地址
http.port:9200                        #侦听端口为9200
discovery.zen.ping.unicast.hosts：["node1"，"node2"] #群集发现通过单播实现
###同理安装node2的elasticsearch
###把这份配置文件传输给node2，修改一下节点名字和IP就好了
scp /etc/elasticsearch/elasticsearch.yml 192.168.115.136:/etc/elasticsearch/elasticsearch.yml

3、启动elasticsearch服务

3.1、启动命令systemctl start elasticsearch.service

node1

node2

3.2、浏览器访问查看节点信息

192.168.115.131:9200

192.168.115.136
:9200

查看集群健康状态：192.168.115.131:9200/cluster/health

                                192.168.115.136:9200/cluster/health

Green 健康   yellow  警告    red  集群不可用，严重错误

​

​

4、在node1安装elasticsearch-head插件

####编译安装
cd elktar xf node-v8.2.1.tar.gzcd node-v8.2.1./configure && make && make install
###等待安装完毕。安装完毕后会生成命令：npm
###拷贝命令
cd elk
tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs  /usr/local/bin
##安装elasticsearch-head
cd elk
tar xf elasticsearch-head.tar.gz 
cd elasticsearch-head
npm install

​

###修改elasticsearch配置文件node1、2都要改
vim /etc/elasticsearch/elasticsearch.yml# Require explicit names when deleting indices:
#
#action.destructive_requires_name:true 
http.cors.enabled: true  //开启跨域访问支持，默认为false
http.cors.allow-origin: "*"  //跨域访问允许的域名地址

​4.1、重启服务： systemctl restart elasticsearch两个节点都检查一下9200端口起来了吗

###启动elasticsearch-head
cd /root/elk/elasticsearch-head
npm run start &
##查看监听： netstat -anput | grep :9100

4.2、访问192.168.115.136:9100

5、测试输入

5.1、curl  -XPUT  '192.168.115.131:9200/index-demo/test/1?pretty&pretty' -H  'Content-Type: application/json' -d '{"user":"hy","mesg":"hello"}

访问192.168.115.131:9100可以看到我们的测试数据 “hy hello”

6、node1服务器安装logstash

cd  elk
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
In -s /usr/share/logstash/bin/logstash  /usr/local/bin/

测试1： 标准输入与输出logstash -e 'input{ stdin{} }output { stdout{} }'

测试2： 使用rubydebug解码logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'

测试3：输出到elasticsearch

logstash -e 'input { stdin{} } output { elasticsearch{ hosts=>["192.168.115.131:9200"]} }'

OK，测试完了，我们去192.168.115.131:9100查看一下

elasticsearch已经在分析了，这就是测得内容而且多了一个索引了

7、logstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

7.1、介绍

Logstash配置文件基本由三部分组成：input、output以及 filter（根据需要）。标准的配置文件格式如下：
input (...)  输入
filter {...}   过滤
output {...}  输出
在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {
file{path =>"/var/log/messages" type =>"syslog"}
file { path =>"/var/log/apache/access.log"  type =>"apache"}
}

7.2、配置

通过logstash收集系统信息日志

##因为要收集日志，root用户可以操作，其他用户是没权限的，所以加个读取的权限，否则是收集不到日志的
chmod o+r /var/log/messagesvim /etc/logstash/conf.d/system.conf  
##system.conf是自定义的因为我搜集的是系统日志，若其他的应用的话可以取对应的名字来作为区分
##插入
input {
file{                          ##类型：文件
path =>"/var/log/messages"     ##系统日志文件路径
type => "system"               ##类型自定义
start_position => "beginning"
}
}
output {
elasticsearch{
hosts =>["192.168.115.131:9200"]   ##给谁处理
index => "system-%{+YYYY.MM.dd}" ##自定义索引
}
}

重启日志服务： systemctl restart logstash

浏览器查看 192.168.115.131:9100

8、node1节点安装kibana

8.1、安装配置

####安装kibana
cd elk
rpm -ivh kibana-5.5.1-x86_64.rpm
##配置kibana
vim /etc/kibana/kibana.yml
server.port：5601                          #Kibana打开的端口
server.host："0.0.0.0"                     #Kibana侦听的地址
elasticsearch.url： "http：//192.168.115.131:9200"  #和Elasticsearch 建立连接
kibana.index：".kibana"  #在Elasticsearch中添加.kibana索引##启动kibana
systemctl start kibana

8.2、访问kibana

访问192.168.115.131:9100

访问192.168.115.131:5601  可以添加索引，可以添加上图中有的索引

这里我添加一个系统的索引

五、配置http节点

1、配置192.168.115.140的http服务

yum -y install httpd
systemctl start httpd
netstat -anput | grep 80

访问httpd

2.在此节点上配置我们的logstash来收集我们的http服务器的访问日志

http访问日志的路径/var/log/httpd/access_log

##安装logstash
rpm -ivh logstash-5.5.1.rpm

3、修改配置文件

vim /etc/logstash/conf.d/httpd.conf
###插入
input {
file{                          ##类型：文件
path =>"/var/log/httpd/access_log"     ##系统日志文件路径
type => "access"               ##类型自定义
start_position => "beginning"
}
}
output {
elasticsearch{
hosts =>["192.168.115.131:9200"]   ##给谁处理
index => "httpd-%{+YYYY.MM.dd}" ##自定义索引
}
}

启动日志收集systemctl start logstash.service

使用logstash命令导入配置：

创建软连接In -s /usr/share/logstash/bin/logstash  /usr/local/bin/

导入logstash -f  /etc/logstash/conf.d/httpd.conf

4、访问192.168.115.131:9200

kibana 192.168.115.131:5601

查看httpd的访问日志情况

OK，至此实验结束

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/65195.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据结构--6.0最短路径

数据结构--6.0最短路径

目录 一、迪杰斯特拉算法（Dijkstra） 二、弗洛伊德算法（Floyd） 在网图和非网图中，最短路径的含义是不同的。 ——网图是两顶点经过的边上的权值之和最少的路径。 …
阅读更多...
找不到msvcp140.dll的解决方法【msvcp140.dll修复工具下载】

找不到msvcp140.dll的解决方法【msvcp140.dll修复工具下载】

今天，我将为大家分享一个与我们日常工作息息相关的话题——msvcp140.dll重新安装的5种解决方法。在接下来的时间里，我将向大家介绍什么是msvcp140.dll,为什么会丢失，以及它的用途。最后，我将为大家提供5种解决方法，帮助…
阅读更多...
spring高级源码50讲-37-42(springBoot)

spring高级源码50讲-37-42(springBoot)

Boot 37) Boot 骨架项目 如果是 linux 环境，用以下命令即可获取 spring boot 的骨架 pom.xml curl -G https://start.spring.io/pom.xml -d dependenciesweb,mysql,mybatis -o pom.xml也可以使用 Postman 等工具实现 若想获取更多用法，请参考 curl …
阅读更多...
【GUI开发】用python爬YouTube博主信息，并开发成exe软件

【GUI开发】用python爬YouTube博主信息，并开发成exe软件

文章目录 一、背景介绍二、代码讲解2.1 爬虫2.2 tkinter界面2.3 存日志 三、软件演示视频四、说明 一、背景介绍 你好，我是马哥python说，一名10年程序猿。 最近我用python开发了一个GUI桌面软件，目的是爬取相关YouTube博主的各种信息&#…
阅读更多...
01-认识风控

01-认识风控

对风控的理解/价值 如果把平台比做一棵树，那么需要足够多的养分才能使树茁壮成长；而业务风险则是充当寄生在树上窃取养分的角色；只有抵御这种风险，保持足够多的养分，才能使平台成长为参天大树——这就是风控存在的价值…
阅读更多...
【深入浅出C#】章节10: 最佳实践和性能优化：编码规范和代码风格

【深入浅出C#】章节10: 最佳实践和性能优化：编码规范和代码风格

编码规范和代码风格之所以重要，是因为它们直接影响到软件开发的质量、可维护性、可读性和协作效率。编码规范和代码风格是编程中的关键要素，它们有助于编写高质量、可维护和易读的代码，提高团队协作效率，减少错误，降低…
阅读更多...
PoseC3D 基于人体姿态的动作识别新范式

PoseC3D 基于人体姿态的动作识别新范式

摘要1. Introduction2. Related Work动作识别 3D-CNN基于骨架的动作识别 GCN基于骨骼的动作识别 2D-CNN3. Framework3.1. Good Practice for Pose Extraction3.2. From 2D Poses to 3D Heatmap Volumes3.3 基于骨骼的动作识别 3D-CNNPose-SlowOnlyRGBPose-SlowFast4. Experimen…
阅读更多...
基于Open3D的点云处理16-特征点匹配

基于Open3D的点云处理16-特征点匹配

点云配准 将点云数据统一到一个世界坐标系的过程称之为点云配准或者点云拼接。（registration/align） 点云配准的过程其实就是找到同名点对；即找到在点云中处在真实世界同一位置的点。 常见的点云配准算法: ICP、Color ICP、Trimed-ICP 算法…
阅读更多...
ChatGPT Prompting开发实战（三）

ChatGPT Prompting开发实战（三）

一、关于chaining prompts与CoT的比较 前面谈到的CoT的推理过程，可以比作是一次性就烹调好一顿大餐，那么接下来要说的“chaining prompts”，其背后的理念是分多次来完成这样一项复杂任务，每次只完成其中一步或者一个子任务。核心…
阅读更多...
WebGPU学习（8）---使用RenderBundle

WebGPU学习（8）---使用RenderBundle

RenderBundle是什么 通常情况下，WebGPU每次绘制时都需要向RenderPassEncoder注册渲染命令。处理此绘图命令比 WebGL 内部执行的类似处理更快。但是，如果可以省略此命令注册过程，则可以能够更快地绘制。RenderBundle 就是实现这一点的。 Ren…
阅读更多...
【3.Vue子组件调用父组件方法】

【3.Vue子组件调用父组件方法】

1.概述 使用组件建抛出事件的方式来调用父组件的方法，不直接用this.$parent.function的方法，当然这种方式是可以的。 2.代码实现 2.1 父组件代码 父组件写一个方法给子组件调用 // 设备点击事件// equipId:设备id// leftValue:left值// topValue:top…
阅读更多...
如何制作并运行 jar 程序

如何制作并运行 jar 程序

以下是用 Intellij 制作 jar 程序，并运行的方法。 【1】新建工程，保持默认选项，Next 【2】保持默认选项，Next 【3】给工程命名，设置保存位置，Finish 【4】新建工程结束，进入开发界面 【5】展开…
阅读更多...
html中的换行(\n)或回车(\r)符号不起作用的解决办法、br、white、space、pre、line

html中的换行(\n)或回车(\r)符号不起作用的解决办法、br、white、space、pre、line

文章目录 前言html不解释空白字符CSS样式的影响特定的文本区域white-space 前言 如果您的HTML中的换行和回车符号（\n和\r）似乎不起作用，可能有几种可能的原因： html不解释空白字符 在HTML中，连续的空白字符&#xff0…
阅读更多...
Redis图文指南

Redis图文指南

1、什么是 Redis？ Redis（REmote DIctionary Service）是一个开源的键值对数据库服务器。 Redis 更准确的描述是一个数据结构服务器。Redis 的这种特殊性质让它在开发人员中很受欢迎。 Redis不是通过迭代或者排序方式处理数据，而是…
阅读更多...
Oracle21C--Windows卸载与安装

Oracle21C--Windows卸载与安装

卸载方法： （1）WinR，输入services.msc,打开服务，把Oracle相关的服务全部停止运行（重要） （2）WinR，输入regedit，打开注册表，删除Oracle开…
阅读更多...
构建高可用的消息队列系统：保障消息传递的稳定性

构建高可用的消息队列系统：保障消息传递的稳定性

推荐阅读 项目实战:AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 资源分享 史上最全文档AI绘画stablediffusion资料分享 AI绘画关于SD,MJ,GPT,SDXL百科全书 AI绘画 stable…
阅读更多...
无涯教程-Android - CheckBox函数

无涯教程-Android - CheckBox函数

CheckBox是可以由用户切换的on/off开关。为用户提供一组互不排斥的可选选项时,应使用复选框。 CheckBox 复选框属性 以下是与CheckBox控件相关的重要属性。您可以查看Android官方文档以获取属性的完整列表以及可以在运行时更改这些属性的相关方法。 继承自 android.widget.T…
阅读更多...
肖sir__linux详解__002（系统命令）

肖sir__linux详解__002（系统命令）

linux系统命令 1、df 查看磁盘使用情况 （1）df 查看磁盘使用情况（按kb单位显示） （2）df -h 按单位显示磁盘使用情况 2、top 实时查看动态进程 （1）top 详解： 第一行&…
阅读更多...
侯捷课程笔记（一）（传统c++语法，类内容）

侯捷课程笔记（一）（传统c++语法，类内容）

侯捷课程笔记（一）（传统c语法，类内容） 2023-09-03更新： 本小节已经完结，只会进行小修改 埋下了一些坑，后面会单独讲或者起新章节讲 最近在学习侯捷的一些课程，虽然其中大部…
阅读更多...
19 Linux之Python定制篇-apt软件管理和远程登录

19 Linux之Python定制篇-apt软件管理和远程登录

19 Linux之Python定制篇-apt软件管理和远程登录 文章目录 19 Linux之Python定制篇-apt软件管理和远程登录19.1 apt软件管理19.1.1 apt介绍19.1.2 更新软件下载地址-阿里源19.1.3 使用apt完成安装和卸载vim 19.2 远程登录Ubuntu 学习视频来自于B站【小白入门 通俗易懂】2021韩顺…
阅读更多...
最新文章

Copyright @ 2022~2023