ELK日志分析系统+Filebeat

目录

一、Filebeat介绍

1、Filebeat简介

2、Filebeat的工作方式

3、filebeat工作流程

4、Filebeat的作用

5、filebeat的用途

1.为什么要用filebeat来收集日志？为什么不直接用logstash收集日志？

2.filebeat和logstash的区别

二、部署(ELFK)Filebeat+ELK

1、环境准备

2、安装Filebeat

3、设置filebeat的主配置文件

4、在Logstash组件所在节点新建一个Logstash配置文件

5、启动filebeat

6、启动Logstash

7、浏览器访问

一、Filebeat介绍

1、Filebeat简介

Filebeat由两个主要组成部分组成：prospector(探勘者)和 harvesters(矿车)。这些组件一起工作来读取文件并将事件数据发送到指定的output。

  • prospector: 负责找到所有需要进行读取的数据源
  • harvesters：负责读取单个文件的内容，并将内容发送到output中，负责文件的打开和关闭。

2、Filebeat的工作方式

Filebeat可以保持每个文件的状态，并且频繁地把文件状态从注册表里更新到磁盘。这里所说的文件状态是用来记录上一次Harvster读取文件时读取到的位置，以保证能把全部的日志数据都读取出来，然后发送给output。如果在某一时刻，作为output的ElasticSearch或者Logstash变成了不可用，Filebeat将会把最后的文件读取位置保存下来，直到output重新可用的时候，快速地恢复文件数据的读取。在Filebaet运行过程中，每个Prospector的状态信息都会保存在内存里。如果Filebeat出行了重启，完成重启之后，会从注册表文件里恢复重启之前的状态信息，让Filebeat继续从之前已知的位置开始进行数据读取。

3、filebeat工作流程

  • filebeat 将日志收集后交由 logstash 处理
  • logstash 进行过滤、格式化等操作，满足过滤条件的数据将发送给 ES
  • ES 对数据进行分片存储，并提供索引功能
  • Kibana 对数据进行图形化的 web 展示，并提供索引接口

4、Filebeat的作用

  • 由于 logstash 会大量占用系统的内存资源，一般我们会使用 filebeat 替换 logstash 收集日志的功能，组成 ELFK 架构
  • 或用 fluentd 替代 logstash 组成 EFK（elasticsearch/fluentd/kibana），由于 fluentd 是由 Go 语言开发的，一般在 K8s 环境中使用较多

5、filebeat的用途

适用于集群环境下，服务多，且部署在不同的机器。

1.为什么要用filebeat来收集日志？为什么不直接用logstash收集日志？

因为logstash是jvm跑的，资源消耗比较大，启动一个logstash就需要消耗500M左右的内存（这就是为什么logstash启动特别慢的原因），而filebeat只需要10来M内存资源。常用的ELK日志采集方案中，大部分的做法就是将所有节点的日志内容通过filebeat发送到logstash，logstash根据配置文件进行过滤。然后将过滤之后的文件输送到elasticsearch中，通过kibana去展示。

2.filebeat和logstash的区别

logstash Filebeat
内存大

小

CPU大小

插件

多多
功能从多种输入端采集并实时解析和转换数据并输出到多种输出端传输
过滤能力强大的过滤能力有过滤能力但是弱
轻重相对较重轻量级二进制文件
进程 一台服务器只允许一个logstash进程，挂掉之后需要手动启动  
集群单节点单节点
原理Logstash使用管道的方式进行日志的搜集和输出，分为输入input处理filter(不是必须的)输出output，每个阶段都有不同的替代方式

开启进程后会启动一个或多个探测器(prospectors)去检测指定的日志目录或文件，对于探测器找出的每一个日志文件，filebeat启动收割进程(harvester) ，每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序(spooler)，处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的

二、部署(ELFK)Filebeat+ELK

1、环境准备

在 ELK 的服务配置的基础上，增加一台 Filebeat 服务器，其余不变

服务器类型系统和IP地址需要安装的组件
node1节点192.168.10.100Elasticsearch 、 Kibana
node2节点192.168.10.101Elasticsearch
Logstash节点192.168.10.102Logstash、Apache
Filebeat节点192.168.10.103Filebeat

更改filebeat节点的主机名

[root@localhost ~]#hostnamectl set-hostname filebeat
[root@localhost ~]#bash

2、安装Filebeat

[root@filebeat ~]#cd /opt/
[root@filebeat opt]#rz -E
rz waiting to receive.
[root@filebeat opt]#ls
filebeat-6.6.1-x86_64.rpm  rh
[root@filebeat opt]#rpm -ivh filebeat-6.6.1-x86_64.rpm 
警告：filebeat-6.6.1-x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...1:filebeat-6.6.1-1                 ################################# [100%]
[root@filebeat opt]#ls
filebeat-6.6.1-x86_64.rpm  rh

3、设置filebeat的主配置文件

[root@filebeat opt]#cd /etc/filebeat/
[root@filebeat filebeat]#ls
fields.yml  filebeat.reference.yml  filebeat.yml  modules.d
[root@filebeat filebeat]#cp filebeat.yml filebeat.yml.bak[root@filebeat filebeat]#vim filebeat.ymlfilebeat.inputs:                         ##15行
- type: log                              ##21行
enabled: true                            ##24行
paths:                                   ##27行- /var/log/messages                 ##28行- /var/log/*.log                    ##29行
fields:                                  ##46行service_name: filebeat              ##47行log_type: log                       ##48行service_id: 192.168.10.103          ##49行
#output.elasticsearch:                   ##152行，注释起来
#  hosts: ["localhost:9200"]             ##154行，注释起来
output.logstash:                         ##165行，取消注释
hosts: ["192.168.10.102:5044"]           ##167行，取消注释，然后将localhost改为Logstash的IP地址

4、在Logstash组件所在节点新建一个Logstash配置文件

[root@logstash ~]#cd /etc/logstash/conf.d/
[root@logstash conf.d]#vim fb_logstash.confinput {beats {port => "5044"}
}output {elasticsearch {hosts => ["192.168.10.100"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}


[root@filebeat filebeat]#systemctl start filebeat.service 
[root@filebeat filebeat]#systemctl enable filebeat.service
[root@filebeat filebeat]#systemctl status filebeat.service

5、启动filebeat

 如果使用tar包安装使用它启动  /usr/local/filebeat/filebeat -e -c filebeat.yml 或 ./filebeat -e -c filebeat.yml

 如果使用rpm包安装使用systemctl start filebeat.service启动filebeat

[root@filebeat filebeat]#systemctl start filebeat.service 
[root@filebeat filebeat]#systemctl enable filebeat.service
[root@filebeat filebeat]#systemctl status filebeat.service

6、启动Logstash

[root@logstash conf.d]#ls
apache_log.conf  fb_logstash.conf  system.conf
[root@logstash conf.d]#logstash -f fb_logstash.conf

稍等片刻，还会出来数据

7、浏览器访问

http://192.168.10.100:9100

8、浏览器访问 http://192.168.10.100:5601 登录 Kibana

单击“Create Index Pattern”按钮添加索引“filebeat-*”，单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息

总结：

1、一般用什么来代替logstash？为什么？

一般使用Filebeat代替logstash
因为logstash是由Java开发的，需要运行在JVM上，耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患；而filebeat是一款轻量级的开源日志文件数据搜集器，能快速收集数据，并发送给 logstash 进行解析，性能上相比运行于 JVM 上的 logstash 优势明显。

2、feilbeat +Logstash + Elasticsearch +Kibana模式

这是一种更加完善和灵活的架构，适合处理复杂的日志数据

并将其发送到Elasticsearch进行索引。kibana则可以用来查看和分析日志数据
在这种模式下，filebeat (beats)负责收日志文件，并将其发送到logstash进行处理。logstash可以对日志数据进行更多的过滤、转换和增强的操作,并将其发送到Elasticsearch进行索引。kibana则可以用来查看和分析日志数据

3、feilbeat+缓存/消息队列+Logstash + Elasticsearch + Kibana 模式

这是一种加健壮高效的架构，适合处理海量复杂的日志数据，在这种模式下，filebeat和logstach之间加入缓存或消息队列组件，如redis、kafka或RabbitMQ等 ,这样可以降低对日志源主机的影响 ，提高日志传输的稳定性和可靠性，以及实现负载均衡和高可用

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/815984.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

自动化测试Junit

自动化测试Junit

1.什么是Junit JUint是Java编程语言的单元测试框架，用于编写和运行可重复的自动化测试。 JUnit 促进了“先测试后编码”TDD的理念，强调建立测试数据的一段代码，可以先测试，然后再应用。这个方法就好比“测试一点，编码一…
阅读更多...
【SERVERLESS】AWS Lambda上实操

【SERVERLESS】AWS Lambda上实操

通过Serverless的发展历程及带给我们的挑战，引出我们改如何改变思路，化繁为简，趋利避害，更好的利用其优势，来释放企业效能，为创造带来无限可能。 一 Serverless概述 无服务器计算近年来与云原生计算都是在…
阅读更多...
OSPF星型拓扑和MGRE全连

OSPF星型拓扑和MGRE全连

一，拓扑 二，要求 1，R6为ISP只能配置IP地址，R1-R5的环回为私有网段 2，R1/4/5为全连的MGRE结构，R1/2/3为星型的拓扑结构， 3，R1为中心站点所有私有网段可以互相通讯，私有网段…
阅读更多...
antd+vue——datepicker日期控件——禁用日期功能

antd+vue——datepicker日期控件——禁用日期功能

需求&#xff1a;今天之前的日期禁用 <a-date-pickerv-model.trim"formNE.deliveryTime":disabled-date"disabledDate"valueFormat"YYYY-MM-DD"allowClearstyle"width: 100%" />禁用日期的范围&#xff1a; //时间范围 disab…
阅读更多...
第14届java A组蓝桥杯做题记录

第14届java A组蓝桥杯做题记录

A题 特殊日期 package Java14省赛.Java研究生组;import java.time.Year; //特殊判断一下2月份&#xff0c;leaf 为true 1 import java.util.*;import 蓝桥杯.dfs_n皇后; public class 特殊日期 {static int sum(int d){int res 0;while(d > 0){res d % 10;d / 10;}return…
阅读更多...
Java GC了解

Java GC了解

Jstack找到线程的快照 jvm提供其他命令作用 jps&#xff1a; 虚拟机进程状况工具&#xff0c;类似linux的ps命令 jstat&#xff1a;虚拟机统计信息监视工具&#xff0c;经常看gc情况的会使用到 jinfo: java配置信息工具 jmap&#xff1a; java内存映射工具&#xff0c;dump&am…
阅读更多...
微服务篇面试题

微服务篇面试题

1、SpringCloud的组件有哪些&#xff1f; 2、负载均衡如何实现&#xff1f; 3、什么是服务雪崩&#xff1f;怎么解决&#xff1f; 4、项目中有没有做过限流&#xff1f; Tomcat单体可以&#xff0c;分布式不适合 5、解释一下CAP和BASE P&#xff1a;加入node03这边的网络断了&a…
阅读更多...
基于PCIe的智能处理系统研究

基于PCIe的智能处理系统研究

引言 人工智能是集合众多方向的综合性学科,在诸多应用领域均取得了显著成果。随着航空领域人工智能技术研究的不断深入,面向开放式机载智能交互场景,人工智能的应用可解决诸多问题。例如智能感知、辅助决策等,可利用人工智能算法对多源传感器捕获的海量信息进行快速处理,仅将处…
阅读更多...
【8086汇编】汇编语言基础入门

【8086汇编】汇编语言基础入门

文章目录 一、汇编简介1. 汇编语言的组成2. CPU、寄存器、内存3. CPU对存储器的读写4. 拓展5. 检测6. 解析 二、寄存器1. mov、add命令2. 物理地址3. CS:IP 装段地址和偏移地址3.1 如何改变CS:IP的值 4. 数据段DS:[address]4.1 前置知识&#xff1a;字与字节4.2 DS:[address] 5…
阅读更多...
整数在内存中的存储和内存操作函数

整数在内存中的存储和内存操作函数

目录 整数在内存中的存储1. 整数在内存中的存储2. 大小端字节序和字节序判断2.1 什么是大小端?2.2 为什么有大小端 3. 练习3.1 请简述大端字节序和小端字节序的概念&#xff0c;设计⼀个小程序来判断当前机器的字节序。&#xff08;10分&#xff09;-百度笔试题3.2 练习23.3 练…
阅读更多...
java:特殊文件(properties,xml)和日志

java:特殊文件(properties,xml)和日志

特殊文件 txt(文本文件) txt文件是一种纯文本文件,用于存储文本信息 优缺点:txt文件简单易用,可以使用任何文本编辑器打开和编辑,但不支持数据类型和结构,所有信息均用纯文本形式保存 适合简单的配置信息存储 properties文件 properties文件是一种键值对文件,用于存储配置…
阅读更多...
从零自制docker-10-【cgroup进行容器资源限制】

从零自制docker-10-【cgroup进行容器资源限制】

文章目录 目的导入包的相关公开原则当前进程的挂载信息deferfor scanner.Scan()判断字符串包含新建的cgroup的默认文件cpu相关配置对应到ubuntu 22.04版本的cpu相关配置top注意查看你可使用的cpu注意坑启动后的top查看显示进程使用的cpu序号代码结果 目的 启动容器时通过-mem、…
阅读更多...
JAVA集合（学习）

JAVA集合（学习）

1.Java集合框架体系图 集合框架Collection单列集合List 有序&#xff0c;可重复Vector 数组结构&#xff0c;线程安全ArrayList 数组结构&#xff0c;非线程安全LinkedList 链表结构&#xff0c;非线程安全Set 无序&#xff0c;唯一HashSet 哈希表结构LinkedHashSet 哈希表…
阅读更多...
jvisualVM分析jvm内存使用快照dump

jvisualVM分析jvm内存使用快照dump

服务发生内存溢出&#xff0c;就需要查看服务器上Java服务的jvm堆内存使用情况&#xff0c;可以使用dump命令生成dump文件&#xff0c;然后下载到本地&#xff0c;然后使用jvisualVM工具打开&#xff0c;即可实现可视化分析。 生成dump文件常用的两种方式&#xff1a; 第一种…
阅读更多...
[react] useState的一些小细节

[react] useState的一些小细节

1.无限循环 因为setState修改是异步的,加上会触发函数重新渲染, 如果代码长这样 一秒再修改,然后重新触发setTImeout, 然后再触发,重复触发循环 如果这样呢 还是会,因为你执行又会重新渲染 2.异步修改数据 为什么修改多次还是跟不上呢? 函数传参解决 因为是异步修改 ,所以…
阅读更多...
Nacos 入门篇---服务端如何处理客户端的服务注册请求？（三）

Nacos 入门篇---服务端如何处理客户端的服务注册请求？（三）

一、引言 ok呀&#xff0c;上个章节我们讲了Nacos客户端的服务自动注册&#xff0c;今天我们来看看服务端接收到了客户端的服务注册请求&#xff0c;服务端都做了哪些事情&#xff5e; 二、目录 目录 一、引言 二、目录 三、回顾上节内容&#xff1a; 四、Nacos 服务代码入…
阅读更多...
Springboot整合nacos报错无法连接nacos

Springboot整合nacos报错无法连接nacos

报错信息&#xff1a;Nacos com.alibaba.nacos.api.exception.NacosException: Client not connected, current status:STARTING 关于这个报错的原因有很多&#xff1a;如Nacos未启动、网络问题、配置问题、版本不兼容问题等&#xff0c;我的报错原因主要是版本不兼容。 下面…
阅读更多...
5.9 mybatis之callSettersOnNulls作用

5.9 mybatis之callSettersOnNulls作用

文章目录 1. 当callSettersOnNullstrue时2. 当callSettersOnNullsfalse时 在mybatis的settings配置参数中有个callSettersOnNulls参数&#xff0c;官方解释为&#xff1a;指定当结果集中值为 null 的时候是否调用映射对象的 setter&#xff08;map 对象时为 put&#xff09;方法…
阅读更多...
PostgreSQL入门到实战-第三十弹

PostgreSQL入门到实战-第三十弹

PostgreSQL入门到实战 PostgreSQL教程网站官网地址PostgreSQL概述更新计划 PostgreSQL教程网站 https://www.postgresqltutorial.com/ 官网地址 声明: 由于操作系统, 版本更新等原因, 文章所列内容不一定100%复现, 还要以官方信息为准 https://www.postgresql.org/PostgreS…
阅读更多...
【系统分析师】计算机网络

【系统分析师】计算机网络

文章目录 1、TCP/IP协议族1.1 DHCP协议1.2 DNS协议1.3网络故障诊断 2、网路规划与设计2.1逻辑网络设计2.2物理网络设计2.3 分层设计 3、网络接入3.1 接入方式3.2 IPv6地址 4、综合布线技术5、物联网5.1物联网概念与分层5.2 物联网关键技术 6、云计算7、网络存储技术&#xff08…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023