ELK（六）—Filebeat安装部署

目录

  • 一、介绍
    • 1.1特点
    • 1.2使用原因
    • 1.3结构图
    • 1.4工作流程
  • 二、安装部署
    • 2.1下载
    • 2.2启动
    • 2.3监控日志文件
    • 2.4自定义字段
  • 三、连接Elasticsearch
  • 四、工作原理

一、介绍

Filebeat是一个轻量级的日志和文件数据收集器，属于Elastic Stack（ELK Stack）中的一个组件。它的主要作用是搜集、传输和转发各种类型的日志和事件数据，将这些数据发送到中央的Elasticsearch集群或者Logstash进行处理和存储。以下是Filebeat的一些关键特性和使用原因：

Filebeat的官网网址如下：https://www.elastic.co/cn/beats/filebeat

image.png

1.1特点

  1. 轻量级： Filebeat是一个小型的、轻量级的代理，对系统资源的消耗相对较低。
  2. 易于配置： Filebeat的配置相对简单，可以通过YAML文件轻松配置日志路径、数据输入、输出等。
  3. 多数据输入： 支持多种输入源，包括文件、日志文件、系统日志等。
  4. 多数据输出： 可以将数据发送到Elasticsearch、Logstash等多个目标。
  5. 模块化： 支持模块化的配置，可轻松集成到Elastic Stack中。
  6. 实时性： 提供近实时的数据传输，支持快速检测和响应。

1.2使用原因

  1. 集中日志管理： Filebeat帮助组织集中管理日志数据，通过将日志数据发送到Elasticsearch中，用户可以使用Kibana等工具来轻松搜索和分析数据。
  2. 实时监控： Filebeat的实时数据传输能力使得用户能够迅速监测系统中发生的事件，帮助实现实时监控和警报。
  3. 日志数据分析： Filebeat能够解析和发送各种日志格式，包括结构化和非结构化的数据，以便进行更深入的分析。
  4. 简化数据流程： Filebeat通过将数据发送到Elasticsearch或Logstash，使得整个数据流程更为简单和灵活。
  5. 集成到Elastic Stack： 作为Elastic Stack的一部分，Filebeat无缝集成到Elasticsearch、Logstash、Kibana等组件中，为日志和事件处理提供了完整的解决方案。

总体而言，Filebeat是一个强大的工具，使得日志和事件数据的搜集和处理变得更为简单和高效。通过与其他Elastic Stack组件配合使用，用户可以建立一个强大的实时日志分析和监控系统。

1.3结构图

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1.4工作流程

Filebeat的工作流程可以总结为以下几个步骤：

  1. Input 输入： 在Filebeat的配置中，可以指定多个数据输入源，这些源可以是文件、日志文件、系统日志等。用户可以使用通配符指定多个源，以便匹配到相应的日志文件。
  2. Harvester 收割机： 一旦Filebeat匹配到日志文件，就会启动一个称为Harvester的组件。Harvester负责从日志文件中源源不断地读取数据，确保Filebeat可以实时地捕捉到新的日志事件。
  3. Spooler 卷轴： Harvester将收割到的日志数据传递给Spooler，这是Filebeat内部的一个组件。Spooler的作用是将接收到的数据进行缓冲和处理，并将它们传递到后续的输出目标。
  4. Output 输出： Filebeat支持将数据发送到多个输出目标，其中最常见的是Elasticsearch和Logstash。数据可以通过输出插件配置，灵活地传递到用户指定的目标，从而实现集中式存储、分析和可视化。

整个流程中，Filebeat保证了日志数据的实时性，从而满足了用户对于快速响应和实时监控的需求。通过将Filebeat与Elasticsearch、Logstash等组件结合使用，用户可以轻松地构建强大的实时日志处理和分析系统。

二、安装部署

2.1下载

机器是直接wget下载

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.1-linux-x86_64.tar.gz

也可以去官网上下载 https://www.elastic.co/cn/downloads/beats/filebeat

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

image.png

下载完成后，就是解压操作了

tar -zxvf filebeat-8.11.1-linux-x86_64.tar.gz

重命名

mv filebeat-8.11.1-linux-x86_64 filebeat

进入到filebeat目录下，进行操作（需要新建一个.yml文件）

vim hmiyuan.yml

在文件输入下面的内容

filebeat.inputs: # filebeat input输入
- type: stdin    # 标准输入enabled: true  # 启用标准输入
setup.template.settings: index.number_of_shards: 3 # 指定下载数
output.console:  # 控制台输出pretty: true   # 启用美化功能enable: true
  1. filebeat.inputs: 定义Filebeat的输入源。在这里，您配置了一个 stdin 输入，表示通过标准输入读取日志。
  2. setup.template.settings: 配置模板的一些设置。在这里，您指定了索引的分片数为 3。
  3. output.console: 配置Filebeat的输出目的地。在这里，您将日志输出到控制台，并启用了美化功能。

2.2启动

./filebeat -e -c hmiyuan.yml

./filebeat -e -c hmiyuan.yml 命令是在以 hmiyuan.yml 为配置文件运行 Filebeat，-e 标志表示在启动时显示调试信息。

启动成功画面

image.png

然后我们在控制台输入信息

image.png

随后我们在控制台可以看到一个json格式的输出，内容如下

image.png、

2.3监控日志文件

在filebeat目录下创建一个“hmiyuan-log.yml”文件，文件内容如下：

filebeat.inputs:
- type: logenabled: truepaths:- /opt/elk/logs/*.log
setup.template.settings:index.number_of_shards: 3
output.console:pretty: trueenable: true

filebeat.inputs: 定义 Filebeat 的输入配置，这里指定了一个日志输入。

  • type: log: 表示输入类型是日志文件。
  • enabled: true: 启用该输入。
  • paths: 指定要监视的日志文件路径。在这个例子中，它监视 /opt/elk/logs/ 目录下所有以 .log 结尾的文件。

setup.template.settings: 用于设置模板相关的配置。

  • index.number_of_shards: 3: 设置 Elasticsearch 索引的分片数量为

output.console: 配置输出到控制台的设置。

  • pretty: true: 启用漂亮的输出，使日志更易读。
  • enable: true: 启用控制台输出。

文件创建好了之后，我们需要创建上文中的path中文件了。

mkdir -p /opt/elk/logs

上面的配置完成后，我们就可以进行测试看是否配置完成了。

echo "hello world" >> /opt/elk/logs/test.log

重启启动filebeat并指定配置文件

./filebeat -e -c hmiyuan-log.yml

image.png

可以看到文件中的内容以及被filebeat读取出来了

追加数据

 echo "你好，陌生人" >> test.log

可以看到新增的数据也成功被收集了

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

在"/opt/elk/log"中的添加新文件，同时添加数据

echo "a new directory" >> one.log

image.png

2.4自定义字段

当我们的元数据没办法支撑我们的业务时，我们还可以自定义添加一些字段.

修改"filebeat-log.yml"文件的内容。

filebeat.inputs:
- type: logenabled: truepaths:- /opt/elk/logs/*.logtags: ["web", "test"]  fields:  from: web-testfields_under_root: true 
setup.template.settings:index.number_of_shards: 3
output.console:pretty: trueenable: true

新添加部分解析

  1. Tags（标签）:

    tags: ["web", "test"]

    这里通过 tags 字段为事件添加了两个标签，即 “web” 和 “test”。标签是一种用于标识事件的方式，它可以在后续的处理中用于过滤或分类事件。

  2. Fields（字段）:

    fields:from: web-test

    通过 fields 字段添加了一个自定义字段，即 from: web-test。这是一种为事件添加额外信息的方式，您可以根据需要添加不同的字段。在这个例子中，为事件指定了来源是 “web-test”。

  3. Fields Under Root（添加到根节点）:

    fields_under_root: true

    fields_under_root 设置为 true，这表示将自定义字段添加到事件的根节点，而不是作为子节点。这样，添加的字段会直接位于事件的顶层，而不是嵌套在其他字段中。

这些配置的添加使您能够在 Filebeat 采集的日志事件中附加额外的信息，以便更好地进行后续处理和分析。

修改完成后，重启filebeat

./filebeat -e -c hmiyuan-log.yml

添加数据到“/opt/elk/logs/test.log”中

echo "a god day" >> /opt/elk/logs/test.log

image.png

可以看到自定义字段已经成功显示出来了。

三、连接Elasticsearch

继续修改“hmiyuan-log.yml”文件，添加elasticsearch的ip以及暴露出来的端口号。

filebeat.inputs:
- type: logenabled: truepaths:- /opt/elk/logs/*.logtags: ["web", "test"]fields:from: web-testfields_under_root: false
setup.template.settings:index.number_of_shards: 1
output.elasticsearch:hosts: ["192.168.150.190:9200"] #这里填写elasticsearch机器的ip以及端口，可以添加多台机器

重启启动filebeat

./filebeat -e -c hmiyuan-log.yml

查看filebeat启动的时候输出的相关信息，可以看到已经成功连接到了190这台机器上了，接下来继续向"/opt/elk/log/"目录下的文件输入信息，查看elasticsearch是否也可以接收到数据。

image.png

向“test.log”文件追加信息。

echo "dog" >> /opt/elk/logs/test.log

在ES中，我们可以看到，多出了一个 filebeat的索引库

image.png

然后我们浏览对应的数据，看看是否有插入的数据内容

image.png

elasticsearch已经拿到了数据了，并展示到了elasticsearch-head中。

四、工作原理

Filebeat工作原理

Filebeat主要由下面几个组件组成： harvester、prospector 、input

harvester
负责读取单个文件的内容
harvester逐行读取每个文件（一行一行读取），并把这些内容发送到输出
每个文件启动一个harvester，并且harvester负责打开和关闭这些文件，这就意味着harvester运行时文件描述符保持着打开的状态。
在harvester正在读取文件内容的时候，文件被删除或者重命名了，那么Filebeat就会续读这个文件，这就会造成一个问题，就是只要负责这个文件的harvester没用关闭，那么磁盘空间就不会被释放，默认情况下，Filebeat保存问价你打开直到close_inactive到达

prospector
prospector负责管理harvester并找到所有要读取的文件来源

如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester

Filebeat目前支持两种prospector类型：log和stdin

Filebeat如何保持文件的状态

Filebeat保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中
该状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。
如果输出（例如ElasticSearch或Logstash）无法访问，Filebeat会跟踪最后发送的行，并在输出再次可以用时继续读取文件。
在Filebeat运行时，每个prospector内存中也会保存的文件状态信息，当重新启动Filebat时，将使用注册文件的数量来重建文件状态，Filebeat将每个harvester在从保存的最后偏移量继续读取
文件状态记录在data/registry文件中

input
一个input负责管理harvester，并找到所有要读取的源

如果input类型是log，则input查找驱动器上与已定义的glob路径匹配的所有文件，并为每个文件启动一个harvester

每个input都在自己的Go例程中运行

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/208646.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

近期Chrome浏览器 不知哪个版本升级后原先http强制跳转到https，导致服务端302强制跳转到http也没反应

近期Chrome浏览器 不知哪个版本升级后原先http强制跳转到https，导致服务端302强制跳转到http也没反应

关于Chrome更新http强制跳转到https解决方法 近期Chrome浏览器 不知哪个版本升级后原先http强制跳转到https，导致服务端302强制跳转到http也没反应一、F12检查加载的Response Headers中有没有Non-Authoritative-Reason二、找了资料后得到解决方案：三、找…
阅读更多...
插入排序——直接插入排序和希尔排序(C语言实现）

插入排序——直接插入排序和希尔排序(C语言实现）

文章目录 前言直接插入排序基本思想特性总结代码实现 希尔排序算法思想特性总结代码实现 前言 本博客插入排序动图和希尔排序视频参考大佬java技术爱好者，如有侵权，请联系删除。 直接插入排序 基本思想 直接插入排序是一种简单的插入排序法&#xff…
阅读更多...
图空图床图片外链系统源码-支持自定义权限策略-图片大小格式

图空图床图片外链系统源码-支持自定义权限策略-图片大小格式

含视频搭建教程。 大致功能： 支持本地等多种第三方云储存 AWS S3、阿里云 OSS、腾讯云 COS、七牛云、又拍云、SFTP、FTP、WebDav、Minio多种数据库驱动支持，MySQL 5.7、PostgreSQL 9.6、SQLite 3.8.8、SQL Server 2017支持配置使用多种缓存驱动&#xff…
阅读更多...
Flameshot的安装、配置及使用

Flameshot的安装、配置及使用

概要：本篇主要介绍在Ubuntu22.04环境下，截图软件Flameshot的安装、配置及使用。 一、安装 推荐命令行安装 sudo apt install flameshot 二、修改gdm3配置文件 这一步是为了解决截图时没有光标的问题，解决方法我是从这里学到的解决flam…
阅读更多...
【hugging face】bitsandbytes中8 bit量化的理解

【hugging face】bitsandbytes中8 bit量化的理解

8 位量化使数十亿参数规模的模型能够适应更小的硬件，而不会降低性能。 8 位量化的工作原理如下： 1.从输入隐藏状态中按列提取较大值（离群值）。 2.对 FP16 中的离群值和 int8 中的非离群值执行矩阵乘法。 3.改变非异常值结果以将值…
阅读更多...
unity中：搭建在线AR应用

unity中：搭建在线AR应用

使用Imagine WebAR - Image Tracker插件部署WebGL应用 在使用Imagine WebAR - Image Tracker插件进行WebGL应用开发时，有两个关键知识点需要掌握： 1. 部署到支持HTTPS的服务器 由于WebGL应用需要访问用户的摄像头，因此必须在支持HTTPS的服…
阅读更多...
微前端 模块联邦技术

微前端 模块联邦技术

目录 介绍 基本使用 演示用法 初始化配置文件 remote 项目 host 项目 为什么讲这个呢，很多人觉得他不是微前端，也有人定义它也是微前端，看怎么理解了，我觉得他是一个去中心化技术，它可以让多个独立构建的应用…
阅读更多...
高并发爬虫用Python语言适合吗？

高并发爬虫用Python语言适合吗？

不管你用什么语言没在进行高并发前，有几点是需要考虑清楚的，；例如：数据集大小，算法、是否有时间和性能方面的制约，是否存在共享状态，如何调试（这里指的是日志、跟踪策略）…
阅读更多...
C#云LIS系统源码 B/S架构，SaaS模式，可扩展性强

C#云LIS系统源码 B/S架构，SaaS模式，可扩展性强

基于B/S架构的云LIS检验系统源码，整个系统的运行基于WEB层面，只需要在对应的工作台安装一个浏览器软件有外网即可访问。全套系统采用云部署模式，部署一套可支持多家医院检验科共同使用。 采用.Net Core新的技术框架、DEV报表、前端js封装、分…
阅读更多...
腾讯云CentOS8 jenkins war安装jenkins步骤文档

腾讯云CentOS8 jenkins war安装jenkins步骤文档

腾讯云CentOS8 jenkins war安装jenkins步骤文档 一、安装jdk 1.1 上传jdk-11.0.20_linux-x64_bin.tar.gz 1.2 解压jdk安装包文件 tar -zxvf jdk*.tar.gz 1.3 在/usr/local 目录下创建java目录 cd /usr/local mkdir java 1.4 切到java目录，把jdk解压文件改名为jd…
阅读更多...
【抽象策略模式】实践

【抽象策略模式】实践

前言 刚果商城，用户登录 Or 注册 发送邮箱验证码场景，使用抽象策略模式实现 什么是抽象策略模式 抽象策略模式是一种行为型设计模式，它允许定义一系列算法，将每个算法封装起来，并使它们可以互相替换。这使得客户端代码…
阅读更多...
Java_LinkedList链表详解

Java_LinkedList链表详解

目录 前言 ArrayList的缺陷 链表 链表的概念及结构 链表的种类 1.单向或双向 2.带头或不带头 3.循环或不循环 LinkedList的使用 什么是LinkedList LinkedList的使用 LinkedList的构造 LinkedList的其他常用方法介绍 LinkedList的遍历 ArrayList和LinkedList的…
阅读更多...
OpenCL学习笔记（四）手动编译开发库（ubuntu+gcc+rk3588）

OpenCL学习笔记（四）手动编译开发库（ubuntu+gcc+rk3588）

前言 笔者本次使用的是RK3588的开发板，内部烧写的是ubuntu20.04，gcc版本是9 本文档简单记录下编译的过程，有需要的小伙伴可以参考下 一、安装所需软件 1.安装git，教程比较多，不再重复 2.安装cmake，教程…
阅读更多...
UWB的matlab仿真源码

UWB的matlab仿真源码

作品详细文章与下载链接 第一部分:TR-UWB信号的产生和调制 简介 该实践涉及使用 MATLAB 生成和调制 TR-UWB 信号。超宽带信号是一类在频谱中具有宽带而不是窄带的信号信号，具有时间宽度的脉冲产生它。在本次实践中,MATLAB 程序是开发用于生成基带 TR-UWB 信号,我们用…
阅读更多...
用23种设计模式打造一个cocos creator的游戏框架----(十)迭代器模式

用23种设计模式打造一个cocos creator的游戏框架----(十)迭代器模式

1、模式标准 模式名称：迭代器模式 模式分类：行为型 模式意图：提供一种方法顺序访问一个聚合对象中的各个元素，且不需要暴露该对象的内部表示. 结构图： ​ 适用于： 1、当你需要遍历一个复杂的数据结构…
阅读更多...
promethesu告警规则配置，alertmanager通过webhook通知

promethesu告警规则配置，alertmanager通过webhook通知

文章目录 前言一、promethesu告警二、告警配置编写rule文件prometheus配置prometheus产生告警 三、告警通知prometheus 配置 alertmanageralertmanager 配置 webhook通知编写接口接收 webhook 总结 前言 如果没有学习过prometheus的基础和监控的同学，可以先过一遍这…
阅读更多...
融合科技，升级医疗体验——医院陪诊服务的技术创新

融合科技，升级医疗体验——医院陪诊服务的技术创新

随着科技的迅猛发展，医疗服务领域也在积极借助技术手段提升患者体验。本文将探讨如何利用先进的技术代码，将医院陪诊服务推向新的高度。 1. 医疗预约系统的实现 # 通过Python代码实现医疗预约系统 class MedicalAppointment:def __init__(self, patie…
阅读更多...
【Python】Numpy库近50个常用函数详解和示例，可作为工具手册使用

【Python】Numpy库近50个常用函数详解和示例，可作为工具手册使用

本文以yolo系列代码为基础，在其中查找用到的numpy函数，包含近50个函数，本文花费多天，三万多字，通过丰富的函数原理和示例对这些函数进行详解。以帮助大家理解和使用。 目录 np.array()运行示例 np.asarray()函数解析运…
阅读更多...
unity 2d 入门 飞翔小鸟 场景延续（八)

unity 2d 入门 飞翔小鸟 场景延续（八)

1、新建c#脚本如下 代码，在前方生成生成自身图片并3s后销毁自身，在碰撞物体后小鸟死亡后不删除自身 using System.Collections; using System.Collections.Generic; using UnityEngine;public class CopyScene : MonoBehaviour { //要复制的对象public…
阅读更多...
Amazon CodeWhisperer 提供新的人工智能驱动型代码修复、IaC 支持以及与 Visual Studio 的集成...

Amazon CodeWhisperer 提供新的人工智能驱动型代码修复、IaC 支持以及与 Visual Studio 的集成...

Amazon CodeWhisperer 的人工智能（AI）驱动型代码修复和基础设施即代码（IaC）支持已正式推出。Amazon CodeWhisperer 是一款用于 IDE 和命令行的人工智能驱动型生产力工具，现已在 Visual Studio 中推出，提供预…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023