ELK之路第三步——日志收集筛选logstash和filebeat

logstash和filebeat(偷懒版)

  • 前言
  • logstash
    • 1.下载
    • 2.修改配置文件
    • 3.测试启动
    • 4.文件启动
  • filebeat
    • 1.下载
    • 2.配置
    • 3.启动

前言

上一篇,我们说到了可视化界面Kibana的安装,这一篇,会简单介绍logstash和filebeat的安装和配置。
下一篇,我将融会贯通,将所有的内容结合到一起详细说明:ELK之路第四步——整合!打通任督二脉

logstash

1.下载

打开官网:https://www.elastic.co/cn/downloads/logstash,进去后是最新版本,如果我们要过往版本请点击右侧,需要梯子。
在这里插入图片描述
我们这里还是选择7.3.0版本。
下载好后解压

tar -zxvf logstash-7.3.0.tar.gz

2.修改配置文件

打开jvm.options
还是先修改启动内存,这个根据你自己来定

-Xms256m
-Xmx256m

3.测试启动

bin/logstash -e 'input { stdin { } } output { stdout {} }'

等启动完成后,我们输入hello world
在这里插入图片描述
显示这个就成功了

4.文件启动

当然,我们常用配置文件来启动,创建一个logstash.conf文件:

input {heartbeat {interval => 10type => "heartbeat"}
}output {stdout {codec => rubydebug}
}

然后输入命令来启动

bin/logstash -f logstash.conf

logstash的conf文件有三大主要配置字段:

  • input :规定了从哪里输入
  • filter :过滤规则,用于过滤筛选输入的信息
  • output :输出到哪里

filebeat

1.下载

有条件的用curl 下载,但是在国内这样下载是很困难的

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-linux-x86_64.tar.gz

第二种方式去官网下载,挂个梯子就行。
下载好了解压:

tar -zxvf filebeat-7.3.0-linux-x86_64.tar.gz

2.配置

新增一个配置文件filebeat_logstash.yml,filebeat启动的时候要用

filebeat.inputs:
- type: logenabled: truepaths:- /Users/liuxg/data/apache_logsoutput.logstash:hosts: ["localhost:5044"]
  • filebeat.inputs:filebeat读取文件的一些配置
  • output.logstash:输出路径

3.启动

bin/filebeat -e -c filebeat_logstash.yml

因为时间有限,本篇属实潦草,后面有时间了,我会详细的补充这两个技术的用法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/883954.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

20 Docker容器集群网络架构:三、Docker集群部署

文章目录 Docker容器集群网络架构:三、Docker集群离线部署3.1 环境准备3.1.1 配置主机名3.1.2 关闭firewall防火墙3.1.3 关闭iptables防火墙3.1.3.1 安装iptables3.1.3.2 禁用iptables3.1.3.3 清空防火墙规则3.1.4 关闭selinux3.1.4.1 临时关闭3.1.4.2 永久关闭3.1.4.3 查询关…

分别用webpack和vite注册全局组件

基础组件的自动化全局注册 1. 组件全部导入后,批量注册 import dgDialog from "/components/dgDialog/index.vue"; import svgIcon from "/components/svgIcon/index.vue"; const allComponent { dgDialog, svgIcon }; export default {inst…

二十六、Python基础语法(函数进阶-下)

一、多值参数 多值参数(可变参数、不定长参数):有的函数不确定参数有几个,在一个普通的参数前面加上一个*,这个参数就变为不定参数。可以接收任意多个位置传参的数据,类型为元组。 def test(name, *args,…

植物源UDP-糖基转移酶及其分子改造-文献精读75

植物源UDP-糖基转移酶及其分子改造 摘要 糖基化能够增加化合物的结构多样性,有效改善水溶性、药理活性和生物利用度,对植物天然产物的药物开发至关重要。UDP-糖基转移酶(UGTs)能够催化糖基从活化的核苷酸糖供体转移到受体形成糖苷键,植物中天然产物的糖基化修饰主要通过UGTs实…

计算机网络-常用网络命令和工具

目录 Ping命令 正常的执行结果 常见的失败反馈信息 语法格式 常用参数 Ipconfig命令简介 语法格式 命令参数 tracert 命令简介 工作原理 语法格式 常用参数 nbtstat命令简介 语法格式 常用参数 netstat 命令简介 语法格式 常用参数 Ping命令 ping( Packet Internet Grope…

[MySQL#7] CRUD(2) | 更新 | 删除 | 聚合函数 | group by

目录 3. 更新 4. 删除 截断表 日志的作用 5. (实验) 插入查询结果 6. 聚合函数 7. 分组查询 接着上篇文章[MySQL#6] 表的CRUD (1) | Create | Retrieve(查) | where继续讲解~ 3. 更新 语法: UPDATE table_name SET column expr [, column expr ...][WHE…

RegCM模式运行./bin/regcmMPI报错

1、报错 在运行RegCM时到截止模拟时间段时,不显示successfully,而是报错: MPI_ABORT was invoked on rank 0 in communicator MPI COMMUNICATOR 3 DUP FROM 0 with errorcode 1. NOTE: invoking MPI_ABORT causes Open MPI to kill all MP…

日本也有九九乘法表?你会读吗?柯桥零基础学日语到蓝天广场

日本也有“九九乘法表”? 九九乘法表起源于中国,可以追溯到春秋战国时代。 日本奈良县橿原市境内的“藤原京”遗址,出土了日本目前可找到最古老的“九九乘法表”木简。 根据日本奈良研究所的研究,其内容可能是1300多年前的官吏用…

Python(包和模块)

包 定义 包是将模块以文件夹的组织形式进行分组管理的方法,以便更好地组织和管理相关模块。 包是一个包含一个特殊的__init__.py文件的目录,这个文件可以为空,但必须存在,以标识目录为Python包。 包可以包含子包(子…

集群聊天服务器——逻辑梳理

网络聊天服务器项目,该项目分为4个模块: 首先是网络模块:我使用了muduo高性能网络库,解耦合网络与业务之间这两部分代码,可以更加专注与业务的功能开发其次是服务层模块:我使用了基于C11的技术比如绑定器和…

前沿技术与未来发展第一节:C++与机器学习

第六章:前沿技术与未来发展 第一节:C与机器学习 1. C在机器学习中的应用场景 C在机器学习中的应用优势主要体现在高效的内存管理、强大的计算能力和接近底层硬件的灵活性等方面。以下是 C 在机器学习领域的几个主要应用场景: 1.1 深度学习…

项目解决方案:在弱网(低带宽、高延迟、有丢包的网络)环境下建设视频监控平台的设计方案(下)

目录 一、需求分析 1、业务需求分析 2、功能需求分析 二、建设目标 三、设计原则 四、标准规范建设 五、系统架构 1、视频接入管理系统 2、资源管理调度平台 3、视频转码解码服务器 4、媒体输出引擎 5、媒体录制引擎 6、智能联动引擎 7、API开发引擎 六、部署架构 七、产…

将.py文件生成.exe文件的方法

1、安装pyinstaller(已有忽略):pip install pyinstaller 2、进入目标文件(需要编译的文件)目录 3、编译:pyinstaller --onefile xx.py 4、文件生成后的路径:在目标文件目录下创建一个名为dist的…

操作系统笔记(四)进程间通信,竞争条件与解决方案

进程间通信(IPC) 如何在进程间传递信息? 如何防止两个进程冲突? 如何实现进程执行的先后顺序? 竞争条件(Race conditions) 竞争条件(Race conditions) 多个进程访问一个共享数据,而数据最…

适配器模式:连接不兼容接口的桥梁

1. 引言 在软件开发中,我们常常会遇到不同系统之间需要互操作的情况。这些系统可能使用不同的接口和数据结构,如果我们不采取适当措施,它们将无法有效沟通。适配器模式(Adapter Pattern)正是为了解决这一问题而诞生的…

jmeter的基本使用

Jmeter基本使用 一、变量 1.用户定义变量 2.用户参数 二、函数 1.计数器${__counter(,)} 2.时间函数 3.加密函数${__digest(,,,,)} 4. 整数相加${__intSum(,,)} 5.属性函数,${__P(,)}、${__property(,,)}、${__setProperty(,,)} 6.V函数 三、获取响应数据…

Go语言基础教程:指针

在 Go 中,函数参数默认是按值传递的。若要改变变量的原始值,可以使用指针。本教程将通过示例代码来演示如何使用值传递和指针传递。 package mainimport "fmt"// 传值方式 - 函数内改变 ival 的值不会影响原始变量 func zeroval(ival int) {i…

2024年优秀的天气预测API

准确、可操作的天气预报对于许多组织的成功至关重要。 事实上,在整个行业中,天气条件会直接影响日常运营,包括航运、按需、能源和供应链(仅举几例)。 以公用事业为例。根据麦肯锡的数据,在 1.4 年的时间里…

HCIP-HarmonyOS Application Developer V1.0 笔记(二)

类Web开发范式自定义组件基本用法 自定义组件通过element引入到宿主页面。 Props自定义属性 自定义属性支持类型 String,Number,Boolean,Array,Object。 命名规范: 命名时禁止以on、、on:、grab:等保留关键字为开头…

天润融通突破AI客服局限,三大关键提升文本机器人问答效果

近期,AI客服再次登上热搜,引发网友集体吐槽,比如AI客服虽然态度客气,但听不懂客户诉求,回答问题驴唇不对马嘴,解决不了问题...... 更有网友将这些问题升级到,企业就是不想解决问题才交给AI客服…