Apache Flume(4):日志文件监控

1 案例说明

企业中应用程序部署后会将日志写入到文件中,可以使用Flume从各个日志文件将日志收集到日志中心以便于查找和分析。

2 使用Exec Soucre

  • Exec Source

Exec Source通过指定命令监控文件的变化,加粗属性为必须设置的。

属性名默认值说明
channels
typeexec
command要执行的命令
restartfalse如果执行命令挂了是否要重启
batchSize20同时往channel发送的最大行数
batchTimeout3000批量发送超时时间
selector.typereplicatingchannel选择器replicating 或者 multiplexing
selector.*通道选择器匹配属性
interceptors拦截器
interceptors.*

添加配置文件exec-log.conf

# 定义agent名称为a1
# 设置3个组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1# 配置source类型为exec,命令为 tail -F app.log
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F conf/app.log# 配置sink类型为Logger
a1.sinks.k1.type = logger# 配置channel类型为内存,内存队列最大容量为1000,一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# 将source和sink绑定到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动Flume

bin/flume-ng agent -n a1 -c ./ -f conf/exec-log.conf -Dflume.root.logger=INFO,console

可以查看agent控制台接收到了最新的日志

但是以上方法有重复消费的问题,每次启动都会全量读取log文件里的全部数据,下面我们解决重复消费问题。

3 解决重复消费问题

  • Taildir Source
属性名默认值说明
channels
typeTAILDIR.
filegroups可以定义多个组. 每个组里包含一序列被监控的文件
filegroups.被监控文件的绝对路径,文件名支持正则表达式
positionFile~/.flume/taildir_position.json记录监控文件的绝对路径、上次读取位置的json文件

4 新增dir-log.conf

# 定义agent名称为a1
# 设置3个组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1# 配置source类型为TAILDIR
a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /home/flume/position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /home/flume/conf/app.log
a1.sources.r1.filegroups.f2 = /home/flume/conf/logs/.*log# 配置sink类型为Logger
a1.sinks.k1.type = logger# 配置channel类型为内存,内存队列最大容量为1000,一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# 将source和sink绑定到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动Flume

bin/flume-ng agent -n a1 -c ./ -f conf/dir-log.conf -Dflume.root.logger=INFO,console

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/225003.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ida脚本环境开发配置idapythonidacpp三端环境(win,mac,linux)

ida脚本也有一段时间了,一直有个痛点是找不到比较好的方法热重载脚本来实时改动生效,导致开发效率老慢了。固总结下比较友好的环境搭配 使用ida热加载插件让你开发脚本更高效 github地址: GitHub - 0xeb/ida-qscripts: An IDA plugin to increase productivity when developi…

什么是PHP中的命名空间冲突?

在PHP中,命名空间冲突指的是在程序中存在两个或多个命名空间(namespace)下的类、函数、常量等标识符具有相同的名称,从而导致命名空间冲突的情况。这可能会引发以下问题: 类名、函数名或常量名的冲突: 如果…

【Python】json.dumps()函数详解和示例

json.dumps() 是 Python 中 json 模块的一个函数,用于将 Python 对象编码为 JSON 格式的字符串。这个函数非常有用,当你需要将 Python 对象保存为 JSON 文件,或者通过网络传输到另一个系统时,它可以很方便地将 Python 数据结构转换…

Error: Required request body is missing:……

错误的原因:后端的一个get请求在参数前加了Requestbody注解导致的。 可能很多小伙伴在编写后端脚本后都会用postman去测试接口的正确性。但是上述的问题在postman中根本测试不出来,因为postman工具支持上述的操作。 所以还是建议大家多多在浏览器中进行…

来聊聊CAS

什么是CAS CAS全称Compare-And-Swap,是一种无锁编程算法,即比较当前的值与旧值是否相等若相等则进行修改操作(乐观锁机制),该类常用于多线程共享变量的修改操作。而其底层实现也是基于硬件平台的汇编指令,JVM只是封装其调用仅此而…

探秘npm:解锁前端生态的魔法工具

在当今的软件开发世界中,前端技术以其快速发展和不断创新的特点吸引了无数开发者的关注。然而,随着前端项目越来越庞大和复杂,如何高效地管理和共享代码成为了一个紧迫的问题。在这个领域中,npm(Node Package Manager&…

【Spark精讲】Spark与MapReduce对比

目录 对比总结 MapReduce流程 ​编辑 MapTask流程 ReduceTask流程 MapReduce原理 阶段划分 Map shuffle Partition Collector Sort Spill Merge Reduce shuffle Copy Merge Sort 对比总结 Map端读取文件:都是需要通过split概念来进行逻辑切片&…

【嵌入式面试】嵌入式经典面试题汇总(C语言)

一、预处理器 1、用预处理指令#define 声明一个常数,用以表明1年中有多少秒(忽略闰年问题) #define SECONDS_PER_YEAR (365*24*60*60)UL在这个例子中,SECONDS_PER_YEAR是一个宏常量,它的值被计算为365乘以24乘以60乘以…

CVE-2023-50164 Apache Struts2漏洞复现

CVE-2023-50164 简介: 从本质上讲,该漏洞允许攻击者利用 Apache Struts 文件上传系统中的缺陷。它允许他们操纵文件上传参数并执行路径遍历。这种利用可能会导致在服务器上执行任意代码,从而导致各种后果,例如未经授权的数据访问…

DS冲刺整理做题定理(四)查找与排序

最后一期更新,考试之前应该不会再出该专题了,之后有时间会出一些有关链表的代码题,其他章节只挑选重点的总结~ 一.查找 1.顺序查找 又被称为线性查找,对顺序表和链表都使用~基本思想是从某一端开始,逐个检查关键字是否…

GZ015 机器人系统集成应用技术样题1-学生赛

2023年全国职业院校技能大赛 高职组“机器人系统集成应用技术”赛项 竞赛任务书(学生赛) 样题1 选手须知: 本任务书共 25页,如出现任务书缺页、字迹不清等问题,请及时向裁判示意,并进行任务书的更换。参赛队…

分布式微服务架构日志调用链路跟踪-traceId

分布式微服务架构日志调用链路跟踪-traceId 在ELK日志集成平台里(日志的写入,收集,跟踪,搜索,分析) 背景知识 在xxx(博主之前的公司),每个前端请求里面,都会在request的header区携带一个traceId 随机数值,用来跟踪在后端的调用链路栈打印.通过ES收集的日志数据,在ELK日志集成…

idea__SpringBoot微服务12——整合Mybatis框架(新依赖)(新注解)

整合Mybatis框架 完整项目地址:一、创建一个新的项目,导入mybatis依赖,lombok依赖。二、idea内置数据库管理工具连接数据库。三、编写实体类。四、编写Mapper接口。(新注解)五、编写Mapper.XML。六、编写数据库连接文件…

OpenCV中的格式转换

目录 1. 前言2. 采集到播放数据流的走向3. OpenCV中的格式转换3.1 RGB3.2 YUV3.2.1 YUV420{P}3.2.2 YUV420SP 4 简单应用5. 关联文章 1. 前言 实际音视频开发过程芯片是做了硬件加速的,主要涉及到视频编解码。二次开发过程中需要对SDK做一定的封装使用才行。 写这…

JMeter安装RabbitMQ测试插件

整体流程如下:先下载AMQP插件源码,可以通过antivy在本地编译成jar包,再将jar包导入JMeter目录下,重启JMeter生效。 Apache Ant 是一个基于 Java 的构建工具。Ant 可用于自动化构建和部署 Java 应用程序,使开发人员更轻…

【算法】动态规划(dp问题),持续更新

文章目录 0. 动态规划🎯五个思考步骤 和 注意事项🎯技巧优化思路 1. 子数组系列1.1 乘积为正数的最长子数组长度1.2 等差数列划分1.3 最长湍流子数组1.4 单词拆分1.5 环绕字符串中的子字符串 0. 动态规划 介绍本篇之前,我想先用人话叙述一般…

MYSQl基础操作命令合集与详解

MySQL入门 先来个总结 SQL语言分类 DDL(Data Definition Language) - 数据定义语言: 用于定义和管理数据库结构,包括创建、修改和删除数据库对象。 示例:CREATE, ALTER, DROP等语句。 DML(Data Manipulation Lan…

常见箱包五金ERP有哪些?箱包五金ERP哪个好用

不同的箱包五金有不同的营销渠道和经营模式,而每一个营销渠道的商品信息维护流程和方式也不尽相同。另外,箱包五金价格制定、品质检验、产品种类、物料编码、批号追踪等环节的管理也比较繁琐。 近些年数字科技也被广泛的应用于箱包五金领域,…

Module ‘app‘: platform ‘android-33‘ not found.

目录 一、报错信息 二、解决方法 一、报错信息 Module app: platform android-33 not found. 检查你的应用程序的build.gradle文件中的targetSdkVersion和compileSdkVersion是否正确设置为已安装的Android SDK版本。 确保你的Android Studio已正确安装并配置了所需的Android …

spring-cloud-starter-gateway-mvc的网关实现

一 概括 最近,我也一直在使用SpringCloudGateway开发我们自己的网关产品。根据我对这份正式文件的理解,内容如下: SpringCloudGateway的默认底层依赖项是SpringWebflux。我们知道Spring Webflux是异步和响应式编程,并且编程范式…