Flume 搭建和操作使用的详细教程

下载

官网下载:
https://flume.apache.org/download.html

安装

基本上不需要做什么配置,下载后解压即可使用!!

  • 下载安装包:apache-flume-1.11.0-bin .tar.gz

  • 上传至 linux 的 /opt/ 目录下

  • 解压至 /opt/apps(可以自定义目录)

  • 修改简短名称(方便配置)

  • 配置环境变量(方便调用)

解压安装

[zhang@node2 flume]$ cd /opt  	# 切换到 /opt 目录下
[zhang@node2 opt]$ ll			# 列出当前目录下文件,确认已经存在	
total 885452
-rw-r--r--. 1 zhang zhang  87380462 Apr 12 22:44 apache-flume-1.11.0-bin_.tar.gz
# 解压到 apps 下
[zhang@node2 opt]$ tar -zxvf apache-flume-1.11.0-bin_.tar.gz -C apps
# 解压完成后,进入apps目录
[zhang@node2 opt]$ cd apps
# 修改为简短的名字
[zhang@node2 apps]$ mv apache-flume-1.11.0-bin/ flume
[zhang@node2 apps]$ ll
total 0
drwxrwxr-x.  7 zhang zhang 187 Apr 13 14:17 flume
# 进入 flume 目录
[zhang@node2 apps]$ cd flume/
# 列出 flume 目录下的文件
[zhang@node2 flume]$ ll
total 244
drwxr-xr-x. 2 zhang zhang     62 Apr 13 14:17 bin
-rw-r--r--. 1 zhang zhang  89032 Oct 17  2022 CHANGELOG
drwxr-xr-x. 2 zhang zhang    121 Apr 13 14:17 conf
-rw-r--r--. 1 zhang zhang   5681 Jan 21  2022 DEVNOTES
-rw-r--r--. 1 zhang zhang   2873 Jan 21  2022 doap_Flume.rdf
drwxr-xr-x. 5 zhang zhang   4096 Oct 17  2022 docs
drwxrwxr-x. 2 zhang zhang   8192 Apr 13 14:17 lib
-rw-r--r--. 1 zhang zhang 108909 Oct 17  2022 LICENSE
-rw-r--r--. 1 zhang zhang   8832 Oct 17  2022 NOTICE
-rw-r--r--. 1 zhang zhang   2483 Jan 21  2022 README.md
-rw-r--r--. 1 zhang zhang   1590 Oct 10  2022 RELEASE-NOTES
drwxrwxr-x. 2 zhang zhang     69 Apr 13 14:17 tools

配置环境变量

配置环境变量是为了方便操作 flume 命令

配置方式可以 /etc/profile 全局变量 或 ~/.bashrc 当前用户有效

编辑 .bashrc 文件

# 编辑当前用户环境变量 添加 FLUME_HOME 和 path 中 增加 flume的 bin 目录
[zhang@node2 conf]$ vim ~/.bashrc # 添加 flume 配置之后的 内容如下
JAVA_HOME=/opt/apps/jdk1.8.0_281
HADOOP_HOME=/opt/apps/hadoop-3.2.4
HIVE_HOME=/opt/apps/hive3.1
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
FLUME_HOME=/opt/apps/flume
PATH=~/mybin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLUME_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CLASSPATH=$(hadoop classpath)
export JAVA_HOME HADOOP_HOME CLASSPATH PATH# 修改立即起效
[zhang@node2 conf]$ source ~/.bashrc # 查看 flume 版本
[zhang@node2 flume]$ flume-ng version
Flume 1.11.0
Source code repository: https://git.apache.org/repos/asf/flume.git
Revision: 1a15927e594fd0d05a59d804b90a9c31ec93f5e1
Compiled by rgoers on Sun Oct 16 14:44:15 MST 2022
From source with checksum bbbca682177262aac3a89defde369a37

安装配置完成后,接下来通过几个案例来学习 flume 的使用,同时验证 flume 是否安装配置成功。

Flume 使用案例

案例一:监听网络端口:

Flume 官网提供了一个简单的案例:

Here, we give an example configuration file, describing a single-node Flume deployment. This configuration lets a user generate events and subsequently logs them to the console.

在这里,我们给出一个示例配置文件,描述单节点Flume部署。此配置允许用户生成事件并随后将其记录到控制台。

需求:监听指定 IP 上的某端口通信数据抓取

配置

新建配置文件 netcat.conf , 输入如下内容:

# 命名此 agent 上的组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1# 配置 source 组件
# 指定 source 组件类型为 netcat
a1.sources.r1.type = netcat
# 绑定主机
a1.sources.r1.bind = node1 
# 绑定端口
a1.sources.r1.port = 44444# Describe the sink
a1.sinks.k1.type = logger# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在这个配置中:

  • a1 是 Flume Agent 的名称。
  • r1 是 Source 的名称,其类型被设置为 netcat
  • netcat Source 允许 Flume 从一个网络连接接收数据。这种配置适用于那些希望通过网络接口(如 TCP 或 UDP)向 Flume 发送数据的应用程序或工具。
  • bind 属性指定了 Source 应监听的主机地址。这里设置为 localhost,表示仅接受来自本地主机的连接。您可以将其替换为具体的 IP 地址(如 0.0.0.0 表示监听所有网络接口)。
  • port 属性指定了 Source 应监听的端口号,这里是 44444。发送方需要使用这个端口来连接并发送数据到 Flume Agent。
  • logger表示您正在设置一个名为k1的 Flume 数据接收端(Sink),类型为loggerlogger` Sink 是一种非常简单的调试工具,它将从上

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/4199.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

国家开放大学2024年春《国家赔偿法-山东》形成性考核一二三四终结性考试参考答案

答案:更多答案,请关注【电大搜题】微信公众号 答案:更多答案,请关注【电大搜题】微信公众号 答案:更多答案,请关注【电大搜题】微信公众号 【单选题】张某重伤他人被刑事拘留。一个月后,公…

Vue typescript 获得html 元素

方法一 getElementById or something else <div class"book-navbar-menutree" id"menuTree" name"menuTree"> onMounted(() > { var menu document.getElementById(menuTree) as HTMLElementmenu.innerHTML menuTreeStr.value }) …

[SWPUCTF-2022-新生赛]ez_sql

title:[SWPUCTF 2022 新生赛]ez_sql 审题 根据提示&#xff0c;POST传参 得到假的flag 判断类型 字符型注入 判断列数 发现空格和’or’被过滤 重新构造 nss-1/**/oorrder/**/by/**/4#发现为3个字段 采用联合注入union 爆库 发现union被过滤&#xff0c;双写union绕过 发…

【小迪安全2023】第58天:服务攻防-应用协议设备KibanaZabbix远控向日葵VNCTV

&#x1f36c; 博主介绍&#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 hacker-routing &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【应急响应】 【Java、PHP】 【VulnHub靶场复现】【面试分析】 &#x1f389;点赞➕评论➕收…

腾讯云邮件推送如何设置?群发邮件的技巧?

腾讯云邮件推送功能有哪些&#xff1f;怎么有效使用邮件推送&#xff1f; 腾讯云邮件推送以其稳定、高效的特点&#xff0c;受到了众多企业的青睐。那么&#xff0c;腾讯云邮件推送如何设置呢&#xff1f;又有哪些群发邮件的技巧呢&#xff1f;下面AokSend就来详细探讨一下。 …

C++ ─── 匿名对象+变量的创建顺序

目录 1. 匿名对象&#xff08;临时对象&#xff09; 2. 编译器的优化 3.变量的创建与销毁 1. 匿名对象&#xff08;临时对象&#xff09; 我们先来看有名对象的创建 Date d1; Date d2(2024,4,27);匿名对象的创建 Date(2024,56,1); 生成了一个匿名对象&#xff0c;执行完Da…

photoshop如何使用PS中的吸管工具吸取软件外部的颜色?

第一步&#xff0c;打开PS&#xff0c;随意新建一个画布&#xff0c;或打开一个图片。 第二步&#xff0c;将PS窗口缩小&#xff0c;和外部窗口叠加放置&#xff0c;以露出后面的其它页面。 第三步&#xff0c;选中吸管工具&#xff0c;在PS窗口内单击一点吸取颜色&#xff0c;…

江开2024年春《心理健康 060211》过程性考核作业二参考答案

答案&#xff1a;更多答案&#xff0c;请关注【电大搜题】微信公众号 答案&#xff1a;更多答案&#xff0c;请关注【电大搜题】微信公众号 答案&#xff1a;更多答案&#xff0c;请关注【电大搜题】微信公众号 单选题 1提出理性情绪疗法的心理学家是&#xff08; &a…

1、Flink DataStreamAPI 概述(上)

一、DataStream API 1、概述 1&#xff09;Flink程序剖析 1.Flink程序组成 a&#xff09;Flink程序基本组成 获取一个执行环境&#xff08;execution environment&#xff09;&#xff1b;加载/创建初始数据&#xff1b;指定数据相关的转换&#xff1b;指定计算结果的存储…

SpringBoot 缓存

个人简介&#xff1a;Java领域新星创作者&#xff1b;阿里云技术博主、星级博主、专家博主&#xff1b;正在Java学习的路上摸爬滚打&#xff0c;记录学习的过程~ 个人主页&#xff1a;.29.的博客 学习社区&#xff1a;进去逛一逛~ 目录 一、缓存的作用二、SpringBoot启用缓存三…

STM32单片机通过ST-Link 烧录和调试

系列文章目录 STM32单片机系列专栏 C语言术语和结构总结专栏 文章目录 1. ST-LINK V2 2. 操作步骤 2.1 连接方式 2.2 驱动安装常规步骤 2.3 Keil中的设置 3. 调式仿真 4. 常见问题排查 1. ST-LINK V2 ST LINK v2下载器用于STM32单片机&#xff0c;可以下载程序、调试…

c++并查集

文章目录 前言一、并查集1、并查集原理2、并查集实现3、并查集应用1.省份数量2.等式方程的可满足性 前言 一、并查集 1、并查集原理 在一些应用问题中&#xff0c;需要将n个不同的元素划分成一些不相交的集合。开始时&#xff0c;每个元素自成一个单元素集合&#xff0c;然后…

机器视觉检测技术是什么?突出的亮点有哪些?

机器视觉检测技术是一种利用图像处理软件分析处理相机捕捉到的图像&#xff0c;以替代人眼在制造和测试过程中进行检测和测量的技术。它广泛应用于工业自动化领域&#xff0c;可以提高生产效率和质量控制的精度。机器视觉系统通常包括光源、相机、图像处理单元和执行机构等组成…

如何链接多个modbus_tcp设备,并将设备数据写入同一个modbusSlave,以便外部客户端获取所有链接设备的数据。

在modbus通信中&#xff0c;一个modbus服务器一次只能链接一个客户机&#xff0c;那么&#xff0c;外部客户端要获取多个设备的modbus数据&#xff0c;就需要使用链接一个专用的mosbus服务器&#xff0c;一下就是详细解决方法。 第一步&#xff1a;创建modbus客户端&#xff0…

组合总数 python

‘’已知—个无重复元素的序列,给定—个目标数,找出序列中所有可以使数字和未目标数的组合。 序列中的元素可以被多次选用,不能出现重复的组合, 序列中的元素和目标数都是正整数。 例如序列 [2, 3, 5]&#xff0c; 目标值为8&#xff0c; 最终的组合有 &#xff08;2, 3, 3&am…

nvm基本使用

nvm基本使用 文章目录 nvm基本使用1.基本介绍2.下载地址3.常用指令 1.基本介绍 NVM是一个用于管理 Node.js 版本的工具。它允许您在同一台计算机上同时安装和管理多个 Node.js 版本&#xff0c;针对于不同的项目可能需要不同版本的 Node.js 运行环境。 NVM 主要功能&#xff…

嵌入式学习——C语言基础——day10

1. 指针的基本概念 1.1 地址 用来区别不同内存字节空间的编号 1.2 指针 地址就是指针&#xff0c;指针就是地址&#xff0c;地址是一个编号&#xff0c;指针多了指向的概念 1.3 指针变量 用来存放指针的变量&#xff0c;有时将指针变量简称为指针 2. 指针相关运算符 & …

24深圳杯AC题完整思路+可执行代码+参考论文!!!!

比赛题目的完整版思路可执行代码数据参考论文都会在第一时间更新上传的&#xff0c;大家可以参考我往期的资料&#xff0c;所有的资料数据以及到最后更新的参考论文都是一次付费后续免费的。注意&#xff1a;&#xff08;建议先下单占坑&#xff0c;因为随着后续我们更新资料数…

001 rabbitmq减库存demo direct

文章目录 ProducerConsumerRabbitMQDirectConfig.javaapplication.yamlServletInitializer.javaRabbitmqApplication.javapom.xml“该消息已经准备好再次被消费”和“队列已经准备好重新分发该消息” Producer 这段代码定义了一个名为Producer的RESTful Web服务Controller&…

iOS(Object C) 插入排序

插入排序的思想: 可以想象你在打牌,手里有一张牌2, 第一次摸到一张牌5; 5 比1 大,所以摸到的牌5放在1的右边; (此时手里的牌为 2->5) 第二次摸到一张牌3; 3比5小,所以3和5互换位置,再拿3和2比,3比2大,3不动(此时手里的牌为 2-> 3 -> 5) 第三次摸到一张牌1,1比5小,…