linux安装配置 flume

目录

一 解压安装包

二 配置部署

        (1)修改配置 

        (2)下载工具 

        (3)创建配置文件 

        (4)启动监听测试 

        (5)flume监控文件 


一 解压安装包

        这里提供了网盘资源

链接: https://pan.baidu.com/s/1Z0aItCHMybYpXkt3_RUaVw?pwd=s6pg 提取码: s6pg

        这里安装包是放到/opt/install 文件夹下

        解压到/opt/soft 目录 

tar -zxf /opt/install/apache-flume-1.9.0-bin.tar.gz -C /opt/soft

        给解压的文件夹改个名

cd /opt/soft
 mv apache-flume-1.9.0-bin/ flume190

二 配置部署

        (1)修改配置 

        将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3

cd ../lib
rm -rf ./guava-11.0.2.jar
 cp /opt/soft/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar ./

        进入/opt/soft/flume190/conf/目录

 cd flume190/conf/

        flume-env.sh.template拷贝成 flume-env.sh

cp flume-env.sh.template ./flume-env.sh

         修改该文件

 vim flume-env.sh

         22行jdk路径修改成自己的

22  export JAVA_HOME=/opt/soft/jdk180

         25 行 jdk 内存改大些

 25  export JAVA_OPTS="-Xms2000m -Xmx2000m -Dcom.sun.management.jmxremote"

        (2)下载工具 

yum install -y net-tools

        安装 netcat 

yum install -y nc

        安装 telnet 服务

 yum install -y telnet-server

        安装 telnet 客户端

yum install -y telnet.*

        测试 telnet

        开两个窗口分别作为客户端和服务器端

        客户端

telnet localhost 7777

        服务器端

nc -lk 7777

        在客户端拨号输入语句后,服务器端能接受到

        服务器端挂掉后,客户端也会跟着挂掉

        查看 7777端口是否被占用

netstat -lnp | grep 7777

        (3)创建配置文件 

         创建 myconf2 文件夹

mkdir myconf2

        创建 conf 文件 

 vim ./netcat-logger.conf
a1.sources=r1
a1.channels=c1
a1.sinks=k1a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=7777a1.channels.c1.type=memorya1.sinks.k1.type=loggera1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

        (4)启动监听测试 

        此时执行的路径在/opt/soft/flume190,因为这条命令有的参数路径是相对路径,所以必须在当前路径下执行

 ./bin/flume-ng agent --name a1 --conf ./conf/ --conf-file ./conf/myconf2/netcat-logger.conf  -Dflume.root.logger=INFO,console

        此时再次在客户端拨号输入内容,将会在控制台看到

第一种写法:

[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

第二种写法:

[atguigu@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

参数说明:

--conf/-c:表示配置文件存储在conf/目录

--name/-n:表示给agent起名为a1

--conf-file/-f:flume本次启动读取的配置文件是在job文件夹下flume-telnet.conf文件。

-Dflume.root.logger=INFO,console :-D表示flume运行时动态修改flume.root.logger参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

        (5)flume监控文件 

        在 myconf 文件夹中新编辑一个配置文件

vim ./flumelogger.econf
a2.sources=r1
a2.channels=c1
a2.sinks=k1a2.sources.r1.type=exec
a2.sources.r1.command=tail -f /opt/kb23/flumefile.loga2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100a2.sinks.k1.type = loggera2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

        创建一个被监控的文件

        我这里的是 /opt/kb23/flumefile.log

        这里命令的意思是只要有东西被加入这个文件,就会被 flume 监控到

        运行

 ./bin/flume-ng agent --name a2 --conf ./conf/ --conf-file ./conf/myconf2/filelogger.conf  -Dflume.root.logger=INFO,console

        写东西进入flumefile.log测试(另一个窗口)

echo "hello dio" >> /opt/kb23/flumefile.log

        如果被监测到就是成功了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/87859.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

1688-阿里巴巴批发网(获取商品的名称,价格,图片)

1688 item_get-获得1688商品详情 为了进行电商平台 的API开发,首先我们需要做下面几件事情。 1)开发者注册一个账号 2)然后为每个1688 应用注册一个应用程序键(App Key) 。 3)下载1688 API的SDK并掌握基本的API基础…

2种方法,jmeter用一个正则提取器提取多个值!

jmeter中,用json提取器,一次提取多个值,这个很多人都会。但是,用正则提取器一次提取多个,是否可以呢? 肯定,很多人都自信满满的说,可以!形如:token":“…

前端项目练习(练习-005-webpack-03)

学习前,首先,创建一个web-005项目,内容和web-004一样。(注意将package.json中的name改为web-005) 前面的代码中,打包工作已经基本完成了,下面开始在本地启动项目。这里需要用到webpack-dev-serv…

Linux之进程

目录 一、冯诺依曼体系结构 二、进程 1、关于进程 关于PCB结构体 2、查看进程 ①ps ②/proc 3、getpid 4、getppid 5、fork() fork基本用法 6、进程状态 7、孤儿进程 8、进程优先级 修改nice值:top 9、进程的几个特性 一、冯诺依曼体系结构 冯诺依曼体…

2023年汉字小达人区级自由报名明天开赛,3个新问题和往年真题练一练

明天9月25日,备受关注的2023年第十届上海小学生汉字小达人区级自由报名的比赛就要开始了,最近还是有几个“小迷糊”家长刚听说这个活动,问了几个问题,我觉得挺有普遍性的,所以再次给大家回答一下,希望能够帮…

JavaWeb开发-07-MySQL(二)

一.数据库操作-DQL -- 准备测试数据 INSERT INTO tb_emp (id, username, password, name, gender, image, job, entrydate, create_time, update_time) VALUES (1, jinyong, 123456, 金庸, 1, 1.jpg, 4, 2000-01-01, 2022-10-27 16:35:33, 2022-10-27 16:35:35), (2, zhangwuji…

VUE使用DXFParser组件解析dxf文件生成图片

<template><div><input type"file" change"handleFileChange" /></div><el-table :data"tableData" style"width: 100%"><el-table-column prop"Control_No" label"序号" width…

Ubuntu 安装Nacos

1、官网下载最新版nacos https://github.com/alibaba/nacos/releases 本人环境JDK8&#xff0c;Maven3.6.3&#xff0c;启动Nacos2.2.1启动失败&#xff0c;故切换到2.1.0启动成功 2、放到服务器目录下&#xff0c;我的在/home/xxx/apps下 3、解压 $ tar -zxvf nacos-serve…

【计算机视觉】2.图像特征提取

图像特征提取 一、颜色特征量化颜色直方图聚类颜色直方图 二、边缘特征边缘边缘定义边缘提取边缘精细 三、特征点的特征描述子Harris角点FAST角点斑点SIFTHaar-like特征SURFORBLBPGabor 一、颜色特征 量化颜色直方图 HSV空间 优势&#xff1a;计算高效 劣势&#xff1a;量化问…

Linux基本操作符(1)

W...Y的主页 &#x1f60a; 代码仓库分享 &#x1f495; 目录 Linux的登录 Linux下基本指令 指令操作的理解 几个与用户操作符 ls 指令 pwd命令 cd 指令 touch指令 mkdir指令 rmdir指令 && rm 指令 什么叫操作系统&#xff0c;我相信如果是学计算机的都听说过&…

SpringBoot 学习(九)Redis

11. 集成 Redis 11.1 说明 SpringBoot 操作数据&#xff1a;sping-data、jpa、jdbc、mongodb、redis SpringBoot 2. 后&#xff0c;jedis 被替换为 lettuce jedis&#xff1a;采用直连&#xff0c;多线程操作不安全&#xff0c;增强安全性需使用 jedis pool 连接池&#xff0…

Java --- MySQL8之索引优化与查询优化

目录 一、索引失效场景 1.1、全值匹配 1.2、最佳左前缀规则 1.3、主键插入顺序 1.4、计算、函数、类型转换(自动或手动)导致索引失效 1.5、类型转换导致索引失效 1.6、范围条件右边的列索引失效 1.7、不等于(! 或者<>)索引失效 1.8、is null可以使用索引&…

asp.net企业生产管理系统VS开发sqlserver数据库web结构c#编程Microsoft Visual Studio

一、源码特点 asp.net 企业生产管理系统 是一套完善的web设计管理系统&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。开发环境为vs2010&#xff0c;数据库为sqlserver2008&#xff0c;使用c#语 言开发 二、功能介绍 (1)用户管理&…

Spring学习笔记11 GoF代理模式

Spring学习笔记10 JdbcTemplate_biubiubiu0706的博客-CSDN博客 新建个maven模块 static-proxy 演示静态代理 订单接口 测试 需求:统计每个业务方法的耗时 package com.example.proxy.service;/*** author hrui* date 2023/9/25 8:42*/ public class OrderServiceImpl implem…

分布式网络在移动医疗场景中的应用

随着医疗信息化建设实践的深入&#xff0c;越来越多的医疗机构开始借助网络信息技术改善其运营及管理模式&#xff0c;为患者提供更高质量、更高效率、更加安全体贴的医疗服务。移动医疗便是在此背景下产生的新业务需求。 常见的移动医疗场景 住院部&#xff1a;移动查房、智…

代码阅读分析神器-Scitools Understand

这里写目录标题 前言概要功能介绍1.代码统计2.图形化分析3.代码检查 使用方法下载及使用 前言 作为一名程序员&#xff0c;阅读代码是一个必须要拥有的能力&#xff0c;但无奈很多代码逻辑嵌套非常多&#xff0c;看起来非常吃力&#xff0c;看了那段逻辑就忘记了刚才的逻辑&am…

SpringBoot 集成 AKKA

文章目录 应用场景与 SpringBoot 集成示例 应用场景 AKKA 是一个用于构建高并发、分布式和容错应用程序的开源框架。它基于Actor模型&#xff0c;提供了强大的并发抽象和工具&#xff0c;适用于各种业务场景。以下是一些使用AKKA框架的常见业务场景的示例&#xff1a; 实时数据…

WordPress还原重置插件WP Reset 教程!

这是一篇完整的 WordPress 还原教程&#xff0c;我们将使用一款插件&#xff0c;快速重置整个 WordPress 网站。 有时在安装不同主题、网站插件后&#xff0c;可能会导致程序码彼此的冲突&#xff0c;而让网站出现跑版、错误等 ..&#xff0c;这时直接重新来过可能反而比较快一…

命令执行(rce)

1.命令与代码执行原理 命令执行原理 参数给变量未经过滤&#xff0c;直接使用了不安全的函数处理了变量 127.0.0.1&&ipconfig 有漏洞 常用的函数 assert,system,exec,shell_exec, eval,(反单引号&#xff09; 代码执行原理 参数给变量未经过滤&#xff…

56块钱搭建一个ubuntu 2204 linux 服务器

硬件pdd上淘的一个linux小盒子 应该是以前的机顶盒之类的 实物图如下 今天刚收到小盒子 找了个显示器 键盘 查到小盒子上通电 本来指示灯应该亮的 老板刷机之后 led灯都不亮了 不知道有没有开机 我还以为坏了 刚开始 然后直接连到显示器上 有输出 那说明没问题…