二百零六、Flume——Flume1.9.0单机版部署脚本(附截图)

一、目的

在实际项目部署时,要实现易部署易维护,需要把安装步骤变成安装脚本实现快速部署

二、部署脚本在Linux中文件位置

文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz

三、Flume安装脚本

#!/bin/bash


#获取服务器名称和用户名
hostname=`hostname`
echo "current host name is $hostname"
whoami=`whoami`
echo "current user is $whoami"

#flume下载路径
installdir=/usr/local/hurys/dc_env/flume
if [ ! -d "$installdir" ];then
 mkdir $installdir
fi

#日志文件
nowpath=$(cd "$(dirname "$0")";pwd)
logDir=$nowpath/log/
cd $nowpath
if [ ! -d $logDir ];then
    mkdir -p $logDir
fi
nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`
daytime=`date --date='0 days ago' "+%Y%m%d"`
log_file="$logDir/flume_$daytime.log"

echo '------------ 卸载原有的flume  ------------' | tee -a $log_file
#卸载原有的flume
rm -rf /usr/local/hurys/dc_env/flume/flume190/
  
echo '------------ 安装flume  ------------' | tee -a $log_file
#解压flume安装包
tar  -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz   -C /usr/local/hurys/dc_env/flume/
mv  /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/   /usr/local/hurys/dc_env/flume/flume190
  
echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------'  | tee -a $log_file
#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3
rm  -rf  /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar
 
echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file
#修改配置文件flume-env.sh  
cp  /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template  /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh
    
cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF
export JAVA_HOME=$JAVA_HOME

export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"
EOF

echo '------------ 安装nc和telnet  ------------' | tee -a $log_file
#安装nc和telnet
cd /usr/local/hurys/dc_env/flume/flume190/conf/
yum install -y nc
yum install telnet-server
yum install telnet.*

echo '------------ Complete ------------' | tee -a $log_file

四、Flume脚本安装步骤

(一)到Flume目录下,sh执行安装脚本

# cd /usr/local/hurys/dc_env/flume/

# sh flume-install.sh

更新telnet-server时,选择y

更新telnet时,选择y

(二)验证Flume,测试一下端口

首先,登录监视窗口

# nc -lk  44444

然后,开启聊天窗口

# telnet  localhost  44444

接着,在聊天窗口输入 hello world

继而,监视窗口会自动出现 hello world

最后,在监视窗口ctrl+c退出

总的来说,Flume的安装还是非常简单的,我认为Flume玩法的关键之处就在于任务文件中各种参数的配置,如何配置参数才能及时的、完整的消费数据,这才是Flume的灵魂!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/150117.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

竞赛 题目:基于大数据的用户画像分析系统 数据分析 开题

文章目录 1 前言2 用户画像分析概述2.1 用户画像构建的相关技术2.2 标签体系2.3 标签优先级 3 实站 - 百货商场用户画像描述与价值分析3.1 数据格式3.2 数据预处理3.3 会员年龄构成3.4 订单占比 消费画像3.5 季度偏好画像3.6 会员用户画像与特征3.6.1 构建会员用户业务特征标签…

安防视频监控平台EasyCVR服务器部署后出现报错,导致无法级联到域名服务器,该如何解决?

视频监控平台EasyCVR能在复杂的网络环境中&#xff0c;将分散的各类视频资源进行统一汇聚、整合、集中管理&#xff0c;在视频监控播放上&#xff0c;安防监控平台可支持1、4、9、16个画面窗口播放&#xff0c;可同时播放多路视频流&#xff0c;也能支持视频定时轮播。视频监控…

OpenHarmony Meetup北京站招募令

OpenHarmony Meetup城市巡回北京站火热来袭&#xff01;&#xff01;日期&#xff1a;2023年11月25日14:00地点&#xff1a;中国科学院软件园区五号楼B402与OpenHarmony技术大咖近距离互动&#xff0c;分享技术见解&#xff0c;结交志同道合的朋友&#xff01;活动主题聚焦Open…

LENOVO联想ThinkBook 16p G4 IRH(21J8)笔记本电脑原装出厂Windows11系统镜像

链接&#xff1a;https://pan.baidu.com/s/1q1vhzTA_VE4LnLvA-wVx7A?pwdvprc 提取码&#xff1a;vprc lenovo联想ThinkBook16P G4原厂Win11系统自带所有驱动、出厂主题壁纸、Office办公软件、联想电脑管家等预装程序 所需要工具&#xff1a;16G或以上的U盘 文件格式&…

【ISP图像处理】Demosaic去马赛克概念介绍以及相关方法整理

1. 基本定义 使用彩色滤光器阵列(CFA)的数码相机需要一个去马赛克程序来形成完整的RGB图像。一般的相机传感器都是采用彩色滤光片阵列(CFA)放置在光感测单元上&#xff0c;在每个像素处仅捕获三种原色成分中的一种。 去马赛克方法主要关注于复原非常规区域&#xff0c;比如边缘…

使用ChatGPT进行数据分析案例——贷款数据分析

目录 数据数据 每一行是一个记录,代表着一笔贷款,每一列是一个特征,一共1万多条数据,最后一列非常重要save_loans是否成功收回

三层交换机实现不同VLAN间通讯

默认时&#xff0c;同一个VLAN中的主机才能彼此通信&#xff0c;那么交换机上的VLAN用户之间如何通信&#xff1f; 要实现VLAN之间用户的通信&#xff0c;就必须借助路由器或三层交换机来完成。 下面以三层交换机为例子说明&#xff1a; 注意&#xff1a; 1.交换机与三层交换…

“可信区块链运行监测服务平台TBM发展研讨会”将于11月23日在北京召开

为推动区块链治理与创新&#xff0c;积极推进信任科技生态体系建设&#xff0c;中国信息通信研究院、中国移动设计院联合区块链服务网络&#xff08;BSN&#xff09;发展联盟共同发起建立了可信区块链运行监测服务平台&#xff08;TBM&#xff09;。 TBM平台通过对区块链系统的…

个人博客添加访问人数以及访问时间-githubpage

layout: post # 使用的布局&#xff08;不需要改&#xff09; title: 个人博客添加访问人数以及访问时间 # 标题 subtitle: 个人博客优化 #副标题 date: 2023-11-18 # 时间 author: BY ThreeStones1029 # 作者 header-img: img/about_bg.jpg #这篇文章标题背景图片 catalog: tr…

深度学习(小土堆)

self代表当前类的实例&#xff0c;并用于访问实例的属性和方法,主要方便后面访问属性或者方法。 启动事件文件夹 进行上一步需要在pycharm中设置当打开Terminal终端时&#xff0c;自动进入虚拟环境 防止与别人冲突可以修改端口号 将图像的数据类型转为numpy trans…

关于缓存和数据库一致性问题的深入研究

如何保证缓存和数据库一致性&#xff0c;这是一个老生常谈的话题了。 但很多人对这个问题&#xff0c;依旧有很多疑惑&#xff1a; 到底是更新缓存还是删缓存&#xff1f;到底选择先更新数据库&#xff0c;再删除缓存&#xff0c;还是先删除缓存&#xff0c;再更新数据库&…

mysqlbinlog使用记录

首先要确认mysql启用了binlog功能。一般默认启用。 mysql> select log_bin; ----------- | log_bin | ----------- | 1 | ----------- 然后确认binlog目录 mysql> select log_bin_basename; ---------------------------- | log_bin_basename | -----…

安装Nginx时报:./configure: error: can not define uint32_t

安装版本&#xff1a;v.1.25.3 安装命令&#xff1a; ./configure --prefix/opt/nginx/1.25.3 && make && make install 执行命令后出现异常&#xff0c;如图&#xff1a; 解决方法&#xff1a; yum install -y kernel-headers kernel-devel gcc make

大模型真的会让软件测试人员下岗吗?

在今年3月写过一篇文章&#xff1a;又一次被震惊&#xff1a;从生成和细化需求到应用各种方法设计测试用例 &#xff0c;展示了chatGPT生成测试用例&#xff0c;而且可以用不同的方法生成测试用例&#xff0c;在我们的引导下它还能补充测试用例、完善测试用例。半年之后&#x…

北邮22级信通院数电:Verilog-FPGA(10)第十周实验 实现移位寄存器74LS595

北邮22信通一枚~ 跟随课程进度更新北邮信通院数字系统设计的笔记、代码和文章 持续关注作者 迎接数电实验学习~ 获取更多文章&#xff0c;请访问专栏&#xff1a; 北邮22级信通院数电实验_青山如墨雨如画的博客-CSDN博客 目录 一.代码部分 二.管脚分配 三.实现过程讲解及效…

关于爬虫中的hook(defineProperty,hook cookies, hook载荷数据,hookXHR)

关于爬虫中的hook&#xff1a; defineProperty var people {age: 19, }; var count20; console.log(people.age) // 参数&#xff1a;对象 属性名字 函数 Object.defineProperty(people, age, {get: function () {console.log(获取值&#xff01;);return count;},// set: …

SOME/IP 协议介绍(五)指南

指南&#xff08;信息性&#xff09; 选择传输协议 SOME/IP直接支持互联网上使用最广泛的两种传输协议&#xff1a;用户数据报协议&#xff08;UDP&#xff09;和传输控制协议&#xff08;TCP&#xff09;。UDP是一种非常简洁的传输协议&#xff0c;仅支持最重要的功能&#…

在电脑PC端可以分类记笔记的软件选择哪个?

选择用电脑来记录笔记是比较便捷的&#xff0c;电脑屏幕比较大&#xff0c;操作起来比较便捷。但是很多人用电脑来记录笔记&#xff0c;通常会使用电脑上自带的记事本、文档记事工具来整合笔记&#xff0c;打开文档记事本类的软件&#xff0c;密密麻麻的文字呈现出来。 选择用…

Cesium点位弹窗

1.弹窗没法向加入点位一样加入到地图内部&#xff0c;entity没法实现 2.使用绝对定位&#xff0c;将地图组件通过定位加入到地图上&#xff0c;注意弹窗层级一定在地图上 3.通过判断点击位置是否是点位来获取entity信息&#xff0c;将信息显示在弹窗 4.将点击处点位的经纬度转为…

RHCSA --- Linux存储管理

存储管理 Boot&#xff1a;可引导操作系统的分区&#xff08;必须是主分区&#xff09; 分区 ll /dev/nvme0n* 表示的是 nvme接口的磁盘 0n1 1 0n2 2 0n3 3 brw-rw----. 1 root disk 259, 0 Nov 15 19:31 /dev/nvme0n1 磁盘1 brw-rw----. 1 ro…