二百零六、Flume——Flume1.9.0单机版部署脚本(附截图)

一、目的

在实际项目部署时,要实现易部署易维护,需要把安装步骤变成安装脚本实现快速部署

二、部署脚本在Linux中文件位置

文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz

三、Flume安装脚本

#!/bin/bash


#获取服务器名称和用户名
hostname=`hostname`
echo "current host name is $hostname"
whoami=`whoami`
echo "current user is $whoami"

#flume下载路径
installdir=/usr/local/hurys/dc_env/flume
if [ ! -d "$installdir" ];then
 mkdir $installdir
fi

#日志文件
nowpath=$(cd "$(dirname "$0")";pwd)
logDir=$nowpath/log/
cd $nowpath
if [ ! -d $logDir ];then
    mkdir -p $logDir
fi
nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`
daytime=`date --date='0 days ago' "+%Y%m%d"`
log_file="$logDir/flume_$daytime.log"

echo '------------ 卸载原有的flume  ------------' | tee -a $log_file
#卸载原有的flume
rm -rf /usr/local/hurys/dc_env/flume/flume190/
  
echo '------------ 安装flume  ------------' | tee -a $log_file
#解压flume安装包
tar  -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz   -C /usr/local/hurys/dc_env/flume/
mv  /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/   /usr/local/hurys/dc_env/flume/flume190
  
echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------'  | tee -a $log_file
#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3
rm  -rf  /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar
 
echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file
#修改配置文件flume-env.sh  
cp  /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template  /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh
    
cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF
export JAVA_HOME=$JAVA_HOME

export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"
EOF

echo '------------ 安装nc和telnet  ------------' | tee -a $log_file
#安装nc和telnet
cd /usr/local/hurys/dc_env/flume/flume190/conf/
yum install -y nc
yum install telnet-server
yum install telnet.*

echo '------------ Complete ------------' | tee -a $log_file

四、Flume脚本安装步骤

(一)到Flume目录下,sh执行安装脚本

# cd /usr/local/hurys/dc_env/flume/

# sh flume-install.sh

更新telnet-server时,选择y

更新telnet时,选择y

(二)验证Flume,测试一下端口

首先,登录监视窗口

# nc -lk  44444

然后,开启聊天窗口

# telnet  localhost  44444

接着,在聊天窗口输入 hello world

继而,监视窗口会自动出现 hello world

最后,在监视窗口ctrl+c退出

总的来说,Flume的安装还是非常简单的,我认为Flume玩法的关键之处就在于任务文件中各种参数的配置,如何配置参数才能及时的、完整的消费数据,这才是Flume的灵魂!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/150117.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

竞赛 题目:基于大数据的用户画像分析系统 数据分析 开题

文章目录 1 前言2 用户画像分析概述2.1 用户画像构建的相关技术2.2 标签体系2.3 标签优先级 3 实站 - 百货商场用户画像描述与价值分析3.1 数据格式3.2 数据预处理3.3 会员年龄构成3.4 订单占比 消费画像3.5 季度偏好画像3.6 会员用户画像与特征3.6.1 构建会员用户业务特征标签…

安防视频监控平台EasyCVR服务器部署后出现报错,导致无法级联到域名服务器,该如何解决?

视频监控平台EasyCVR能在复杂的网络环境中&#xff0c;将分散的各类视频资源进行统一汇聚、整合、集中管理&#xff0c;在视频监控播放上&#xff0c;安防监控平台可支持1、4、9、16个画面窗口播放&#xff0c;可同时播放多路视频流&#xff0c;也能支持视频定时轮播。视频监控…

C#WPF控制模板实例

一、控制模板 ControlTemplate(控件模板)不仅是用于来定义控件的外观、样式, 还可通过控件模板的触发器(ControlTemplate.Triggers)修改控件的行为、响应动画等。 控件模板定义控件的视觉外观,所有的 UI 元素都具有某种外观和行为,例如,Button 具有外观和行为。单击事件或…

OpenHarmony Meetup北京站招募令

OpenHarmony Meetup城市巡回北京站火热来袭&#xff01;&#xff01;日期&#xff1a;2023年11月25日14:00地点&#xff1a;中国科学院软件园区五号楼B402与OpenHarmony技术大咖近距离互动&#xff0c;分享技术见解&#xff0c;结交志同道合的朋友&#xff01;活动主题聚焦Open…

LENOVO联想ThinkBook 16p G4 IRH(21J8)笔记本电脑原装出厂Windows11系统镜像

链接&#xff1a;https://pan.baidu.com/s/1q1vhzTA_VE4LnLvA-wVx7A?pwdvprc 提取码&#xff1a;vprc lenovo联想ThinkBook16P G4原厂Win11系统自带所有驱动、出厂主题壁纸、Office办公软件、联想电脑管家等预装程序 所需要工具&#xff1a;16G或以上的U盘 文件格式&…

页面想去掉滚动条

// 有时候我们设置了overflow:auto&#xff0c;但是为了美观&#xff0c;又想去掉滚动条 .stopCar::-webkit-scrollbar {display: none; } // .stopCar是你设置overflow:auto盒子的class名&#xff0c;

【ISP图像处理】Demosaic去马赛克概念介绍以及相关方法整理

1. 基本定义 使用彩色滤光器阵列(CFA)的数码相机需要一个去马赛克程序来形成完整的RGB图像。一般的相机传感器都是采用彩色滤光片阵列(CFA)放置在光感测单元上&#xff0c;在每个像素处仅捕获三种原色成分中的一种。 去马赛克方法主要关注于复原非常规区域&#xff0c;比如边缘…

力扣labuladong一刷day13天双指针8道链表题

力扣labuladong一刷day13天双指针7道链表题 一、21. 合并两个有序链表 题目链接&#xff1a;https://leetcode.cn/problems/merge-two-sorted-lists/ 思路&#xff1a;合并只需要新new一个虚拟头结点&#xff0c;然后遍历比较两个链表把较小的那一个顺序接在虚拟头结点后面。…

使用ChatGPT进行数据分析案例——贷款数据分析

目录 数据数据 每一行是一个记录,代表着一笔贷款,每一列是一个特征,一共1万多条数据,最后一列非常重要save_loans是否成功收回

三层交换机实现不同VLAN间通讯

默认时&#xff0c;同一个VLAN中的主机才能彼此通信&#xff0c;那么交换机上的VLAN用户之间如何通信&#xff1f; 要实现VLAN之间用户的通信&#xff0c;就必须借助路由器或三层交换机来完成。 下面以三层交换机为例子说明&#xff1a; 注意&#xff1a; 1.交换机与三层交换…

“可信区块链运行监测服务平台TBM发展研讨会”将于11月23日在北京召开

为推动区块链治理与创新&#xff0c;积极推进信任科技生态体系建设&#xff0c;中国信息通信研究院、中国移动设计院联合区块链服务网络&#xff08;BSN&#xff09;发展联盟共同发起建立了可信区块链运行监测服务平台&#xff08;TBM&#xff09;。 TBM平台通过对区块链系统的…

个人博客添加访问人数以及访问时间-githubpage

layout: post # 使用的布局&#xff08;不需要改&#xff09; title: 个人博客添加访问人数以及访问时间 # 标题 subtitle: 个人博客优化 #副标题 date: 2023-11-18 # 时间 author: BY ThreeStones1029 # 作者 header-img: img/about_bg.jpg #这篇文章标题背景图片 catalog: tr…

深度学习(小土堆)

self代表当前类的实例&#xff0c;并用于访问实例的属性和方法,主要方便后面访问属性或者方法。 启动事件文件夹 进行上一步需要在pycharm中设置当打开Terminal终端时&#xff0c;自动进入虚拟环境 防止与别人冲突可以修改端口号 将图像的数据类型转为numpy trans…

自用函数(持续更新)

防止win32com结束后有excel进程残留 import win32com.client import win32process,win32api,win32con excel win32com.client.DispatchEx(Excel.Application) def close_excel_by_force(excel): # 关闭进程# Get the windows process idshwnd excel.Hwnd#hwnd win32gui.Fi…

对不听话的孩子怎么办?牢记下面的方法!

对不听话的孩子怎么办?育儿是一项充满挑战的工作&#xff0c;而面对不听话的孩子更是让许多家长头疼的问题。在这篇文章中&#xff0c;我们将分享六个方法&#xff0c;帮助您有效地应对不听话的孩子&#xff0c;建立更加和谐的家庭氛围。 对不听话的孩子怎么办?下面具体来说…

机器学习与图像识别(二)—— OpenCV环境折腾。。

文章目录 进入正题之前版本说明Python环境搭建安装aruco算法 C 环境搭建安装 VSopencv验证 Aruco算法&#xff0c;opencv4.8.0 进入正题之前 OpenCV是一个优秀的开源视觉处理软件框架&#xff0c;也是计算机视觉学习道路上必须掌握的一套工具&#xff0c;奈何其版本兼容性上实…

Kafka、RocketMQ、RabbitMQ的比较总结Kafka、RocketMQ、RabbitMQ的比较总结

【精选】Kafka、RocketMQ、RabbitMQ的比较总结_kafka rabbitmq rocketmq_【江湖】三津的博客-CSDN博客

关于缓存和数据库一致性问题的深入研究

如何保证缓存和数据库一致性&#xff0c;这是一个老生常谈的话题了。 但很多人对这个问题&#xff0c;依旧有很多疑惑&#xff1a; 到底是更新缓存还是删缓存&#xff1f;到底选择先更新数据库&#xff0c;再删除缓存&#xff0c;还是先删除缓存&#xff0c;再更新数据库&…

JAVA必应回答。

怎么知道IO流是否及时关闭&#xff1f; IO流是Java中用于处理输入和输出的一种抽象概念&#xff0c;它可以是文件、网络、内存等不同的数据源或目的地。IO流在使用完毕后&#xff0c;需要及时关闭&#xff0c;以释放系统资源&#xff0c;避免造成内存泄漏或文件占用等问题。12…

mysqlbinlog使用记录

首先要确认mysql启用了binlog功能。一般默认启用。 mysql> select log_bin; ----------- | log_bin | ----------- | 1 | ----------- 然后确认binlog目录 mysql> select log_bin_basename; ---------------------------- | log_bin_basename | -----…