一、目的
在实际项目部署时,要实现易部署易维护,需要把安装步骤变成安装脚本实现快速部署
二、部署脚本在Linux中文件位置
文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz
三、Flume安装脚本
#!/bin/bash
#获取服务器名称和用户名
hostname=`hostname`
echo "current host name is $hostname"
whoami=`whoami`
echo "current user is $whoami"
#flume下载路径
installdir=/usr/local/hurys/dc_env/flume
if [ ! -d "$installdir" ];then
mkdir $installdir
fi
#日志文件
nowpath=$(cd "$(dirname "$0")";pwd)
logDir=$nowpath/log/
cd $nowpath
if [ ! -d $logDir ];then
mkdir -p $logDir
fi
nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`
daytime=`date --date='0 days ago' "+%Y%m%d"`
log_file="$logDir/flume_$daytime.log"
echo '------------ 卸载原有的flume ------------' | tee -a $log_file
#卸载原有的flume
rm -rf /usr/local/hurys/dc_env/flume/flume190/
echo '------------ 安装flume ------------' | tee -a $log_file
#解压flume安装包
tar -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz -C /usr/local/hurys/dc_env/flume/
mv /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/ /usr/local/hurys/dc_env/flume/flume190
echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------' | tee -a $log_file
#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3
rm -rf /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar
echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file
#修改配置文件flume-env.sh
cp /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh
cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF
export JAVA_HOME=$JAVA_HOME
export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"
EOF
echo '------------ 安装nc和telnet ------------' | tee -a $log_file
#安装nc和telnet
cd /usr/local/hurys/dc_env/flume/flume190/conf/
yum install -y nc
yum install telnet-server
yum install telnet.*
echo '------------ Complete ------------' | tee -a $log_file
四、Flume脚本安装步骤
(一)到Flume目录下,sh执行安装脚本
# cd /usr/local/hurys/dc_env/flume/
# sh flume-install.sh
更新telnet-server时,选择y
更新telnet时,选择y
(二)验证Flume,测试一下端口
首先,登录监视窗口
# nc -lk 44444
然后,开启聊天窗口
# telnet localhost 44444
接着,在聊天窗口输入 hello world
继而,监视窗口会自动出现 hello world
最后,在监视窗口ctrl+c退出
总的来说,Flume的安装还是非常简单的,我认为Flume玩法的关键之处就在于任务文件中各种参数的配置,如何配置参数才能及时的、完整的消费数据,这才是Flume的灵魂!