在上篇进行单机的Standalone部署-Flink的Standalone部署实战,本篇介绍Flink的Standalone集群部署。
Flink集群为主从架构,主是JobManager,从为TaskManager,支持一主多从。
本次搭建环境为3台机器,信息如下表所示。
IP | 服务 | 描述 |
---|---|---|
192.168. 184.37 | JobManager、TaskManager | |
192.168. 184.30 | TaskManager | |
192.168. 184.41 | TaskManager |
一、Flink环境搭建安装
安装过程与上期介绍的一致,下载-解压-配置环境变量。
第一步、下载或直接从主服务器上拷贝或者命令复制
主要可通过两种方式
方式一、在从服务器,分别用 wget命令 直接下载并解压到指定的目录下;
方式二、scp命令,直接从主服务器上复制flink整个文件到从服务器指定目录。
注意: 加上 -r 参数,表示复制整个目录的文件。
// 方式一、wget下载
wget https://archive.apache.org/dist/flink/flink-1.14.3/flink-1.14.3-bin-scala_2.12.tgz
// opt下创建文件夹
mkdir /opt/flink
// 解压到opt下目录
tar -zxvf flink-1.14.3-bin-scala_2.12.tgz -C /opt/flink/
// 方式二、scp 服务器间复制文件,-r 复制文件目录
scp -r /opt/flink/* root@192.168.184.130:/opt/flink/
第二步、修改环境变量
进入环境变量配置文件profile, 即 vi /etc/profile,添加以下内容。
#flink
export Flink_HOME=/opt/flink/flink-1.14.3/
# 将flink路径添加到PATH路径下
export PATH=$PATH:$Flink_HOME/bin
:wq 保存配置信息,主要要刷新环境变量。
// 刷新环境变量
source /etc/profile
// 查看安装位置
which flink
// 进入到bin目录下,启动
start-cluster.sh
// 查看flink进程
ps -ef | grep flink
// 测试
jps
启动完成