环境说明:
主机名:cmc01为例
操作系统:centos7
安装部署软件 | 版本 | 部署方式 |
centos | 7 | |
zookeeper | zookeeper-3.4.10 | 伪分布式 |
hadoop | hadoop-3.1.3 | 伪分布式 |
hive | hive-3.1.3-bin | 伪分布式 |
clickhouse | 21.11.10.1-2 | 单节点多实例 |
dolphinscheduler | 3.0.0 | 单节点 |
kettle | pdi-ce-9.3.0.0 | 单节点 |
sqoop | sqoop-1.4.7 | 单节点 |
seatunnel | seatunnel-incubating-2.1.2 | 单节点 |
spark | spark-2.4.8 | 单节点 |
1.下载dolphinscheduler:
官网:https://dolphinscheduler.apache.org/zh-cn/download/download.html
解压:
# 解压
tar -zxvf /opt/package/apache-dolphinscheduler-3.0.0-alpha-bin.tar.gz -C /opt/software/
2.配置环境变量
vim ~/.bash_profile# hive
export HIVE_HOME=/opt/software/hive-3.1.3-bin
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
export PATH=$PATH:${HIVE_HOME}/bin
# 使用环境变量生效
source ~/.bash_profile
3.配置用户免密及权限
# 创建用户需使用 root 登录
useradd dolphinscheduler# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler# 配置 sudo 免密
sed -i '$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers# 修改目录权限
chown -R dolphinscheduler:dolphinscheduler /opt/software/apache-dolphinscheduler-3.0.0-alpha-bin# 测试用户免密是否成功
su dolphinscheduler
sudo ls # 如果此命令不需要输入密码则成功# 退出当前用户
exit
4.配置机器SSH免密登陆
su dolphinschedulerssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
5.修改配置文件
1.修改 install_env.sh
文件
cd /opt/software/apache-dolphinscheduler-3.0.0-alpha-bin/bin/env# 修改 install_env.sh 文件
vim install_env.sh