1、上传安装包
2、安装
#解压 重命名
[root@datacollection conf]# cd /opt/modules/
[root@datacollection modules]# tar -zxf apache-dolphinscheduler-2.0.6-bin.tar.gz -C /opt/installs/
[root@datacollection modules]# cd ../installs/
[root@datacollection installs]# mv apache-dolphinscheduler-2.0.6-bin/ dolphinscheduler2.0.6
3、登录MySQL数据库
版本MySQL8.0+
mysql -uroot -p登录之后,执行如下操作
#创建数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#为新创建的数据库授权
GRANT ALL PRIVILEGES ON your_database_name.* TO 'root'@'%';# 如果上面的指令出现了密码级别不符的报错,在mysql中执行下述语句
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;#刷新
flush privileges;
另一种方式:
创建一个用户,设置密码:
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';需要设置数据库的密码规则:
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;开始创建一个数据库:
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;创建用户之后,赋予权限:
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
flush privileges;
- 上传mysql的驱动
mysql-connector-java-8.0.26.jar
到/opt/installs/dolphinscheduler2.0.6/lib/目录下
cp /opt/modules/mysql-connector-java-8.0.26.jar /opt/installs/dolphinscheduler2.0.6/lib/
4、配置dolphinscheduler的安装信息
切换到 /opt/installs/dolphinscheduler2.0.6/conf/config/ 目录下
编辑install_config.conf 文件 ,找到对应的配置项进行修改,不要全部覆盖
# 所有填写到该属性的值,均为集群中的一份子,会在安装的过程中,同步安装到所有填写的服务器
ips="datacollection"
# 将哪些机器设置为master节点
masters="datacollection"
# 工作组的划分,实战中是根据项目进行分配的
workers="datacollection:default"
# 告警邮件的发送服务器
alertServer="datacollection"
# dolphinscheduler内部运行时的交互服务器
apiServers="datacollection"
# python运行环境的交互网关
pythonGatewayServers="datacollection"# 将软件安装到哪个位置,一定不要和解压目录一致
installPath="/opt/installs/dolphinscheduler_installed"
# 操作hdfs的用户名
deployUser="root"
# DS运行的临时文件存放位置
dataBasedirPath="/opt/installs/dolphinscheduler_installed/tmp_data/dolphinscheduler"
# 指定安装过程中使用的java_home
javaHome="/opt/installs/jdk1.8"#DS的元数据存放位置,需要提供一个关系型数据库
# 底层元数据库的类型
DATABASE_TYPE=${DATABASE_TYPE:-"mysql"}
# 数据库连接url配置
SPRING_DATASOURCE_URL=${SPRING_DATASOURCE_URL:-"jdbc:mysql://datacollection:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8"}
# 数据库username
SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"root"}
# 数据库password
SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"123456"}# 配置注册中心,进行主从节点的信息注册,默认使用zookeeper
registryPluginName="zookeeper"
# zookeeper的地址与端口
registryServers="datacollection:2181"
# zookeeper中的主节点名,该值会在zookeeper中根目录下生成一个节点
registryNamespace="dolphinscheduler"# 资源中心的类型 可以将hdfs作为资源中心,把要执行shell放入到hdfs,任何一个有hdfs客户端的服务器都可以获取到shell
resourceStorageType="HDFS"
# 上传到hdfs上时,要指定hdfs目录,不存在的情况下,会自动创建
resourceUploadPath="/dolphinscheduler"
# hdfs的主入口
defaultFS="hdfs://datacollection:8020" # Yarn 的web服务界面端口号
resourceManagerHttpAddressPort="8088"
# 如果yarn是HA高可用模式,则直接将所有的master节点填写在下方,用逗号分割即可,不是高可用则值填空""
yarnHaIps=""
# 如果yarn是单点模式,该处需要改为服务器的hostname
singleYarnIp="datacollection"# hdfs文件系统的管理员用户
hdfsRootUser="root"
5、修改环境变量配置文件
切换/opt/installs/dolphinscheduler2.0.6/conf/env ,修改dolphinscheduler_env.sh
# 该文件主要用于指定dolphinscheduler运行时的环境变量
export HADOOP_HOME=/opt/installs/hadoop3.3.1
export HADOOP_CONF_DIR=/opt/installs/hadoop3.3.1/etc/hadoop
#export SPARK_HOME1=/opt/soft/spark1
#export SPARK_HOME2=/opt/soft/spark2
#export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/installs/jdk1.8
export HIVE_HOME=/opt/installs/hive3.1.2
#export FLINK_HOME=/opt/soft/flink
export DATAX_HOME=/opt/installs/datax#export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$DATAX_HOME/bin:$PATH
6、初始数据库中的表和数据
#切换到如下目录
/opt/installs/dolphinscheduler2.0.6/script
#执行sql脚本
./create-dolphinscheduler.sh
在MySQL中检查一下是否有dolphinscheduler数据库和表
7、启动服务
zkServer.sh start #启动zk
start-dfs.sh #启动hdfs
start-yarn.sh #启动yarn
8、一键安装
切换到/opt/installs/dolphinscheduler2.0.6目录下,执行
sh install.sh
安装成功后,查看进程
后期可以通过bin/start-all.sh 或者 bin/stop-all.sh 启停ds
9、访问
1.登录网址
http://datacollection:12345/dolphinscheduler
2.输入用户名和密码
用户名:admin
密码: dolphinscheduler123