海豚调度系列之：集群部署(Cluster)

海豚调度系列之：集群部署Cluster

  • 一、前置准备工作
  • 二、准备 DolphinScheduler 启动环境
    • 1.配置用户免密及权限
    • 2.配置机器 SSH 免密登陆
    • 3.启动 zookeeper
    • 4.初始化数据库
    • 5.修改相关配置
    • 5.修改 dolphinscheduler_env.sh 文件
  • 三、启动DolphinScheduler
  • 四、登录 DolphinScheduler
  • 五、启停服务

集群部署目的是在多台机器部署 DolphinScheduler 服务，用于运行大量任务情况。

一、前置准备工作

  • JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在，可以跳过这步。
  • 二进制包：下载 DolphinScheduler 二进制包海豚调度下载地址
  • 数据库： MySQL (5.7+)，如 MySQL 则需要 JDBC Driver 8.0.16
  • 注册中心：ZooKeeper (3.8.0+)
  • 进程树分析：Fedora/Red/Hat/CentOS/Ubuntu/Debian 安装psmisc
  • 注意: DolphinScheduler 本身不依赖 Hadoop、Hive、Spark，但如果你运行的任务需要依赖他们，就需要有对应的环境支持

二、准备 DolphinScheduler 启动环境

1.配置用户免密及权限

创建部署用户，并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例

# 创建用户需使用 root 登录
useradd dolphinscheduler# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin

注意:

  • 因为任务执行服务是以 sudo -u {linux-user} 切换不同 linux 用户的方式来实现多租户运行作业，所以部署用户需要有 sudo 权限，而且是免密的。初学习者不理解的话，完全可以暂时忽略这一点
  • 如果发现 /etc/sudoers 文件中有 “Defaults requirett” 这行，也请注释掉

2.配置机器 SSH 免密登陆

由于安装的时候需要向不同机器发送资源，所以要求各台机器间能实现 SSH 免密登陆。配置免密登陆的步骤如下

su dolphinschedulerssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

注意: 配置完成后，可以通过运行命令 ssh localhost 判断是否成功，如果不需要输入密码就能 ssh 登陆则证明成功

3.启动 zookeeper

进入 zookeeper 的安装目录，将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg，并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir=./tmp/zookeeper

# 启动 zookeeper
./bin/zkServer.sh start

4.初始化数据库

DolphinScheduler 元数据存储在关系型数据库中，目前支持 PostgreSQL 和 MySQL。下面分别介绍如何使用 MySQL 和 PostgresQL 初始化数据库。

如果使用 MySQL 需要手动下载 mysql-connector-java 驱动 (8.0.16) 并移动到 DolphinScheduler 的每个模块的 libs 目录下，其中包括 api-server/libs 和 alert-server/libs 和 master-server/libs 和 worker-server/libs 和 tools/libs。

mysql5.7：

mysql -uroot -pmysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;# 修改 {user} 和 {password} 为你希望的用户名和密码
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost' IDENTIFIED BY '{password}';mysql> flush privileges;

mysql 8：

mysql -uroot -pmysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;# 修改 {user} 和 {password} 为你希望的用户名和密码
mysql> CREATE USER '{user}'@'%' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%';
mysql> CREATE USER '{user}'@'localhost' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost';
mysql> FLUSH PRIVILEGES;

可以通过快速的 Shell 脚本来初始化数据库

bash tools/bin/upgrade-schema.sh

5.修改相关配置

部署脚本会通过 scp 的方式将安装需要的资源传输到各个机器上，所以这一步我们仅需要修改运行install.sh脚本的所在机器的配置即可。

完成基础环境的准备后，需要根据你的机器环境修改配置文件。配置文件可以在目录 bin/env 中找到，他们分别是 并命名为 install_env.sh 和 dolphinscheduler_env.sh。

伪集群部署方式install_env.sh的配置：

# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# Due to the master, worker, and API server being deployed on a single node, the IP of the server is the machine IP or localhost
ips="localhost"
sshPort="22"
masters="localhost"
workers="localhost:default"
alertServer="localhost"
apiServers="localhost"# DolphinScheduler installation path, it will auto-create if not exists
installPath=~/dolphinscheduler# Deploy user, use the user you create in section **Configure machine SSH password-free login**
deployUser="dolphinscheduler"

集群部署方式install_env.sh的配置：

# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# 需要配置master、worker、API server，所在服务器的IP均为机器IP或者localhost
# 如果是配置hostname的话，需要保证机器间可以通过hostname相互链接
# 如下图所示，部署 DolphinScheduler 机器的 hostname 为 ds1,ds2,ds3,ds4,ds5，其中 ds1,ds2 安装 master 服务，ds3,ds4,ds5安装 worker 服务，alert server安装在ds4中，api server 安装在ds5中
ips="ds1,ds2,ds3,ds4,ds5"
masters="ds1,ds2"
workers="ds3:default,ds4:default,ds5:default"
alertServer="ds4"
apiServers="ds5"

5.修改 dolphinscheduler_env.sh 文件

文件 ./bin/env/dolphinscheduler_env.sh 描述了下列配置：

  • DolphinScheduler 的数据库配置
  • 一些任务类型外部依赖路径或库文件，如 JAVA_HOME 和 SPARK_HOME都是在这里定义的

如果您不使用某些任务类型，您可以忽略任务外部依赖项，但您必须根据您的环境更改 JAVA_HOME、注册中心和数据库相关配置

# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=${JAVA_HOME:-/opt/soft/java}# Database related configuration, set database type, username and password
export DATABASE=${DATABASE:-postgresql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:postgresql://127.0.0.1:5432/dolphinscheduler"
export SPRING_DATASOURCE_USERNAME={user}
export SPRING_DATASOURCE_PASSWORD={password}# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}# Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-localhost:2181}# Tasks related configurations, need to change the configuration if you use the related tasks.
export HADOOP_HOME=${HADOOP_HOME:-/opt/soft/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/opt/soft/spark}
export PYTHON_LAUNCHER=${PYTHON_LAUNCHER:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/opt/soft/hive}
export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
export DATAX_LAUNCHER=${DATAX_LAUNCHER:-/opt/soft/datax/bin/python3}export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_LAUNCHER:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_LAUNCHER:$PATH

三、启动DolphinScheduler

使用上面创建的部署用户运行以下命令完成部署，部署后的运行日志将存放在 logs 文件夹内

bash ./bin/install.sh

注意: 第一次部署的话，可能出现 5 次sh: bin/dolphinscheduler-daemon.sh: No such file or directory相关信息，此为非重要信息直接忽略即可

四、登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统 UI。默认的用户名和密码是 admin/dolphinscheduler123

五、启停服务

# 一键停止集群所有服务
bash ./bin/stop-all.sh# 一键开启集群所有服务
bash ./bin/start-all.sh# 启停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server# 启停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server# 启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server# 启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server

注意 1:: 每个服务在路径 /conf/dolphinscheduler_env.sh 中都有 dolphinscheduler_env.sh 文件，这是可以为微 服务需求提供便利。意味着您可以基于不同的环境变量来启动各个服务，只需要在对应服务中配置 /conf/dolphinscheduler_env.sh 然后通过 /bin/start.sh 命令启动即可。但是如果您使用命令 /bin/dolphinscheduler-daemon.sh start 启动服务器，它将会用文件 bin/env/dolphinscheduler_env.sh 覆盖 /conf/dolphinscheduler_env.sh 然后启动服务，目的是为了减少用户修改配置的成本.

注意 2:：服务用途请具体参见《系统架构设计》小节。Python gateway service 默认与 api-server 一起启动，如果您不想启动 Python gateway service 请通过更改 api-server 配置文件 api-server/conf/application.yaml 中的 python-gateway.enabled : false 来禁用它。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/743491.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

3.Linux/UNIX平台Python的下载、安装和配置环境变量——《跟老吕学Python编程》

3.Linux/UNIX平台Python的下载、安装和配置环境变量——《跟老吕学Python编程》

3.Linux/UNIX平台Python的下载、安装和配置环境变量——《跟老吕学Python编程》 一、下载Linux/UNIX版Python1.Python官网2.Linux/UNIX版Python下载网址 二、在Linux/UNIX安装Python1.在Ubuntu Linux安装Python1.1 检查Python版本1.2 高级包管理工具1.3 添加存储库1.4 更新软件…
阅读更多...
HTML静态网页成品作业(HTML+CSS)——电影肖申克的救赎介绍设计制作(1个页面)

HTML静态网页成品作业(HTML+CSS)——电影肖申克的救赎介绍设计制作(1个页面)

🎉不定期分享源码，关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 🏷️本套采用HTMLCSS，未使用Javacsript代码，共有1个页面。 二、作品演示 三、代…
阅读更多...
【Flink SQL】Flink SQL 基础概念：SQL 动态表 连续查询

【Flink SQL】Flink SQL 基础概念：SQL 动态表 连续查询

Flink SQL 基础概念：SQL 动态表 & 连续查询 1.SQL 应用于流处理的思路2.流批处理的异同点及将 SQL 应用于流处理核心解决的问题3.SQL 流处理的输入：输入流映射为 SQL 动态输入表4.SQL 流处理的计算：实时处理底层技术 - SQL 连续查询5.SQL…
阅读更多...
Netty架构详解

Netty架构详解

文章目录 概述整体结构Netty的核心组件逻辑架构BootStrap & ServerBootStrapChannelPipelineFuture、回调和 ChannelHandler选择器、事件和 EventLoopChannelHandler的各种ChannelInitializer类图 Protocol Support 协议支持层Transport Service 传输服务层Core 核心层模块…
阅读更多...
Windows C++ 使用WinAPI实现RPC

Windows C++ 使用WinAPI实现RPC

demo下载地址：https://download.csdn.net/download/2403_83063732/88958730 1、创建IDL文件以及acf文件（创建helloworld.idl helloworld.acf） 其中IDL文件： import "oaidl.idl"; import "ocidl.idl"; [ …
阅读更多...
uView Slider 滑动选择器

uView Slider 滑动选择器

该组件一般用于表单中，手动选择一个区间范围的场景。 说明 该组件在H5，微信小程序和APP-VUE等平台上使用了WXS技术，在NVUE平台使用了BindingX技术， 故在滑动过程中可以获得细腻流畅的跟随效果。 #平台差异说明 App&#xff08…
阅读更多...
字符串和字节的使用

字符串和字节的使用

字符串和字节的使用 学习目标： 了解 常见字符以及字符集掌握 str，bytes以及互相转换的方法 1 字符、字符集 字符(Character)是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等 字符集(Character set)是多个字符的集合 …
阅读更多...
【LeetCode热题100】73. 矩阵置零（矩阵）

【LeetCode热题100】73. 矩阵置零（矩阵）

一.题目要求 给定一个 m x n 的矩阵，如果一个元素为 0 ，则将其所在行和列的所有元素都设为 0 。请使用 原地 算法。 二.题目难度 中等 三.输入样例 示例 1： 输入：matrix [[1,1,1],[1,0,1],[1,1,1]] 输出：[[1,0…
阅读更多...
2024考研计算机考研复试-每日重点（第二十期）

2024考研计算机考研复试-每日重点（第二十期）

公众号“准研计算机复试”，超全大佬复试资料，保姆级复试，80%的题目都是上岸大佬提供的。 研宝们，App更新啦！ 计算机组成原理： 10.☆什么是数据存储的大端模式和小端模式？ 大端模式：数…
阅读更多...
github拉取项目找不到前端代码

github拉取项目找不到前端代码

今天从github上拉取了一个项目，使用docker部署在了服务器上， 代码正常运行，但是想在下载的项目中找前端代码遇到了问题，项目结构中的template模板只有一个页面，于是查看nginx配置文件 查看index.html 引入了一些js文件…
阅读更多...
c++11 标准模板（STL）（std::locale）（四）返回 locale 的名称

c++11 标准模板（STL）（std::locale）（四）返回 locale 的名称

用以封装文化差异的多态刻面的集合 std::locale 类型对象是不可变平面的不可变索引集。 C 输入/输出库的每个流对象与一个 std::locale 对象关联，并用其平面分析及格式化所有数据。另外， locale 对象与每个 std::basic_regex 对象关联。 locale 对象亦可…
阅读更多...
使用Julia及R语言生成正态分布的随机数字并写入CSV文件

使用Julia及R语言生成正态分布的随机数字并写入CSV文件

在操作之前需要先下载Julia的Distributions包，这个包用于进行相关概率分布的函数调用。 在输入 ] 进入Julia包管理模式后输入： add Distributions 这里我使用我们自己实验室的实测数据 ，平均值0.67，方差0.11，数据分…
阅读更多...
聚氨酯封孔剂因为热爱

聚氨酯封孔剂因为热爱

忙忙碌碌又一天,对每个顾客都用心服务,因为热爱,所以不辛苦,因为热爱,即使无数遍的重复也不会厌倦。 聚氨酯封孔材料的主要性能特点： 1、粘度低，易渗入微小裂隙； 2、粘合能力很强，具有持久强粘结性； 3、柔韧性.越&am…
阅读更多...
HCIP —— BGP 路径属性 （上）

HCIP —— BGP 路径属性 （上）

目录 BGP 路径属性 1.优选Preferred-Value属性值最大的路由 2.优选Local-preference 属性数值大的路由 3.本地始发的BGP路由优先于其他对等体处学习到的路由。 4..优选AS_PATH属性值最短的路由 BGP 路径属性 BGP的路由选路是存在优选规则的，下图为华为官网提供…
阅读更多...
2 配置虚拟机

2 配置虚拟机

1.打开VM，主页的界面如下，点击"创建新的虚拟机" 2.选择“自定义（高级）”，然后点击下一步，如下图所示： 3.下图直接点击“下一步” 4.下图的界面上，注意，不要选择…
阅读更多...
用python实现人生重开模拟器游戏

用python实现人生重开模拟器游戏

人生重开模拟器是一款非常有趣的游戏，它让玩家能够模拟人生的各种可能性和选择。在Python中实现这个游戏，我们可以采用文本界面的形式，并使用随机数来模拟人生的不同事件。 以下是一个简化版的人生重开模拟器的Python实现： pytho…
阅读更多...
3.11笔记2

3.11笔记2

目前使用的格里高利历闰年的规则如下： 公元年分非4的倍数，为平年。公元年分为4的倍数但非100的倍数，为闰年。公元年分为100的倍数但非400的倍数，为平年。公元年分为400的倍数为闰年。 请用一个表达式 (不能添加括号) 判断某一年…
阅读更多...
【STL】stack栈容器与list链表容器

【STL】stack栈容器与list链表容器

1.栈stack 栈具有先进后出的特性，最先进入的数据压在最底下，最后出来 2.list链表容器 list链表容器是一种双向链表，两端都可插入与删除，是双向访问迭代器，与vertor随机访问迭代器有不同的区别 reverse（&…
阅读更多...
蓝桥杯-质因数问题

蓝桥杯-质因数问题

约数，又称因数：a % b 0,则b称为a的约数，包括1和a。 例如4的正约数有：1、2、4。6的正约数有：1、2、3、6。质因数： 质因数（素因数或质因子）在数论里是指能整除给定正整数（…
阅读更多...
基于SpringBoot+MYSQL+Vue的校园管理系统

基于SpringBoot+MYSQL+Vue的校园管理系统

目录 1、前言介绍 2、主要技术 3、系统流程分析 3.1、操作流程 3.2、添加信息流程 3.3、删除信息流程 4、系统设计 4.1 系统体系结构 4.2开发流程设计 4.3 数据库设计原则 4.4 数据表 5、运行截图(部分) 5.1管理员功能模块 5.2用户功能模块 5.3院校管理员功能模块…
阅读更多...
最新文章

Copyright @ 2022~2023