Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

file

安装部署的流程可参考官网的文档

Version 3.1.8/部署指南/伪集群部署(Pseudo-Cluster) https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/pseudo-cluster

本文开始之前,我先补充说明一下升级 Apache DolphinScheduler 的几个关键点

元数据备份

做好已有元数据做备份(以 MySQL 为例,元数据存储在 Mysql 的 dolphinscheduler 数据库里)

伪代码

mysqldump -u root -p dolphinscheduler > dolphinscheduler_backup_XXX.sql

apache-dolphinscheduler-3.1.8-bin/bin/env/install_env.sh

apache-dolphinscheduler-3.1.8-bin/bin/env/dolphinscheduler_env.sh

这两个文件的配置项,可以从旧版本的相应文件里直接复制粘贴

需要将使用到的数据库(比如 MySQL)的 connector (本人亲测 mysql-connector-java-8.0.30.jar 适用,其他 connector 版本未测试)放到相应的 libs 库里

api-server/libs

alert-server/libs

master-server/libs

worker-server/libs

tools/libs

伪代码如下

cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/alert-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs

common.properties 文件,需要修改相应的参数

alert-server/conf/common.properties
api-server/conf/common.properties
master-server/conf/common.properties
worker-server/conf/common.properties

本人升级时,只修改了

api-server/conf/common.properties

worker-server/conf/common.properties

这两个文件的三个参数

resource.storage.type

resource.storage.upload.base.path

resource.hdfs.fs.defaultFS

需要注意的是,3.1.8 此文件的有些参数名和 3.0.0 此文件中的参数名有变化。

3.0.0 参数 resource.upload.path

对应

3.1.8 参数 resource.storage.upload.base.path

3.0.0 参数 fs.defaultFS

对应

3.1.8 参数 resource.hdfs.fs.defaultFS

CDH集群升级

如果是 CDH 集群(比如 CDH 6.2.1)升级使用  Apache DolphinScheduler 3.1.8

还需要替换相应的 Zookeeper jar 包, 否则会有  Zookeeper Failed to delete registry key 报错提示

参考文章

Dolphin3.0在伪集群模式下总是会报zookeeper Failed to delete registry key,我该怎么排查这个问题: https://github.com/apache/dolphinscheduler/discussions/11948

看看是不是 Zookeeper 的版本不兼容,DolphinScheduler3.1.8 版本的 zookeeper 和 curator 是下面这个:

curator-client-5.3.0.jar
curator-recipes-5.3.0.jar
curator-framework-5.3.0.jar
zookeeper-3.8.0.jar

将/api-server/libs,master-server/libs,worker-server/libs,/tools/libs 下的 zookeeper,curator 的版本替换成 Zookeeper 服务版本一致才行。

注意:zookeeper-3.4.x 对应的 curator-*版本必须是 4.2.0

CDH6.2.1 使用的是

ZooKeeper

3.4.5+cdh6.2.1

即 Zookeeper-3.4.5 版本,需要下载相应的 jar 包  zookeeper-3.4.5.jar,可从如下网站上搜索下载 jar 包:https://nowjava.com/jar/

此外还需要下载下面三个 jar 包

  • curator-client-4.2.0.jar
  • curator-recipes-4.2.0.jar
  • curator-framework-4.2.0.jar

即:

  • zookeeper-3.4.5.jar
  • curator-client-4.2.0.jar
  • curator-recipes-4.2.0.jar
  • curator-framework-4.2.0.jar

将这 4 个 jar 包放到如下

  • api-server/libs
  • master-server/libs
  • worker-server/libs
  • tools/libs

这四个目录,并替换原先的版本 jar 包,伪代码如下

####################### 
cd XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/ rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . rm -f curator-*
cp XXXX/curator-*4.2* . ####################### cd XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . rm -f curator-*
cp XXXX/curator-*4.2* . ####################### cd XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . rm -f curator-*
cp XXXX/curator-*4.2* . ####################### cd XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . rm -f curator-*
cp XXXX/curator-*4.2* . #######################

以上这五点都修改完后,停掉 Apache DolphinScheduler 3.0.0

伪代码

su - dolphinschedulercd XXXX/apache-dolphinscheduler-3.0.0-bin# 一键停止集群所有服务bash ./bin/stop-all.sh

初始化 DolphinScheduler 3.1.8

cd XXXX/apache-dolphinscheduler-3.1.8-bin sh ./tools/bin/upgrade-schema.shcd XXXX/apache-dolphinscheduler-3.1.8-bin sh ./bin/install.sh

到这里就升级完成了

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/155279.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

低代码服务商,中小型数字化软件服务商的新出路

数字化时代大背景下,企业信息化向数字化转型成为所有企业发展的必由之路,企业在对业务模式、流程、组织形式、信息技术等方面进行重新定义时,软件必然参与价值创造的全过程,这势必驱使软件成为推动数字化转型的“引擎”&#xff0…

debian 12 配置

1. 修改apt源 修改apt源为http版本 # 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释 deb http://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free non-free-firmware # deb-src http://mirrors.tuna.tsinghua.edu.cn/d…

文化传承与数字技术的完美结合:十八数藏的新纪元

在这数字化的时代,十八数藏犹如一座连接过去与未来的桥梁,展现出文化传承与数字技术完美结合的新纪元。十八数藏以其独特的视角,将传统文化注入现代数字技术的脉络,呈现出一幅文化传承的全新画卷。 十八数藏的文化传承并不是简单的…

软件测评中心进行安全测试有哪些流程?安全测试报告如何收费?

在当今数字化时代,软件安全测试是每个软件开发团队都不能忽视的重要环节。安全测试是指对软件产品进行系统、全面的安全性评测与检测的过程。它旨在发现并修复软件中存在的漏洞和安全隐患,以确保软件能够在使用过程中保护用户的数据和隐私不被非法访问和…

深入了解Java 8 新特性:Stream流的实践应用(二)

阅读建议 嗨,伙计!刷到这篇文章咱们就是有缘人,在阅读这篇文章前我有一些建议: 本篇文章大概8000多字,预计阅读时间长需要10分钟(不要害怕字数过多,其中有一大部分是示例代码,读起…

RAAGR2-Net:一种使用多个空间帧的并行处理的脑肿瘤分割网络

RAAGR2-Net: A brain tumor segmentation network using parallel processing of multiple spatial frames RAAGR2-Net:一种使用多个空间帧的并行处理的脑肿瘤分割网络背景贡献实验N4 bias-field-correction 数据预处理Z-score and re-sampling Z-score归一化&#…

redis高可用---持久化

redis高可用 在集群当中有一个非常重要的指标,提供正常服务的时间的百分比(365天) 99.9%,redis高可用含义更广泛,支持服务是指标之一,数据容量扩展,数局的安全性。(容量、安全性) redis中实现高…

数据仓库模式之详解 Inmon 和 Kimball

目录 一、前言 二、企业信息工厂(Inmon) 2.1 概念 2.2 主要组件 2.3 流程 三、多维数据仓库(Kimball) 3.1 概念 3.2 核心组件 3.3 流程 四、异同及用途对比 4.1 异同对比 4.2 特征比较 一、前言 大部分关于数据仓库构建…

小微初创企业,如何利用媒体宣传快速成长

传媒如春雨,润物细无声,大家好,我是51媒体网胡老师。 对于小微初创企业来说,利用媒体宣传可以快速提升品牌知名度、扩大影响力,进而促进企业的成长。 1.确定宣传目标:是增加销售、提升品牌知名度、还是推…

JVM对象创建与内存分配

对象的创建 对象创建的主要流程: 类加载推荐博客:JVM类加载机制详解 类加载检查 虚拟机遇到一条new指令时,首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用,并且检查这个符号引用代表的类是否已被加载、解析…

Failed to load resource: net::ERR_UPLOAD_FILE_CHANGED 谷歌浏览器就会有这个问题 其他的浏览器没有

Failed to load resource: net::ERR_UPLOAD_FILE_CHANGED 10 10: Difficulties in file uploading through all browsers and applications

mac添加Chrome插件的方法

如果是.crx的插件 更改后缀crx为zip 后续步骤同下文.zip文件 如果是.zip的插件 使用终端进行解压 注意不要用解压工具解压,一定要用终端,命令行解压 // 进入到“插件名.zip”文件的目录下,输入下面命令: unzip 插件名.zip -…

「ResNet-18」70 个犬种的图片分类

✅作者简介:人工智能专业本科在读,喜欢计算机与编程,写博客记录自己的学习历程。 🍎个人主页:小嗷犬的个人主页 🍊个人网站:小嗷犬的技术小站 🥭个人信条:为天地立心&…

LeetCode【45】跳跃游戏2

题目: 思路: 注意和跳跃游戏【55】不同的是,题目保证可以跳到nums[n-1];那么每次跳到最大即可 代码: public class LeetCode45 {public static int jump(int[] nums) {int jumps 0;int currentEnd 0;int farthest 0;for(int…

Android Serializable / Parcelable

Serializable 序列化,将对象转为二进制序列 Parcelable 不是序列化,属于进程间通信,不需要IO/操作,没有拷贝内存的操作, Object -> ShareMemory -> Object 不需要IO,使用内存共享等方式 Kotlin inline fun 内联函数 TCP协议将数据包拆分,进行发送,保证网络数据的可…

基于纹理特征的kmeas聚类的图像分割方案

Gabor滤波器简介 在图像处理中,以Dennis Gabor命名的Gabor滤波器是一种用于纹理分析的线性滤波器,本质上是指在分析点或分析区域周围的局部区域内,分析图像中是否存在特定方向的特定频率内容。Gabor滤波器的频率和方向表示被许多当代视觉科学…

二十一、数组(3)

本章概要 Arrays的setAll方法增量生成 Arrays的setAll方法 在Java 8中, 在RaggedArray.java 中引入并在 ArrayOfGenerics.java.Array.setAll() 中重用。它使用一个生成器并生成不同的值,可以选择基于数组的索引元素(通过访问当前索引&…

Android项目更新依赖和打包步骤和问题汇总

目录 1、Android 项目打包,32位包升级到64位包问题一:ERROR: Conflicting configuration : armeabi-v7a,x86-64,arm64-v8a,x86 in ndk abiFilters cannot be present when splits abi filters are set : x86,armeabi-v7a,arm64-v8a 2、Android项目依赖升…

pytest-base-url插件之配置可选的项目系统URL

前言 ①当我们的自动化代码完成之后,通常期望可以在不同的环境进行测试,此时可以将项目系统的URL单独拿出来,并且可以通过pytest.ini配置文件和支持pytest命令行方式执行。 ② pytest-base-url 是一个简单的pytest插件,它通过命…

【数据结构】HashMap 和 HashSet

目录 1.哈希表概念 2冲突 2.1概念 2.2 冲突-避免 2.3冲突-避免-哈希函数设计 2.4 冲突-避免-负载因子调节 ​编辑 2.5 冲突-解决-开散列/哈希桶 2.5冲突严重时的解决办法 3.实现 4.性能分析 5.与Java集合类的关系 1.哈希表概念 在顺序结构中,元素关键码和存…