dolphinscheduler伪分布式安装

1、上传安装包

在这里插入图片描述

2、安装

#解压 重命名
[root@datacollection conf]# cd /opt/modules/
[root@datacollection modules]# tar -zxf apache-dolphinscheduler-2.0.6-bin.tar.gz -C /opt/installs/
[root@datacollection modules]# cd ../installs/
[root@datacollection installs]# mv apache-dolphinscheduler-2.0.6-bin/ dolphinscheduler2.0.6

在这里插入图片描述

3、登录MySQL数据库

版本MySQL8.0+

mysql -uroot -p登录之后,执行如下操作
#创建数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#为新创建的数据库授权
GRANT ALL PRIVILEGES ON your_database_name.* TO 'root'@'%';# 如果上面的指令出现了密码级别不符的报错,在mysql中执行下述语句
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;#刷新
flush privileges;

在这里插入图片描述

另一种方式:

创建一个用户,设置密码:
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';需要设置数据库的密码规则:
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;开始创建一个数据库:
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;创建用户之后,赋予权限:
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
flush privileges;

在这里插入图片描述

  • 上传mysql的驱动mysql-connector-java-8.0.26.jar到/opt/installs/dolphinscheduler2.0.6/lib/目录下
cp /opt/modules/mysql-connector-java-8.0.26.jar /opt/installs/dolphinscheduler2.0.6/lib/

4、配置dolphinscheduler的安装信息

切换到 /opt/installs/dolphinscheduler2.0.6/conf/config/  目录下
编辑install_config.conf 文件 ,找到对应的配置项进行修改,不要全部覆盖
# 所有填写到该属性的值,均为集群中的一份子,会在安装的过程中,同步安装到所有填写的服务器
ips="datacollection"
# 将哪些机器设置为master节点
masters="datacollection"
# 工作组的划分,实战中是根据项目进行分配的
workers="datacollection:default"
# 告警邮件的发送服务器
alertServer="datacollection"
# dolphinscheduler内部运行时的交互服务器
apiServers="datacollection"
# python运行环境的交互网关
pythonGatewayServers="datacollection"# 将软件安装到哪个位置,一定不要和解压目录一致
installPath="/opt/installs/dolphinscheduler_installed"
# 操作hdfs的用户名
deployUser="root"
# DS运行的临时文件存放位置
dataBasedirPath="/opt/installs/dolphinscheduler_installed/tmp_data/dolphinscheduler"
# 指定安装过程中使用的java_home
javaHome="/opt/installs/jdk1.8"#DS的元数据存放位置,需要提供一个关系型数据库
# 底层元数据库的类型
DATABASE_TYPE=${DATABASE_TYPE:-"mysql"}
# 数据库连接url配置
SPRING_DATASOURCE_URL=${SPRING_DATASOURCE_URL:-"jdbc:mysql://datacollection:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8"}
# 数据库username
SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"root"}
# 数据库password
SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"123456"}# 配置注册中心,进行主从节点的信息注册,默认使用zookeeper
registryPluginName="zookeeper"
# zookeeper的地址与端口
registryServers="datacollection:2181"
# zookeeper中的主节点名,该值会在zookeeper中根目录下生成一个节点
registryNamespace="dolphinscheduler"# 资源中心的类型 可以将hdfs作为资源中心,把要执行shell放入到hdfs,任何一个有hdfs客户端的服务器都可以获取到shell
resourceStorageType="HDFS"
# 上传到hdfs上时,要指定hdfs目录,不存在的情况下,会自动创建
resourceUploadPath="/dolphinscheduler"
# hdfs的主入口
defaultFS="hdfs://datacollection:8020"  # Yarn 的web服务界面端口号 
resourceManagerHttpAddressPort="8088"
# 如果yarn是HA高可用模式,则直接将所有的master节点填写在下方,用逗号分割即可,不是高可用则值填空""
yarnHaIps=""
# 如果yarn是单点模式,该处需要改为服务器的hostname
singleYarnIp="datacollection"# hdfs文件系统的管理员用户
hdfsRootUser="root"

5、修改环境变量配置文件

切换/opt/installs/dolphinscheduler2.0.6/conf/env ,修改dolphinscheduler_env.sh
# 该文件主要用于指定dolphinscheduler运行时的环境变量
export HADOOP_HOME=/opt/installs/hadoop3.3.1
export HADOOP_CONF_DIR=/opt/installs/hadoop3.3.1/etc/hadoop
#export SPARK_HOME1=/opt/soft/spark1
#export SPARK_HOME2=/opt/soft/spark2
#export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/installs/jdk1.8
export HIVE_HOME=/opt/installs/hive3.1.2
#export FLINK_HOME=/opt/soft/flink
export DATAX_HOME=/opt/installs/datax#export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$DATAX_HOME/bin:$PATH

在这里插入图片描述

6、初始数据库中的表和数据

#切换到如下目录
/opt/installs/dolphinscheduler2.0.6/script
#执行sql脚本
./create-dolphinscheduler.sh

在这里插入图片描述
在MySQL中检查一下是否有dolphinscheduler数据库和表
在这里插入图片描述
7、启动服务

zkServer.sh start #启动zk
start-dfs.sh   #启动hdfs
start-yarn.sh  #启动yarn

在这里插入图片描述

8、一键安装

切换到/opt/installs/dolphinscheduler2.0.6目录下,执行
sh install.sh

安装成功后,查看进程
在这里插入图片描述

后期可以通过bin/start-all.sh 或者 bin/stop-all.sh 启停ds

9、访问

1.登录网址
http://datacollection:12345/dolphinscheduler
2.输入用户名和密码
用户名:admin
密码: dolphinscheduler123

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1308.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【广州华锐互动】智慧交通3D可视化交互平台

智慧交通3D可视化交互平台由广州华锐互动开发,是一种基于现代科技的智能交通管理系统,它能够实现对车站内部人员和车辆的实时监控和管理。该平台采用了先进的三维可视化技术,将车站内部的结构和设备以立体、直观的方式呈现在用户面前&#xf…

LangChain大型语言模型(LLM)应用开发(四):QA over Documents

LangChain是一个基于大语言模型(如ChatGPT)用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互&#x…

springboot整合ehcache和redis实现多级缓存实战案例

一、概述 在实际的工作中,我们通常会使用多级缓存机制,将本地缓存和分布式缓存结合起来,从而提高系统性能和响应速度。本文通过springboot整合ehcache和redis实现多级缓存案例实战,从源码角度分析下多级缓存实现原理。 二、实战案…

赛效:如何将PDF文件免费转换成Word文档

1:在网页上打开wdashi,默认进入PDF转Word页面,点击中间的上传文件图标。 2:将PDF文件添加上去之后,点击右下角的“开始转换”。 3:稍等片刻转换成功后,点击绿色的“立即下载”按钮,将…

做私域选个微还是企微,哪个有优势?

做私域,你必须要有一个,引流新客户及留存老客户的地方。 于是,就有很多人讨论或者纠结:做私域,选择个人微信?还是企业微信? 让我们一起来看看个人微信和企业微信在功能和使用上有哪些区别&…

[SpringBoot]单点登录

关于单点登录 单点登录的基本实现思想: 当客户端提交登录请求时,服务器端在验证登录成功后,将生成此用户对应的JWT数据,并响应到客户端 客户端在后续的访问中,将自行携带JWT数据发起请求,通常&#xff0c…

一篇搞懂steam/csgo搬砖原理

接触csgo游戏搬砖项目三年了,也有在别的论坛交流心得。让我无语的是有些已经游戏搬砖差不多半年,却还告诉我没有赚到钱,又或者说时常到可出售的时候利润少的可怕,总是说这个行业说水太深了!那么请你告诉我,…

快快快快快快快快快快排

作者简介:დ旧言~,目前大一,现在学习Java,c,Python等 座右铭:松树千年终是朽,槿花一日自为荣。 望小伙伴们点赞👍收藏✨加关注哟💕💕 C语言实现快排☺️ ℹ️…

Ceph 块存储系统 RBD 接口

-创建 Ceph 块存储系统 RBD 接口- 1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池 ceph osd pool create rbd-demo 64 642、将存储池转换为 RBD 模式 ceph osd pool application enable rbd-demo rbd3、初始化存储池 rbd pool init -p rbd-demo # -p 等同于 --pool4、…

jenkins手把手教你从入门到放弃01-jenkins简介(详解)

一、简介 jenkins是一个可扩展的持续集成引擎。持续集成,也就是通常所说的CI(Continues Integration),可以说是现代软件技术开发的基础。持续集成是一种软件开发实践, 即团队开发成员经常集成他们的工作,通…

STM32 Proteus仿真LCD12864火灾检测烟雾火焰温度报警器MQ2 -0064

STM32 Proteus仿真LCD12864火灾检测烟雾火焰温度报警器MQ2 -0064 Proteus仿真小实验: STM32 Proteus仿真LCD12864火灾检测烟雾火焰温度报警器MQ2 -0064 功能: 硬件组成:STM32F103R6单片机 LCD12864 液晶显示DS18B20 温度传感器多个按键电位…

单例模式:懒汉式和饿汉式

目录 懒汉模式和饿汉模式 区别 示例 懒汉模式线程不安全 懒汉模式线程安全 懒汉模式内部静态变量线程安全 饿汉式线程安全 指的是在系统生命周期内,只产生一个实例。 懒汉模式和饿汉模式 分为懒汉式和饿汉式 区别 创建时机和线程安全 线程安全&#xff1…

高时空分辨率、高精度一体化预测技术的风、光、水自动化预测技术的应用

第一章 预测平台讲解及安装 一、高精度气象预测基础理论介绍 综合气象观测数值模拟模式; 全球预测模式、中尺度数值模式; 二、自动化预测平台介绍 Linux系统 Crontab定时任务执行机制 Bash脚本自动化编程 硬件需求简介 软件系统安装 …

分享一个加载按钮动画

先看效果&#xff1a; 再看代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>加载动画按钮</title><script src"https://cdnjs.cloudflare.com/ajax/libs/animejs/3.2…

flutter开发实战-卡片翻转动画效果Transform+IndexedStack+rotateAnimation

flutter开发实战-实现卡片翻转动画效果 之前开发中遇到了商品卡片翻转&#xff0c;商品正面是商品图片、商品名称&#xff1b;背面是商品价格&#xff0c;需要做卡片翻转动画。 动画实现即&#xff1a;在一段时间内&#xff0c;快速地多次改变UI外观&#xff1b;由于人眼会产生…

FL Studio是什么软件?FL Studio2023最新更新内容

FL Studio是什么软件 FL Studio是由比利时软件公司Image-Line开发的音乐制作软件&#xff0c;它拥有丰富的音效、合成器、采样器、鼓机等工具。FL Studio支持多种音频文件格式&#xff0c;包括MIDI、MP3、WAV、OGG等&#xff0c;可以帮助用户自由地进行音乐创作。 FL Studio界…

如何有效利用chatgpt?

如何有效地使用ChatGPT&#xff1f; 代码、诗歌、歌曲和短篇小说都可以由 ChatGPT 以特定的风格编写。您所需要的只是正确的问题和适当的提示。以下是有关如何有效使用ChatGPT的一些提示和想法&#xff1a; 头脑 风暴获取初稿解决编码问题尝试不同的提示格式查找标题寻求帮助…

WordPress作为可扩展的企业级解决方案

网络商业世界就像一片汪洋大海&#xff0c;大型企业是大海中最大的鱼。然而&#xff0c;只因为你比其他人都大&#xff0c;并不意味着你不能逆流而上。相反&#xff0c;企业业务面临的挑战更大&#xff0c;对网站的技术要求更高。 多年来&#xff0c;大型公司通常依赖最昂贵的…

Linux总线设备驱动模型

1. 简介 驱动模型中的总线可以是真是存在的物理总线&#xff08;USB总线&#xff0c;I2C总线&#xff0c;PCI总线&#xff09;&#xff0c;也可以是为了驱动模型架构设计出的虚拟总线&#xff08;Platform总线&#xff09;。为此linux设备驱动模型都将围绕"总线–设备–驱…

科普一下Elasticsearch中BM25算法的使用

首先还是先了解几个概念&#xff0c;Elasticsearch是一个开源的分布式搜索和分析引擎&#xff0c;它使用一系列算法来计算文档的相关性分数&#xff08;relevance score&#xff09;。这些算法用于确定查询与文档的匹配程度&#xff0c;以便按相关性对搜索结果进行排序。以下是…