数据库第十七课-------ETL任务调度系统的安装和使用

作者前言

🎂 ✨✨✨✨✨✨🍧🍧🍧🍧🍧🍧🍧🎂
​🎂 作者介绍: 🎂🎂
🎂 🎉🎉🎉🎉🎉🎉🎉 🎂
🎂作者id:老秦包你会, 🎂
简单介绍:🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂
喜欢学习C语言和python等编程语言,是一位爱分享的博主,有兴趣的小可爱可以来互讨 🎂🎂🎂🎂🎂🎂🎂🎂
🎂个人主页::小小页面🎂
🎂gitee页面:秦大大🎂
🎂🎂🎂🎂🎂🎂🎂🎂
🎂 一个爱分享的小博主 欢迎小可爱们前来借鉴🎂


ETL

  • **作者前言**
  • ETL的介绍
  • 安装
  • 使用
  • 总结

ETL的介绍

ETL:任务调度系统。主要是位为了方便管理、运行相关的数据脚本。通过图形化界面,更好的观察数据走向与脚本执行的步骤。进行数仓管理和数据分析,ETL是必不可少的工具之一。

安装

1、进入到官网ETF
2、进入到下载页面,
在这里插入图片描述
这里我选择单机部署
在这里插入图片描述
3. 环境准备。在终端输入 java -version ,保证版本在1.8以上, java -verbose 查看JDK路径
在这里插入图片描述
在这里插入图片描述

编辑打开 vim /etc/profile ,在最后面添加
# java
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_333
export JER_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
JAVA_HOME的路径一定要是 java -verbose 里对应的jdk路径
保存后重置环境配置
source /etc/profile
配置ETL环境
# 解压并运行 Standalone Server
tar -xvzf apache-dolphinscheduler-3.1.2-bin.tar.gz
在apache-dolphinscheduler-3.1.2-bin中,打开conf/env/dolphinscheduler_env.sh
在最下面进行修改
# export HADOOP_HOME=/opt/soft/hadoop
# export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
# export SPARK_HOME1=/opt/soft/spark1
# export SPARK_HOME2=/opt/soft/spark2
# export PYTHON_HOME=/opt/soft/python
export PYTHON_HOME=/home/tisugou/anaconda3/bin/python3.9
# export JAVA_HOME=${JAVA_HOME:-/opt/soft/java}
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_333
# export HIVE_HOME=/opt/soft/hive
# export FLINK_HOME=/opt/soft/flink
# export DATAX_HOME=/opt/soft/datax
# export
PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_H
OME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH
export PATH=$PYTHON_HOME:$JAVA_HOME/bin:$PATH
因为只用到了Python和Java,所以可以将其他的路径全部注释掉
  1. 解压并启动 DolphinScheduler
tar -xvzf apache-dolphinscheduler-3.1.2-bin.tar.gz
cd apache-dolphinscheduler-3.1.2-bin
sh ./bin/dolphinscheduler-daemon.sh start standalone-server
# 启停服务
# 启动 Standalone Server 服务
sh ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
sh ./bin/dolphinscheduler-daemon.sh stop standalone-server

在这里插入图片描述
我的是解压到这个文件里面我们要找到对应的文件进行运行
在这里插入图片描述

使用

登录
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如果我们直接创建好这个,不做处理就会默认是同时运行的
在这里插入图片描述
如果我们做出下面操作就会先运行第一个再运行第二个,如果第一个运行失败就会停留在第一步,就是要第一步运行成功才能运行第二步
在这里插入图片描述

总结

ETL的简单介绍完了,有不懂的小可爱可以私聊我

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/52608.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Jenkins配置远程服务器SSH Server流程

说明:以阿里云轻量应用服务器,本文介绍如何在Jenkins中配置远程服务器,Jenkins安装参考这篇文章; 第一步:启动服务 首先,启动Jenkins容器,进入Jenkins管理后台,点击系统配置&#…

echarts 的dataZoom滑块两端文字被遮挡

问题: 期望: 解决方案: 1:调整宽度(4版本的没有width属性) 2. 参考:echarts图标设置dataZoom拖拽时间轴时自动调整两侧文字的位置_datazoom 位置_乌栖曲的博客-CSDN博客 设置文字的定位 cons…

物联网(IoT)安全挑战与解决方案: 分析物联网设备面临的安全威胁,以及如何设计和管理安全的IoT生态系统

第一章:引言 随着科技的飞速发展,物联网(IoT)作为连接世界的桥梁,已经成为现代社会不可或缺的一部分。然而,随着IoT设备数量的不断增加,其安全问题也日益显著。本文将深入探讨IoT领域面临的安全…

算法和数据结构

day1 1:正确 力扣(LeetCode)官网 - 全球极客挚爱的技术成长平台 // 中序遍历一遍二叉树,并统计节点数目 class Solution { public:int count 0; // 统计节点数void inorder(TreeNode* root) {if(!root) return;inorder(root-&g…

米哈游手办类目定金尾款匹配需求

一 . 大概背景描述 1.1 平台有两个链接: 定金链接,付尾款链接。 定金链接需要虚拟进行发货,补款链接下单后需要跟定金链接在erp系统中跟同一个客户的订单自动匹配对应。 1.2 调研: 竞品的实现效果,存在的问题。 …

nginx 反向代理的原理

Nginx(发音为"engine X")是一个高性能、轻量级的开源Web服务器和反向代理服务器。它的反向代理功能允许将客户端的请求转发到后端服务器,然后将后端服务器的响应返回给客户端。下面是Nginx反向代理的工作原理: 1.客户端…

暄桐展览| 我们桐学有自己的习作展(1)

林曦老师《从书法之美到生活之美》的第五阶课程《静定的滋养2021》已告一段落。570天的用功,桐学们的技艺都有了水涨船高的进益。      无论书法课(全阶和五阶)还是国画课,暄桐都有一套完整系统的教学体系,也会在桐…

Java | IDEA中Netty运行多个client的方法

想要运行多个client但出现这种提示: 解决方法 1、打开IDEA,右上角找到下图,并点击 2、勾选

ABC 292 E Transitivity(bitset 优化 floyed 传递闭包 )

ABC 292 E Transitivity&#xff08;bitset 优化 floyed 传递闭包&#xff09; ABC 292 E Transitivity 不妨先写出无优化版本floyed 求传递闭包 for(int k 1 ; k < n ; k ){for(int i 1 ; i < n ; i ){for(int j 1 ; j < n ; j ){a[i][j] | (a[i][k] &&…

redis缓存是在内存中运行,怎么实现长期存储的呢

Redis是一个内存数据库&#xff0c;它常用于缓存和临时数据存储。虽然Redis是在内存中运行的&#xff0c;但它也提供了一些机制来实现长期存储。下面是几种实现长期存储的方法&#xff1a; RDB持久化&#xff1a;Redis支持RDB&#xff08;Redis Database&#xff09;持久化&…

微信支付

文档地址&#xff1a;https://pay.weixin.qq.com/wiki/doc/api/native.php?chapter9_1 封装的工具类 package com.qf.fmall.utils;import cn.hutool.core.util.XmlUtil; import cn.hutool.http.HttpRequest; import org.apache.shiro.crypto.hash.Md5Hash;import java.util.…

【keepalived双机热备与 lvs(DR)】

目录 一、概述 1.简介 2.原理 3.作用 二、安装 1.配置文件 2.配置项 三、功能模块 1.core 2.vrrp 3.check 四、配置双机热备 1.master 2.backup 五、验证 1.ping验证 2.服务验证 六、双机热备的脑裂现象 七、keepalivedlvs&#xff08;DR&#xff09; 1.作…

在C++中利用rapidjson实现Python中的字典(Dict)

python 中的dict如下&#xff1a; Dicts {"Stain":{"ResultType": "Physics","Results": [{"Key": "KeyPoints","Title": "瑕疵区域","Unit": "","Value": …

中小金融机构数字化转型最大的挑战是什么?

中国银保监会办公厅印发的《关于银行业保险业数字化转型的指导意见》强调&#xff0c;银行保险机构要加强顶层设计和统筹规划&#xff0c;科学制定数字化转型战略&#xff0c;统筹推进工作&#xff0c;并从战略规划与组织流程建设、业务经营管理数字化、数据能力建设、科技能力…

性能测试告诉你 mysql 数据库存储引擎该如何选?

简介 数据库存储引擎&#xff1a;是数据库底层软件组织&#xff0c;数据库管理系统&#xff08;DBMS&#xff09;使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能&#xff0c;使用不同的存储引擎&#xff0c;还可以…

Wireshark数据抓包分析之互联网控制报文协议_ICMP

一、实验目的: 通过使用wireshark抓取的ICMP数据包对这个ICMP控制报文进行分析 二、预备知识&#xff1a; 1.ICMP协议概述&#xff1a;ICMP是Internet Control Message Protocol的缩写&#xff0c;即互联网控制报文协议。它是TCP/IP协议族的一个子协议&#xff0c;用于IP主机、…

HDLBits-Verilog学习记录 | Verilog Language-Vectors

文章目录 11.vectors | vector012.vectors in more detail | vector113.Vector part select | Vector214.Bitwise operators | Vectorgates15.Four-input gates | Gates416.Vector concatenation operator | Vector317.Vector reversal 1 | Vectorr18. Replication operator | …

SD-WebUI和ComfyUI的局域网访问设置!

如何通过局域网访问AI绘画软件&#xff0c;这是星球成员提的一个问题&#xff0c;而且两个软件都问到了&#xff0c;我也回答过了。现在把内容整理一下发出来&#xff0c;大家可能用得着。 SD-WebUI和ComfyUI这两个AI绘画工具都是通过浏览器来使用&#xff0c;但是默认情况下并…

Request对象和response对象

一、概念 request对象和response对象是通过Servlet容器&#xff08;如Tomcat&#xff09;自动创建并传递给Servlet的。 Servlet容器负责接收客户端的请求&#xff0c;并将请求信息封装到request对象中&#xff0c;然后将request对象传 递给相应的Servlet进行处理。类似地&…

低代码赋能| 智慧园区项目开发痛点及解决方案

智慧园区是一个综合体&#xff0c;集技术开发、产业发展和学术研究于一体。作为未来智慧城市建设的核心&#xff0c;智慧园区充当着“产业大脑”和“指挥中心”的角色。它通过整合园区内的制造资源和第三方服务能力&#xff0c;实现园区各组成部分的协调运作、良性循环和相互促…