Azkaban部署

首先我们需要现在相关的组件,在这里已经给大家准备好了相关的安装包,有需要的可以自行下载。

只需要启动hadoop集群就可以,如果现在你的hive是打开的,那么请你关闭!!!

如果不关会造成证书冲突,会启动失败,会让你痛不欲生,痛心疾首

如果没有特别说明,这些操作都是在hadoop03上进行

这里放一个下载连接!!!

----------------------------------------

通过网盘分享的文件:ak.zip
链接: https://pan.baidu.com/s/1E4J9k8LClPj7XuYZWSdNJA 提取码: 4bfp 
--来自百度网盘超级会员v4的分享

--------------------------------------------------

首先我们创建一个文件夹

mkdir -p /export/servers/azkaban

创建完成之后,我们切换到software目录下。

cd /export/software

输入rz上传我们之前上传过的那几个安装包。

首先我们选择安装包里的·relational database安装包,也就是azkaban-db-0.1.0-SNAPSHOT.tar.gz,这个安装包。

上传完成之后,对安装包进行一个解压缩。

tar -zxvf /export/software/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

这个安装完成之后,我们再进rz

行下一个文件的上传与安装,

rz上传azkaban-web-server-0.1.0-SNAPSHOT.tar.gz这个压缩包。

Azkaban web server,同样是上传到software目录。

上传完成之后,我们同样解压缩到akzaban文件夹。

tar -zxvf /export/software/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

等待这个压缩包解压缩完成之后,我们就可以进行下一个压缩包的上传和安装了,还是老规矩,依旧是software文件夹。

输入rz上传azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz压缩文件。

tar -zxvf /export/software/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

那么的,在所有的文件都解压缩完成之后,我们就能换到servers目录下的akzaban目录了。

cd /export/servers/azkaban

切换完成之后,我们需要对我们加压缩的三个文件夹进行重命名,方便后期管理。

那么首先,

mv azkaban-db-0.1.0-SNAPSHOT azkaban-db

下一个

mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web

最后一个

mv azkaban-exec-server-0.1.0-SNAPSHOT  azkaban-exec

好的,所有的文件都重命名完成之后,我们就需要切换到,mysql数据库里了。

配置Relational Database

没有连接数据库的·给自己两巴掌,然后去

Hive的部署,远程模式搭建,centos换源,linux上下载mysql。_hive-4.0.1-CSDN博客

这个地方,只看下载mysql的就可以

那么输入

mysql -uroot -p+密码

这个地方大家输入自己的密码就可以。

不会安装数据库或者没有安装成功的

可以去博主的另一篇文章里找一下,这里会给大家放一个链接。

进入数据库成功之后,我们需要创建一个属于azkaban的数据库

create database azkaban;

创建完成之后,我们需要初始化一下这个数据库。

接下来输入

use azkaban;

选择成功后,输入下面的命令

source /export//servers/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;

初始化完成之后,输入

show tables;

就可以查看一些关于azkaban的多个表。

看完之后,就可以exit;

退出了

配置azkaban web server

切换到azkaban的web那个文件的目录下。

cd /export/servers/azkaban/azkaban-web/conf

输入

vi azkaban.properties

进入之后,将 配置里的参数修改为,

dafult.timezone.id=

Asia/Shanghai

将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。

Itcast@2023

将mysql.user

root

,这个地方修改完成之后,还需要修改一下azkaban.executorselector.filters的值进行修改。

StaticRemainingFlowSize,CpuStatus

全部的修改完成之后就可以开心的保存退出了。

配置Azkaban Executor Server

和配置db差不多,同样要先进入到

cd /export/servers/azkaban/azkaban-exec/conf

之后输入

vi azkaban.properties

进入之后,将 配置里的参数修改为,

dafult.timezone.id=

Asia/Shanghai

将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。

Itcast@2023

将mysql.user

root

完成之后需要再自己添加一个参数

executor.port=12321

在这个地方完成之后,大家切换到自己的lib目录

cd /export/servers/azkaban/azkaban-exec/lib

然后找到自己的mysql那个东西,删除掉

rm -rf mysql-connector-java-5.1.28.jar

删除掉之后,重新上传一个mysql的关联jar包。

在前面的资料里给出了。

然后,切换到web的lib

cd /export/servers/azkaban/azkaban-web/lib

切换完成后,我们还是删除mysql包、

rm -rf mysql-connector-java-5.1.28.jar

之后,上传jar包。和上面那个上传的一样就ok。

那么好,我们再切换到conf目录下。

修改一下命令

log4j.appender.server.File=/export/data/logs/azkaban-execserver.log

启动azkaban

在上面的配置完成之后,我们就需要进行下一步,

cd /export/servers/azkaban/azkaban-exec

之后使用脚本启动

bin/start-exec.sh

启动完成之后,使用jps命令,查看azkaban是都启动成功

如果需要停止服务,请输入。

bin/shutdown-exec.sh

,看完之后,我们输入ll。

来查看一下exec目录下面的命令。

这里需要注意的事情是!不可以切换到bin目录下再一键脚本启动,会造成azkaban启动的时候无法获取conf目录下配置文件的问题。

下一步,我们就可以开始激活azkaban exeexutor server

curl -G "localhost:12321/executor?action=activate" && echo;

切换到web的目录

cd /export/servers/azkaban/azkaban-web

输入

bin/start-web.sh

命令执行成功之后,输入jps,来查看一下执行的命令,

看完之后,输入ll,查看一下是否有out文件出现。

下面ll

!!!

就是!

激动人心的!访问azkaban web用户界面!

那么请打开你的浏览器

输入

hadoop03:8081

在username上输入:(有的也可能是大写的A,两个都试试)

azkaban

password

azkaban

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/61826.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

时钟使能、

时钟使能 如果正确使用,时钟使能能够显著地降低系统功耗,同时对面积或性能的影响极小。但是如果不正确地使用时钟使能, 可能会造成下列后果: • 面积增大 • 密度减小 • 功耗上升 • 性能下降 在许多使用大量控制集的…

4.4 MySQL 触发器(Trigger)

触发器是一种特殊的数据库对象,在特定事件(如INSERT、UPDATE或DELETE)触发时自动执行定义好的操作。它可以帮助我们实现更高效的数据管理和业务规则的约束。 1. 简介 1.1 什么是触发器 触发器(Trigger)是由用户定义的…

视觉经典神经网络与复现:深入解析与实践指南

目录 引言 经典视觉神经网络模型详解 1. LeNet-5:卷积神经网络的先驱 LeNet-5的关键特点: 2. AlexNet:深度学习的突破 AlexNet的关键特点: 3. VGGNet:深度与简洁的平衡 VGGNet的关键特点: 4. ResNe…

【CSS in Depth 2 精译_060】9.3 详解 CSS 作用域的相关概念、最新 @scope 规则的应用及注意事项

当前内容所在位置(可进入专栏查看其他译好的章节内容) 【第九章 CSS 的模块化与作用域】 ✔️ 9.1 模块的定义 9.1.1 模块和全局样式9.1.2 一个简单的 CSS 模块9.1.3 模块的变体9.1.4 多元素模块 9.2 将模块组合为更大的结构 9.2.1 模块中多个职责的拆分…

uniapp实现开发遇到过的问题(持续更新中....)

1. 在ios模拟器上会出现底部留白的情况 解决方案: 在manifest.json文件,找到开源码视图配置,添加如下: "app-plus" : {"safearea":{"bottom":{"offset" : "none" // 底部安…

React(六)——Redux

文章目录 项目地址基本理解一、配置Redux store二、创建slice配置到store里并使用三、给Slice配置reducers,用来修改初始值 项目地址 教程作者:教程地址: 代码仓库地址: 所用到的框架和插件: dbt airflow基本理解 s…

国家级资质!同驭汽车获得CNAS实验室认证

近日,同驭汽车科技顺利通过中国合格评定国家认可委员会(简称CNAS)评审,获得《中国合格评定国家认可委员会实验室认可证书》。这标志着同驭已建立国际标准的实验室管理体系,产品的试验与检测技术能力达到了国际认可的准…

基于物联网设计的人工淡水湖养殖系统(华为云IOT)_253

文章目录 一、前言1.1 项目介绍【1】项目开发背景【2】设计实现的功能【3】项目硬件模块组成【4】设计意义【5】国内外研究现状【6】摘要1.2 设计思路1.3 系统功能总结1.4 开发工具的选择【1】设备端开发【2】上位机开发1.5 参考文献1.6 系统框架图1.7 系统原理图1.8 实物图1.9…

HTML5好看的音乐播放器多种风格(附源码)

文章目录 1.设计来源1.1 音乐播放器风格1效果1.2 音乐播放器风格2效果1.3 音乐播放器风格3效果1.4 音乐播放器风格4效果1.5 音乐播放器风格5效果 2.效果和源码2.1 动态效果2.2 源代码 源码下载万套模板,程序开发,在线开发,在线沟通 作者&…

快速简单的视频下载器——lux

文章目录 前言1.环境检查1.1 检查 lux 安装1.2 检查FFmpeg安装1.3 备注 2. lux指令2.1 无OPTIONS2.2 -i 指令2.3 - f 指令2.4 -c 指令2.5 -o 指令2.6 备注 3.结语 前言 在学习之余,发现了一个简单并且高效的视频下载器lux,能够帮你快速且高效的下载文件&#xff08…

linux ubuntu的脚本知

目录 一、变量的引用 二、判断指定的文件是否存在 三、判断目录是否存在 四、判断最近一次命令执行是否成功 五、一些比较符号 六、"文件"的读取和写入 七、echo打印输出 八、ubuntu切换到root用户 N、其它可以参考的网址 脚本功能强大,用起来也…

ROS2 细节知识学习

1. rosidl_generate_interfaces() 在 ROS2 中,rosidl_generate_interfaces是一个关键的构建工具功能。它主要用于从接口定义文件(如.msg消息文件、.srv服务文件和.action动作文件)生成不同编程语言(如 C、Python 等)可…

Python爬虫进阶实战项目:使用青果网代理高效爬取某手办网详情数据

1 引言 计算机,获取数据,还在慢慢复制粘贴?聪明的朋友都已经用爬虫高效获取数据,但是经常搞爬虫遇见ip管控防爬,咱们怎么处理?在我看来随着数据需求增加,爬虫成为高效获取数据的工具。然而&…

【kubernetes】kubernetes各组件的调用关系

目录 1. 说明2. Kubernetes组件概述2.1 控制平面组件2.2 节点组件 3. Kubernetes组件调用关系4. 示例说明 1. 说明 1.Kubernetes是一个开源的容器编排工具,其各个组件之间存在着复杂的调用关系,共同构建起一个完整的容器编排系统。2.Kubernetes集群主要…

大语言模型---Llama7B和Llama8B的区别;模型参数量;权重文件的不同;嵌入层权重的不同;输入序列长度的不同;应用场景

文章目录 1.概要2. 模型参数量3. 权重文件的不同4. 嵌入层权重的不同5. 输入序列长度的不同6. 应用场景 1.概要 LLaMA(Large Language Model Meta AI)是由Meta开发的一系列语言模型,其中不同版本的参数量(如7B、8B等)…

Linux命令思维导图

看到一个很不错的Linux命令思维导图,用机器翻译了一下,建议收藏备用。 附上英文版:

C++自动化测试:GTest 与 GitLab CI/CD 的完美融合

在现代软件开发中,自动化测试是保证代码质量和稳定性的关键手段。对于C项目而言,自动化测试尤为重要,它能有效捕捉代码中的潜在缺陷,提高代码的可维护性和可靠性。本文将重点介绍如何在C项目中结合使用Google Test(GTe…

查询mysql用户信息及授权

SELECT user, host, account_locked, password_expired, password_last_changed, password_lifetime FROM mysql.user;user: 用户名。 host: 用户允许连接的主机。 account_locked: 账户是否被锁定。 password_expired: 密码是否已过期。 password_last_changed: 密码上…

算法模板2:位运算+离散化+区间合并

文章目录 1.6 位运算**位运算的常见应用**1.7 离散化**经典离散化题目例子****1. 区间合并和覆盖长度问题****2. 区间查询与修改****3. 动态求第 K 小值****4. 区间最大重叠次数****5. 动态逆序对计数****6. 二维区间问题****7. 模拟车流/时间段事件****8. 区间众数统计** **具…

【淘汰9成NLP面试者的高频面题】LSTM中的tanh和sigmoid分别用在什么地方?为什么?

博客主页: [青松] 本文专栏: NLP 大模型百面百过 【淘汰9成NLP面试者的高频面题】LSTM中的tanh和sigmoid分别用在什么地方?为什么? 重要性:★★★ 💯 本题主要考察面试者对以下问题的理解: ① 数据特征和模…