Azkaban部署

首先我们需要现在相关的组件,在这里已经给大家准备好了相关的安装包,有需要的可以自行下载。

只需要启动hadoop集群就可以,如果现在你的hive是打开的,那么请你关闭!!!

如果不关会造成证书冲突,会启动失败,会让你痛不欲生,痛心疾首

如果没有特别说明,这些操作都是在hadoop03上进行

这里放一个下载连接!!!

----------------------------------------

通过网盘分享的文件:ak.zip
链接: https://pan.baidu.com/s/1E4J9k8LClPj7XuYZWSdNJA 提取码: 4bfp 
--来自百度网盘超级会员v4的分享

--------------------------------------------------

首先我们创建一个文件夹

mkdir -p /export/servers/azkaban

创建完成之后,我们切换到software目录下。

cd /export/software

输入rz上传我们之前上传过的那几个安装包。

首先我们选择安装包里的·relational database安装包,也就是azkaban-db-0.1.0-SNAPSHOT.tar.gz,这个安装包。

上传完成之后,对安装包进行一个解压缩。

tar -zxvf /export/software/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

这个安装完成之后,我们再进rz

行下一个文件的上传与安装,

rz上传azkaban-web-server-0.1.0-SNAPSHOT.tar.gz这个压缩包。

Azkaban web server,同样是上传到software目录。

上传完成之后,我们同样解压缩到akzaban文件夹。

tar -zxvf /export/software/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

等待这个压缩包解压缩完成之后,我们就可以进行下一个压缩包的上传和安装了,还是老规矩,依旧是software文件夹。

输入rz上传azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz压缩文件。

tar -zxvf /export/software/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

那么的,在所有的文件都解压缩完成之后,我们就能换到servers目录下的akzaban目录了。

cd /export/servers/azkaban

切换完成之后,我们需要对我们加压缩的三个文件夹进行重命名,方便后期管理。

那么首先,

mv azkaban-db-0.1.0-SNAPSHOT azkaban-db

下一个

mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web

最后一个

mv azkaban-exec-server-0.1.0-SNAPSHOT  azkaban-exec

好的,所有的文件都重命名完成之后,我们就需要切换到,mysql数据库里了。

配置Relational Database

没有连接数据库的·给自己两巴掌,然后去

Hive的部署,远程模式搭建,centos换源,linux上下载mysql。_hive-4.0.1-CSDN博客

这个地方,只看下载mysql的就可以

那么输入

mysql -uroot -p+密码

这个地方大家输入自己的密码就可以。

不会安装数据库或者没有安装成功的

可以去博主的另一篇文章里找一下,这里会给大家放一个链接。

进入数据库成功之后,我们需要创建一个属于azkaban的数据库

create database azkaban;

创建完成之后,我们需要初始化一下这个数据库。

接下来输入

use azkaban;

选择成功后,输入下面的命令

source /export//servers/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;

初始化完成之后,输入

show tables;

就可以查看一些关于azkaban的多个表。

看完之后,就可以exit;

退出了

配置azkaban web server

切换到azkaban的web那个文件的目录下。

cd /export/servers/azkaban/azkaban-web/conf

输入

vi azkaban.properties

进入之后,将 配置里的参数修改为,

dafult.timezone.id=

Asia/Shanghai

将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。

Itcast@2023

将mysql.user

root

,这个地方修改完成之后,还需要修改一下azkaban.executorselector.filters的值进行修改。

StaticRemainingFlowSize,CpuStatus

全部的修改完成之后就可以开心的保存退出了。

配置Azkaban Executor Server

和配置db差不多,同样要先进入到

cd /export/servers/azkaban/azkaban-exec/conf

之后输入

vi azkaban.properties

进入之后,将 配置里的参数修改为,

dafult.timezone.id=

Asia/Shanghai

将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。

Itcast@2023

将mysql.user

root

完成之后需要再自己添加一个参数

executor.port=12321

在这个地方完成之后,大家切换到自己的lib目录

cd /export/servers/azkaban/azkaban-exec/lib

然后找到自己的mysql那个东西,删除掉

rm -rf mysql-connector-java-5.1.28.jar

删除掉之后,重新上传一个mysql的关联jar包。

在前面的资料里给出了。

然后,切换到web的lib

cd /export/servers/azkaban/azkaban-web/lib

切换完成后,我们还是删除mysql包、

rm -rf mysql-connector-java-5.1.28.jar

之后,上传jar包。和上面那个上传的一样就ok。

那么好,我们再切换到conf目录下。

修改一下命令

log4j.appender.server.File=/export/data/logs/azkaban-execserver.log

启动azkaban

在上面的配置完成之后,我们就需要进行下一步,

cd /export/servers/azkaban/azkaban-exec

之后使用脚本启动

bin/start-exec.sh

启动完成之后,使用jps命令,查看azkaban是都启动成功

如果需要停止服务,请输入。

bin/shutdown-exec.sh

,看完之后,我们输入ll。

来查看一下exec目录下面的命令。

这里需要注意的事情是!不可以切换到bin目录下再一键脚本启动,会造成azkaban启动的时候无法获取conf目录下配置文件的问题。

下一步,我们就可以开始激活azkaban exeexutor server

curl -G "localhost:12321/executor?action=activate" && echo;

切换到web的目录

cd /export/servers/azkaban/azkaban-web

输入

bin/start-web.sh

命令执行成功之后,输入jps,来查看一下执行的命令,

看完之后,输入ll,查看一下是否有out文件出现。

下面ll

!!!

就是!

激动人心的!访问azkaban web用户界面!

那么请打开你的浏览器

输入

hadoop03:8081

在username上输入:(有的也可能是大写的A,两个都试试)

azkaban

password

azkaban

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/61826.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

时钟使能、

时钟使能 如果正确使用,时钟使能能够显著地降低系统功耗,同时对面积或性能的影响极小。但是如果不正确地使用时钟使能, 可能会造成下列后果: • 面积增大 • 密度减小 • 功耗上升 • 性能下降 在许多使用大量控制集的…

视觉经典神经网络与复现:深入解析与实践指南

目录 引言 经典视觉神经网络模型详解 1. LeNet-5:卷积神经网络的先驱 LeNet-5的关键特点: 2. AlexNet:深度学习的突破 AlexNet的关键特点: 3. VGGNet:深度与简洁的平衡 VGGNet的关键特点: 4. ResNe…

【CSS in Depth 2 精译_060】9.3 详解 CSS 作用域的相关概念、最新 @scope 规则的应用及注意事项

当前内容所在位置(可进入专栏查看其他译好的章节内容) 【第九章 CSS 的模块化与作用域】 ✔️ 9.1 模块的定义 9.1.1 模块和全局样式9.1.2 一个简单的 CSS 模块9.1.3 模块的变体9.1.4 多元素模块 9.2 将模块组合为更大的结构 9.2.1 模块中多个职责的拆分…

uniapp实现开发遇到过的问题(持续更新中....)

1. 在ios模拟器上会出现底部留白的情况 解决方案: 在manifest.json文件,找到开源码视图配置,添加如下: "app-plus" : {"safearea":{"bottom":{"offset" : "none" // 底部安…

React(六)——Redux

文章目录 项目地址基本理解一、配置Redux store二、创建slice配置到store里并使用三、给Slice配置reducers,用来修改初始值 项目地址 教程作者:教程地址: 代码仓库地址: 所用到的框架和插件: dbt airflow基本理解 s…

国家级资质!同驭汽车获得CNAS实验室认证

近日,同驭汽车科技顺利通过中国合格评定国家认可委员会(简称CNAS)评审,获得《中国合格评定国家认可委员会实验室认可证书》。这标志着同驭已建立国际标准的实验室管理体系,产品的试验与检测技术能力达到了国际认可的准…

HTML5好看的音乐播放器多种风格(附源码)

文章目录 1.设计来源1.1 音乐播放器风格1效果1.2 音乐播放器风格2效果1.3 音乐播放器风格3效果1.4 音乐播放器风格4效果1.5 音乐播放器风格5效果 2.效果和源码2.1 动态效果2.2 源代码 源码下载万套模板,程序开发,在线开发,在线沟通 作者&…

快速简单的视频下载器——lux

文章目录 前言1.环境检查1.1 检查 lux 安装1.2 检查FFmpeg安装1.3 备注 2. lux指令2.1 无OPTIONS2.2 -i 指令2.3 - f 指令2.4 -c 指令2.5 -o 指令2.6 备注 3.结语 前言 在学习之余,发现了一个简单并且高效的视频下载器lux,能够帮你快速且高效的下载文件&#xff08…

linux ubuntu的脚本知

目录 一、变量的引用 二、判断指定的文件是否存在 三、判断目录是否存在 四、判断最近一次命令执行是否成功 五、一些比较符号 六、"文件"的读取和写入 七、echo打印输出 八、ubuntu切换到root用户 N、其它可以参考的网址 脚本功能强大,用起来也…

Python爬虫进阶实战项目:使用青果网代理高效爬取某手办网详情数据

1 引言 计算机,获取数据,还在慢慢复制粘贴?聪明的朋友都已经用爬虫高效获取数据,但是经常搞爬虫遇见ip管控防爬,咱们怎么处理?在我看来随着数据需求增加,爬虫成为高效获取数据的工具。然而&…

大语言模型---Llama7B和Llama8B的区别;模型参数量;权重文件的不同;嵌入层权重的不同;输入序列长度的不同;应用场景

文章目录 1.概要2. 模型参数量3. 权重文件的不同4. 嵌入层权重的不同5. 输入序列长度的不同6. 应用场景 1.概要 LLaMA(Large Language Model Meta AI)是由Meta开发的一系列语言模型,其中不同版本的参数量(如7B、8B等)…

Linux命令思维导图

看到一个很不错的Linux命令思维导图,用机器翻译了一下,建议收藏备用。 附上英文版:

C++自动化测试:GTest 与 GitLab CI/CD 的完美融合

在现代软件开发中,自动化测试是保证代码质量和稳定性的关键手段。对于C项目而言,自动化测试尤为重要,它能有效捕捉代码中的潜在缺陷,提高代码的可维护性和可靠性。本文将重点介绍如何在C项目中结合使用Google Test(GTe…

【淘汰9成NLP面试者的高频面题】LSTM中的tanh和sigmoid分别用在什么地方?为什么?

博客主页: [青松] 本文专栏: NLP 大模型百面百过 【淘汰9成NLP面试者的高频面题】LSTM中的tanh和sigmoid分别用在什么地方?为什么? 重要性:★★★ 💯 本题主要考察面试者对以下问题的理解: ① 数据特征和模…

Python爬取豆瓣电影全部分类数据并存入数据库

在当今数字化的时代,网络上丰富的影视资源信息吸引着众多开发者去挖掘和利用。今天,我就来和大家分享一段有趣的代码,它能够从豆瓣电影平台获取相关数据并存储到数据库中哦。 结果展示(文末附完整代码): 目…

YOLOv11(Ultralytics)视频选定区域目标统计计数及跟踪

在计算机视觉的众多应用场景中,对特定区域的目标进行检测、跟踪与计数是一个常见且重要的需求。无论是在智慧交通中统计通过特定路口的车辆数量,还是在零售分析中追踪进入特定区域的顾客行为,这一功能都发挥着不可或缺的作用。 随着深度学习…

数据结构与算法——1120——时间空间效率问题求边界值

目录 1、效率问题 1、时间复杂度 1、O(1) 2、O(n) 3、O(n) 或O(n*log2n)——n倍的log以2为底n的对数 例题 4、O(n) 2、空间复杂度 3、数组和链表 2、面试题之求边界值 题目 解答 (1)-i (2)~i (3&#x…

第三十九篇 ShuffleNet V1、V2模型解析

摘要 ShuffleNet V1 ShuffleNet V1是由旷视科技(Megvii,又称Face)在2017年底提出的一种轻量级卷积神经网络架构。该网络专为移动设备和边缘计算环境设计,旨在以较低的计算资源实现高效的图像分类和其他计算机视觉任务。 特点与…

本地推流,服务器拉流全流程

本地推流,服务器拉流全流程 环境准备:准备一台服务器,其中openssl最好为1.1.1版本(可以直接使用ubuntu20.04操作系统) 服务器拉流 1、 安装环境依赖 sudo apt-get update sudo apt-get install unzip sudo apt-get…

基于Java Springboot海洋馆预约系统

一、作品包含 源码数据库设计文档万字PPT全套环境和工具资源部署教程 二、项目技术 前端技术:Html、Css、Js、Vue、Element-ui 数据库:MySQL 后端技术:Java、Spring Boot、MyBatis 三、运行环境 开发工具:IDEA/eclipse 数据…