azkaban的操作指南

前言：

最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强，总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。

1、工作流调度系统的优势

一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等

  • 各任务单元之间存在时间先后及前后依赖关系
  • 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

  1. 通过Hadoop先将原始数据同步到HDFS上；
  2. 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
  3. 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
  4. 将明细数据进行复杂的统计分析，得到结果报表信息；
  5. 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

以上整个流程组成了我们的一个job，如果采用传统的linux定时任务去处理这个流程的话，存在一个巨大的隐患，job失败率很高，流程无法控制，没有预警机制。所以类似的这种工作流调度器的工具就应运而生！

工作流调度实现方式：
简单的任务调度：直接使用linux的crontab来定义；
复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban等

2、操作指南

2.1、首页简介

在这里插入图片描述

projects：最重要的部分，创建一个工程，所有flows将在工程中运行。
scheduling:显示定时任务
executing:显示当前运行的任务
history:显示历史运行任务

2.2、创建单一job

概念介绍
创建工程：创建之前我们先了解下之间的关系，一个工程包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是简单的linux命令，可是java程序，也可以是复杂的shell脚本，当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图表叫做flow。

1、Command 类型单一 job 示例

  • 首先创建一个工程，填写名称和描述
  • 之后点击完成后进入如下界面

在这里插入图片描述

  • Flows：工作流程，有多个job组成
  • Permissions:权限管理
  • Project Logs:工程日志

2、job的创建
创建job很简单，只要创建一个以.job结尾的文本文件就行了,例如我们创建一个工作，用来打印hello，名字叫做command.job

command.job
type=command
command=echo 'hello'

一个简单的job就创建好了，解释下，type的command，告诉azkaban用unix原生命令去运行，比如原生命令或者shell脚本，当然也有其他类型，后面说。一个工程不可能只有一个job，我们现在创建多个依赖job，这也是采用azkaban的首要目的。

3、将 job 资源文件打包
注意：只能是zip格式
4、通过 azkaban web 管理平台创建 project 并上传压缩包
在这里插入图片描述
注意这里这里点击Execute Flow后可以执行定时任务，也可立即执行
在这里插入图片描述
查看任务的执行情况
在这里插入图片描述

2.3、创建多job项目

我们说过多个jobs和它们的依赖组成flow。怎么创建依赖，只要指定dependencies参数就行了。比如导入hive前，需要进行数据清洗，数据清洗前需要上传，上传之前需要从ftp获取日志。
定义5个job：

1、o2o_2_hive.job：将清洗完的数据入hive库
2、o2o_clean_data.job：调用mr清洗hdfs数据
3、o2o_up_2_hdfs.job：将文件上传至hdfs
4、o2o_get_file_ftp1.job：从ftp1获取日志
5、o2o_get_file_fip2.job：从ftp2获取日志

依赖关系：
3依赖4和5，2依赖3，1依赖2，4和5没有依赖关系。
注意command写成执行sh脚本，建议这样做，后期只需维护脚本就行了（将python脚本放到shell脚本中执行便于维护），azkaban定义工作流程

o2o_2_hive.jobtype=command
# 执行sh脚本，建议这样做，后期只需维护脚本就行了，azkaban定义工作流程  
command=sh /job/o2o_2_hive.sh 
dependencies=o2o_clean_data
retries=3 #失败重试3次
retry.backoff=30000 #每次重试间隔，单位为毫秒o2o_clean_data.jobtype=command    
# 执行sh脚本，建议这样做，后期只需维护脚本就行了，azkaban定义工作流程
command=sh /job/o2o_clean_data.sh
dependencies=o2o_up_2_hdfso2o_up_2_hdfs.jobtype=command#需要配置好hadoop命令，建议编写到shell中，可以后期维护
command=hadoop fs -put /data/*
#多个依赖用逗号隔开
dependencies=o2o_get_file_ftp1,o2o_get_file_ftp2o2o_get_file_ftp1.jobtype=command
command=wget "ftp://file1" -O /data/file1o2o_get_file_ftp2.job
type=command
command=wget "ftp:file2" -O /data/file2
配置邮件接收者：在任务流Flow的最后一个.job中文件中添加如下内容
这样将邮箱接受者配置到job文件中便于管理和修改 
#任务执行失败发送邮件，多个接收邮件人之间用“,”分隔
failure.emails=AAAAAAA@126.com,BBBBB@163.com
#任务执行成功发送邮件
success.emails=AAAAA@126.com
#任务执行完成，无论成功还是失败发送邮件
notify.emails=BBBBBBB@126.com

可以运行unix命令，也可以运行python脚本（强烈推荐）。将上述job打成zip包。
效果图（可以在下图中点击每个job，再次编辑job中的内容）
在这里插入图片描述
点击o2o_2_hive进入流程，azkaban流程名称以最后一个没有依赖的job定义的。查看各个job间的依赖关系
在这里插入图片描述
下图是配置执行当前流程或者执行定时流程。
在这里插入图片描述

说明

Flow view：流程视图。可以禁用，启用某些job（这里想要单独运行某个job时，可以操作隐藏其他的依赖job）
Notification:定义任务成功或者失败是否发送邮件
Failure Options:定义一个job失败，剩下的job怎么执行
Concurrent：并行任务执行设置
Flow Parametters：参数设置。

参考：https://blog.csdn.net/aizhenshi/article/details/80828726
参考：https://www.jianshu.com/p/3b78164477e8

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/456371.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

创建对象方法之增

创建对象方法之增

# 1. 创建模型对象 user User() # 2. 给对象赋值 user.username username user.password pwd user.phone phone # 3. 向数据库提交数据 db.session.add(user) db.sessio…
阅读更多...
ActiveMq使用笔记

ActiveMq使用笔记

java JMS技术 .1. 什么是JMS JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步…
阅读更多...
导入Anaconda中的第三方库运行时报错：ImportError: Missing required dependencies ['pandas']

导入Anaconda中的第三方库运行时报错：ImportError: Missing required dependencies ['pandas']

今天碰到一个大坑，花了大半天才搞明白问题出在哪来。事情的经过是这样的：博主下午手贱把已将装好anaconda2给卸载了（同时装了2和3），然后再次安装anconda2后，却发现配置完pycharm的解释器后，代码…
阅读更多...
BZOJ2005 NOI2010 能量采集 欧拉函数

BZOJ2005 NOI2010 能量采集 欧拉函数

题意&#xff1a;求$\sum\limits_{i 1}^N {\sum\limits_{j 1}^M {f(i,j)} } $&#xff0c;其中f(i,j)(0,0)与(i,j)连线上点的数量 题解&#xff1a; 如果一个点(x,y)在(0,0)与(x,y)的连线上&#xff0c;则有gcd(x,y)gcd(x,y)。因此f(i,j)(gcd(i,j)gcd(i,j))且i<i,j<j的…
阅读更多...
通过__tablename__ = 'xxx' #定义表名

通过__tablename__ = 'xxx' #定义表名

from datetime import datetimefrom exts import dbclass User(db.Model):__tablename__ user1 #定义表名id db.Column(db.Integer,primary_keyTrue,autoincrementTrue)username db.Column(db.String(10), nullableTrue)password db.Column(db.String(256), nullableTrue)p…
阅读更多...
python子类继承父类特性，pycharm上面已经提示继承了，为什么会报没有该特性的错误？

python子类继承父类特性，pycharm上面已经提示继承了，为什么会报没有该特性的错误？

因为在子类里覆盖了父类的__init__ 如果需要调用父类用super class A(object):def __init__(self):self.a 1def fun(self):print self.aclass B(A):def __init__(self):self.b 2super(B, self).__init__()def fun(self):print self.aprint self.bB().fun()
阅读更多...
Hadoop伪分布安装详解(一)

Hadoop伪分布安装详解(一)

注&#xff1a;以下截图针对Ubuntu操作系统&#xff0c;对Centos步骤类似。请读者选择不同镜像即可。 第一部分&#xff1a;VMware WorkStation10 安装 1.安装好VMware10虚拟机软件并下载好Ubuntu16.04 LTS 64位版的镜像包 2.打开VMware10虚拟机软件&#xff0c;选择“创建新的…
阅读更多...
C++_const常成员作用

C++_const常成员作用

介绍 常成员是什么 1.常成员关键词为&#xff1a;const 2.常成员有&#xff1a;常成员变量、常成员函数、常成员对象 常成员有什么用 1.常成员变量&#xff1a;用于在程序中定义不可修改内部成员变量的函数 2.常成员函数&#xff1a;只能够访问成员变量&#xff0c;不可以修改成…
阅读更多...
Python开发中收集的一些常用功能Demo

Python开发中收集的一些常用功能Demo

文章目录目录&#xff1a;前言&#xff1a;1、Python判断文件是否存在的几种方法&#xff1a;1.1、使用os模块1.2、使用Try语句&#xff08;比较严谨的写法&#xff09;1.3、使用pathlib模块2、Python中写入List到文本中并换行的方法3、Python按行读取文件的几种简单实现方法3.…
阅读更多...
Unlicensed ARC session – terminating!

Unlicensed ARC session – terminating!

问题描述 近日&#xff0c;发现ArcGIS10.4中存在很多bug&#xff0c;而且费了好多时间去测试它&#xff0c;最终决定改用10.1。在降级程序时遇到许可问题。 重装ArcGIS10.1后&#xff0c;打开工程&#xff0c;所有引用都自动映射&#xff0c;没报任何错误&#xff0c;清理重新生…
阅读更多...
SQLAlchemy - Column详解

SQLAlchemy - Column详解

SQLAlchemy - Column详解 Column常用参数&#xff1a; default&#xff1a;默认值 nullable&#xff1a;是否可有 primary_key&#xff1a;是否为主键 unique&#xff1a;是否唯一 autoincrement&#xff1a;是否自动增长 onupdate&#xff1a;更新的时候执行的函数 name&…
阅读更多...
Linux命令三剑客：grep、sed、awk总结

Linux命令三剑客：grep、sed、awk总结

文章目录前言一、grep命令语法实例grep结合pattern正则二、sed命令语法案例三、awk命令语法实例前言 最近看到了几篇关于linux命令grep、sed、awk的文章&#xff0c;这里总结下&#xff0c;方便后面使用。 一、grep grep命令&#xff08;grep的全称&#xff1a;Global searc…
阅读更多...
python 机器学习资料

python 机器学习资料

!(7 Steps to Mastering Machine Learning With Python) [http://www.kdnuggets.com/2015/11/seven-steps-machine-learning-python.html] 转载于:https://www.cnblogs.com/zk47/p/6448506.html
阅读更多...
Flask-SQLAlchemy 中如何不区分大小写查询？

Flask-SQLAlchemy 中如何不区分大小写查询？

例如下面的 User 模型&#xff0c;在数据库中查询时并不会区分大小写 class User(db.Model):__tablename__ usersid db.Column(db.Integer, primary_keyTrue)username db.Column(db.String(64), uniqueTrue, indexTrue)password_hash db.Column(db.String(128)) 这时&…
阅读更多...
Git常用指令及功能总结

Git常用指令及功能总结

文章目录前言&#xff1a;1、常用的git指令2、常用git功能及操作2.1、下载代码&#xff1a;2.2、当前分支和master保持一致2.3、修改代码后提交代码到指定分支2.4、版本回退&#xff08;时空穿梭机&#xff09;2.5、概念工作区和暂存区2.6、添加远程库2.7、分支管理2.8、标签管…
阅读更多...
MacOS下MySQL配置

MacOS下MySQL配置

先去官网下载一个 MySQL for mac http://www.cnblogs.com/xiaobo-Linux/ 命令行运行终端&#xff0c;运行下面两条命令&#xff1a; 12alias mysql/usr/local/mysql/bin/mysqlalias mysqladmin/usr/local/mysql/bin/mysqladmin方便终端直接输入mysql命令&#xff0c;而不是必须…
阅读更多...
HashMap为什么在多线程下会让cpu100%

HashMap为什么在多线程下会让cpu100%

首先HashMap并不是sun公司多线程提供的集合&#xff0c;很多时候我们的程序是一个主线程&#xff0c;用了hashmap并没有什么问题&#xff0c;但是在多线程下会出现问题。 hashmap是一个哈希表&#xff0c;存储的数据结构也可以是一个线性数组&#xff0c;我们的存储的数据都在e…
阅读更多...
flask中关于endpoint端点、url_map映射、view_func视图函数，view_functions、及视图函数名是否何以相同的问题？

flask中关于endpoint端点、url_map映射、view_func视图函数，view_functions、及视图函数名是否何以相同的问题？

视图函数中关于url_map视图的映射&#xff1a;应该是[ url->methonds->endpoint ] 而整个请求的过程&#xff0c;是先通过url地址映射到端点endpoint&#xff0c;然后通过endpoint找到试图函数view_func&#xff08;扩展:在Flask类里边有一个view_funtions的属性&…
阅读更多...
SparkSQL-从0到1认识Catalyst

SparkSQL-从0到1认识Catalyst

文章目录前言正文预备知识&#xff0d;Tree&RuleCatalyst工作流程ParserAnalyzerOptimizerSparkSQL执行计划前言 这篇文章是转载一位大神的文章&#xff0c;为什么要转载的&#xff0c;实在是因为写的太经典了&#xff0c;所以忍不住希望能有更多的人可以看到。后续还会转…
阅读更多...
为什么程序员一定要加班？

为什么程序员一定要加班？

摘要&#xff1a; 一提到程序员&#xff0c;大多数人的印象大概就是死宅、无趣、没有私人生活&#xff0c;除了上班写写写代码&#xff0c;加班写代码更是标配。似乎在深夜顶着鸡窝头&#xff0c;目光呆滞&#xff0c;面无表情敲键盘的场景才是一个程序员的真实写照。 当然&…
阅读更多...
最新文章

Copyright @ 2022~2023