Azkaban业务流程如何转化为DataWorks业务流程

简介: 用户在迁移上云的时候,需要将云下的的Azkaban任务迁移上云,之前通过用户在DataWroks一步步创建对应的业务流程,其转化难度和转化时间都是一定的成本和时间,但如何能做到省时省力的方式迁移,为此本文提供了使用迁移助手解决业务流程上云迁移的的问题,本文模拟Azkaban业务流程到入到DataWorks的操作过程,方便大家参阅。

一、安装Azkaban,并将简单流程任务进行打包运行

1.1构建对应的运行任务

bar.job

# bar.job

type=command

dependencies=foo

command=echo bar

foo.job

# foo.job

type=command

command=echo foo

将这个两个文件打包为foobar.zip文件

1.2.创建project

 

1.3.上传对应调度任务

1.4.运行对应的调度任务

二、在DataWorks打开迁移助手,并进行业务流程的导入

2.1打开DataWorks的开发界面选择全部产品,点击运维助手

2.2进入迁移助手,点击新建导入任务

2.3选择对应的Azkaban任务,点击上传文件将foobar.zip进行上传

2.4上传完成后,可以看到对应的任务列表,查看对应的导入报告

可以看待对应任务导入是结果展示,以及转化为的业务流程名称

2.5最后回到Dataworks的开发界面进行查看转化后的调度任务

总结和注意事项:

1.仅主账号和工作空间管理员能够进行导入和导出操作,其他角色成员仅支持查看导入、导出任务列表,无操作权限。

2.目前支持Hive、Sqoop、Shell的转化等。

3.迁移上DataWorks的业务流程,需要转化的任务需要做手动改动,但是整体的逻辑不会改变。对比重新建立对应的繁杂的依赖关系,无论效率和成本都是完善的一种方案。

原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/513595.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql 事务autocommit_亲身实验mysql配置中autocommit和事务的关系

话说亲身实验mysql配置中autocommit和事务的关系,是由于项目中用到的mysql事务没能回滚,我用的是InnoDB的引擎,就开始追查原因。这一查不要紧,发现网上如出一辙的说法竟也不可信,还是亲身实验最靠谱。下面更正几种常见…

深度 | 数据湖分析算力隔离技术剖析

简介: 随着越来越多的企业开始做数据湖分析,数据量的持续增加,数据分析需求也会越来越多,在一个共享的数据湖分析引擎,如何防止多租户之间的查询相互影响是一个很通用的问题,本文以阿里云DLA Presto为例&am…

续写传奇,浪潮存储凭何脱颖而出

“浪潮信息围绕智慧计算战略,构建算力、算法、数据三位一体的核心竞争力。浪潮存储的表现非常亮眼,以超过100%的市场增速高速成长,市场占有率已经位居全球前五、中国前二。浪潮发布新一代G6存储平台,同时公布存储业务目标&#xf…

mfc链表中的数据如何排序输出_java程序员面试中最容易被问到的18个算法题(附答案!)...

算法是比较复杂又基础的学科,每个学编程的人都会学习大量的算法。而根据统计,以下这18个问题是面试中最容易遇到的,本文给出了一些基本答案,供算法方向工程师或对此感兴趣的程序员参考。1)请简单解释算法是什么&#x…

深度解析PolarDB数据库并行查询技术

简介: 随着数据规模的不断扩大,用户SQL的执行时间越来越长,这不仅对数据库的优化能力提出更高的要求,并且对数据库的执行模式也提出了新的挑战。本文将介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核…

python queue模块安装_Python -- Queue模块

学习契机 最近的一个项目中在使用grpc时遇到一个问题,由于client端可多达200,每个端口每10s向grpc server发送一次请求,server端接受client的请求后根据request信息更新数据库,再将数据库和配置文件的某些数据封装后返回给client。原代码的性能是0.26s/request,远远达不到…

万物互联、应用现代化、云原生新范式,华为云为数字化转型提供最优解

10月27日,华为云TechWave全球技术峰会(应用现代化)在广州举办。华为云发布“云原生2.0”新范式,并分享应用现代化、万物互联等最新理念及产品进展。 华为云CTO张宇昕发表主题演讲 华为云CTO张宇昕表示:“云原生新范式…

动态游标for循环_【【动图算法】(动态规划篇):最长回文子串

本周继续做一道动态规划类型的题目,该题是阿里一面的一道算法题。【动图算法】(动态规划篇):最长回文子串leetcode 5 题:最长回文子串https://leetcode-cn.com/problems/longest-palindromic-substring/给定一个字符串 s,找到 s 中…

企业上云如何对SLS日志审计服务进行权限控制

简介: 日志审计是信息安全审计功能的核心部分,是企业信息系统安全风险管控的重要组成部分。SLS的日志审计服务针对阿里云的多种云产品(Actiontrail、OSS、SLB、RDS、PolarDB、SAS、WAF等)提供了一站式的日志收集、存储、查询、可视…

分区取模分库分表策略:多表事务分库内闭环解决方案

简介: 当表数据超过一定量级,就需要通过分表来解决单表的性能瓶颈问题;当数据库负载超过一定水平线,就需要通过分库来解决单库的连接数、性能负载的瓶颈问题。本文将阐述在不同情况下,让不同数量级表,在同一…

mysql使用的索引长度_MySQL索引的索引长度问题

MySQL索引的索引长度问题: Specified key was too long;max key length is 1000 bytes.一、修改mysql的默认存储引擎:1、查看mysql存储引擎命令,在mysql>提示符下搞入show engines;字段 Support为:Default表示默认存储引擎2、设置InnoDB为默认引擎&am…

漫画:什么是“贪心算法”?如何求解“部分背包问题”?

作者 | 小灰来源 | 程序员小灰————— 第二天 —————————————————. . . . . . . .我们回到刚才的题目当中,假设背包的容量是10,有5个商品可供选择,每个商品的价值和重量如图所示:让我们来计算一下每件物品的…

python函数案例名片管理器_python案例:实现一个函数版的名片管理系统

本案例使用了自定义函数以及对字符串的常见操作、判断语句和循环语句等知识。要求必须使用自定义函数,完成对程序的模块化。名片信息至少包括:姓名、电话、住址。必须完成的功能:增、删、改、查、退出。分析首先呢,我们应该先定义…

高德 Serverless 平台建设及实践

简介: 高德为什么要搞 Serverless/Faas?是如何做 Serverless/Faas 的?技术方案是什么样的?目前进展怎么样?后续又有哪些计划?本文将和大家做一个简单的分享。 作者 | 邓学祥(祥翼) 来…

谷歌自研 Tensor 芯片,8核CPU,20核GPU……

作者 | 禾木木 出品 | CSDN云计算(ID:CSDNcloud) 10 月 20 日,谷歌在发布会上推出了全新 Pixel 6 和 Pixel 6 Pro 手机。虽然在推出之前,就已经知晓了外观,该说不说这款手机还是很吸引人的。 在这些变化…

云厂商下一块必争之地就是它了!

简介: 继容器编排、AI 工程化之后,全球顶级云厂商都瞄准了这块无人区。 作者 | 太浪 继容器编排、AI 工程化之后,全球顶级云厂商都瞄准了这块无人区。 1 回顾云计算十几年的历史,或者也可以视其为一部“为开发者服务简史”。 …

python编程中条件句_简单讲解Python编程中namedtuple类的用法

Python的Collections模块提供了不少好用的数据容器类型,其中一个精品当属namedtuple。namedtuple能够用来创建类似于元祖的数据类型,除了能够用索引来访问数据,能够迭代,更能够方便的通过属性名来访问数据。在python中&#xff0c…

shell 如何调用多个脚本

简介 这篇文章主要描述如何通过主脚本去调用其他脚本中的方法,调用的过程中可能出现哪些坑,如何避免。 目录 1. 主脚本调用其他脚本的方法 1.1. bash方法 1.2. source方法 2. 避坑技巧 2.1. 路径配置无效 2.2. source变量冲突 3. 总结 1. 主脚本调…

es对已有的索引给主键_ES中对索引的相关操作

写在前面:本文ES版本为:6.4.2(单机),并安装了head插件,运用postman进行操作。也可以使用head插件在前端浏览器中进行傻瓜式操作,后续会介绍这种方式!如果没有安装es和head插件的话,请先安装&…

“华为云-东吴杯”圆满成功,顶尖参赛者推动“智造”场景结构升级

2021年10月9日,“华为云-东吴杯”2021数字化转型创新应用大赛(以下简称“华为云-东吴杯”)的最终决赛如期上演,给来自创客赛道和企业赛道的顶尖开发者及团队搭建了一个绝佳的舞台,令其充分展示投身数字化转型领域所获得…