DataWorks功能实践速览 — 参数透传

简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率!

1.png

往期回顾:

  • DataWorks 功能实践速览01期——数据同步解决方案:为您介绍不同场景下可选的数据同步方案。
  • DataWorks 功能实践速览02期——独享数据集成资源组:为您介绍进行数据同步时,可使用的资源组与网络连通方案、注意事项。
  • DataWorks 功能实践速览03期——生产开发环境隔离:为您介绍DataWorks通过标准模式提供开发环境与生产环境隔离及不同环境的权限要求。

通过往期的介绍,您已经了解到在DataWorks上进行任务运行的最关键的几个知识点,接下来为您逐步介绍如何通过DataWorks的任务节点实现最常见的数据开发场景。本期为您介绍如何在DataWorks上实现参数透传,即把上游任务的参数透传到下游任务。

功能推荐:赋值节点与参数节点

在阿里云DataWorks中,一个数据开发任务最终是拆解为多个节点任务,并通过设置节点间上下游关系最终形成一个完整的数据开发业务流程,如下图所示。

2.png

以上为一个简单的示例,在实际应用时,我们通常会碰到这样的情况,拆解出来的上游节点任务会生成一些参数,或上游节点的运行结果,需要在下游节点任务中应用到,这就需要数据开发任务能够实现参数/节点运行结果在各个节点间的透传,根据不同的透传需求,DataWorks提供了两种特殊节点可以实现:赋值节点参数节点

Part1:赋值节点 - 实现任务结果透传

当您需要将上游节点任务的结果提供给下游节点使用时,您可使用赋值节点,实现任务结果在节点间传递。赋值节点支持ODPS SQL、SHELL和Python三种赋值语言,且根据赋值规则,自动为您添加赋值参数(outputs参数),便于其他节点引用。

使用赋值节点进行透传参数时,需关注以下三个要点。

1.1赋值节点与上下游节点间的依赖关系

3.png

如上图所示,使用赋值节点透传参数时:

  • 赋值节点(fuzhi_python、fuzhi_sql、fuzhi_shell)需作为引用赋值节点参数节点(down_compare)的上游节点,下游节点需要与赋值节点设置直接依赖关系(赋值节点为下游节点的一层父节点)
  • 赋值节点作为上游与其它节点配合使用时,请务必先提交赋值节点,以便下游节点在配置时可以解析出参数。

1.2赋值节点与下游节点的上下文参数透传关系

如下图所示,通过赋值节点与引用节点的调度配置中的上下文参数配置,形成参数透传引用关系:

4.png

  • 赋值节点(fuzhi_python、fuzhi_sql、fuzhi_shell)需将待赋值给下游的参数添加为节点上下文中的本节点输出参数
  • 下游引用赋值参数的节点需将待引用的赋值参数添加为节点上下文中的本节点输入参数

说明:

  • 赋值节点参数传递只支持传递给一层子节点,不支持跨节点传递

1.3赋值语言与赋值结果

引用赋值节点结果时,赋值节点的参数输出格式与下游节点引用参数方式有关系,不同语言的赋值参数(outputs参数)赋值说明如下。

赋值语言

outputs参数取值

outputs参数格式

outputs参数大小限制

ODPS SQL

最后一行SELECT语句的输出作为赋值参数,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果作为一个二维数组传递至下游。

传递值最大为2 MB。如果赋值语句的输出结果超过该限制,赋值节点会运行失败。

SHELL

最后一行ECHO语句的数据,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果基于逗号(,)分割为一维数组。

Python

最后一行PRINT语句的输出,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果基于逗号(,)分割为一维数组。

更多赋值节点的介绍可进入帮助中心查看文档配置赋值节点。

Part2:参数节点 - 实现参数透传

参数节点是一种特殊的虚拟节点,用于管理业务流程中的参数和实现参数在任务节点中传递,支持常量参数、变量参数和透传上游节点的参数,需要引用参数的节点直接依赖参数节点即可。

参数节点本质上是一种虚拟节点,不会运行数据计算任务产生数据,主要用于跨节点传参、参数管理的场景。

2.1跨节点传参

当数据开发的业务流程中,某个下游节点的任务需要获取多个、多级上游节点的输出参数时,您可以使用参数节点,将下游节点需要获取的所有参数统一添加至参数节点中,后续下游节点可直接挂在参数节点之下,即可获取到所有所需参数。

5.png

以上图为例,sql_7节点需要获取sql_1、sql_3、sql_4节点的输出参数,此时您可以新增一个参数节点,作为sql_1、sql_3、sql_4的下游节点,并将所有sql_7所需参数添加至参数节点中,将sql_7的挂在此参数节点下游,则sql_7可直接通过参数节点获取到所有所需参数。

2.2参数管理

当数据开发的业务流程中,下游节点的任务需要使用某些常量参数、变量参数时,您可以使用参数节点,将下游节点需要使用的参数均添加至参数节点中,需使用参数的下游节点直接挂在参数节点之下,即可获取使用所需参数,便于整个业务流程中对所有使用的参数进行统一管理。

6.png

以上图为例,sql_3、sql_4、sql_5、sql_7节点均需使用参数,此时您可以新增一个参数节点,将各个下游节点使用的参数都添加至参数节点中,将需要使用参数的节点挂在此参数节点下游。

更多参数节点的介绍可进入帮助中心查看文档创建参数节点。

Part3:赋值节点与参数节点的对比

对比项

赋值节点

参数节点

透传场景

节点运行结果透传

节点参数透传

透传限制

仅能透传至一层子节点,不支持跨节点透传

跨节点透传

节点属性

一种任务节点,节点中运行赋值任务,支持ODPS SQL、SHELL和Python三种赋值语言

本质上是一种虚拟节点,不会运行任务产生数据

原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512401.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

GPU还是IPU?IPU 芯片厂商 Graphcore 的 2021

作者 | 宋慧 出品 | CSDN 云计算&AI 科技大本营 AI 人工智能毋庸置疑是目前最火的 IT 技术领域之一,而主攻图形计算的 NVIDIA GPU(图形处理器)又是现今 AI 领域的当红炸子鸡。不过 AI 芯片领域又迎来了新的挑战者,2016 年创立…

云原生大数据架构中实时计算维表和结果表的选型实践

简介: 随着互联网技术的日渐发展、数据规模的扩大与复杂的需求场景的产生,传统的大数据架构无法承载。 作者 | 志羽 来源 | 阿里技术公众号 一 前言 传统的大数据技术起源于 Google 三架马车 GFS、MapReduce、Bigtable,以及其衍生的开源分布…

冬奥开幕在即,现场通信网络技术深度揭秘!

作者 | 小枣君来源 | 鲜枣课堂还有9天,举世瞩目的北京冬奥会就将拉开大幕。本次冬奥会,是继2008年之后,中国再一次承办这种世界最顶级体育盛会。这两年全球疫情肆虐,抗疫形势波折多变。北京冬奥能够如期举办,意义极为重…

Flink 在 58 同城的应用与实践

简介: 58 同城的实时 SQL 建设以及如何从 Storm 迁移至 Flink。 本文整理自 58 同城实时计算平台负责人冯海涛在 Flink Forward Asia 2020 分享的议题《Flink 在 58 同城应用与实践》,内容包括: 实时计算平台架构实时 SQL 建设Storm 迁移 Fli…

当云原生遇到混合云:如何实现“求变”与“求稳”的平衡

简介: 多年来,随着云计算技术的蓬勃发展和落地,越来越多的企业选择采用云计算技术来帮助自己快速完成业务数字化转型,以便能更好地适应市场变化,进而赢得更大的市场空间。 作者|郝树伟 Flexera 的《RightScale2021 云…

之前写的 JSX 的条件语句竟然存在那么多 Bug?

作者 | 零一来源 | 前端印象今天的主题是&#xff1a;关于 JSX 的条件语句&#xff0c;你不知道3件事一、&&隐藏大坑在 JSX 里写条件语句&#xff0c;&& 应该是用的最多的了&#xff0c;例如&#xff1a;function Demo () {// ...省略一些代码return (<div&…

如何高效学习 Kubernetes 知识图谱?

简介&#xff1a; Kubernetes 知识图谱遵循云原生人才学习路径搭建课程体系框架&#xff0c;及人才发展路线设置不同阶段&#xff0c;由浅入深&#xff0c;帮助云原生人才学习容器基础、Kuternetes 网络、存储、资源对象、服务发现、应用编排与管理等 Kubernetes 完整技术栈内容…

中科院信工所经验_2021中科院信息工程研究所电子信息专业考研经验指导分享...

一、在计算机如此火热的今天&#xff0c;为什么选择要读研&#xff1f;我是一个乐观主义者&#xff0c;上大学以来我一直庆幸自己在高考结束填志愿的时候选择了计算机专业&#xff0c;更庆幸报考了湖南大学信息科学与工程学院&#xff0c;高考仅仅一分的优势把我送到了最美的学…

极验创始人吴渊:恶意流量威胁新趋势,揭秘网络黑产3大核心本质

记者 | 邓晓娟出品 | CSDN云计算&#xff08;ID&#xff1a;CSDNcloud&#xff09;天下没有免费的午餐&#xff0c;更没有免费的流量。以电商为例&#xff0c;最疯狂的时候&#xff0c;某电商平台单个获客成本接近400元。作为互联网的稀缺资源&#xff0c;流量的成本不断冲击着…

如何将一棵LSM-Tree塞进NVM

简介&#xff1a; 随着非易失内存产品的商业化推广&#xff0c;我们对于其在云原生数据库中大规模推广的潜力越来越有兴趣。X-Engine是阿里云数据库产品事业部PolarDB新型存储引擎团队研发的一个LSM-tree存储引擎&#xff0c;目前在阿里云PolarDB产品上提供对外服务。我们以X-E…

再见了,我的散装研发管理平台;再见了,4台ECS!

简介&#xff1a; 目前云效全家桶的功能相对来说比较适合个人开发或者中小团队的群体&#xff0c;如果你此时正在为搭建这类管理平台做选型&#xff0c;同时预算和人力都捉襟见肘&#xff0c;那么不妨试试云效这个产品&#xff01;一起白嫖一起爽&#xff01;尤其服务器资源在阿…

15拆分成3个不同的自然数_17个数学重点知识点汇总,一篇搞定小升初

更多电子版学习资料请关注公众号&#xff1a;小学资源园地1体积和表面积三角形的面积底高2。公式 S ah2正方形的面积边长边长 公式 S a2长方形的面积长宽 公式 S ab平行四边形的面积底高 公式 S ah梯形的面积(上底下底)高2 公式 S(ab)h2内角和&#xff1a;三角形的内角和180度。…

走进统信软件,读懂国产操作系统新生态建设

回顾国际 2021 操作系统领域发展&#xff0c;有起伏有波澜&#xff1a;开源操作系统 Linux 迎来 30 岁&#xff0c;全球超级计算机 500 强和超过 70% 的智能手机都运行其上&#xff1b;CentOS 突然宣布 CentOS 8 停止维护&#xff0c;不少企业不得不面临迁移难题…… 反观国产…

Serverless 工程实践 | Serverless 应用开发观念的转变

简介&#xff1a; Serverless 架构带来的除了一种新的架构、一种新的编程范式&#xff0c;还包括思路上的转变&#xff0c;尤其是开发过程中的一些思路转变。有人说要把 Serverless 架构看成一种天然的分布式架构&#xff0c;需要用分布式架构的思路去开发 Serverless 应用。诚…

中科院计算机所硕士导师,中科院计算技术研究所研究生导师介绍:毕经平

中科院计算技术研究所研究生导师介绍&#xff1a;毕经平简历:2002年7月于中国科学院计算所获得博士学位&#xff0c;同年9月被破格提拔为计算所副研究员&#xff0c;2008年3月被任命为博士生导师&#xff0c;2009年1月获得卢嘉锡青年人才奖作者佚名次阅读2014-05-15代表论著:1)…

bash: 未预期的符号 `( 附近有语法错误_安规群中关于泄漏电流测试、接地符号等相关的6个问题,快来围观大神的回答吧!...

【本文属"世界认证地图"原创&#xff0c;未经允许&#xff0c;请勿转载哦~~~】问题一群员提问&#xff1a;接地这样符合GB4706.1-2005的标准要求吗&#xff1f;图片由群友提供群友解答&#xff1a;接地符号标错地方&#xff0c;应该如下图图片由群友提供专家解答&…

多项“首次”落地 腾讯云数据库助力金融机构国产化

日前&#xff0c;IDC发布了《2021年上半年中国关系型数据库软件市场跟踪报告》&#xff0c;数据显示&#xff0c;我国关系型数据库市场规模迅速增长。2021上半年&#xff0c;中国关系型数据库软件市场规模为11.9亿美元&#xff0c;整体市场同比增长37.2%。IDC预测&#xff0c;2…

庖丁解牛-图解MySQL 8.0优化器查询转换篇

简介&#xff1a; 在《庖丁解牛-图解MySQL 8.0优化器查询解析篇》一文中我们重点介绍了MySQL最新版本8.0.25关于SQL基本元素表、列、函数、聚合、分组、排序等元素的解析、设置和转换过程&#xff0c;本篇我们继续来介绍更为复杂的子查询、分区表和JOIN的复杂转换过程。 作者 |…

hivesql修改字段类型_Hive SQL语法总结

Hive是一个数据仓库基础的应用工具&#xff0c;在Hadoop中用来处理结构化数据&#xff0c;它架构在Hadoop之上&#xff0c;通过SQL来对数据进行操作&#xff0c;了解SQL的人&#xff0c;学起来毫不费力。Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型&#xff0c;…

Cube 技术解读 | 支付宝新一代动态化技术架构与选型综述

简介&#xff1a; 支付宝客户端的动态化技术经历三个阶段&#xff1a;现阶段也就是第三阶段是实体组件部分光栅化的hybrid模式&#xff0c;Cube 就是该模式下的产物。 如标题所述&#xff0c;笔者将持续更新《Cube 技术解读》系列文章。本文为Cube系列首篇文章&#xff0c;后续…