任务不再等待！玩转DataWorks资源组

引言

DataWorks提供了三种资源组的能力：独享资源组、自定义资源组和默认资源组，很多开发者在使用资源组时经常会碰到各类情况，到时候任务运行失败或者延迟，例如：
1. 正在使用默认资源组，任务经常要等待
2.购买错了资源组类型（独享数据集成资源组与独享调度资源组），使用不了
3.购买错了地域（杭州开通DataWorks购买了北京的资源组）
4.没买错资源组类型，也没买错地域，当天还是用不了

通过本篇文章，为您介绍三种资源组的使用场景、使用方式等；下图描述了整个任务在运行过程中不同类型使用的资源组的流程；
image.png
    调度有三种资源组：默认、独享、自定义；DataWorks中的数据集成也有同样的三种资源组：默认、独享、自定义；数据集成的同步资源管理复用调度系统资源管理系统，在使用DataWorks的时候，如果需要使用数据集成任务，那么需要区分开调度和数据集成2种资源组的概念；

默认资源组

    默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了，租户内所有项目共享，不需要任何配置、操作就可以运行任务；但是该默认资源组需要说明节点：

  • 使用场景：

    • 默认资源组是在租户购买了DataWorks时候就会默认创建的，可以支持用户在页面进行数据开发、运行测试等能力，目前是免费支持的；
    • 任务量相对较少，或者相对来说对任务时效性要求不高的场景

  • 提供的能力

    • 支持所有的任务类型，但不支持：

      • 需要公网访问外部服务，且需要白名单的不支持；
      • 需要访问VPC的任务不支持
      • 需要访问公网的也不建议使用，建议切换其他资源组使用；
    • 任务安全沙箱的能力

  • 注意事项

    • 默认资源组最大调度资源是有固定分配的默认大小的；所有租户下项目共享，会存在项目之间的资源抢占，不能100%保障任务按时获得资源运行；
    • 默认资源组是在平台的公共集群下的，所有租户都共享该集群资源，所以在高峰期会存在租户之间的资源抢占，不能100%保障任务按时获得资源运行；

  • 费用

    • 按量付费（实例费用、同步进程费用等）

独享资源组

    目前DataWorks的独享资源组提供了2种：独享调度资源组和独享数据集成资源组，在此处为了更好的理解为什么需要2种资源组的方式，可以将独享数据集成资源组理解为MaxCompute的计算资源概念，因为数据集成隶属于DataWorks产品内，所以在同步资源是跟调度资源在一起购买的；可以参考引言中的图；

一、独享调度资源组

（1）信息说明

  • 版本要求：无

  • 类型：

    • 独享调度资源组
    • 独享数据集成资源组

  • 使用场景

    • 推荐只要生产任务都使用独享资源组

      • 资源可随时调配
      • 任务产出可得到保障
    • 任务量大、且对任务时效性要求高的场景必须使用独享
    • 需要访问公网地址、访问VPC地址，请使用独享
    • 访问目的端服务，需要配置白名单的场景，请使用独享
    • 自己VPC与IDC已经打通，任务需要访问IDC的，可使用独享解决网络问题；

  • 注意事项

    • 独享目前不能支持跨租户节点、机器学习任务；其余支持
    • 购买独享资源组的时候，务必要注意购买与自己VPC在同一个可用区

    • 切换任务资源组的时候：

      • 注意每种任务类型都需要测试验证：网络是否已经打通

  • 费用：

    • 调度：相对默认资源组，如果实例超过500个，独享资源会相对便宜很多；不收取实例费用，仅资源费用；

（2）如何修改任务运行到独享调度资源组

特别特别注意：
1、在运维中心任务修改资源组周期任务是需要第二天才会生效，及时生效可以通过测试或者补数据运行即可；
2、__一定要先单个测试在批量修改,__一定要先单个测试在批量修改,__一定要先单个测试在批量修改
3、如果有网络打通的，优先将网络打通，可以在测试的时候验证出来的；
详细操作步骤：

  • step1：购买独享资源组

    • 说明：一般按照实际的任务并发数来购买对应的资源数量，可以参考：https://help.aliyun.com/document_detail/125776.html?spm=a2c4g.11186623.6.573.20a87b75cx5tkl 里面的场景三
    • 购买指引：https://help.aliyun.com/document_detail/121526.html?spm=a2c4g.11174283.6.641.4b1c2b65Y7CSE8
    • 登录管控台：目前需要有主账户权限或者已经授权过的子账户
    • 打开页面，点击“新增独享资源组”image.png
    • 新增页面，选择“独享调度资源组”：
    • image.png
    • 点击购买链接，去购买：此处特别建议：至少购买2台（做容灾保障，Failover的能力）
    • image.png
    • 购买完毕后，就可以返回在控制台刚才的创建页面，选择订单号了：
    • 然后选择可用区：特别特别注意：可用区需要跟您的VPC在一个可用区：（就是你的任务是否需要访问VPC地址，比如访问ads、adb等，就需要跟次VPC在一个可用区）如果没有可用，提工单！

image.png

  • step2：购买成功后，大概需要等待5分钟左右，资源组即可创建完毕；【需要点击刷新按钮，不会主动刷新】

image.png

  • step3：将资源组分配到需要的项目中使用,点击：“修改归属空间”，点击确定接口

image.png

  • step4：指定完毕项目空间后，就可以切换到运维中心去修改任务资源组了；
  • step5：打开运维中心，切换到指定项目下，比如此处上述资源组分配到了monitor_prj项目中，到该项目的到周期任务中，选择需要修改的，点击下方有个更多里面有个修改资源组；

特别特别注意：虚节点、工作流、机器学习等任务类型不要选择上，因为这些不支持资源组修改；
image.png  -> image.png

  • step6：修改完毕资源组后，可以点击任务详情，查看属性，就可以看到任务的资源组信息：

image.png
image.png

  • step7：测试验收：

    • 任务资源组修改完毕后，可以进行测试、补数据运行，任务就会运行到当前的资源组上，可以通过查看日志判断任务是否已经在独享资源组上：

image.png -> image.png

  • 任务运行成功，在看下日志了，是否都OK的，就说明该任务运行到独享资源组上没有什么问题；

  • step8：批量修改同一种任务类型的任务切换到该资源组上：

    • 过滤节点类型
    • 全选

image.png
以上，就完成了将任务迁移到独享资源组运行的操作了；

二、独享数据集成资源组

（一）信息说明

  • 版本要求：无

  • 使用场景

    • 推荐只要生产任务都使用独享数据集成资源组

      • 资源可随时调配
      • 任务产出可得到保障
    • 任务量大、且对任务时效性要求高的场景必须使用独享
    • 需要访问公网地址、访问VPC地址，请使用独享
    • 访问目的端服务，需要配置白名单的场景，请使用独享
    • 自己VPC与IDC已经打通，任务需要访问IDC的，可使用独享解决网络问题；

  • 注意事项

    • 如果数据源是经典网络的，不可迁移到独享，因为独享是VPC的
    • 购买独享资源组的时候，务必要注意购买与自己VPC在同一个可用区

（二）如何修改任务运行到独享数据集成资源组

写在最前面：
1、一定要先单个测试在批量修改,一定要先单个测试在批量修改,一定要先单个测试在批量修改
2、如果有网络打通的，优先将网络打通，可以在测试的时候验证出来的；
3、独享数据集成资源组是在数据开发页面修改提交，发布后是及时生效的；
详细操作步骤：

  • step1：购买创建、分配流程：同独享调度资源组是一致的，注意一点就是规格问题：简单理解多大内存就允许多大并发

  • step2：修改任务到独享数据集成资源组，登录到对应项目空间的数据开发页面，找到你的同步任务，打开编辑：

    • 通过向导模式配置任务时，在通道控制 > 任务资源组下拉框中，选择相应的独享数据集成资源。
    • 通过脚本模式配置任务时，单击右上角的配置任务资源组，在任务资源组下拉框中，选择相应的独享数据集成资源。
  • step3：任务资源组修改完毕后，保存，提交；发布后，一样的，在运维中心进行测试或者补数据运行，就可以验证是否测试通过
  • step4：目前数据集成资源组的修改无法支持批量修改，只能按照上述方法，逐一任务修改！

三、专有网络绑定

  • 使用场景

    • 当配置的任务需要访问自己VPC内的地址的时候，就需要做VPC之间的网络打通，比如需要访问adb的vpc，那就必须要做这一步
    • 如果你的VPC跟你的IDC已经专线打通，那也可以通过此功能将独享与你的idc打通，可以支持任务运行，不过此操作需要平台支持

  • 前提条件

    • 创建的独享资源组与自己VPC在一个可用区
    • 如果不在一个可用区：建议重新购买创建；若无法重新创建则只能提工单需求！

  • 操作步骤

    • step1：打开控制资源组列表，找到独享资源组->专有网络绑定

 image.png

  • step2：点击后，需要授权使用，点击授权即可
  • step3：选择需要绑定的资源组，点击 新增绑定：

image.png

  • step4：填写对应的自己VPC下的信息：

    • 特别注意：选择VPC、交换机、安全组都是你目的端要访问的云产品实例所在的
    • 如果没有交换机或者安全组，可点击创建（注意创建的时候都要在该可用区下）

image.png

  • step5：如果你的云产品实例需要配置白名单的话：绑定成功后，回到独享资源组列表，点击 查看信息：

    • 会有eip、网段，需要将此2个IP和ip段作为白名单列表添加到你对应的云产品实例的IP白名单列表中；
    • 同时，需要将自己云产品实例所在的交换机网段（内网网段）也添加到自己的白名单IP列表中
    • 特别特别注意：如果您的MaxCompute开启的IP白名单，任务切换到了独享资源组后，发现白名单问题，请提工单，由平台方提供IP列表添加

image.png

四、运维助手

  • 使用场景

    • 解决一些资源包没有安装的问题，用户可以自己操作安装；比如python的三方包
    • 一些特殊脚本固定使用

  • 注意点

    • 固定安装目录
  • 使用方式：https://help.aliyun.com/document_detail/144824.html?spm=a2c4g.11186623.6.667.43507e023eJc8C

自定义资源组

  • 版本要求：

    • 自定义调度资源组：企业版及以上，需要提工单白名单开放
    • 自定义数据集成资源组：专业版及以上

  • 解决的场景：

    • 网络问题：做数据同步需要访问自己IDC的
    • 环境因数：比如依赖了python高版本、jdk环境等等，可以使用一台环境满足的ecs作为自定义资源
    • 搬站：一些客户本地以及有工作流任务开发在运行了，期望可以减少搬站迁移的工作量，可以还是将任务直接调度到自己的服务器上，减少代码脚本的迁移；

  • 注意事项

    • 只能支持数据集成任务和shell任务

  • 操作使用：

    • 自定义数据集成资源组，参考此处：https://help.aliyun.com/document_detail/136934.html?spm=a2c4g.11186623.6.719.8b745b35mv5nrp

    • 自定义调度资源组：

      • step1：提工单申请，企业版升级；

image.png

- step2：DataWorks控制台打开，先创建资源组：

image.png

- step3：创建资源组后，在点击 服务器管理，添加服务器，特别特别注意，**此步骤最容易出错：**- **网络类型：只能支持专有网络；**- **UUID：必须使用UUID方式添加，UUID获取方法：执行`dmidecode | grep UUID`，取返回值**- **IP：机器的内网IP，可以登录机器：hostname -i接口或得**

image.png

  image.png

- step4: 服务添加完毕后，回到自定义资源组页面，刷新按钮，点击 服务器初始化，按照初始化流程，登录到ECS操作
- step5：服务器操作完毕后，可以到页面等待10分钟，观察服务器状态正常即可；

  • 修改任务到自定义资源组流程跟独享一样

    • 调度资源组：运维中心修改
    • 数据集成：编辑开发页面修改，需要提交发布

原文链接
本文为云栖社区原创内容，未经允许不得转载。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/516638.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

微信小程序---实现输入手机验证码功能

微信小程序---实现输入手机验证码功能

*** html部分 <view classcontainer> <view classmain-title bindtap"test"> 输入短信验证码 </view> <view class"sub-title"> 已向<text class"phone">139****9999</text>发送验证码 </view> <…
阅读更多...
Docker Harbor 2.3.4 集群 双主复制高可用镜像仓库

Docker Harbor 2.3.4 集群 双主复制高可用镜像仓库

下面操作大部分是双节点同时执行一样的命令&#xff0c;不同的地方我会进行标注和特殊说明 文章目录一、环境准备1. 环境要求2. 节点总览3. 安装docker-compose二、安装harbor2.1. 下载2.2. 解压2.3. 调整配置2.4. 安装 harbor2.5. 效果验证三、Docker开启远程API3.1. 修改配置…
阅读更多...
如何用Chrome读懂网站监测Cookie

如何用Chrome读懂网站监测Cookie

作者 | 朱顺意责编 | 李雪敬出品 | CSDN云计算&#xff08;ID&#xff1a;CSDNcloud&#xff09;网站监测工具用于标识用户的 Cookie 分为第1方 Cookie 和第3方 Cookie&#xff0c;这两者本质上没有什么区别&#xff0c;只是身份不同。Cookie 有 Domain 属性&#xff0c;当 Coo…
阅读更多...
DataWorks百问百答01：数据同步该用什么资源组

DataWorks百问百答01：数据同步该用什么资源组

引子 很多用户在使用数据集成建立同步任务时&#xff0c;往往都会困惑一个设置&#xff0c;即“资源组设置”。 大家常有的疑问是“资源组是用来做什么的&#xff1f;跟网络之间什么关系&#xff1f;我该选择那种资源组&#xff1f;” 下面本文给您一个简要的介绍。 什么是资源…
阅读更多...
在阿里，40岁的奋斗姿势

在阿里，40岁的奋斗姿势

在阿里&#xff0c;40岁的奋斗姿势 在阿里&#xff0c;什么样的年纪可以称为老呢&#xff1f;35岁&#xff1f; 在云网络&#xff0c;有这样一群人&#xff0c;他们的平均年龄接近40&#xff0c;却刚刚开辟职业生涯的第二战场。 他们的奋斗姿势是什么样的呢&#xff1f; 洛神…
阅读更多...
nginx配置多个conf文件

nginx配置多个conf文件

今天整理了下&#xff0c;在centos 7.6 系统下怎么配置多个conf文件。 step 1:在nginx.conf文件所在目录新建conf.d目录&#xff0c;即mkdir conf.d&#xff0c;为确保权限能够访问到 chmod 777 conf.dstep 2:编辑nginx.conf文件&#xff0c;内容为&#xff1a; #user nobody…
阅读更多...
CPU有个禁区，内核权限也无法进入！

CPU有个禁区，内核权限也无法进入！

来源 | 编程技术宇宙封图 | CSDN 下载自视觉中国神秘项目我是CPU一号车间的阿Q&#xff0c;是的&#xff0c;我又来了。最近一段时间&#xff0c;我几次下班约隔壁二号车间虎子&#xff0c;他都推脱没有时间&#xff0c;不过也没看见他在忙个啥。前几天&#xff0c;我又去找他&…
阅读更多...
Vue---淘宝镜像cnpm---安装vue-cli

Vue---淘宝镜像cnpm---安装vue-cli

1. 淘宝镜像命令 npm install -g cnpm --registryhttps://registry.npm.taobao.org 2. 安装vue-cli脚手架 npm install -g vue/cli 3.vue-cli脚手架更新 npm i -g vue/cli 4. 查看当前vue-cli版本号 vue -V
阅读更多...
防删库实用指南 | 只需一步，快速召回被误删的表

防删库实用指南 | 只需一步，快速召回被误删的表

数据库的一些非常不错的企业级功能都是“养兵千日&#xff0c;用兵一时”&#xff0c;比如Oracle 10g中的回收站&#xff08;Recycle Bin&#xff09;功能&#xff0c;可以在特殊情况下发挥特种兵的功能&#xff0c;比如当你删除一个表空间、一个用户&#xff08;Schema)时&…
阅读更多...
智能化中的控制与自动化中的控制不同

智能化中的控制与自动化中的控制不同

智能化中的控制相对于自动化中的控制更加灵活、智能、综合和学习能力强。智能化控制系统能够根据实际情况进行自主决策和优化&#xff0c;适用范围更广&#xff0c;效果更好。 首先&#xff0c;智能化控制系统能够根据外部环境的变化和实时数据的反馈来自主调整和优化控制策略&…
阅读更多...
Flink on Zeppelin (4) - 机器学习篇

Flink on Zeppelin (4) - 机器学习篇

今天我来讲下如何在 Zeppelin 里做机器学习。机器学习的重要性我就不多说了&#xff0c;我们直奔主题。 Flink 在机器学习这个领域发力较晚&#xff0c;社区版没有一个完整的机器学习算法库可以用&#xff0c;Alink[1]是目前 Flink 生态圈相对比较完整的机器学习算法库&#x…
阅读更多...
docker yum 安装

docker yum 安装

文章目录一、安装docker1. 卸载旧版本2. 需要的安装包3. 设置镜像仓库4. yum更新软件包索引5. 安装docker-ce6. 启动docker7. 查看版本二、卸载docker2.1. 卸载docker2.2. 删除docker资源三、指定版本安装docker一、安装docker https://docs.docker.com/engine/install/centos…
阅读更多...
解决Vue3创建项目后的Error: Cannot find module ‘vue-loader-v16/package.json‘问题

解决Vue3创建项目后的Error: Cannot find module ‘vue-loader-v16/package.json‘问题

1. 卸载vue-loader-v16依赖 npm uninstall vue-loader-v16 2.使用cnpm安装vue-loader-v16依赖 cnpm i vue-loader-v16 最后npm run serve 重新启动项目
阅读更多...
五个问答，告诉你阿里云对象存储如何助力钉钉战胜业务洪峰

五个问答，告诉你阿里云对象存储如何助力钉钉战胜业务洪峰

“基于OSS在弹性扩容、跨省容灾、多租户管理以及传输加速方面的基础能力&#xff0c;钉钉在此次战役过程中&#xff0c;实现了一键切换写入区域&#xff0c;拆分业务到多个区域的功能&#xff0c;同时钉钉在跨区域的图片处理、文档预览的并发处理量上有了10倍速的提升。”——钉…
阅读更多...
知乎高赞：一行代码凭什么躺普通程序员的10年工资？

知乎高赞：一行代码凭什么躺普通程序员的10年工资？

笔者这两天闲逛知乎&#xff0c;看到了这个帖子&#xff1a;匿名答题&#xff0c;发表于2014年&#xff0c;此外没有留下任何多余信息。2年躺赚200万&#xff0c;相当于普通程序员10年的工资。没想到Pyhon这么强大&#xff0c;怪不得有人说“除了不会生孩子&#xff0c;Python什…
阅读更多...
第九弹 - 脚本模式与参数视图

第九弹 - 脚本模式与参数视图

MaxCompute&#xff08;原ODPS&#xff09;是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用&#xff0c;支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外&#xff0c;也致力于提升SQL语言的用户体验和表达能力&#xff0c;提高…
阅读更多...
Vue3---安装Element-Plus组件库

Vue3---安装Element-Plus组件库

*** 全局安装Element-Plus 1. npm安装 npm install element-plus --save 2. 在main.js中引入以下内容 import { createApp } from vue import ElementPlus from element-plus import element-plus/dist/index.css import App from ./App.vue const app createApp(App…
阅读更多...
在家“隔离”这1个月，阿里云视频云这些工程师都经历了什么？

在家“隔离”这1个月，阿里云视频云这些工程师都经历了什么？

战"疫”当前&#xff0c;没有谁会置身事外。从1月底开始&#xff0c;一场全民疫情阻击战拉开帷幕&#xff0c;企业停工、学校停课、商场停业&#xff0c;城市街道分外冷清&#xff0c;相反的是&#xff0c;无法出门的数亿网民却在互联网上掀起了一阵不小的流量热潮。距离2…
阅读更多...
CSDN的常用文本设置（字体大小红色）

CSDN的常用文本设置（字体大小红色）

<font face"黑体" color#FF0000 size4> **在这里放入需要修改颜色的语句**</font>在这里放入需要修改颜色的语句
阅读更多...
让安全威胁无所遁形，全方位掌握攻击“前世今生”的黑科技来了

让安全威胁无所遁形，全方位掌握攻击“前世今生”的黑科技来了

作者 | 伍杏玲出品 | CSDN&#xff08;ID:CSDNnews&#xff09;据启明星辰发布的《2019~2020网络安全态势观察报告》显示&#xff0c;在过去一年多时间里&#xff0c;勒索攻击由 2014 年的广泛无目的的传播阶段到2017 年 WannaCry 带来的大规模自动化传播阶段&#xff0c;如今已…
阅读更多...
最新文章

Copyright @ 2022~2023