使用CLONE TABLE方式实现同region不同可用区的MaxCompute

该文章主要针对于用户同region不同账户之间的MaxCompute数据迁移方式,属于迁移的方式可以有三种方式,一、添加MaxCompute数据源的方式进行数据迁移(该方式针对多个表配置同步节点较为繁琐);二、使用tunnel方式结合代码进行数据的迁移;三、使用clone table进行MaxCompute数据到另一MaxCompute之间的数据迁移。本案例主要介绍Clone table功能,Clone table跨账号进行同步数据,需要所做的添加对应的主账户到对应的项目空间,并且赋予有对应创建表权限的用户,最后实现不同MaxCompute之间的Clone table功能。

背景:
针对用户在不同MaxCompute之间进行数据迁移,使用三种方式的第一种、第二种进行数据的迁移造成了很多用户操作繁琐,在这里给大家带来一篇实践不同账号Clone table功能的一个范例,希望可以帮助到大家。

一、CLONE TABLE功能介绍

CLONE TABLE可以复制表数据到另一个表中,极大的提高了数据迁移的效率。本文为您介绍CLONE TABLE的使用。

使用限制

  • 要求目标表与源表的Schema兼容。
  • 支持分区表和非分区表。
  • 目标表已存在时一次性复制分区的数量上限为10000个。
  • 目标表不存在时无分区数量限制,满足原子性。

命令格式

CLONE TABLE <[src_project_name.]src_table_name> [PARTITION(spec), ...]TO <[dest_project_name.]desc_table_name> [IF EXISTS (OVERWRITE | IGNORE)] ;

具体使用情况请参阅CLONE TABLE功能介绍

二、添加用户与赋予用户权限

2.1进入需要同步数据的MaxCompute客户端,并添加目标源MaxCompute的主账号到目的空间
image.png
限制
只能将另一个主账户添加到本项目空间
image.png

涉及到的权限知识点可以参考MaxCompute与DataWorks权限介绍和示例

2.2查询所有角色,并查看对应角色的权限设置,并赋予新增用户的权限
image.png

image.png

三、在源MaxCompute创建对应的表,并插入数据

3.1在源MaxCompute创建对应的表并插入数据

CREATE TABLE IF NOT EXISTS git_project.testone(name STRING) STORED AS ALIORC;
INSERT INTO testone VALUES ('tom');
INSERT INTO testone VALUES ('tony');

四、clone数据,并确认数据是否clone是否成功

4.1在源MaxCompute执行命令

clone TABLE git_project.testone to WB_BestPractice_dev.testone IF EXISTS OVERWRITE;

image.png

4.2登录MaxCompute目的端,查看是否迁移完成
执行命令

select * from testone;

image.png

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
image

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/516657.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Fabric中的Transient Data与Private Data

在Hyperledger Fabric中有两个相关的概念&#xff1a;私有数据&#xff08;Private Data&#xff09;和暂态数据&#xff08;Transient Data&#xff09;。本文提供四个示例程序&#xff0c;分别对应私有数据和暂态数据的四种组合使用方式&#xff0c;并通过观察账本的交易以及…

窃隐私、放高利贷,输入法的骚操作真不少!

来源 | 编程技术宇宙责编 | 李雪敬封图 | CSDN 付费下载自视觉中国光说隐私泄露&#xff0c;人们总觉得似乎离自己很远&#xff0c;然而它早已像一个“地雷”&#xff0c;悄悄埋进了我们的生活中&#xff0c;不是不爆&#xff0c;时候未到。别认为自己只是社会中的一个小透明&a…

快速迁移 Next.js 应用到函数计算

首先介绍下在本文出现的几个比较重要的概念&#xff1a; 函数计算&#xff08;Function Compute&#xff09;: 函数计算是一个事件驱动的服务&#xff0c;通过函数计算&#xff0c;用户无需管理服务器等运行情况&#xff0c;只需编写代码并上传。函数计算准备计算资源&#xff…

为什么字节跳动、腾讯、阿里都在用Python??

Python 作为一种解释型技术脚本语言&#xff0c;越来越被认可为程序员新时代的风口语言。 无论是刚入门的程序员&#xff0c;还是年薪百万的 BATJ 的技术大牛都无可否认&#xff1a;Python的应用能力是成为一名码农大神的必要项。 而作为Python初学者来讲&#xff0c;最大的问题…

Need to upgrade docker package to 17.06.0+. Docker升级到最新版本

文章目录1. 现象2. 查找3. 在线卸载4. 升级docker5. 重启Docker6. 设置Docker开机自启7. 查看版本背景&#xff1a; 在搭建docker私有仓库的时候出现以下错误&#xff0c;版本太低 1. 现象 Need to upgrade docker package to 17.06.0.2. 查找 查找主机上关于Docker的软件包 …

云数据库RDS基础版的优势及适用场景

云栖号快速入门&#xff1a;【点击查看更多云产品快速入门】 不知道怎么入门&#xff1f;这里分分钟解决新手入门等基础问题&#xff0c;可快速完成产品配置操作&#xff01; 阿里云的产品系列包括基础版、高可用版、集群版、三节点企业版&#xff0c;本文介绍基础版的相关信息…

全方位事件监控管理,阿里云日志服务Kubernetes事件中心正式上线

2020年2月21日&#xff0c;阿里云日志服务Kubernetes事件中心正式上线&#xff0c;为Kubernetes事件提供集中化采集、存储、分析、可视化、告警等能力&#xff0c;帮助Kubernetes使用者快速构建准实时、高可靠、全方位的事件监控管理。 据介绍&#xff0c;Kubernetes事件中心能…

docker Harbor2.3.4 http 搭建镜像仓库

文章目录一、环境准备1. 环境要求2. 节点总览3. 安装docker-compose二、安装harbor2.1. 下载2.2. 解压2.3. 调整配置2.5. 安装 harbor2.6. 效果验证三、Docker开启远程API3.1. 修改配置3.2. 支持http3.3. 重新启动Docker服务3.4. 防火墙管理3.5. 重新启动3.6. 监控状态四、测试…

下一代 IDE:Eclipse Che 究竟有什么奥秘?

来源 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;Eclipse Che被Eclipse官方称为下一代IDE&#xff0c;作为老牌的IDE&#xff0c;被其寄予厚望的Eclipse Che到底有什么特点&#xff0c;在这篇文章中我们来一探究竟。开发团队的Kuberentes原生IDEEclipse Che对开发团…

助力在线教育,阿里云推出百万专项扶持基金计划

云栖号&#xff1a;https://yqh.aliyun.com 第一手的上云资讯&#xff0c;不同行业精选的上云企业案例库&#xff0c;基于众多成功案例萃取而成的最佳实践&#xff0c;助力您上云决策&#xff01; 前话 提供一个思路帮助你了解区块链基础运作&#xff0c;文本并不是一个完整的…

【开发者成长】阿里代码缺陷检测探索与实践

目前PRECFIX技术已经在阿里巴巴集团内部落地并获得好评&#xff1b;关于“PRECFIX”技术的论文被国际软件工程大会&#xff08;ICSE&#xff09;收录。 张昕东(别象) 阿里巴巴 云研发事业部 算法工程师 【以下为别象分享实录】 阿里巴巴在缺陷检测技术方面遇到的三个挑战 编码…

docker Harbor2.3.4 https 搭建镜像仓库

文章目录一、环境准备1. 环境要求2. 节点总览3. 安装docker-compose二、安装harbor2.1. 下载2.2. 解压2.3. 认证2.4. 调整配置2.5. 安装 harbor2.6. 配置host2.7. 效果验证三、客户端3.1. 证书保存3.2. 新建配置3.3. 登录harbor四、基本操作4.1. 下线4.2. 监控状态4.3. 重新部署…

OPPO实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移

一、建设背景 关于 OPPO 移动互联网业务 大家都认为 OPPO 是一家手机公司&#xff0c;但大家可能并不清楚&#xff0c;其实 OPPO 也会做与移动互联网相关的业务。在 2019 年 12 月&#xff0c;OPPO 发布了自己定制的手机操作系统 ColorOS 7.0 版本。目前包括海外市场在内&…

十年技术骨干面试被开出一万五薪资,直呼 “这是对我的侮辱”

老周是我十多年前认识的同事&#xff0c;2012年前后&#xff0c;老周到北京工作的第一个任务就是为公司的产品开发IOS APP。2012年底&#xff0c;老周已经能熟练的驾驭苹果的cocoatouch和android核心组件。也正因为如此&#xff0c;老周的薪水直接翻倍&#xff0c;当时已经拿到…

微信小程序---实现弹窗效果

第一步&#xff1a;点击按钮触发弹窗事件 <button class"btn" bindtap"btn">按钮</button> *** css样式 .btn{ position: fixed; bottom: 0; left: 0; } *** js btn(){ let delshow !this.data.delshow console.log(delshow) this.setD…

登录 Harbor response from daemon: Get “https://192.168.92.129/v2/“: x509: cannot validate certificate

文章目录1. 现象2. 解决方案3. 重新登陆1. 现象 [rootlocalhost harbor]# docker login 192.168.92.129 Username: admin Password: Error response from daemon: Get "https://192.168.92.129/v2/": x509: cannot validate certificate for 192.168.92.129 becaus…

基于Flink的超大规模在线实时反欺诈系统的建设与实践

作者&#xff1a;关贺宇 在大数据时代&#xff0c;金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中&#xff0c;某些中介机构会搜集大量的号并进行“养号”工作&#xff0c;即在一年周期里让这些号形成正常的消费、通讯记录&#xff0c;目的是将这些…

别再被 Python 洗脑了!!

Python 作为一种解释型技术脚本语言&#xff0c;越来越被认可为程序员新时代的风口语言。无论是刚入门的程序员&#xff0c;还是年薪百万的 BATJ 的技术大牛都无可否认&#xff1a;Python的应用能力是成为一名码农大神的必要项。 而作为Python初学者来讲&#xff0c;最大的问题…

任务不再等待!玩转DataWorks资源组

引言 DataWorks提供了三种资源组的能力&#xff1a;独享资源组、自定义资源组和默认资源组&#xff0c;很多开发者在使用资源组时经常会碰到各类情况&#xff0c;到时候任务运行失败或者延迟&#xff0c;例如&#xff1a;1. 正在使用默认资源组&#xff0c;任务经常要等待2.购…

微信小程序---实现输入手机验证码功能

*** html部分 <view classcontainer> <view classmain-title bindtap"test"> 输入短信验证码 </view> <view class"sub-title"> 已向<text class"phone">139****9999</text>发送验证码 </view> <…