AWS 中国区同账号0etl integration配置步骤

中国区的AWS支持0etl integration已经一段时间了,目前北京区和宁夏区均支持。中文翻译为零ETL集成。

当前支持的引擎是Aurora MySQL数据托管式导出到Redshift. Global区域支持Aurora PostgreSQL. 中国区后续也会陆续出现此功能的。

功能介绍文档:

【1】使用 Aurora 与 Amazon Redshift 的零 ETL 集成 - Amazon Aurora

同账号下配置0etl integration的详细测试步骤如下:

配置文档:

aurora端:
【2】https://docs.amazonaws.cn/AmazonRDS/latest/AuroraUserGuide/zero-etl.setting-up.html

redshift端:
【3】https://docs.amazonaws.cn/AmazonRDS/latest/AuroraUserGuide/zero-etl.setting-up.html#zero-etl-setting-up.data-warehouse

前提条件:

0etl的前提条件还是比较苛刻的,版本,参数,必修要启用Encryption, 并且只能同区域实现配置。具体请参考文档[2]和[3], 真的是少一条都不行。

创建步骤在如下文档里有写,是很清楚的:

[4] 创建 Aurora 与 Amazon Redshift 的零 ETL 集成 - Amazon Aurora

我从Console上把步骤截图,参考如下:

1. 点点点

2. 起名字:

3. 选RDS:

4. 一定要filter data, 否则整个Aurora MySQL RDS的数据都导入到Redshift里了,很贵,时间也会很长:

5. 选择本账号下Redshift集群,Provisioned或者Serverless都可以:

如果选到一个Redshift cluster但是Redshift cluster没有相应的权限,没关系,可以点击“fix for me”然后点下一步,让RDS来修复或者添加权限是好用的。

如果不想让RDS来修复权限,那么可以自己配置IAM:

权限文档:开始使用零 ETL 集成 - Amazon Redshift

{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Principal": {"Service": "redshift.amazonaws.com"},"Action": "redshift:AuthorizeInboundIntegration","Condition": {"StringEquals": {"aws:SourceArn": "source_arn"}}},{"Effect": "Allow","Principal": {"AWS": "source_principal"},"Action": "redshift:CreateInboundIntegration"}]
}

6. 点击continue:

7. 点next:

8. 接下来就是创建了,首先会保持在creating阶段很久,这期间无法删除,无法更改。大概需要30分钟。

9.一些杂七杂八的注意事项和容易出现的报错:

在真正创建0etl之前,建议一定要检查要进行迁移的数据。

如果源表没有Primary Key,那么integration最终会failed.

并且0etl处于异常状态的时候,不支持修改这个integration,也就是无法通过修改表增加主键,再把这个表reload一遍。这一点不如DMS服务更方便。

同时根据如下文档,在创建集成后添加筛选条件,Aurora 会重新评估筛选条件,所有受影响的表都需要重新同步。

【5】Aurora 与 Amazon Redshift 零 ETL 集成的数据筛选 - Amazon Aurora

再有,0etl受数据库本身的limitation影响。比如,redshift 中对于 varchar 等字符类型的最长仅支持 65535 长度。所以超出的长度无法传入 redshift 中.有些数据类型会在导入 redshift 时会被转换成 varchar,这些类型的数据在通过 zero-ETL 传入 redshift 时,如果超过 65535 时都有可能遇到报错。

报错如下:

1. [长度问题]Replicating initial data for table test1.test failed. Column 'test' length 414209 is longer than in the table 65535. Check the data that might be causing issues. If the issue persists, contact AWS Support.
2. [长度问题]Replicating initial data for table test2.test failed. Column 'test' length 78947 is longer than in the table 65535. Check the data that might be causing issues. If the issue persists, contact AWS Support.

[6] 向源 Aurora 数据库集群中添加数据并在 Amazon Redshift 中对其进行查询 - Amazon Aurora

下一篇会更新跨账号配置0etl步骤。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/50955.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

try-catch-finally 捕获异常不在catch里抛出;循环遍历对象生成任务,捕获异常对象不抛出,不影响其他正常对象生成任务

场景:一个模板绑定多个对象,要对每个对象生成任务。捕获生成任务过程中的异常,但是不抛出,只是用日志记录。这样做目的:循环遍历对象生成任务时,异常对象数据生成任务时发生异常只是导致自己生成任务失败&a…

Mac应用快速启动器:Alfred 5 for Mac 激活版

Alfred 5 是一款专为 macOS 系统设计的效率提升工具。这款软件以其快速启动和高效操作功能著称,通过使用快捷键来呼出输入界面,用户可以快速完成各种任务。 最新版本 Alfred 5.5 引入了一些新功能。其中包括整合了 ChatGPT 和 DALL-E,这意味…

YOLOv8不同位置引入RepVGG重参数化

一、原理解析: 复杂的卷积网络大都具有如下缺点: 复杂的多分支设计(如ResNet中的残差相加和Inception中的分支连接)使模型难以实现和自定义,降低了推理速度和降低了内存利用率。一些组件(例如Xception和Mo…

RedisTemplate、StringRedisTemplate、序列化器配置

Lettuce和Jedis RedisTemplate是SpringDataRedis中对JedisApi的高度封装,提供了Redis各种操作、 异常处理及序列化,支持发布订阅。 首先我们要知道SpringData是Spring中数据操作的模块,包括对各种数据库的集成,比如我们之前学过…

Flutter——全网最精致木鱼APP可上架应用市场

研发背景 工作之余,闲来无事,想着研发一款用户可能会经常用到的一款APP,并且能够顺便掌握一下Flutter Material Design 3 UI,所以就有了这款比较精致的木鱼APP的诞生。 开源代码 https://github.com/z244370114/woodenfish

语义分割介绍

1. 定义 语义指具有人们可用语言探讨的意义,分割指图像分割。 语义分割(semantic segmentation)能够将整张图的每个部分分割开,使每个部分都有一定类别意义(语义),让计算机可以理解图像。 语义分割是以描边的形式&…

【初阶数据结构篇】顺序表和链表算法题

文章目录 顺序表算法题移除元素删除有序数组中的重复项合并两个有序数组 链表算法题移除链表元素反转链表链表的中间结点合并两个有序链表链表分割链表的回文结构 顺序表算法题 不熟悉顺序表的可以先了解一下 顺序表实现方法 移除元素 给你一个数组 nums 和一个值 val&#x…

基于Xejen框架实现的C# winform鼠标点击器、电脑按键自动点击器的软件开发及介绍

功能演示 文章开始之前,仍然是先来个视频,以便用户知道鼠标连点器的基本功能 软件主界面 多功能鼠标连点器 快速点击: 痕即鼠标点击器可以设定每秒点击次数,让您轻松应对高频点击需求。 切换时长,即每次动作之间的间…

【安卓】Android Studio简易计算器(实现加减乘除,整数小数运算,正数负数运算)

目录 前言 运算效果 一、创建一个新的项目 二、编写xml文件(计算器显示页面) 三、实现Java运算逻辑 ​编辑 完整代码 xml文件代码: Java文件代码: 注: 前言 随着移动互联网的普及,手机应用程序已…

Linux_基础

文件结构 Linux的文件结构是一个倒的树状图,具体结构如下: bin:存放二进制文件 boot:存放系统启动文件 dev:存放设备文件 etc:存放系统管理时要用到的各种配置文件和子目录 lib:存放系统动…

【Vue2】3-使用Vue脚手架

目录 初始化脚手架 说明 具体步骤 模板项目的结构 关于不同版本的Vue vue.config.js配置文件 ref属性 配置项props mixin(混入) 插件 scoped样式 总结TodoList案例 webStorage(浏览器本地存储) TodoList本地存储 组…

【初阶数据结构篇】栈的实现(赋源码)

文章目录 栈1 代码位置2 概念与结构1.1概念1.2结构 2 栈的实现2.1 栈的初始化和销毁2.1.1 初始化2.1.2 销毁 2.2 栈顶插入和删除数据2.2.1 栈顶插入数据(压栈)2.2.2 栈顶删除数据(出栈) 2.3 返回栈顶数据2.4 返回栈的有效数据个数…

嵌入式人工智能(31-基于树莓派4B的气压传感器-BMP280)

1、气压传感器 气压传感器(Pressure Sensor)是一种用于测量气体压力的装置。它可以将气体压力转换为电信号输出,进而实现对气体压力的监测和控制。气压传感器广泛应用于工业自动化、气象观测、建筑监测、航空航天等领域。 气压传感器的工作…

未来的智能农业:智能合约如何提升农业生产效率和可持续性

随着全球人口的增长和资源的有限性,农业生产面临着越来越大的挑战。如何在提高生产效率的同时保障可持续发展成为全球农业发展的关键问题。智能合约作为一种基于区块链技术的自动化执行合约,正在逐渐应用于农业领域,为农业生产带来了新的机遇…

Redis:RDB持久化

1. 简介 实现类似照片记录效果的方式,就是把某一时刻的数据和状态以文件的形式写到磁盘上,也就是 快照。这样一来即使故障宕机,快照文件也不会丢失,数据的可靠性也就得到了保证。 这个快照文件就称为RDB文件(dump.rdb)&#xff0c…

从代码层面熟悉UniAD,开始学习了解端到端整体架构

0. 简介 最近端到端已经是越来越火了,以UniAD为代表的很多工作不断地在不断刷新端到端的指标,比如最近SparseDrive又重新刷新了所有任务的指标。在端到端火热起来之前,成熟的模块化自动驾驶系统被分解为不同的独立任务,例如感知、…

数据倾斜优化思路实践

数据倾斜,顾名思义,就是在计算过程中数据分散度不够,导致某个节点数据过于集中,从而导致任务执行效率大大降低。参照对比下MR的整体流程和ODPS,整体结合理解数据倾斜发生的几个生命周期的节点,如下图&#…

WordPress设置固定连接后提示404

WordPress设置固定链接后出现404错误通常是因为服务器的伪静态规则没有正确设置。以下是几种常见的服务器环境下的解决方案: 宝塔面板:如果服务器安装了宝塔面板,可以在宝塔面板中选择对应的WordPress伪静态规则并保存设置 。 Apache服务器&a…

Linux——DNS服务搭建

(一)搭建nginx 1.首先布置基本环境 要求能够ping通外网,有yum源 2.安装nginx yum -y install nginx 然后查看验证 3.修改网页配置文件 修改文件,任意编写内容,然后去物理机测试 (二)创建一…