AWS 中国区同账号0etl integration配置步骤

中国区的AWS支持0etl integration已经一段时间了,目前北京区和宁夏区均支持。中文翻译为零ETL集成。

当前支持的引擎是Aurora MySQL数据托管式导出到Redshift. Global区域支持Aurora PostgreSQL. 中国区后续也会陆续出现此功能的。

功能介绍文档:

【1】使用 Aurora 与 Amazon Redshift 的零 ETL 集成 - Amazon Aurora

同账号下配置0etl integration的详细测试步骤如下:

配置文档:

aurora端:
【2】https://docs.amazonaws.cn/AmazonRDS/latest/AuroraUserGuide/zero-etl.setting-up.html

redshift端:
【3】https://docs.amazonaws.cn/AmazonRDS/latest/AuroraUserGuide/zero-etl.setting-up.html#zero-etl-setting-up.data-warehouse

前提条件:

0etl的前提条件还是比较苛刻的,版本,参数,必修要启用Encryption, 并且只能同区域实现配置。具体请参考文档[2]和[3], 真的是少一条都不行。

创建步骤在如下文档里有写,是很清楚的:

[4] 创建 Aurora 与 Amazon Redshift 的零 ETL 集成 - Amazon Aurora

我从Console上把步骤截图,参考如下:

1. 点点点

2. 起名字:

3. 选RDS:

4. 一定要filter data, 否则整个Aurora MySQL RDS的数据都导入到Redshift里了,很贵,时间也会很长:

5. 选择本账号下Redshift集群,Provisioned或者Serverless都可以:

如果选到一个Redshift cluster但是Redshift cluster没有相应的权限,没关系,可以点击“fix for me”然后点下一步,让RDS来修复或者添加权限是好用的。

如果不想让RDS来修复权限,那么可以自己配置IAM:

权限文档:开始使用零 ETL 集成 - Amazon Redshift

{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Principal": {"Service": "redshift.amazonaws.com"},"Action": "redshift:AuthorizeInboundIntegration","Condition": {"StringEquals": {"aws:SourceArn": "source_arn"}}},{"Effect": "Allow","Principal": {"AWS": "source_principal"},"Action": "redshift:CreateInboundIntegration"}]
}

6. 点击continue:

7. 点next:

8. 接下来就是创建了,首先会保持在creating阶段很久,这期间无法删除,无法更改。大概需要30分钟。

9.一些杂七杂八的注意事项和容易出现的报错:

在真正创建0etl之前,建议一定要检查要进行迁移的数据。

如果源表没有Primary Key,那么integration最终会failed.

并且0etl处于异常状态的时候,不支持修改这个integration,也就是无法通过修改表增加主键,再把这个表reload一遍。这一点不如DMS服务更方便。

同时根据如下文档,在创建集成后添加筛选条件,Aurora 会重新评估筛选条件,所有受影响的表都需要重新同步。

【5】Aurora 与 Amazon Redshift 零 ETL 集成的数据筛选 - Amazon Aurora

再有,0etl受数据库本身的limitation影响。比如,redshift 中对于 varchar 等字符类型的最长仅支持 65535 长度。所以超出的长度无法传入 redshift 中.有些数据类型会在导入 redshift 时会被转换成 varchar,这些类型的数据在通过 zero-ETL 传入 redshift 时,如果超过 65535 时都有可能遇到报错。

报错如下:

1. [长度问题]Replicating initial data for table test1.test failed. Column 'test' length 414209 is longer than in the table 65535. Check the data that might be causing issues. If the issue persists, contact AWS Support.
2. [长度问题]Replicating initial data for table test2.test failed. Column 'test' length 78947 is longer than in the table 65535. Check the data that might be causing issues. If the issue persists, contact AWS Support.

[6] 向源 Aurora 数据库集群中添加数据并在 Amazon Redshift 中对其进行查询 - Amazon Aurora

下一篇会更新跨账号配置0etl步骤。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/50955.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

正则表达式的匹配模式有那些?

1、不区分大小写模式(IgnoreCase): 在匹配文本字符串时,不区分文本字符串中的大小写。 在不同编程语言中,此模式的指定方式可能有所不同。例如,在Python中,可以使用常量re.I或re.IGNORECASE&a…

try-catch-finally 捕获异常不在catch里抛出;循环遍历对象生成任务,捕获异常对象不抛出,不影响其他正常对象生成任务

场景:一个模板绑定多个对象,要对每个对象生成任务。捕获生成任务过程中的异常,但是不抛出,只是用日志记录。这样做目的:循环遍历对象生成任务时,异常对象数据生成任务时发生异常只是导致自己生成任务失败&a…

Mac应用快速启动器:Alfred 5 for Mac 激活版

Alfred 5 是一款专为 macOS 系统设计的效率提升工具。这款软件以其快速启动和高效操作功能著称,通过使用快捷键来呼出输入界面,用户可以快速完成各种任务。 最新版本 Alfred 5.5 引入了一些新功能。其中包括整合了 ChatGPT 和 DALL-E,这意味…

YOLOv8不同位置引入RepVGG重参数化

一、原理解析: 复杂的卷积网络大都具有如下缺点: 复杂的多分支设计(如ResNet中的残差相加和Inception中的分支连接)使模型难以实现和自定义,降低了推理速度和降低了内存利用率。一些组件(例如Xception和Mo…

RedisTemplate、StringRedisTemplate、序列化器配置

Lettuce和Jedis RedisTemplate是SpringDataRedis中对JedisApi的高度封装,提供了Redis各种操作、 异常处理及序列化,支持发布订阅。 首先我们要知道SpringData是Spring中数据操作的模块,包括对各种数据库的集成,比如我们之前学过…

Flutter——全网最精致木鱼APP可上架应用市场

研发背景 工作之余,闲来无事,想着研发一款用户可能会经常用到的一款APP,并且能够顺便掌握一下Flutter Material Design 3 UI,所以就有了这款比较精致的木鱼APP的诞生。 开源代码 https://github.com/z244370114/woodenfish

语义分割介绍

1. 定义 语义指具有人们可用语言探讨的意义,分割指图像分割。 语义分割(semantic segmentation)能够将整张图的每个部分分割开,使每个部分都有一定类别意义(语义),让计算机可以理解图像。 语义分割是以描边的形式&…

【初阶数据结构篇】顺序表和链表算法题

文章目录 顺序表算法题移除元素删除有序数组中的重复项合并两个有序数组 链表算法题移除链表元素反转链表链表的中间结点合并两个有序链表链表分割链表的回文结构 顺序表算法题 不熟悉顺序表的可以先了解一下 顺序表实现方法 移除元素 给你一个数组 nums 和一个值 val&#x…

基于Xejen框架实现的C# winform鼠标点击器、电脑按键自动点击器的软件开发及介绍

功能演示 文章开始之前,仍然是先来个视频,以便用户知道鼠标连点器的基本功能 软件主界面 多功能鼠标连点器 快速点击: 痕即鼠标点击器可以设定每秒点击次数,让您轻松应对高频点击需求。 切换时长,即每次动作之间的间…

【安卓】Android Studio简易计算器(实现加减乘除,整数小数运算,正数负数运算)

目录 前言 运算效果 一、创建一个新的项目 二、编写xml文件(计算器显示页面) 三、实现Java运算逻辑 ​编辑 完整代码 xml文件代码: Java文件代码: 注: 前言 随着移动互联网的普及,手机应用程序已…

Linux_基础

文件结构 Linux的文件结构是一个倒的树状图,具体结构如下: bin:存放二进制文件 boot:存放系统启动文件 dev:存放设备文件 etc:存放系统管理时要用到的各种配置文件和子目录 lib:存放系统动…

【Vue2】3-使用Vue脚手架

目录 初始化脚手架 说明 具体步骤 模板项目的结构 关于不同版本的Vue vue.config.js配置文件 ref属性 配置项props mixin(混入) 插件 scoped样式 总结TodoList案例 webStorage(浏览器本地存储) TodoList本地存储 组…

UE4Editor.exe运行与调试 “-run=XX” 命令行

如果看到这么一条工作命令: %EnginePath%\Binaries\Win64\UE4Editor-Cmd.exe %ClientPath%\%ProjectName%.uproject -runHotPatcher {其它配置} 它意味着命令行,“-run” 后面接的内容是命令行, class UHotPatcherCommandlet :public UComma…

【初阶数据结构篇】栈的实现(赋源码)

文章目录 栈1 代码位置2 概念与结构1.1概念1.2结构 2 栈的实现2.1 栈的初始化和销毁2.1.1 初始化2.1.2 销毁 2.2 栈顶插入和删除数据2.2.1 栈顶插入数据(压栈)2.2.2 栈顶删除数据(出栈) 2.3 返回栈顶数据2.4 返回栈的有效数据个数…

C++类型强转

C(四)类型强转 新类型的强制转换可以提供更好的控制强制转换过程,允许控制各种不同种类的强 制转换。C提供了四种转化 static_cast,reinterpret_cast,dynamic_cast 和 const_cast 以满足不同需求,C风格的强制转换好处是&#xff…

【深度学习】语音合成,TTS,PaddleSpeech

https://paperswithcode.com/task/text-to-speech-synthesis https://github.com/PaddlePaddle/PaddleSpeech https://github.com/coqui-ai/TTS https://github.com/keonlee9420/Expressive-FastSpeech2 https://github.com/TensorSpeech/TensorflowTTS docker镜像&#x…

【笔记】人工智能大模型在电力系统运行控制中的应用综述及展望

据统计,截至 2019 年底,我国风电和光伏的装机容量已经达到 415 GW,美国的可再生能源全年发电量已超过燃煤发电,同时欧洲计划在 2050 年完成 100% 可再生能源互联电网的建设。为了响应国家提出的“碳达峰”“碳中和”政策,国家电网公司提出在有效保障能源安全供应的前提下,…

嵌入式人工智能(31-基于树莓派4B的气压传感器-BMP280)

1、气压传感器 气压传感器(Pressure Sensor)是一种用于测量气体压力的装置。它可以将气体压力转换为电信号输出,进而实现对气体压力的监测和控制。气压传感器广泛应用于工业自动化、气象观测、建筑监测、航空航天等领域。 气压传感器的工作…

未来的智能农业:智能合约如何提升农业生产效率和可持续性

随着全球人口的增长和资源的有限性,农业生产面临着越来越大的挑战。如何在提高生产效率的同时保障可持续发展成为全球农业发展的关键问题。智能合约作为一种基于区块链技术的自动化执行合约,正在逐渐应用于农业领域,为农业生产带来了新的机遇…