AWS Redshift 类型升级后物化视图丢失?

问题描述 及 错误信息:

我们将AWS Redshift集群从dc2升级到了ra3类型,而后居然发现所有的物化视图都消失了???

这是道德的沦丧还是人性的扭曲?

当然都不是,下面来看我们应该怎样排查吧~~

分析过程 及 解决方案:

思路1: 首先排查是不是我们自己删了MV呢?

SELECT query_id,transaction_id,session_id,start_time,elapsed_time,queue_time,execution_time,returned_rows,returned_bytes
FROM sys_query_history
WHERE query_type = 'SELECT'
ORDER BY start_time DESC limit 10;

通过query_type来过滤查询类型,例如,SELECT、INSERT、UPDATE、UNLOAD COPY、COMMAND、DDL、UTILITY、CTAS 和 OTHER。

文档1:https://docs.amazonaws.cn/redshift/latest/dg/SYS_QUERY_HISTORY.html

然后我们惊讶地发现,我们没删MV呀哈哈哈。

思路2:

接下来我们就继续查看,创建这些Materialized View的DDL, 然后惊喜地发现,创建MV的语句都有parameter BACKUP NO 这样的字样

文档2:https://docs.amazonaws.cn/redshift/latest/dg/materialized-view-create-sql-command.html

根据文档2,BACKUP NO就意味着这些Materialized view,不会在Redshift备份中保留。以节省创建snapshot和 restore from snapshot的时间。

之后,我们通过查看CloudTrail记录,发现我们自己对dc2 - ra3的升级,是通过elastic resize的方式完成的:

CloudTrail中的记录如下:

ResizeCluster 
.........dc2.largenodeType    ra3.xlplus
numberOfNodes   4clusterStatus   resizing
clusterAvailabilityStatus   Modifying
masterUsername  admin
dBName  devNot classicresizeType  ElasticResize

根据下面文档3,使用 ElasticResize方式的是偶,如果目标节点类型与现有节点类型不同(比如此案例中的dc2和ra3),那么Amazon Redshift 会先创建一个快照。然后,使用快照中的最新数据预置新的目标集群,并在后台将数据传输到新集群。

文档3:https://repost.aws/knowledge-center/redshift-elastic-resize

因此我们确定了,因为我们的所有Materialized View创建时都是BACKUP NO, 并且刚好是用了elastic resize方式将dc2集群升级到ra3类型,才导致了升级集群类型之后,MV的消失。

方案3: 在troubleshooting过程中,其实很多时候我们并不能很快锁定方案2里面涉及的这么多巧合的点。可能我们会考虑用snapshot恢复一个集群来进行模拟测试。

根据本案例的情况,用snapshot恢复其实也会发现这些MV都是丢失了的。那么此时再查询MV的DDL,以及文档中的定义,也是可以排查出原因的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/47545.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SSCOM串口调试工具安装和使用方法--V5.13.1版本

安装 链接:下载 解压后直接双击打开使用 使用 1、选择端口 2、点击【打开串口】 3、输入内容点击发送 4、上方就会展示发送或接收数据

Vue进阶之Vue无代码可视化项目(六)

Vue无代码可视化项目 渲染引擎(渲染器)初版TextBlock.vueChartBlock.vueImageBlock.vueLayoutView.vue渲染器BlockRenderer.vueLayoutView.vue进一步typestypes/block.tsmock/blocks.tsstores/editor.tsblocks/BlockRenderer.vueviews/LayoutView.vueblocks/internal/Fallbac…

Ubuntu 20 安装 uwsgi 失败解决办法

环境:Ubuntu 20.04 LTS Python 版本:python3.8.10 虚拟环境路径:/home/venv 激活虚拟环境后,安装 uswgi pip install uwsgi报错如下: ERROR: Command errored out with exit status 1:command: /home/venv/bin/pytho…

如何建设和维护数据仓库:深入指南

欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏: V: LAF20151116 进行更多交流学习 ⭐️ 全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题. ⭐️ AIGC时代的创新与未来&#xff…

js数组与字符串方法

拼接方法 字符串拼接用 就行了,如 str1 str2。数组则用 join() 方法把元素连起来,比如 arr.join(‘,’)。数组不能直接用 拼接,但两个数组相加会被转成字符串再拼接,这不是数组的拼接,而是字符串拼接行为。 let s…

Chapter12 屏幕后处理效果——Shader入门精要学习笔记

Chapter12 屏幕后处理效果 一、屏幕后处理概述以及基本脚本系统1.OnRenderImage 函数 —— 获取屏幕图像2.Graphics.Blit 函数 —— 使用特定的Shader处理3.在Unity中实现屏幕后处理的基本流程4.屏幕后处理基类 二、调整亮度、饱和度和对比度1.BrightnessSaturationAndContrast…

GESP CCF C++ 三级认证真题 2024年6月

第 1 题 小杨父母带他到某培训机构给他报名参加CCF组织的GESP认证考试的第1级,那他可以选择的认证语言有()种。 A. 1 B. 2 C. 3 D. 4 第 2 题 下面流程图在yr输入2024时,可以判定yr代表闰年,并输出 2月是29天 &#x…

深度学习,人工智能

人工智能,代跑通,预测模型,模型优化,增加模块,文章复现,python代做,预测,微调,融合,深度学习,机器学习程序代写,环境调试,…

20240718 每日AI必读资讯

大模型集体失智!9.11和9.9哪个大,几乎全翻车了 - AI处理常识性问题能力受限,9.11>9.8数学难题暴露了AI短板。 - 训练数据偏差、浮点精度问题和上下文理解不足是AI在数值比较任务上可能遇到的困难。 - 改进AI需优化训练数据、Pr…

Tailwind CSS指南

使用和配置 Tailwind CSS 的完整指南 Tailwind CSS 是一个功能类优先的 CSS 框架,允许你快速构建现代的网站。它提供了一组预定义的实用工具类,可以直接在 HTML 中使用,以实现各种样式效果。本文将详细讲解如何使用和配置 Tailwind CSS&…

spark的相关知识点

2024.6.19 1.scala:语言 2.spark:框架(jar包) 3.spark streaming:kafka 4.spark mlib:机器学习 算法 5.解释 Class:类Case Class:样例类Object:对象User:类Ne…

阿里云国际站:海外视频安全的DRM加密

随着科技的进步,视频以直播或录播的形式陆续开展海外市场,从而也衍生出内容安全的问题,阿里云在这方面提供了完善的内容安全保护机制,适用于不同的场景,如在视频安全提供DRM加密。 由图可以了解到阿里云保护直播安全的…

Electron 应用关闭突出程序坞

在Electron应用中,处理窗口关闭并使其最小化到Mac系统的程序坞(Dock)而不是完全退出应用,通常涉及到监听窗口的关闭事件(close事件)并在适当时机阻止其默认行为。以下是一些步骤和关键点,帮助实现这一功能: 1. 监听窗口关闭事件 在Electron的主进程(main process)中…

请求通过Spring Cloud Gateway 503

最近想处理一个通用的网关服务。 但是我在处理好所有配置的时候发现,网络请求过网关的时候,一直503,我所有的配置都没问题。 环境: JDK: 17 Spring Cloud: 2023.0.2 在 Spring Cloud Gateway 的早期版本中&#xff…

如何应用CDP做好客户标签管理?

​标签是对客户的特征标识,是经过人为再加工后的结果,相对于传统意义的标签,CDP客户数据平台更侧重于客户动态的行为,标签的加工随着用户行为的变化实时更新,帮助客户捕捉用户每个阶段的动态特征与需求。 如何应用CDP做…

【ROS】的软件包应用商店使用-以小乌龟为例

文章目录 环境效果图介绍安装使用总结 环境 在Ubuntu20.04系统下运行 效果图 介绍 ros应用商店,里面有大量ros可使用的软件。 下面以ros经典的控制小乌龟为例。 安装 安装控制器 sudo apt install ros-noetic-rqt-robot-steering安装小乌龟 sudo apt insta…

Spring中事务是如何实现的?

在Spring中,事务管理是通过AOP(面向切面编程)和代理模式实现的。Spring提供了声明式事务管理,允许开发者通过简单的配置来管理事务,而不需要手动编写事务管理的代码。 概述: 1.Spring事务底层是基于数据库事…

微软GraphRAG +本地模型+Gradio 简单测试笔记

安装 pip install graphragmkdir -p ./ragtest/input#将文档拷贝至 ./ragtest/input/ 下python -m graphrag.index --init --root ./ragtest修改settings.yaml encoding_model: cl100k_base skip_workflows: [] llm:api_key: ${GRAPHRAG_API_KEY}type: openai_chat # or azu…

uniapp踩坑之项目:uni-table垂直居中和水平居中

uni-table 中的水平居中uni-td align"center"&#xff0c;css里的属性vertical-align: middle //html 水平居中<uni-table ref"table" :loading"loading" border stripe emptyText"暂无更多数据"><uni-tr><uni-th :wid…

[HDCTF2019]MFC

[HDCTF2019]MFC-CSDN博客 不会写 完全画瓢 我还以为win32什么系统逆向 原来是小瘪三! VM保护 下载xspy(看雪上有) 打开32位的 再打开 这个窗口 把这个放大镜托到这个大窗口(里面有个小窗口,不要托错了) 下面这个 onmeg 就她不正常,是什么0464 #include <stdio.h&g…