数据仓库-集群管理

主要介绍操作类问题中的集群管理问题。

无法成功创建数据仓库集群时怎么处理?

请检查用户账户余额是否少于100元,是否已经没有配额创建新的数据仓库集群,以及是否存在网络问题。

如账户余额、配额、网络均未发现问题,请联系客户经理,请客户经理联系后台服务人员为您排查原因并解决问题。

如何清理与回收存储空间?

DWS 数据仓库中保存的数据在删除后,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费、创建及恢复快照性能下降等问题,如何清理?

清理与回收存储空间对系统的影响如下:

  • 删除无用的脏数据,释放存储空间。
  • 数据库将进行大量读写操作,可能影响正常使用,建议选择空闲时间执行。
  • 数据库的存储空间越大,即数据可能越多,清理的时间越长。

清理与回收存储空间操作步骤如下:

1.连接数据库。具体操作步骤请参见《数据仓库服务用户指南》中“连接集群”章节。

2.执行以下命令,清理与回收存储空间。

VACUUM FULL;

默认清理当前用户在数据库中,拥有权限的每一个表。没有权限的表则直接跳过回收操作。

当系统显示以下内容时,表示清理完成:

VACUUM

  • VACUUM FULL回收所有过期的行空间,但是它需要对每个正在处理的表进行独占锁定,并且可能需要很长时间才能完成大型分布式数据库表。一般建议对指定表执行VACUUM FULL,若需要对整个数据库执行VACUUM FULL,建议在数据库维护期间操作。
  • 使用FULL参数会导致统计信息丢失,如果需要收集统计信息,请在语句命令中加上analyze关键字。例如,执行 VACUUM FULL ANALYZE; 命令。VACUUM的语法请参见《数据仓库服务数据库开发指南》中的相关章节。

为什么扩容后已使用存储容量比扩容前减少了很多?

原因分析

扩容前,如果您没有执行vacuum清理和回收存储空间,DWS 数据仓库中之前被删除的数据,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费。

而在扩容时,系统会做一次重分布,集群扩容时新节点添加完成后,原节点存储的业务数据明显多于新节点,此时系统自动在所有节点重新分布保存数据。在开始做重分布时,系统会自动执行一次vacuum,从而释放了存储空间,因此,扩容后已使用存储容量减少了很多。

处理方法

建议您定期做vacuum full清理与回收存储空间,防止数据膨胀。

如果执行vacuum后,已使用存储容量仍然占用过高,请分析现有集群规格是否满足业务需求,若不满足,建议您对集群进行扩容。

如何查看DWS各节点的指标?例如CPU使用率、内存使用率、磁盘利用率、磁盘使用量等?

集群已使用容量指标,可通过云监控管理控制台查看。查看方法:

1.登录DWS管理控制台,单击集群列表中某个集群右侧的“查看监控指标”进入云监控管理控制台。

2.单击

向左箭头.png

返回云服务监控界面,默认显示“数据仓库节点”,再单击对应节点右侧的“查看监控指标”,可查看某个节点的“磁盘使用量”。

DWS的磁盘空间/容量是如何统计的?

1.DWS的磁盘总容量统计:以3个数据节点为例,假设每个节点320G,总容量为960G。当存入一个1G的数据,DWS因为副本机制会将这1G的数据在两个节点中都各存一份,共占2G的空间,如果再加上元数据、索引等,实际1G的数据,存入DWS后占用的空间不止2G。所以总容量为960G的3节点集群,总量能存480G的数据。因为存储硬盘本身不贵,客户数据才珍贵。

客户在云的DWS控制台上搭建的时候,页面已经是按照一个节点的真正容量空间来统计的。比如dws.m3.xlarge,在搭建页面是160G,但实际这个节点的磁盘是有320G的,已经将这个320G显示为160G了,便于客户按实际落盘数据进行搭建。

2.单个节点磁盘的使用情况的确认:

同样的,以总容量为960G,3个数据节点为例,那么每个节点的磁盘容量就是320G。

登录DWS控制台,选择“监控>节点监控>概览”显示每个节点的磁盘以及其他资源占用情况。

说明

l  节点管理看到的磁盘空间是DWS集群内所有的磁盘即系统盘、数据盘加到一起的容量,而在概览里看到的磁盘空间只是集群内能做表数据存储的可用空间,另外DWS集群中表是有备份的副本数的,表的备份数据也是需要占用磁盘存储的。

l  如果已确定由于磁盘空间不足导致集群状态只读,告警磁盘不可用的异常场景时,可参考“扩容集群”章节进行节点扩容处理。

增加CN和扩容集群分别在什么场景下使用?

CN并发介绍

CN全称协调节点(Coordinator Node)。是和用户关系最密切也是DWS内部非常重要的一个组件,它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划,以及汇总、处理执行结果。CN是外部应用的接口,CN的并发能力直接决定了业务的并发度。

单CN的并发能力受如下几个参数控制:

  • max_connections : 允许和数据库连接的最大并发连接数。此参数会影响集群的并发能力。默认值与集群规格有关,具体参见 “管理数据库连接”章节。
  • max_active_statements :设置全局的最大并发数量。此参数只应用到CN,且针对一个CN上的执行作业。默认值60,最多允许60个作业同时运行,其余作业将会排队。

选择增加CN还是扩容集群

  • 连接数不足:初次创建集群时,集群默认的CN节点数是3,能基本满足客户的连接需求。当集群属于高并发请求,各CN节点的连接数很大,或CN节点的CPU明显高于DN节点的CPU时,建议增加CN节点数量,具体参见“管理CN节点”章节。
  • 存储容量和性能不足:随着您的业务规模扩张,对数据存储容量和性能有更高的要求时,或者集群整体CPU不足时,建议通过扩容集群进行集群节点的扩容。详情请参见 “扩容集群”章节。

随着业务规模扩大,集群扩容到一定节点规模后,也必然需要增加相应的CN节点,满足DWS的分布式要求。简言之,增加CN,不一定需要扩容集群,但是扩容集群后,会伴随着增加CN节点的需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/889448.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

期魔方风控模型之委托失败补单程序

你知道吗?只需简单设置,期魔方风控模型就能自动处理风控委托失败的订单,进行补单操作。 那么,这种功能适用于哪些场景呢?让我们一起来探讨一下! 在实际交易中,我们有时会遇到在任意交易终端&a…

ubuntu系统的docker安装(2)

查看系统版本 lsb_release -asudo systemctl status docker查看docker是否安装成功 docker pull拉取镜像不成功/docker run不成功 可能有多种原因:网络链接不稳定,没有重启docker,可以先将docker源设置为国内镜像源 sudo systemctl rest…

Source Insight的使用经验汇总

01-Add All"和“Add Tree”有何区别? 在 Source Insight 中,“Add All”和“Add Tree”是两种向项目(Project)中添加文件的操作选项,它们的区别在于处理文件和目录的方式不同: 1. Add All 范围&am…

MVC基础——市场管理系统(四)

文章目录 项目地址六、EF CORE6.1 配置ef core环境6.2 code first6.2.1 创建Database context1. 添加navigation property2. 添加MarketContext上下文七、Authentication7.1 添加Identity7.2 Run DB migration for Identity7.3 使用Identity7.3.1 设置认证中间件7.3.2 设置权限…

前端编辑器JSON HTML等,vue2-ace-editor,vue3-ace-editor

与框架无关 vue2-ace-editor有问题&#xff0c;ace拿不到&#xff08;brace&#xff09; 一些组件都是基于ace-builds或者brace包装的 不如直接用下面的&#xff0c;不如直接使用下面的 <template><div ref"editor" class"json-editor"><…

Oracle 与 达梦 数据库 对比

当尝试安装了达梦数据库后&#xff0c;发现达梦真的和Oracle数据库太像了&#xff0c;甚至很多语法都相同。 比如&#xff1a;Oracle登录数据库采用sqlplus&#xff0c;达梦采用disql。 比如查看数据视图&#xff1a;达梦和Oracle都有 v$instance、v$database、dba_users等&a…

【docker】12. Docker Volume(存储卷)

什么是存储卷? 存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着&#xff0c;当我们在容器中的这个目录下写入数据时&#xff0c;容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。 在宿主机上…

汽车总线协议分析-CAN总线

随着汽车工业的发展&#xff0c;汽车各系统的控制逐步向自动化和智能化转变&#xff0c;汽车电气系统变得日益复杂。许多车辆设计使用CAN、CAN-FD、LIN、FlexRay或SENT在电子控制单元(ECU)之间以及ECU与传感器&#xff0c;执行器和显示器之间进行通信。这些ECU之间的通信允许车…

前端性能优化(理念篇)

前端性能优化&#xff08;理念篇&#xff09; 前言 其实前端性能优化&#xff0c;按照我的理解&#xff0c;首先你公司的硬件条件跟其它资源跟的上&#xff0c;比如服务器资源&#xff0c;宽带怎么样&#xff0c;还有后端接口响应如何&#xff0c;这些资源都具备后&#xff0…

IIS部署程序https是访问出现403或ERR_HTTP2_PROTOCOL_ERROR

一、说明 在windows server 2016中的IIS程序池里部署一套系统&#xff0c;通过https访问站点&#xff0c;同时考虑到安全问题以及防攻击等行为&#xff0c;就用上了WAF云盾功能&#xff0c;能有效的抵挡部分攻击&#xff0c;加强网站的安全性和健壮性。 应用系统一直能够正常…

【深度学习】热力图绘制

热力图&#xff08;Heatmap&#xff09;是一种数据可视化方法&#xff0c;通过颜色来表示数据矩阵中的数值大小&#xff0c;以便更直观地展示数据的分布和模式。热力图在许多领域中都有应用&#xff0c;尤其在统计分析、机器学习、数据挖掘等领域&#xff0c;能够帮助我们快速识…

3.6 IP 数据报的发送与转发

欢迎大家订阅【计算机网络】学习专栏&#xff0c;开启你的计算机网络学习之旅&#xff01; 文章目录 前言1 主机发送 IP 数据报2 直接交付与间接交付3 路由器转发 IP 数据报4 习题分析 前言 在计算机网络中&#xff0c;数据传输的核心工作之一是通过 IP 协议将数据从源主机传递…

PH热榜 | 2024-12-13

1. AI Santa by Tavus 标语&#xff1a;随时随地&#xff0c;视频连线圣诞老人&#xff01; 介绍&#xff1a;准备好迎接AI圣诞老人了吗&#xff1f;塔武斯公司推出的这款神奇的节日体验&#xff0c;能让你实时用30多种语言与圣诞老人对话&#xff0c;看看自己今年是乖孩子还…

双击 Origin 文件后打开软件只有空白没有任何窗口、或者打开后加载失败解决办法

这其实是因为你的文件并没有在 Origin 中打开&#xff0c;可以在标题栏确认 如果这里显示为 UNTITLED&#xff0c;就说明文件还没有在 Origin 中打开。如果你遇到此类问题&#xff0c;我们建议尝试以下方法。 方法 1 设 Origin 为打开 .opj/opju 文件时的默认应用程序 右键单…

【电子通识】电流倒灌为什么需要注意?

电流倒灌是一个很常见的问题,以“IO电流倒灌”为关键词在百度上进行搜索,可以找到很多相关案例。 电流倒灌问题在5V电平的单片机时代几乎不会发生,主要是因为5V单片的IO耐压值高,单片机内部结构对IO保护设计很好。 到了3.3V单片机时代,这类问题有一定的偶发性,但…

奇怪的知识又增加了:ESP32下的Lisp编程=>ULisp--Lisp for microcontrollers

ESP32下有MicroPython&#xff0c;那么我就在想&#xff0c;有Lisp语言支持吗&#xff1f;答案是果然有&#xff01;有ULisp&#xff0c;专门为MCU设计的Lisp&#xff01; 网址&#xff1a;uLisp - Lisp for microcontrollers 介绍&#xff1a;用于微控制器的 Lisp 适用于 Ar…

【竞技宝】LOL:JDG官宣yagao离队

北京时间2024年12月13日,在英雄联盟S14全球总决赛结束之后,各大赛区都已经进入了休赛期,目前休赛期也快进入尾声,LPL大部分队伍都开始陆续官宣转会期的动向,其中JDG就在近期正式官宣中单选手yagao离队,而后者大概率将直接选择退役。 近日,JDG战队在官方微博上连续发布阵容变动消…

得物App奢侈品鉴别能力再获A级资质认证

11月20日&#xff0c;在中国出入境检验检疫协会举办的“2024高端消费品检验鉴定与市场可持续发展大会”上传出消息&#xff0c;得物App因“先鉴别、后发货”保障正品的突出表现以及较高的消费者认可度&#xff0c;被中国海关科学技术研究中心授予“奢侈品鉴别&#xff08;箱包类…

使用BMFont创建适用于Unity的艺术字

最近经常使用艺术字&#xff0c;虽然之前的工作经验我知道只需要修什么哪些就可以弄好艺术字的创建和间隔&#xff0c;所以打算做个总结&#xff0c;接下来分为以下几步&#xff08;其中会有补充&#xff0c;最后会有如何解决unity艺术字的字距问题&#xff09; 第1步 下载BMF…

websocket_asyncio

WebSocket 和 asyncio 指南 简介 本指南涵盖了使用 Python 中的 websockets 库进行 WebSocket 编程的基础知识&#xff0c;以及 asyncio 在异步非阻塞 I/O 中的作用。它提供了构建高效 WebSocket 服务端和客户端的知识&#xff0c;以及 asyncio 的特性和优势。 1. 什么是 WebS…