GaussDB技术解读系列:运维自动驾驶探索

近日,在第14届中国数据库技术大会(DTCC2023)的GaussDB“五高两易”核心技术,给世界一个更优选专场,华为云数据库运维研发总监李东详细解读了GaussDB运维系统自动驾驶探索和实践。

随着企业数字化转型进入深水区,数据库系统越来越复杂,运维团队维护的数据库规模越来越大,传统工具化的运维已无法满足当前运维的要求,数据库运维逐渐向智能化发展。

如何更好地感知和预测数据库故障,进而进行智能诊断、自适应恢复,是我们一直探索的内容。接下来本篇将分享GaussDB在运维自动化驾驶上的探索与实践,分别从云数据库运维挑战,GaussDB运维体系架构,以及我们如何进行快速感知和快速诊断4个方向进行分享。

云数据库运维面临哪些挑战?

随着企业将数据库搬迁上云,云上数据库运维面临的挑战更加复杂。数据库可能会部署在裸金属、虚拟机、容器等多样化的基础设施上,不同的基础设施面对的故障场景也随之多样化。

如果我们遇到一个性能抖动的亚健康问题,通常解决思路是从应用数据库、操作系统、计算、存储、网络等方面多层次全面分析,每一层都可能发生故障,不同层次发生故障可能引发相同的亚健康现象。比如说一个慢SQL,可能是磁盘故障导致的,也有可能是网络抖动引起的,但是表现上对于客户来讲都是一个慢SQL。

如果运维能力不足,我们很难在短时间内去定位和解决亚健康问题,因为它在处理过程中一般有三个挑战:

第一,无法准确预测和监控亚健康问题

这里主要涉及到多和少的问题,“少”就是在每一层上缺少对亚健康问题的监控,比如说磁盘故障了,可以很容易感知到;但如果磁盘出现了坏块或者慢盘的情况,我们就没有办法快速监控。“多”体现在我们在每一层都做了监控和告警,但告警之间是没有关联性的,很难从这些告警中识别真正发生问题的点在哪里,所以很难精确发现当前的亚健康问题。

第二,发现亚健康问题之后没有办法进行快速诊断

对于数据库内部发生的问题,往往依赖DBA经验进行诊断和决策,对运维的能力要求比较高,效率也无法保证。

第三,恢复能力不足

我们当前诊断到发生问题的根源之后需要去恢复,但恢复能力不足,比如限流、扛过载的有效能力不足,涉及数据库参数调优、烂SQL优化等需要很深的数据库能力和经验的积累。

GaussDB整体运维架构 

GaussDB是如何处理这些问题的?下面我们看一下GaussDB整体运维的架构,

GaussDB统一运维平台主要分为5个部分:

第一部分是实例运维,主要负责GaussDB集群生命周期的管理,比如创建、变更以及进行备份恢复和参数调整。

第二部分是容灾管理,主要提供流式容灾、同城容灾、两地三中心能力。

第三部分是智能运维,是GaussDB运维体系中最关键的部分,通过AI4DB的能力打造自治运维系统,主要分为以下四层:

  • 第一层是数据采集层,负责采集各层的监控数据以及上层下发的操作指令。

  • 第二层是数据计算层,负责将采集到的数据进行缓存、持久化以及数据加工,包括时序数据库、算法模型库、故障规则库等。

  • 第三层是自治服务层,包括SQL诊断调优、安全、数据库运维等能力。

  • 第四层是全景监控,包括告警监控、全量SQL等能力。

GaussDB通过构建一系列的智能运维中心,打造了全链路、端到端的自动驾驶体验。

 

GaussDB故障快速感知

  •   数据库全景监控大盘,实时感知系统运行状态 

 下面我们看一下GaussDB全景监控大盘,通过全景监控可以看出我们所维护的数据库集群哪些是正常的,哪些是异常的,哪些是存在亚健康情况的。比如查看告警统计模块,通过分析可以看出整个集群当前的告警情况,如果有紧急告警和重要告警,可以优先处理。也可以看到资源使用的风险,通过资源使用预测能力预警即将会发生哪些资源瓶颈,比如说磁盘空间不足、CPU不足,方便我们及时处理和恢复。智能诊断这块,通过分析当前数据库有哪些性能瓶颈,同时也支持自定义监控大盘,选取用户重点业务数据库,自定义重点监控指标,对重点业务进行自定义维度的保障监控。

数据库全景大盘首先要依赖全链路、全方位的监控。数据库的可观测能力对于数据库的运维十分重要,GaussDB全链路监控具备从硬件、OS、DB等分层监控,构建从采集、发送、展示、分析到巡检等全链路能力,并且打通了硬件到操作系统,到数据库整个监控链的通道。比如说硬件出现故障问题,如果在云上,硬件故障属于不同部门维护,数据库部门只能看到数据库集群,如何感知到硬件发生亚健康或者操作系统存在问题,这个时候就得联合硬件部门,打通硬件到操作系统、数据库的通知机制,如果在这层发生了亚健康问题,可以把故障信息向上通知相关的运维部门解决。

  • 全量SQL数据采集分析

接下来看一下全量SQL采集的能力。相较于传统全量SQL采集方式,即通过流量抓取或者日志方式获取全量SQL,GaussDB通过轻量化的方式构建了全量SQL的洞察。采集进程与数据库建立内存缓冲区通道,直接从内存通道里把SQL信息进行采集并转存到外部设备中,这个过程不需要发生任何磁盘IO操作,对性能影响极低。

传统的采集场景我们可能需要开启全量SQL,对业务的影响在30%左右,一般情况下,用户是不敢开启的。而GaussDB的全量SQL,可以把风险降到最低。GaussDB提供的全量SQL方案具备以下4个特点:

低风险

GaussDB通过内存方式把日志信息全部读取完再转存到第三方,对数据库性能损耗不超过5%。

 低成本

GaussDB不将全量SQL数据转存到本地IO,而是直接转存到第三方,比如说云上的OBS,并支持全量SQL的压缩,成本比较低。

高扩展

GaussDB全量SQL会默认采集部分信息,如果这些信息不满足当前的诉求,可以进行扩展。

 高安全

当需要将全量SQL转存到第三方设备上时,GaussDB在转存过程中进行了默认的数据脱敏,确保数据安全。

通过全链路监控,GaussDB支持快速自动巡检,对可用性、可靠性、性能、资源使用趋势等内容进行巡检,并输出巡检报告,由此可以查看当前存在的问题,并给出一些相应建议。所以,通过上述全链路以及自动巡检的能力,GaussDB可以做到快速感知。

 GaussDB智能诊断

下面我们看一下GaussDB在故障诊断方面有哪些能力?

1. SQL自诊断

我们基于离线+在线的方式进行SQL诊断,首先收集可能存在慢SQL的场景,包括SQL文本、SQL执行时间以及扫描行数、返回行数,并收集跟数据库、操作系统或者是资源相关的关键指标,通过业务SQL信息和关键指标信息,进行离线的训练,最终得到一个慢SQL特征库。

这个特征库有什么用呢?当我们在生产环境中遇到慢SQL问题,可以基于特征库和KNN算法进行在线推理,诊断出SQL产生的原因,然后针对根因给出一些优化建议。

2. SQL全链路分析

之前有客户反馈,平时我们的SQL执行非常快,能在一秒内返回,但是最近反馈偶现执行频繁超时。我们业务人员通过查看每一层状况,对客户端、数据库CN、DN、操作系统等进行串行分析,发现这个偶现的问题可能发生在某个分片上,这样的诊断效率非常低。

GaussDB提供的SQL全链路监控分析能力则很好地解决了这个问题。它包括全链路追踪和聚合分析两方面,通过业务SQL关键字或客户端traceID等条件查询到数据库SQLID,并追踪该SQL在数据库集群中的解析过程和执行耗时,以及每条SQL在集群中的转发、聚合情况,进而追踪到问题发生的源头。

3. 多维指标关联分析

数据库运维过程中需要对大量指标进行监控,当其中某个或多个关键指标发生异常时,运维人员需要快速准确定位到异常根因,以便决定下一步的操作。但是当指标数量很多时,筛选信息的工作量也会很庞大,因此我们需要一个高效的工具去解决这个问题。

我们知道某些数据库指标之间是存在强关联性的,通过有方向性的关联性算法,在异常发生时将同一时间段的指标进行比对,根据相关性的强弱将异常时间段内与关键指标相关的指标筛选出来。GaussDB当前支持毛刺、持续增长、漂移、周期性等场景的检测算法,可以帮助运维人员迅速定位问题,减轻运维人员的工作量,助其锁定问题的根因。

4. 趋势预测

在日常系统运维及故障处置实践中,负载的变化往往也蕴含着当前系统的亚健康及故障的影响反馈,基于传统的组件指标监控和告警,在故障异常发现的及时性上具有挑战。GaussDB通过建立对实例级关键指标的监控,基于历史数据和时序预测、异常检测等关键算法,对黄金KPI进行指标预测,发现异常信息,进而提醒用户采取措施,避免异常情况造成严重后果。

5. 索引推荐

应用开发者在对SQL进行优化的过程中,索引优化是关键的优化内容,但由于其在性能分析、优化手段等多方面存在复杂分析和实践门槛,给SQL优化带来了挑战。

索引推荐的核心方法是基于原生的词法和语法解析,对查询语句中的字句和谓词进行分析和处理,再结合字段选择度、聚合条件、多表join关系等输出最优的索引建议。GaussDB 提供索引推荐功能,给出索引推荐列表,以及每一个索引的正向和负向SQL的收益,识别当前数据库存在的冗余索引、无用索引,优化数据库查询速度。GaussDB还提供了优化器评估能力,它提供了一个虚拟索引的能力,不需要真实创建索引,通过虚拟索引评估索引推荐的结果是不是合适;通过持续对索引配置进行优化,可以解决用户的负载漂移情况,及时发现索引不优、冗余索引,以便避免故障发生。

6. SQL会话查杀

应用开发的复杂逻辑可能导致人工难以发现的逻辑问题,出现异常SQL,需要有对应手段帮助运维人员快速对异常会话进行查杀限制。GaussDB应用平台提供了一个会话管理的能力,实时会话页面支持会话统计、活跃会话、会话锁分析、会话查杀等功能,帮助运维和管理人员快速掌握实例的会话信息,管理实例会话,并高效定位数据库会话连接相关人工难以发现的逻辑问题。

7. SQL限流和自治限流

我们可以想象一个场景,在数据库正常运行过程中,某一个应用上线了一个新功能,这个新功能引入了一个超级烂SQL,导致数据库逐渐从正常对外服务状态转为资源使用逐渐升高,大量的SQL因为获取不到线程、CPU等资源而执行的速度变慢,最终导致业务异常。如果遇到异常SQL(如不优索引)、SQL并发上升等场景,会对整个数据库的可服务性影响比较大,这时我们就可以通过对SQL精准化限流的方式进行抑制,保证业务能够正常运行。

GaussDB提供的SQL限流提供了以下能力:

  • 全局快慢车道。所谓全局快慢车道,就是定义两个资源池,一个是正常资源池,我们称为快车道,快车道提供大量的资源,正常业务在快车道运行,如果出现交通事故,这里的交通事故就是指异常的SQL业务,我们可以通过页面一键将异常SQL放到慢车道中,慢车道限制了对资源的使用,这样交通事故处理完了,快车道可以继续保持高速运行。

  • 单类SQL精准管控。对于单类SQL,需要从执行时间、IO使用等角度进行精准管控,因为管控这类SQL的资源占用,可以起到紧急限流的效果。

  • 内存熔断。提供内存上下限配置,内存使用超过最大内存上限后禁止新连接接入并kill当前会话,待内存恢复到内存下限后停止kill会话并允许新连接接入。

  • SQL自治限流。提供按照一定的SQL规则,或者CPU、内存等资源使用规则,来进行SQL的自治限流能力,避免对应类别的SQL拖慢整个数据库。

今天我分享的内容主要到这里,谢谢大家! 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/78282.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

string

目录 六、STL简介 (一)什么是STL (二)STL的版本 (三)STL六大组件 七、string (一)标准库中的string 1、string类 2、string常用的接口 1)string类对象的常见构造 2)string类对象的容量操作 3)string类对象的访问及遍历操作 4)string类对象的修改操作 5)string类非成…

帧结构的串行数据接收器——Verilog实现

用Verilog 实现一个帧结构的串行数据接收器; 串行数据输入为:NRZ数据加位时钟(BCL)格式,高位在前 帧结构为:8位构成一个字,64字构成一个帧。每帧的第一个字为同步字。同步字图案存储在可由CPU读…

lnmp环境部署

linux版本:centos7 nginx版本:1.24 php版本:7.4 mysql版本:5.7 尽量yum安装,省时省力;之前有用lnmp2一键安装,但php版本会在安装后切换成一个很低的版本,原因未知。 注意事项&a…

9. xaml ComboBox控件

1.运行图像 2.运行源码 a.Xaml源码 <Grid Name="Grid1"><!--IsDropDownOpen="True" 默认就是打开的--><ComboBox x:Name="co

Spark集成hudi创建表报错

环境描述: hudi版本:0.13.1 spark版本:3.3.2 Hive版本:3.1.3 Hadoop版本:3.3.4 问题1: 描述:按照官方文档运行spark-sql创建spark的hudi表报错 建表语句: CREATE TABLE stg.spark_mor_test_01 (uuid string,name string,age int,ts …

transformer大语言模型(LLM)部署方案整理

说明 大模型的基本特征就是大&#xff0c;单机单卡部署会很慢&#xff0c;甚至显存不够用。毕竟不是谁都有H100/A100, 能有个3090就不错了。 目前已经有不少框架支持了大模型的分布式部署&#xff0c;可以并行的提高推理速度。不光可以单机多卡&#xff0c;还可以多机多卡。 …

useGetState自定义hooks解决useState 异步回调获取不到最新值

setState 的两种传参方式 1、直接传入新值 setState(options); const [state, setState] useState(0); setState(state 1); 2、传入回调函数 setState(callBack); const [state, setState] useState(0); setState((prevState) > prevState 1); // prevState 是改变之…

【网络教程】超越平凡:一文揭示SSH-keygen的神秘世界

SSH(Secure Shell)是一种网络协议,用于安全地连接到远程计算机。SSH-keygen 是 SSH 协议的一部分,用于生成、管理和转换身份验证密钥对。 SSH-keygen 命令的基本语法如下: ssh-keygen [选项]以下是 ssh-keygen 命令的一些常用选项和参数: -t:指定要生成的密钥类型。例如…

Python实现猎人猎物优化算法(HPO)优化Catboost分类模型(CatBoostClassifier算法)项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 猎人猎物优化搜索算法(Hunter–prey optimizer, HPO)是由Naruei& Keynia于2022年提出的一种最新的…

基于BLIP-2的看图问答原理及实现

大型语言模型 (LLM) 最近获得了很大的关注&#xff0c;出现了许多流行的模型&#xff0c;如 GPT、OPT、BLOOM 等。 这些模型擅长学习自然语言&#xff0c;非常适合构建聊天机器人、编码助手、决策助手或翻译系统。 然而&#xff0c;他们缺乏其他模式的知识—例如&#xff0c;他…

GIS地图服务数据可视化

GIS地图服务数据可视化 OSM&#xff08;Open Street Map&#xff0c;开放街道地图&#xff09;Bing地图&#xff08;必应地图&#xff09;Google地图&#xff08;谷歌地图&#xff09; 地图服务数据可视化是根据调用的地图服务请求Web服务器端的地图数据&#xff0c;实现地图数…

python自学

自学第一步 第一个简单的基础&#xff0c;向世界说你好 启动python 开始 print是打印输出的意思&#xff0c;就是输出引号内的内容。 标点符号必须要是英文的&#xff0c;因为他只认识英文的标点符号。 exit&#xff08;&#xff09;推出python。 我们创建一个文本文档&…

SpringBoot+MySQL+Vue前后端分离的宠物领养救助管理系统(附论文)

文章目录 项目介绍主要功能截图:后台:登录个人中心宠物用品管理宠物领养管理用户管理用户领养管理宠物挂失管理论坛管理系统管理订单管理前台首页宠物挂失论坛信息宠物资讯部分代码展示设计总结项目获取方式🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创

前端面试的话术集锦第 6 篇:高频考点(事件机制 跨域 存储机制 浏览器缓存等)

这是记录前端面试的话术集锦第六篇博文——高频考点(事件机制 & 跨域 & 存储机制 & 浏览器缓存等),我会不断更新该博文。❗❗❗ 1. ⼿写 call、apply 及 bind 函数 ⾸先从以下⼏点来考虑如何实现这⼏个函数: 不传⼊第⼀个参数,那么上下⽂默认为window 改变了…

Java 复习笔记 - 常用API 下

文章目录 一&#xff0c;JDK7以前时间相关类&#xff08;一&#xff09;Date 时间&#xff08;二&#xff09;SimpleDateFormat 格式化时间&#xff08;三&#xff09;Calendar 日历 二&#xff0c;JDK8新增时间相关类&#xff08;一&#xff09;时区、时间和格式化&#xff08…

Layui + Flask 使用(01)

Layui 是一套开源免费的 Web UI 组件库,采用自身轻量级模块化规范,遵循原生态的 HTML/CSS/JavaScript 开发模式,极易上手,拿来即用,非常适合网页界面的快速构建。在使用了很久之后,也发现了一些问题。 先说优点: layui 采用的是原生的 HTML/CSS/JavaScript 技术开发,上…

R-YOLOv7-tiny检测浸水玉米胚乳裂纹

Detecting endosperm cracks in soaked maize using μCT technology and R-YOLOv7-tiny 1、模型1.1 C3_TR module(自己提出修改)1.2 CoT block注意力1.3 GhostConv模块2、模型整体流程图3、实验采用r - yolov7微模型和μCT技术对浸水玉米胚乳裂纹进行了检测。提出的ryolov7微…

Nginx参数配置详细说明【全局、http块、server块、events块】【已亲测】

Nginx重点参数配置说明 本文包含Nginx参数配置说明全局块、http块、server块、events块共计30多个参数配置与解释&#xff0c;其中常见参数包含配置错误出现的错误日志&#xff0c;能让你更快的解决问题。 该文的所有参数大部分经过单独测试&#xff0c;错误都是自己收集出来的…

iOS开发 蓝牙功能

iOS开发蓝牙功能主要分扫描中心和外设设备 Central: 中心设备,发起蓝牙连接的设备(一般指手机)Peripheral: 外设,被蓝牙连接的设备(一般是运动手环/蓝牙模块)Service:服务,每个设备会提供服务,一个设备有很多服务Characteristic:特征,每个服务中包含很多个特征,这些特征的权限…

付费进群搭建二维码

如今&#xff0c;在互联网时代&#xff0c;群组聊天已经成为人们高效沟通和合作的重要方式。然而&#xff0c;对于一些专业团队或机构来说&#xff0c;免费的系统可能无法满足他们对安全性、稳定性和个性化功能的要求。因此&#xff0c;他们需要寻找付费的群组系统&#xff0c;…