在数据库领域是如何实现“多租户”的呢?

数据库多租技术介绍

随着云计算时代的到来,多租户的概念也逐渐广为人知。“多租户”使得租户之间可以共享物理资源,能够帮助用户节约硬件成本和运维成本,提高资源利用效率。同时,在实现的过程中,考虑到共享带来的安全、隔离等问题以及后续业务面临的扩展需求,“多租户”在隔离性和扩展性方面也进行了相应的设计实现。

那么,在数据库领域是如何实现“多租户”呢?

业界有虚拟机多租、容器多租、数据库内核多租等多种技术可以实现多租户。

虚拟机多租和容器多租,顾名思义就是在一台物理服务器上部署多个虚拟机或者容器,然后在虚拟机或者容器内进行数据库服务的部署。这类技术方案在安全性和隔离性方面具有天然的优势。

数据库内核多租,是由数据库内核提供的多租户特性。相比于虚拟机多租和容器多租,内核多租没有虚拟化管理层、OS(Operating System,简称操作系统)层、数据库公共层的额外开销,而且底噪小,在资源整合、资源的弹性伸缩等方面具备天然优势。数据库内核多租通过将数据库内核语义与成熟的资源隔离技术栈相整合,实现更高的Scale-Down(缩容)能力,极大地提升了数据库在计算资源方面的利用率。

GaussDB支持被部署在虚拟机或者容器内,给客户提供整体虚拟机/容器多租的解决方案,同时也提供了数据库内核多租特性,满足客户不同业务场景的需求。

  • 在客户资金充裕,且对资源的隔离性、可靠性等要求更高的场景下,可以选择虚拟器/容器多租方案;
  • 在客户投入有限,需要更大力度利用现有资源的场景下,可以选择GaussDB数据库内核提供的多租方案。

本文将对GaussDB数据库内核集中式场景下提供的多租技术进行重点介绍。

GaussDB多租架构

GaussDB多租是指在一个数据库实例中划分出多个逻辑处理单元,我们称这个逻辑单元为PDB(pluggable database),每个PDB具备物理数据库的绝大多数能力,同时相互隔离。

在数据库初始化时,会生成一个template pdb作PDB创建的模板。

集群内可以创建多个资源计划,每个资源计划下挂载多个plan directive,每个plan directive对应一个PDB,PDB通过plan directive配置自己的资源规格,包括CPU、内存、IO等。

1.png

图1 GaussDB多租架构

一个PDB归属于一个独立的业务或公司。独立的业务或公司可以连接到自己的PDB运行数据库业务。

GaussDB多租技术特点

1.隔离性

多租户架构的目的是为了让多用户或者多业务使用同一套数据库集群,PDB数据的隔离性是实现该架构的基础。

假设同一个公司的两个业务共享同一个数据库实例,业务A的相关数据可以被业务B查看,这是完全不可接受的行为。

GaussDB数据库的PDB之间数据完全隔离,实现租户数据完全独立、互不干扰,保障租户数据的安全隐私:

(1)每个PDB除了有自己的表、索引等对象数据,也有自己的用户、角色、表空间以及定时任务等对象。

(2)除了数据库对象,PDB的其它属性也完全隔离。比如:每个PDB有独立的兼容模式、线程组、GUC配置参数等。

2.png

图2 PDB之间数据完全隔离

PDB之间数据互相隔离,但用户业务开发并不需要感知是使用了一个PDB还是一个物理实例,对用户业务开发来说,使用PDB和使用物理实例的操作没有区别。

2.PDB粒度的资源管理

PDB资源的分配与变更由GaussDB内核接管,并不依赖任何外部组件。每个PDB可以设置自己的资源规格,包括CPU、内存以及IO。

GaussDB内核通过资源计划管理所有PDB的资源,每个资源计划包含了多个资源计划指令,每个资源计划指令设置了一个PDB的资源规格。

上层可以调用资源计划高级包接口,完成资源的分配与变更。系统中可以有多个资源计划,可以通过资源计划的切换,做到一键切换所有PDB资源规格的能力。

3.png

图3 PDB资源的变更和切换

每个PDB的资源使用由GaussDB内核中的资源管理模块管理。相较于将资源分配交由外部组件(虚拟机,容器等)管理,GaussDB通过实现数据库内核的自主资源分配,在保证租户资源按照配额公平使用的前提下,也可获得以下优势:

(1)提高资源利用率:租户间的后台工作整合,通过合理的调度算法,最大限度地利用系统空闲资源。

(2)内核感知资源分配,根据资源分配情况,动态调整CPU占比,内存大小以及线程池、连接池等资源,最终获得更优的整体表现。

(3)在物理机资源充足的情况下,PDB的资源变更通过SQL语句即可完成,实现资源秒级变更,业务无感知。

相比而言,目前云上虚拟机的规格变更耗费时间较长,需要先变更备机,然后主备倒换,然后进行其他变更操作,端到端时间约为:(虚拟机关机 + IaaS资源调度+新虚拟机开机+数据库拉起)X 数据库节点个数。

(4)内核中所有PDB公用一套系统资源,有效的减少了内核底噪的资源占用。

3.实例发放

GaussDB内核多租技术的实例发放效率领先于其他的多租技术。

以虚拟机多租为例,虚拟机实例的发放需要先申请一定规格的虚拟机,然后再部署GaussDB集群,需要消耗10-30分钟或者更多的时间。

而GaussDB内核多租技术,内核中管理了PDB的创建/打开/关闭/删除。在物理机上部署GaussDB的基础上,使用几个SQL语句即可完成这些操作,秒级时间内即可实现实例的发放。

4.GaussDB多租规格配置

GaussDB多租支持的PDB规格配置见下表:

可以看到,GaussDB支持1U(1个CPU)级别的PDB规格,而当前虚拟机多租和容器多租一般只能提供8U级别的商用规格。这是因为:

  • 数据库中通常存在很多后台任务以及运维任务,需要维护整个集群的正常运行。

以GaussDB为例,存在auto vacuum、慢/全量SQL收集等后台任务。

  • 数据库管控层的实例指标监控也需要连接到数据库收集信息。

例如TPS,QPS等。

这些任务都需要消耗CPU,故虚拟机/容器实例做到更小规格(例如2U)基本不太可能。而内核多租是在GaussDB进程中划分了多个逻辑实例,所有逻辑实例共享同一份后台任务,管控的指标监控连接一次就可以收集到所有PDB的数据,大大减少了数据库底噪,因此内核多租可以很好的支持1U逻辑实例的发放。

另外,GaussDB后续会继续优化PDB规格。比如,后续计划支持1U4G的PDB规格,以满足更多客户场景的需求。

5.支持PDB关闭

对于不需要一直运行的数据库业务,GaussDB支持关闭该业务的PDB并释放资源。关闭PDB非常简单,内核中只需要执行语句:ALTER PLUGGABLE DATABASE [pdbname] CLOSE语句即可。

PDB关闭即意味着业务无法连接到这个逻辑实例,用户可以释放PDB的CPU、内存、IO资源,对不使用的资源不计费,实现节约成本。

6.WDR报告中PDB相关增强

GaussDB在WDR(Workload Diagnosis Report 负载诊断报告)工具中适配了多租特性,可在WDR报告中查看PDB信息,以及PDB级别的SQL Statistics等性能数据视图。

(1)WDR报告中的PDB信息章节

5.png

(2)WDR报告SQL统计信息章节

如下图所示,细化的统计信息中添加了“DB Name列”,PDB归属信息会显示在该列。

6.png

(3)SQL Detail和Object Stats等章节中也添加了PDB信息,在此不一一列举。

添加了PDB信息的WDR报告,可方便DBA了解指定时间段内PDB级别的系统资源使用情况以及数据库运行情况,进行相应的运维处理。

总结

GaussDB内核提供的多租技术特性,在安全隔离的前提下,具备更高的资源利用效率,更快的实例发放效率和资源变更效率。同时将租户相关的信息集成到WDR报告中,可以提升了客户运维的便利性。因此,客户可根据自身企业的组织结构,匹配相应的多租户配置,更高效地利用现有资源,为企业节约成本。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/861465.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

three.js - matcap材质(MeshMatcapMaterial)

说一下matcap纹理 先总结:MeshMatcapMaterial材质,通过采样含有光照信息的贴图来模拟光照效果。这种材质特别适用于模拟静态光源下的光照,并且,因其简单性和快速性而被广泛应用于各种场景。但是,由于其性能考虑&#x…

系统思考—啤酒游戏经营决策沙盘

在日常的教学中,我们通过系统思考仿真演练深入探索决策背后的动因。例如,我经常教授的麻省理工学院研发的“啤酒游戏”和“人民航空策略模拟”,这些都是麻省理工MBA学生的必修课。此外,还有更简洁的“红黑游戏”“收获季节”等模拟…

ElasticSearch索引架构与存储

关于ES官网的介绍: Elasticsearch provides near real-time search and analytics for all types of data. Whether you have structured or unstructured text, numerical data, or geospatial data, Elasticsearch can efficiently store and index it in a way that support…

在低版本Excel中创建次级下拉列表

在低版本中indirect函数不支持选区,创建次级下拉列表得依靠“名称管理”给选区命名。 (笔记模板由python脚本于2024年06月26日 06:24:22创建,本篇笔记适合常用Excel处理数据的coder翻阅) 【学习的细节是欢悦的历程】 Python 官网:https://www…

mid360配置lio-sam、point-lio和faster-lio(faster-lio未敢配置)

一、使用mid360配置lio-sam 1.首先从GitHub - nkymzsy/LIO-SAM-MID360 at Livox-ros-driver2 下载能支持mid360的lio-sam版本到 ws_livox/src中,直接编译,就可以成功。 2.使用 roslaunch lio_sam run6axis.launch以及播之前我才记得Mid360的包&#x…

Redis 缓存一致性

Redis 业务结构 流程图 缓存一致性 Redis 和 MySQL 中数据保持一致 双检加锁策略 主要用于解决多线程环境下的并发问题,确保在高并发场景下对共享资源的访问是互斥的,避免因竞争条件导致的不一致状态 public User findUserById(Integer id) {User user …

idea中maven新增的配置文件xx.xml没生效问题

项目场景: 因为公司使用自己的私服下载jar,则没有使用默认的settings.xml文件。而是新增了一个settingsold.xml文件 问题描述 公司项目有用自己的私服,Maven正常去私服下载jar包是没问题的。但是一直是去找的阿里云镜像,到导致阿里云镜像找不到相关的jar包报错!!!…

前端:Nuxt2 + Vuetify2

想要开发一个网站,并且支持SEO搜索,当然离不开我们的 Nuxt ,那通过本篇文章让我们一起了解一下。如果构建一个Nuxt项目 安装 Nuxt,创建项目 安装nuxt2, 需要node v16,大家记得查看自己的node版本。构建脚…

linux 往文件中写日志函数 C语言

函数的参数:想往日志里写什么就加什么参数 改完参数记得更改sprintf()中的参数 下面代码写在日志中的格式: 时间|进程绝对路径|IP|端口|结果 void writeRecord(const char* bufTime,const char* processPath,const char* ip,const char* port,const char* ret) {char* reco…

4.Spring Context 装载过程源码分析

Spring的ApplicationContext是Spring框架中的核心接口之一,它扩展了BeanFactory接口,提供了更多的高级特性,如事件发布、国际化支持、资源访问等。ApplicationContext的装载过程是Spring框架中非常重要的一个环节。以下是ApplicationContext装…

Adam优化器:深度学习中的自适应方法

引言 在深度学习领域,优化算法是训练神经网络的核心组件之一。Adam(Adaptive Moment Estimation)优化器因其自适应学习率调整能力而受到广泛关注。本文将详细介绍Adam优化器的工作原理、实现机制以及与其他优化器相比的优势。 深度学习优化…

Linux-笔记 OverlayFS文件系统小应用 恢复功能

前言 通过另一章节 OverlayFS文件系统入门 中已经大致了解了原理,这里来实现一个小应用。通过前面介绍我们已经知道lowerdir是只读层,upperdir是可读写层,merged是合并层(挂载点),那么我们可以利用这个机…

.NET C# 使用GDAL将mdb转换gdb数据

.NET C# 使用GDAL将mdb转换gdb数据 目录 .NET C# 使用GDAL将mdb转换gdb数据1 环境2 Nuget3 Code 1 环境 VisualStudio2022 .NET6 GDAL 3.8.5 2 Nuget 3 Code FeatureExtension.cs public static class FeatureExtension {[DllImport("gdal.dll", EntryPoint &…

【权威主办|检索稳定】2024年法律、教育与社会发展国际会议 (LESD 2024)

2024年法律、教育与社会发展国际会议 (LESD 2024) International Conference on Law, Education and Social Development in 2024 【重要信息】 大会地点:成都 官网地址:http://www.iclesd.com 投稿邮箱:iclesdsub-conf.com 【注意&#xff1…

Objects and Classes (对象和类)

Objects and Classes [对象和类] 1. Procedural and Object-Oriented Programming (过程性编程和面向对象编程)2. Abstraction and Classes (抽象和类)2.1. Classes in C (C 中的类)2.2. Implementing Class Member Functions (实现类成员函数)2.3. Using Classes References O…

DOPE-PEG2000-FITC荧光特性

DOPE-PEG2000-FITC作为一种荧光标记分子,在生物医学领域应用。其荧光特性为生物成像和药物追踪提供了工具应用 FITC,作为荧光团,在受到特定波长的光激发时,能够吸收光能并转化为荧光发射。这一过程中,FITC分子从基态跃…

lombok相关注解

Accessors https://blog.csdn.net/sunnyzyq/article/details/119992746EqualsAndHashCode(callSuper false) https://blog.csdn.net/xiebeixb/article/details/105070222

Renesas MCU使用SCI_I2C驱动HS3003

目录 概述 1 软硬件介绍 1.1 软件版本信息 1.2 认识HS3003 1.2.1 HS3003特性 1.2.2 HS3003寄存器 1.2.2.1 温湿度数据寄存器 1.2.2.2 参数寄存器 1.2.2.3 一个参数配置Demo 1.2.3 温湿度值转换 1.2.4 HS3003应用电路 1.2.4.1 PIN引脚定义 1.2.4.2 sensor 应用电路 …

Django-开发一个列表页面

需求 基于ListView,创建一个列表视图,用于展示"BookInfo"表的信息要求提供分页提供对书名,作者,描述的查询功能 示例展示: 1. 数据模型 models.py class BookInfo(models.Model):titlemodels.CharField(verbose_name"书名",max_length100)authormode…

【面试系列】JavaScript 高频面试题

欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏: ⭐️ 全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题. ⭐️ AIGC时代的创新与未来:详细讲解AIGC的概念、核心技术、…