双11大考 POLARDB分钟级弹性让企业轻松扩展

POLARDB优势解读系列文章之——分钟级弹性

无处不在的脉冲计算

阿里有双11,中国有春运,高考后有分数出来的那天,歌迷心中有周杰伦演唱会门票在线开售之时。。。。有人的地方就有江湖,有人的地方也有脉冲计算,这些热点事件背后都需要大量的计算资源给予支撑,而这些突然急需的计算资源就像脉冲一样,急迫而猛烈,我们称之为脉冲计算。不仅ECS服务器,数据库也需要应对这些突如其来的脉冲波动,才能保证整个系统的平滑稳定。

存储与计算分离

我们知道POLARDB一个最大的特点是存储与计算分离,所谓分离就是计算节点(DB Engine)和存储节点(DB Store)在不同的物理服务器上,任何落地到存储设备的I/O操作均为网络I/O。可能会有人问,走网络,延迟怎么样,性能好不好?在『性价比』这篇文章中简单介绍过借助PolarFS经过网络访问PolarStore的测试效果,与本地单副本SSD几乎持平,这里就不再赘述。

POLARDB的存储与计算分离的架构,除了可以降低存储成本,保证主备数据强一致、不丢数据之外,还带来了一个巨大的优势,就是让数据库的『弹性伸缩』变得极为简单、便捷。

做数据库弹性的挑战

虽然弹性伸缩是云的一大特点,很多人也正是看上这一点,才把自己的IT系统搬迁到云上。但数据库的弹性伸缩一直都是业界难题,不同于纯粹提供计算服务的ECS,数据库要想做好弹性需要应对这些问题:

  • 首先,横向扩展难。数据库往往是业务系统的核心。数据必须流动、共享才有价值,因此在规模还不算很大的时候,数据库一般都是集中式部署,这样用起来简单,比如多个业务库的查询,一个SQL就出来了。所以,对于数据库很难通过横向增加服务器数量,达到线性的扩展能力。
  • 其次,0宕机要求。数据库的核心地位决定了一旦数据库故障,真个业务就会瘫痪。因此数据库是一定要做高可用,屏蔽任何的硬件故障,来保障业务不间断。既要保障高可用,又要做弹性伸缩,就好像在高速飞行的飞机上换引擎,难度可想而知。
  • 再次,数据比计算『重(zhong)』。数据库的本质是存数据,但数据本质上是存储在存储设备上的,当你发现存储设备I/O性能不够时,升级存储设备并不是一件容易的事。同样,假如数据和计算在同一台物理机时,这台物理机的CPU核数和主频,就决定了计算力的上限,很难扩容。

现在,当突破了存储与计算分离的性能瓶颈后,结合多节点共享同一份数据的架构设计,我们终于可以在数据库的弹性伸缩领域有了新的进展。

POLARDB的弹性优势

如上图,POLARDB是一个分层架构,从上层的代理PolarProxy提供了读写分离、SQL加速等功能,到中间的数据库引擎节点PolarDB构造了一写多读的数据库集群,再到底层的分布式存储PolarStore为上层提供多节点挂载的数据共享,每一层各司其职,共同构建了POLARDB云数据库集群。

从POLARDB产品定义上看,用户购买的节点数和规格大小(比如4核16G)指的是中间这一层PolarDB的配置,上层PolarProxy可以根据PolarDB的配置自适应调整,用户不需购买也不用关心性能和容量。底层PolarStore的容量是自动扩容,只须按照实际使用容量付费。

通常意义的扩展性,一般有纵向(Scale up)和横向(Scale out)和两种方式,纵向是指提升配置,横向是指配置不变,但增加节点。对于数据库来说,都是先纵向,比如4核不够升到8核。但终归会遇到瓶颈,一方面性能提升非线性,跟数据库引擎自身的设计和应用访问模型有关(比如MySQL的多线程设计,如果只有一个session,那么很难体现出多核的优势),另一方面,计算物理服务器配置有上限,存在天花板。因此终极手段还是横向扩展,增加节点数。

一句话概括,POLARDB横向最多可以到16个节点,纵向最高可到88核 ,存储容量动态扩展,毋须配置。

纵向扩展(升级/降级配置)

得益于存储与计算分离,我们可以单独升级或降级POLARDB数据库节点的配置,如果当前服务器资源不足,还可以快速地迁移到其他服务器,整个过程只需要5-10分钟(持续优化中),中间不需要任何的数据搬迁,只是如果涉及到跨机迁移,可能会有几十秒的连接闪断(未来,这个影响可以通过PolarProxy消除掉,升级对业务应用完全无影响)。

因为目前同一集群内的所有节点必须绑定升级,因此我们会采用非常柔和的Rolling Upgrade滚动升级的方式,通过控制升级的节奏、搭配主备切换来进一步减少不可用时间。

横向扩展(增/减节点)

由于存储是共享的,因此可以快速增加节点,而不需要任何的数据COPY。整个过程也只需要5-10分钟(持续优化中),如果是增加节点,对业务应用没有任何影响,如果是减少节点,那么仅对落到该节点执行的连接有影响,重练即可。

当增加节点之后,PolarProxy可以动态感知并自动加入到读写分离后端的读节点中,对于使用集群访问地址(读写分离地址)连接POLARDB的应用程序可以立马享受到更好的性能和吞吐。

毋须管理的存储空间

POLARDB的存储空间不需要关心,用多少付多少钱,每小时自动结算。

对于I/O能力,目前的设计是跟数据库节点的规格有关系,规格越大,IOPS和I/O吞吐量越高,在节点上对I/O有隔离和限制,避免多个数据库集群之间的I/O争抢。

本质上,数据是被保存在由大量服务器构成的存储池中,由于可靠性要求,每个数据块复制出3个副本,保存在不同机架的不同服务器上。存储池能够进行自我管理,动态扩容、平衡,避免存储碎片和数据热点。

典型场景

某位于北京的在线教育公司在云上部署了一个小学生在线答题考试系统,平时有5万到10万人在线,周末有20万,考试高峰期能达到50万到100万,数据规模500G以内。主要难点在于高用户并发访问,读写争用,I/O较高,如果一直买最高配置,成本又接受不了。通过使用POLARDB,借助快速弹性的能力,在高峰期临时增加数据库配置和集群规模,与之前的方案相比整体成本下降了70%。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520455.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue优化策略_项目上线_02

接上一篇:Vue优化策略_项目发布_01 https://gblfy.blog.csdn.net/article/details/105359879 文章目录一、通过node创建web服务器1. 创建文件夹2. 初始化包管理配置文件3. 安装express插件4. 复制vue打包后dist5. 创建app.js配置6. 运行项目并浏览器访问二、开启gzi…

深度解析双十一背后的阿里云 Redis 服务

在一片欢呼之中,2018年的双十一完美收官,各项数据不出意外的刷出了新的记录,亮眼的数据背后是阿里过硬的技术支撑。其中阿里云Redis不仅保障了阿里集团内部业务双十一的流量洪峰平稳度过,也让使用阿里云Redis的各个客户度过了一个…

oracle中prad函数_等保测评2.0:Oracle身份鉴别

一、说明本篇文章主要说一说oracle数据库中身份鉴别控制点中测评项a的相关内容和理解。二、测评项aa)应对登录的用户进行身份标识和鉴别,身份标识具有唯一性,身份鉴别信息具有复杂度要求并定期更换;三、测评项a要求1应对登录的用户进行身份标…

区块链真的会火吗?

区块链的境地如何?2019年10月25日,应该是区块链技术人以及对区块链感兴趣的人狂欢的一天,因为在那天国家领导人发表讲话,将区块链作为核心技术自主创新重要突破,随着这个新闻爆出,区块链市场炸开了锅&#…

双11奇迹背后的大数据平台,不喧哗,自有声!

00:02:05 成交额超100亿 00:57:56 成交额超666亿 01:47:26 成交额超1000亿 15:49:39 成交额超1682亿 22:28:37 成交额超2000亿 2018年双11新纪录2135亿 高速跳转的数字,不断刷新的状态,光缆中狂奔的代码,键盘上飞舞的手指… 新的记录 绝非十…

阿里云推PostgreSQL 10 高可用版

2015年,阿里云宣布正式推出RDS for PostgreSQL服务,届时,阿里云成为国内首家同时支持MySQL、SQL Server 和PostgreSQL关系型数据库的云计算服务商。 用户在云上就能享受PostgreSQL引擎带来的对SQL标准和NoSQL的高度兼容、强大的处理复杂查询能力、以及丰…

百度万亿流量的转发引擎BFE开源了!华为折叠屏曝光,采用传统翻盖式手机折叠方案;微软将关闭安卓iOS平台Cortana……...

关注并标星星CSDN云计算 速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周两次,打卡即read更快、更全了解泛云圈精彩newsgo go goOPPO Realme 5s(图片来源网络&#xf…

《TableStore最佳实践:GEO索引打造店铺搜索系统》

一、方案背景 对于一套GEO管理系统,其核心点与瓶颈在于数据库的存储性能与查询能力;一方面,存储服务需要应对海量数据的低延迟存、读,另一方面,存储服务也要提供高效的GEO多维度数据检索。表格存储(TableS…

单一窗口关区备案_深圳跨境电商企业进出口备案,赶紧码下学习

小编君抽空为大家梳理了深圳跨境企业各项出口资质及需要的材料,如下:1工商局营业执照经营范围的变更,税务局办理经营范围变更公司经营范围上如果没有“进出口”或“货物及技术进出口”字样,就得先变更经营范围。如果公司在注册时已…

《TableStore最佳实践:轻松实现轨迹管理与地理围栏》

一、方案背景 轨迹管理系统日常生活中使用非常普遍,如外卖派送轨迹、快递物流流转、车辆定位轨迹等。该场景与地理位置管理类似,核心点与瓶颈都在数据库的存储性能与查询能力,同时需要时间字段正序排列,保证轨迹点顺序&#xff1…

蚂蚁金服、微众银行、度小满都来了,智能金融将何去何从?(文末福利)

(大会官网 https://t.csdnimg.cn/U1wA)金融业是一个数据堆砌起来的行业,有客户信息、风险控制数据、交易数据等等,如果这些数据没有被有效的管理和分析,会增加企业的经营风险和降低企业的盈利能力。但有了云计算与人工…

RuoYi-Vue 部署 Linux环境 若依前后端分离项目(jar包+nginx 单机版本)

文章目录一、软件安装部署1. 安装jdk2. mysql8安装部署3. redis安装4. nginx 安装部署5. 克隆项目二、后端项目2.1. 修改数据库连接2.2. 修改Redis连接信息2.3. 文件路径2.4. 日志存储路径调整2.5. 编译打包三、前端项目3.1. 安装依赖3.2. 构建生产环境四、项目部署4.1.创建目录…

五子棋项目结束总结_居家活动系列总结

刚开始一直待家里真的好无聊......不过后来电气学院举办了一系列线上活动,在家里也能参与!我们一起来看看吧!厨艺比赛2020年3月2日-3月6日,为了鼓励大家好好利用假期时间,享受生活。电气工程学院学生会举办“厨艺分享”…

4K超清,2500万人在线,猫晚直播技术全解读

2018天猫双11已经过去一周,各路快递也在快马加鞭送到大家手中。但对于剁手党而言,天猫双11也不仅仅是简单意义上的“买买买”,更是一场边看边玩的狂欢盛宴。 作为双11的必备节目,今年的猫晚通过优酷、浙江卫视、东方卫视进行了全…

shell取当前月份第一天_红帽认证8.0版本即将发布!Ansible和shell脚本自动化将重点考察...

红帽厂商官方通知,红帽RHCE考试(包含EX200和EX300两门)版本7的截止时间是:2020年4月30日。 即2020年5月份之后将停止版本7的考试,包括正考和补考。RHCE版本7中包含EX200(v7)和EX300(…

阿里云重磅发布RDS for SQL Server AlwaysOn集群版

2018年双十一刚过,阿里云数据库发布RDS for SQL Server AlwaysOn集群版,这是业界除微软云SQL Database外,首家云计算公司基于SQL Server最新AlwaysOn核心技术实现的数据库集群版,并且是经过双十一检验的商业化版本。 全形态的产品…

Linux Shell脚本_设置时区并同步时间

① 脚本编写 vim autoSyncTime.sh脚本内容: ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime if ! crontab -l |grep ntpdate &>/dev/null ; then(echo "* 1 * * * ntpdate ntp1.aliyun.com >/dev/null 2>&1";hwclock -w;cro…

“12306”的架构到底有多6?

戳蓝字“CSDN云计算”关注我们哦!作者 | 绘你一世倾城责编 | 阿秃每到节假日期间,一二线城市返乡、外出游玩的人们几乎都面临着一个问题:抢火车票!12306 抢票,极限并发带来的思考虽然现在大多数情况下都能订到票&…

【阿里云总监课第四期】时髦的云原生应用怎么写?

概述 应用已经跨入了云原生的时代。要写一个时髦的云原生应用,首先当然要了解什么是云原生。CNCF,也就是云原生计算基金会,作为目前人气最旺的云计算行业协会,在今年6月份给出了云原生的定义,阿里云牵头做了一个官方的…

信号扫描_图文并茂,一文读懂信号源

信号源是四大通用电子测量仪器之一,其他三种是:网络分析仪,频谱分析仪和示波器。这篇介绍信号源所涉及的相关基础知识。信号源的最常用的功能是用来产生一个正弦波,所以先从介绍正弦波的特征开始本篇文章。一、正弦波的信号特性通…