双十一高并发场景背后的数据库RDS技术揭秘

【战报】11月11日聚石塔(阿里云数据库RDS产品形态)峰值QPS突破X00w,Proxy 峰值QPS超过X00w。

双十一就要来了,全世界都为其疯狂,但是在双十一抢购中经常会出现几万人抢一个红包或者很多人共同购买一个商品的情况,这就引发了一个数据库比较担心的场景----高并发。作为历届双十一重要保障之一的云数据库RDS部门,从参数优化、链路访问、弹性扩容、架构设计等方面应对高并发场景(如秒杀、百万人抢单等),保障双十一顺利进行。那么背后的技术是如何实现的呢?本文,将带您展开双十一阿里云RDS数据库背后技术的小秘密。

参数优化
在处理“高并发”场景的时候,一些特定的数据库参数就成为能否保障数据快速响应和平顺处理“高并发”问题,就成了关键,如下列出了几个特别重要的参数:
•loose_rds_max_tmp_disk_space:控制MySQL能够使用的临时文件的大小;
•loose_rds_threads_running_high_watermark:控制MySQL并发的查询数目,常用于秒杀
•loose_tokudb_buffer_pool_ratio:控制TokuDB引擎能够使用的buffer内存大小
•loose_max_statement_time:控制查询在MySQL的最长执行时间

举例说明,秒杀场景下的参数设置与影响:
loose_rds_threads_running_high_watermark


是“秒杀”场景开始的时候,可以看到连接数成指数级变化,瞬间增加了10倍

调整参数之前,可以看到RUN数量非常高,会导致数据库报警

调整参数之后,update数值与run数值承更好的方向变化

链路访问
在链路访问方面,我们提供更高安全性的数据库代理访问模式,用户可以根据需要随时开启或关闭。数据库代理的规格大小由RDS系统自动管理,可以在保证租户间资源隔离的前提下,根据负载大小自适应调节。数据库代理对应用透明无感知,也无需人工干预,大大降低了运维成本。
如下图所示

数据库代理位于应用程序(Client)和数据库引擎(Database Engine)中间,由RDS系统自动进行维护,所有的数据库请求(Request)和响应(Response)均从代理层经过和处理。

目前,数据库代理支持如下功能:数据库代理支持以下功能:
• 透明切换:RDS实例在发生故障、规格升级或降级时,数据库代理可以使实例切换更加柔和,降低对应用的影响。
• 读写分离:提供透明的读写分离功能,应用层无需修改代码,查询分发到RDS只读实例,降低主库的负载。

• 短连接优化:突发高并发的短连接(常见于PHP应用)在代理层进行缓冲,减轻对DB层的冲击,降低RDS的CPU负载和CPS(每秒新建连接数),保障数据库运行稳定。
• 防暴力破解:保护RDS实例账号密码,规避账号密码被暴力破解。

弹性扩容
在扩容升级的过程中,主要分为两种情况:本机升级和跨机升级


本机升级


跨机升级,还要做备份数据和日志的迁移工作

扩容升级的常见问题

  1. 为什么有时候升级需要很长时间?
    可能发生了跨机迁移,迁移时间受限于数据库大小以及系统压力
  2. 可用区迁移,数据库版本升级为什么耗时较长?
    这两者迁移都会发生跨机迁移
  3. 空间升级为什么非常快?
    空间升级不用重启迁移数据库
  4. 选择弹性扩容的时间
    建议在业务低峰期,最近一次备份任务完成后进行升级

架构设计
为了应对日渐增长的双十一购买数据量和仓储数据量,RDS也对各个支持的数据库进行了新的架构设计。
如下表,引擎选择方面:ApsaraDB for RDS,当前支持4款关系型引擎,提供容灾、备份、恢复、监控等方面的全套解决方案


RDS自带的读写分离,让用户使用更方便:

另外,安全问题也一直是商家和用户最关心的问题,在疯狂的‘剁手’中,您一定不想您的商品信息或者购买信息有安全披露,对于这个问题,RDS在安全方面也做了多重保护和设计:

除了以上几点,RDS团队还对数据库的性能等进行了重新的优化,让商家和购买者在抢购中完全不用担心数据库的性能和安全问题,无忧无虑的‘剁手’,尽情享受双十一盛会!


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520460.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue优化策略_项目发布_01

文章目录一、移除console 策略1. 命令1.1. 插件官网:1.2. 安装babel-plugin-transform-remove-console1.3. 在babel.config.js或者.babelrc文件中配置2. 图形化(推荐使用)2.1. 在线图形化安装插件2.2. 在babel.config.js或者.babelrc文件中配置二、生成打包报告1. 通…

双十一流量洪峰 支撑阿里核心业务的云数据库揭秘

背景介绍 今年双十一又有新纪录刷新,21秒成交额超10亿,数据瞬间膨胀到PB级,包裹数亿级,严苛的指标对数据库产品提出了更严格的需求。HybridDB作为阿里云自研的HTAP数据库经受住了流量洪峰的考验,顺利的完成了2019年双…

乘法原理的例题和答案_吃透高考数学17个必考题型,基础再差也能考130!(内附解题技巧+例题解析)...

2019高考数学难度比例为7:2:1,也就是说80%都是基础题。然而数学却是高考中最拉分的。90%的学生都缺少一套科学,高效的提分方法,尤其到了冲刺阶段!为此,我们为大家整理了高考数学历年17个必考题型…

为何“爱辞职”成为了90后的又一标签?

戳蓝字“CSDN云计算”关注我们哦!作者 | AlfredWu责编 | 阿秃金三银四金九银十,又到了每年的秋招时节。在各企业HR狂刷简历企图招贤纳士的同时,内部年轻员工心中实则也暗流涌动:他们有些已提交了辞呈,有些在骑驴找马物…

双11大考 POLARDB分钟级弹性让企业轻松扩展

POLARDB优势解读系列文章之——分钟级弹性 无处不在的脉冲计算 阿里有双11,中国有春运,高考后有分数出来的那天,歌迷心中有周杰伦演唱会门票在线开售之时。。。。有人的地方就有江湖,有人的地方也有脉冲计算,这些热点…

Vue优化策略_项目上线_02

接上一篇:Vue优化策略_项目发布_01 https://gblfy.blog.csdn.net/article/details/105359879 文章目录一、通过node创建web服务器1. 创建文件夹2. 初始化包管理配置文件3. 安装express插件4. 复制vue打包后dist5. 创建app.js配置6. 运行项目并浏览器访问二、开启gzi…

深度解析双十一背后的阿里云 Redis 服务

在一片欢呼之中,2018年的双十一完美收官,各项数据不出意外的刷出了新的记录,亮眼的数据背后是阿里过硬的技术支撑。其中阿里云Redis不仅保障了阿里集团内部业务双十一的流量洪峰平稳度过,也让使用阿里云Redis的各个客户度过了一个…

oracle中prad函数_等保测评2.0:Oracle身份鉴别

一、说明本篇文章主要说一说oracle数据库中身份鉴别控制点中测评项a的相关内容和理解。二、测评项aa)应对登录的用户进行身份标识和鉴别,身份标识具有唯一性,身份鉴别信息具有复杂度要求并定期更换;三、测评项a要求1应对登录的用户进行身份标…

区块链真的会火吗?

区块链的境地如何?2019年10月25日,应该是区块链技术人以及对区块链感兴趣的人狂欢的一天,因为在那天国家领导人发表讲话,将区块链作为核心技术自主创新重要突破,随着这个新闻爆出,区块链市场炸开了锅&#…

双11奇迹背后的大数据平台,不喧哗,自有声!

00:02:05 成交额超100亿 00:57:56 成交额超666亿 01:47:26 成交额超1000亿 15:49:39 成交额超1682亿 22:28:37 成交额超2000亿 2018年双11新纪录2135亿 高速跳转的数字,不断刷新的状态,光缆中狂奔的代码,键盘上飞舞的手指… 新的记录 绝非十…

阿里云推PostgreSQL 10 高可用版

2015年,阿里云宣布正式推出RDS for PostgreSQL服务,届时,阿里云成为国内首家同时支持MySQL、SQL Server 和PostgreSQL关系型数据库的云计算服务商。 用户在云上就能享受PostgreSQL引擎带来的对SQL标准和NoSQL的高度兼容、强大的处理复杂查询能力、以及丰…

百度万亿流量的转发引擎BFE开源了!华为折叠屏曝光,采用传统翻盖式手机折叠方案;微软将关闭安卓iOS平台Cortana……...

关注并标星星CSDN云计算 速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周两次,打卡即read更快、更全了解泛云圈精彩newsgo go goOPPO Realme 5s(图片来源网络&#xf…

《TableStore最佳实践:GEO索引打造店铺搜索系统》

一、方案背景 对于一套GEO管理系统,其核心点与瓶颈在于数据库的存储性能与查询能力;一方面,存储服务需要应对海量数据的低延迟存、读,另一方面,存储服务也要提供高效的GEO多维度数据检索。表格存储(TableS…

单一窗口关区备案_深圳跨境电商企业进出口备案,赶紧码下学习

小编君抽空为大家梳理了深圳跨境企业各项出口资质及需要的材料,如下:1工商局营业执照经营范围的变更,税务局办理经营范围变更公司经营范围上如果没有“进出口”或“货物及技术进出口”字样,就得先变更经营范围。如果公司在注册时已…

《TableStore最佳实践:轻松实现轨迹管理与地理围栏》

一、方案背景 轨迹管理系统日常生活中使用非常普遍,如外卖派送轨迹、快递物流流转、车辆定位轨迹等。该场景与地理位置管理类似,核心点与瓶颈都在数据库的存储性能与查询能力,同时需要时间字段正序排列,保证轨迹点顺序&#xff1…

蚂蚁金服、微众银行、度小满都来了,智能金融将何去何从?(文末福利)

(大会官网 https://t.csdnimg.cn/U1wA)金融业是一个数据堆砌起来的行业,有客户信息、风险控制数据、交易数据等等,如果这些数据没有被有效的管理和分析,会增加企业的经营风险和降低企业的盈利能力。但有了云计算与人工…

RuoYi-Vue 部署 Linux环境 若依前后端分离项目(jar包+nginx 单机版本)

文章目录一、软件安装部署1. 安装jdk2. mysql8安装部署3. redis安装4. nginx 安装部署5. 克隆项目二、后端项目2.1. 修改数据库连接2.2. 修改Redis连接信息2.3. 文件路径2.4. 日志存储路径调整2.5. 编译打包三、前端项目3.1. 安装依赖3.2. 构建生产环境四、项目部署4.1.创建目录…

五子棋项目结束总结_居家活动系列总结

刚开始一直待家里真的好无聊......不过后来电气学院举办了一系列线上活动,在家里也能参与!我们一起来看看吧!厨艺比赛2020年3月2日-3月6日,为了鼓励大家好好利用假期时间,享受生活。电气工程学院学生会举办“厨艺分享”…

4K超清,2500万人在线,猫晚直播技术全解读

2018天猫双11已经过去一周,各路快递也在快马加鞭送到大家手中。但对于剁手党而言,天猫双11也不仅仅是简单意义上的“买买买”,更是一场边看边玩的狂欢盛宴。 作为双11的必备节目,今年的猫晚通过优酷、浙江卫视、东方卫视进行了全…

shell取当前月份第一天_红帽认证8.0版本即将发布!Ansible和shell脚本自动化将重点考察...

红帽厂商官方通知,红帽RHCE考试(包含EX200和EX300两门)版本7的截止时间是:2020年4月30日。 即2020年5月份之后将停止版本7的考试,包括正考和补考。RHCE版本7中包含EX200(v7)和EX300(…