MySQL 集群方案介绍


  mysql集群方案这里介绍2种,PXC 和 Replication。

大型互联网程序用户群体庞大,所以架构设计单节点数据库已经无法满足需求。大家也深有体会,有一万人在学校网站查成绩或是选课的时候网站时常是访问不了或者相应特别特别慢。这种情况就凸显出来单机单节点上性能的不足。无论你使用什么样的数据库免费的或者付费的单机单节点都是无法承受某个点上面的并发的,另外一方面就是数据库没有做冗余设计。这时候我们就需要做集群和冗余保证数据库的高可用和高性能提升用户体验。


    下面我们先来用一组数据来做数据库单节点压力测试:

 1.使用5000个用户做5000次查询,平均下拉每个用户查询一次。

640?wx_fmt=png

我们看到系统结果显示5000次并发的话执行的时间是 7.671秒,以上5000并发来讲的话数据库发挥还是比较正常的没有出现崩溃宕机。

2.下面我们把5000次并发和查询次数都增大1倍改成10000看看会出现什么情况。

640?wx_fmt=png

640?wx_fmt=png

如上当并发为10000的时候系统提示 没有那么多的连接应对并发的访问,系统拒绝了很多请求。最终执行的结果是48.547秒,这并不是说系统执行了我们所有的请求,它只是执行了一部分用了48秒。那么我们如果在网站上使用单机单节点的部署只要有1000并发访问那么系统马上崩溃!这还仅仅是1000个用户,那么对于搞电商的同学如何来应对运营的秒杀 促销活动?所以对于我们晨光这样的大公司在做数据库设计的时候一定采用集群集群集群这样的方案。

接下来我们介绍一下晨光科力普数据库集群是如何去设计搭建以及如何进化的。

1.PXC方案

640?wx_fmt=png

我们先是采用目前最主流的PXC方案把数据库集群在一起。PXC它最大的特性就是读写强一致并且每个节点都是可以作为读写的入口,这种方案的好处就是我们无论在任何一个节点写入数据那么其他的库肯定会同步到这条数据,绝对绝对不会出现说在A库上面写数据然后B库查不到这种假设。

我们使用 haproxy 负载均衡中间件,当HA接收到一个增删改查的请求时他会把你的sql语句路由分发到不同的PXC节点让他们去分别执行。

那么你以为这样的设计就Ok了?我告诉你这样是远远不够的,我们知道mysql有一个性能瓶颈就是单表数据超过2000W 那么它的性能会急剧下降,所以我们在操作的时候要尽量避免单表存储的数据超过2000W。

那么这时候我们就要涉及到另外一个概念 数据切分所以数据切分我们还是采用同样的PXC集群方案如下图:

640?wx_fmt=png

这里我们使用MyCat做数据切分,MyCat是阿里开源的一个mysql数据切分中间件,支持 离散分片(枚举,程序指定分区,十进制求模,字符串hash,一致hash)和 连续分片(自定义数字范围,按日期分,按单月小时,按自然月分)等mysql数据库分片策略。

这里有个术语叫做分片,例如上图中 集群1是一个分片区 集群2 就是另外一个分片区。

我们在执行一个Insert sql语句的时候mycat就可以根据指定的策略来存储我们的数据,例如按照月份把 1月 3月 5月的数据存储到集群1中 其他月份的存储在集群2中。

采用这种方案我们就避免了mysql单表的性能瓶颈,如果2个集群不够就在加集群,使劲加加ok。纵览全局这样才是一个比较好的mysql集群方案,但是。这样还没有完,PXC集群方案是以牺性能为代价的,所以才保证了数据库的强一致性,所以你的pxc数据库越多性能就会越低,接下来我介绍另外一种集群方案Replication。

2.Replication方案介绍

640?wx_fmt=png

Replication这种方案不会牺牲性能,但是有个问题就是非强一致性,例如你在DB1中写入数据可能会因为网络抖动在DB2中查询不到数据,这时候客户端接收到的状态是已经操作成功。另外有一点是这种集群方案只能在一个节点中做写入操作,因为他的底层同步原理是单向同步的。

这种方案我们也会有mysql单表2000W数据瓶颈,我们也要做数据的切分,这里也会用mycat这个中间件来做数据切分,如下图:

640?wx_fmt=png

 以上2种方案,一种是数据强一致性,一种是非强一致性,强一致性的话可以用来保存一些有价值的数据例如订单,支付等,非强一致性方案可以用来保存用户的操作或者用户行为浏览等数据。一个大型系统中单采用某一种方案是不够的。下面我们演进为2种方案结合使用如下图。

640?wx_fmt=png


我们可以根据不同的业务和数据等级让MyCat来分片决定要把数据落到哪个库上!


3. PXC介绍

640?wx_fmt=png

    PXC 全称 Percona XtraDB Cluster,它是基于mysql自带的一种集群技术 Galera做的改进来实现的一种数据库集群方案,它有一个很明显的特点就是任何节点都是可读写的,都可以被充当主节点来使用的。

并且他是数据强一致性的只要在任何一个节点种写入数据其他的节点种肯定会同步到这条数据的。 


PXC原理:

我们使用UML图来介绍一下PXC的执行过程。

640?wx_fmt=png


这里我们用PXC中3个DB节点来介绍其原理,分别是DB1 DB3 和DB3, 数据的同步使用PXC。

先从clent说起 clent在执行insert del up 的时候,正常db1会给我们返回执行的结果,如果我们不提交事务的话是不能持久化到数据库中的。我们想要真实的持久化就必须要提交事务。这里在提交事务的时候不仅仅要在当前节点里面持久化数据还要在其他节点持久化数据毕竟我们是在pxc环境中操作的。

首先在提交事务的时候,db1会把数据传递给pxc, pxc会复制当前节点的数据 然后分发给DB2 和DB3,分发后要做的就是持久化这些数据。

事务的执行操作在pxc中会生产一个GTID编号,然后由db2 和db3去分别执行这个事务,每个db执行完成后会把结果返回给db1,然后db1收到其他db的执行结果后在本地也执行一下GTID的这个事务db1执行完成后没问题问题的话最终会把执行的结果返回给客户端。

通过这个时序图我们可以知道在pxc中的数据强一致,肯定是所有的数据库中的数据都是一致的。


4: pxc与replication 方案优劣:

   pxc 采用的是同步复制,事务在所有集群中要么全提交要么不提交,保证了数据的一致性。它写入数据速度慢

  replication 采用的是异步复制,无法保证数据的一致性。它写入数据速度快。

这2种方案仅仅是都实现了数据的同步,没有数据切分功能。


5:pxc与replication 方案组合:

   pxc方案存储高价值数据 如:账户 订单 交易数据等。。

   replication 方案存储低价值数据:如 通知 日志 等。。

   用其他的中间件如mycat来切分数据管理集群。



如果你觉得所有收获请多多支持。


640?wx_fmt=png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/317110.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ML.NET案例详解:在.NET下使用机器学习API实现化学分子式数据格式的判定

半年前写过一篇类似的文章,题目是:《在.NET中使用机器学习API(ML.NET)实现化学分子式数据格式的判定》,在该文中,我介绍了化学分子式数据格式的基本知识,同时给出了一个案例,展示了如…

数据结构之线段树合并——永无乡,Lomsat gelral,Tree Rotations,Tree Rotations Escape Through Leaf

文章目录[HNOI2012]永无乡Lomsat gelral「POI2011 R2 Day2」旋转树木 Tree RotationsEscape Through Leaf线段树合并与 fhq-treap合并很类似,也是将两个不同根的线段树暴力合并至于时间复杂度,线段树合并一次是可以达到O(n)O(n)O(n)的,但是大…

吉特仓储管理系统--开源2018年源码

应该说今天过完,这个年就算真正意义上的过完了,没有想到的是又是在出差的路上写这样的文章。废话也不多说,写这篇文章主要的目的是想将去年吉特仓储管理系统开发的一个版本源代码开放出来,供各位开发者阅读使用。github 源代码地址…

自定义Visual Studio.net Extensions 开发符合ABP vnext框架代码生成插件[附源码]

介绍我很早之前一直在做mvc5 scaffolder的开发功能做的已经非常完善,使用代码对mvc5的项目开发效率确实能成倍的提高,就算是刚进团队的新成员也能很快上手,如果你感兴趣 可以参考 http://neozhu.github.io/MVC5-Scaffolder/#/ https://github.com/neozhu/MVC5-Scaffolder但是m…

洛谷P1650:田忌赛马(贪心)

解析 其实并不简单的一道题。 是刘汝佳老师的例题,搜到之后按照讲的策略写了一发。 (由于这个策略并不完全正确,就不展开讲了) 好啊! 可是感觉讲的策略特别对,为什么呢? 原因在于&#xff0…

EFCore Lazy Loading + Inheritance = 干净的数据表 (二)

前言本篇是上一篇EFCore Lazy Loading Inheritance 干净的数据表 (一) 【献给处女座的DB First程序猿】 前菜 的续篇。这一篇才是真的为处女座的DB First程序猿准备的正餐。继续上一篇的话题,我们希望用EFCore,且继续使用与逻辑…

我们为什么要搞长沙.NET技术社区?

某种意义上讲,长沙和中国大部分内地城市一样,都是互联网时代的灯下黑。没有真正意义上的互联网公司,例如最近发布的中国互联网企业一百强中没有一家湖南或者长沙的公司就是明证。然而长沙并非没有互联网人,在麓谷几十万计的IT 从业…

在ASP.NET Core中使用EPPlus导入出Excel文件

这篇文章说明了如何使用EPPlus在ASP.NET Core中导入和导出.xls/.xlsx文件(Excel)。在考虑使用.NET处理excel时,我们总是寻找第三方库或组件。使用Open Office Xml格式(xlsx)读取和写入Excel 2007/2010文件的最流行的.n…

月旦评 之 DevOps招贤令2019 - 没有人比我们更懂DevOps

公元164-182年间,汝南平舆的许氏兄弟于每月初一品评人物,褒贬时政,被称为“月旦评”。所谓“子治世之能臣,乱世之奸雄也”这句许邵评价曹操的话也是来自于“月旦评”;时间一下子来到了2019年,DevOps招贤令再…

HDU - 2204 Eddy‘s爱好(尚未完全解决)

HDU - 2204 Eddy’s爱好 题意: 给你一个正整数N,确定在1到N之间有多少个可以表示成M^K(K>1)的数 题解: 参考题解: 我们先举例找找规律 1~10以内2的次方有多少个?有121,224,329,一共三个,…

EF Core中避免贫血模型的三种行之有效的方法(翻译)

[Paul Hiles: 3 ways to avoid an anemic domain model in EF Core :https://www.devtrends.co.uk/blog/3-ways-to-avoid-an-anemic-domain-model-in-ef-core]1.引言在使用ORM中(比如Entity Framework)贫血领域模型十分常见 。本篇文章将先探…

Saving Beans HDU - 3037(卢卡斯定理)

Saving Beans HDU - 3037(卢卡斯定理) 题意: 他们想知道有多少种方法可以在n树中保存不超过m个bean(它们是相同的)。 现在他们求助于你,你应该给他们答案。 结果可能非常巨大; 你应该输出模p的结果&…

我们为什么要搞长沙.NET技术社区(三)

我们为什么要搞长沙.NET技术社区(三) 小饭局搞事情先从饭局开始是中华民族的优良传统。昨天晚餐时间,长沙 .net 技术社区的主要发起人员进行了一番小聚,同时也作为一个非正式会议,对社区发展进行了探讨。从介绍自己对于…

【招聘(北京)】北森测评招聘 .NET 架构师、高级工程师

工作职责公司核心产品的迭代需求分析设计开发。公司核心产品的线上维护和性能调优。对初中级技术人员培养和质量把关。编写软件设计和技术文档。任职资格为人正直、诚信、责任心强,能承受较大工作压力。强烈的目标导向意识,逻辑思维清晰,执行…

网络流模型与技巧总结

文章目录前言常见基本模型最大匹配、最小点覆盖和最大独立集构造最小点覆盖最大点权匹配最小路径覆盖不可重覆盖可重覆盖最大权闭合子图建图技巧利用拆点进行限流利用断边表示决策利用虚点表示组合关系链状模型用链表示时间轴用链表示偏序关系形式的选取限制通过拆点描述先后顺…

卢卡斯定理 Lucas

参考文章 详细定义内容看这个参考文章 结论: 模板: Lucas函数: long long Lucas(long long n,long long m){if(m0) return 1;return Lucas(n/p,m/p)*C(n%p,m%p)%p; }组合数函数: 此处求逆元的用的bp-2 long long C(long long…

VS 2019 要来了,是时候了解一下 C# 8.0 新功能

近日,微软发布了 Visual Studio 2019 的发布日期,2019 年 4 月 2 日 Visual Studio 2019 将正式和大家见面,同时微软还将提供发布现场实时直播。除了 Visual Studio 2019 自身之外,VS 2019 的发布还牵动着很多 C# 开发者的心。虽然…

[蓝桥杯2020国赛]游园安排

题目: 题解: 本质就是求最长上升子序列,只不过这里是字符串版本的,我们都知道有n^2的LIS,但其实还有O(nlogn)版本的,详细看这里,套上就行 另外我发现这里竟然有蓝桥杯全套的编程题离谱&#xf…

重新解读DDD领域驱动设计(一)

回顾十年前,还未踏入某校时,便听闻某学长一毕业就入职北京某公司,月薪过万。对于一个名不见经传的小学院,一毕业能拿到这个薪水还是非常厉害的。听闻他学生期间参与开发了一款股票软件,股票那时正迎来一波疯涨。时也运…

程序员修神之路--高并发优雅的做限流(有福利)

点击上方蓝色字体,关注我们菜菜哥,有时间吗?YY妹,什么事?我最近的任务是做个小的秒杀活动,我怕把后端接口压垮,X总说这可关系到公司的存亡简单呀,你就做个限流呗这个没做过呀&#x…