mysql 集群 qps_MySQL Cluster:如何通过扩展为MySQL带来2亿QPS

55351097_1.jpg

本篇文章的目的在于介绍MySQL Cluster——也就是MySQL的一套内存内、实时、可扩展且具备高可用性的版本。在解决标题中所提到的每秒2亿查询处理能力问题之前,我们先对MySQL集群的背景信息及其架构进行一番回顾,这将有助于大家理解上述目标的实现过程。

MySQL Cluster介绍

MySQL Cluster是一套具备可扩展能力、实时、内存内且符合ACID要求的事务型数据库,其将99.999%高可用性与低廉的开源总体拥有成本相结合。在设计思路方面,MySQL Cluster采用一套分布式多主架构并借此彻底消灭了单点故障问题。MySQL Cluster能够横向扩展至商用硬件之上,能够通过自动分区以承载读取与写入敏感型工作负载,并可通过SQL与NoSQL接口实现访问。

作为一套最初被设计为嵌入式电信数据库、用于实现内网应用运营商级可用性及实时性能的解决方案,MySQL Cluster已经通过众多新型功能集的强化而得到快速发展,从而将用例范围扩展到Web、移动以及企业级应用程序等部署在内部或者云环境下的实例当中,具体包括:大规模OLTP(实时分析)电子商务、库存管理、购物车、支付处理、订单追踪、在线游戏、金融交易与欺诈检测、移动与微支付、会话管理与缓存、数据流供应、分析与建议、内容管理与交付、通信与呈现服务、订阅/用户配置管理与补贴等等。

MySQL Cluster架构概述

在面向应用程序的事务流程背后,存在着三种负责将服务交付至应用程序的节点类型。下图所示为一套简单的示例型MySQL Cluster架构,其由十二套被划分为六个节点组的Data Node构成。

55351097_2.jpg

Data Node属于MySQL Cluster当中的主节点。它们负责提供以下功能:内存内与基于磁盘数据的存储与管理、表的自动化与用户定义型划分(即分区)、在不同数据节点间进行数据副本同步、事务与数据检查、自动故障转移以及用于实现自我修复的故障后自动重新同步。

各种表会在多个数据节点当中进行自动分区,而且每个数据节点作为一个写入操作的接收主体,这就使其能够轻松将写入敏感型工作负载分布至多个商用节点之上,同时保证应用程序的完全透明化。

通过将数据保存并分发至一套无共享架构——也就是不使用任何共享磁盘——当中,并至少为数据同步至一套副本内,MySQL Cluster能够保证在单一Data Node出现故障时、用户至少还拥有另一个存储有相同信息的Data Node。如此一来,请求与事务处理流程将以无中断方式继续提供令人满意的运作效果。任何由于Data Node故障所引发的短暂故障转移窗口(时间在秒以下)而无法正常完成的事务流程都将被回滚并重新执行。

我们可以为数据选择存储方式,包括全部保存在内存内或者将一部分数据只在在磁盘之上(仅限于非索引数据)。内存内存储对于那些需要经常进行变更的数据(也就是活跃工作组)而言意义重大。保存在内存内的数据会定期进行指向本地磁盘的检查,并与全部Data Node进行协调,这样MySQL Cluster就能够在整体系统发生故障时——例如供电中断——得以全面恢复。基于磁盘的数据能够被用于存储对性能要求较低的数据,而这类数据集往往大于可用内存空间。正如其它大部分数据库服务器一样,MySQL Cluster会利用页面缓存机制将基于磁盘且访问频率较高的数据缓存在Data Node的内存当中,从而增加其实际性能表现。

Application Node负责提供由应用程序逻辑到数据节点的连接。应用程序可以利用SQL访问该数据库,具体而言通过一台或者多台MySQL服务器向处于同一套MySQL Cluster内的存储数据执行SQL接口功能。在MySQL Server当中,我们可以使用任何一种标准化MySQL连接机制,这意味着大家拥有非常丰富的访问技术可供选择。另外,一套名为NDB API的高性能(基于C++)接口可被用于实现附加控制、改善实时行为并带来更理想的吞吐能力。NDB API的层能够帮助额外NoSQL接口绕过SQL层而直接访问该集群,如此一来不仅延迟有所降低、开发人员也有获得更理想的灵活性水平。现有接口包括Java、JPA、Memcached、JavaScript with Node.js以及HTTP/REST(通过一套Apache Module实现)。所有Application Node都能够访问到来自任意Data Node的数据,所以即使出现故障、它们也不会导致任何服务丢失——因为各应用程序能够继续使用其它尚能正常运转的节点。

Management Node的职责在于该集群的配置方案发布到集群内的所有节点当中以实现节点管理。Management Node的起效时间点分别为集群启动时、某个节点希望加入集群时以及系统进行重新配置时。Management Node能够在不影响到当前正在进行的Data及Application Node执行操作的前提下进行中止以及重启。在默认情况下,Management Node同时提供裁定服务,例如某种网络故障引发“裂脑(即split-brain)”或者某信集群开始进行网络划分的情况。

通过透明化划分实现可扩展性

55351097_3.jpg

来自任何给定表的行都会以透明化方式被拆分成多个分区/片段。在每个片段中会包含一个单独数据节点,负责保留全部数据内容并处理指向该数据的所有读取及写入操作。每个数据节点还拥有一套搭档体系,二者共同构成一个节点组; 搭档节点中保存有该数据片段的辅助副本,但同时也拥有着自己的主片段。MySQL Cluster利用两步式提交协议实现数据同步,从而确保当某项事务被提交之后、所引发的变更将被同时存储在两个数据节点当中。

在默认情况下,表的主键会被作为分片键使用,而MySQL Cluster将对该分片键执行MD5散列处理、从而选择需要保存哪个片段/分区。如果某一事务或者查询需要访问来自多个数据节点的数据,那么其中一个数据节点会充当事务协调方的角色,并将具体工作分配给其它相关数据节点; 接下来访问结果会得到整合,并最终提供给应用程序。请注意,我们同样可以让多个事务或者查询访问来自多个分区及表的数据——相较于利用分片机制保存数据的典型NoSQL,这无疑成为MySQL Cluster的一大显著比较优势。

55351097_4.jpg

要实现最理想的(线性)规模缩放效果,我们需要确保将高强度查询/事务只需运行在单独一套数据节点之上(因为这能够大大降低由数据节点间通信所带来的网络延迟)。为了实现这个目标,我们可以让应用程序获得分布识别能力——具体而言,这意味着由管理员定义的规划能够涵盖分片键所需要使用的任意列。举例来讲,上图所示为一套配备有由用户ID与服务名称组成的复合主键的表; 通过将用户ID选定为分片键,表内与给定用户相关的所有行将始终被容纳在同一片段当中。更为强大的是,如果我们在其它表中使用同样的用户ID列并将其设定为分片键,那么该给定用户在所有表内的全部数据都会被容纳在同一片段之内——换言之,指向该用户的查询/事务都将在单一数据节点内进行处理。

利用NoSQL API最大程度提升数据访问速度

MySQL Cluster提供多种方式对存储数据进行访问; 最常见的方法当然是SQL,不过正如下图所示,我们还可以利用多种原生API帮助应用程序直接从数据库当中读取及写入数据,同时又能通过转换为SQL以绕过MySQL Server的方式防止效率低下或者拉高开发复杂程度。现有API面向C++、Java、JPA、JavaScript/Node.js、HTTP以及Memcached协议。

55351097_5.jpg

基准目标:每秒2亿次查询

MySQL Cluster在设计当中主要面向两种工作负载类型:

-OLTP(即联机事务处理):内存优化型表提供次毫秒级低延迟与堪称极端水平的OLTP工作负载并发能力,同时仍然保证良好的耐久性表现; 此外,其也能够被用于处理基于磁盘的表数据。

-临时性搜索:MySQL Cluster增加了并行数量上限,从而在对表内非索引数据列进行扫描时带来显著的速度提升。

值得一提的是,MySQL Cluster在处理OLTP工作负载方面的表现最为突出,特别是在以并发方式发出海量查询/事务请求的情况下。为此,我们一般会使用flexAsynch基准测试来衡量将更多数据节点添加到集群当中后,NoSQL所获得的实际性能扩展效果。

55351097_6.jpg

此次基准测试所面向的每个数据节点都运行在采用专用56线程英特尔E5-2697 v3(Haswell架构)设备之上。上图所示为数据吞吐能力随数据节点数量增长的变化趋势,具体区间由2节点最终增加到32节点(请注意,MySQL Cluster目前最多能够支持48个数据节点)。如套大家所见,整个扩展比例几乎保持线性,而且在32数据中心情况下其整体吞吐能力达到了每秒2亿次NoSQL查询。

如果大家对这次测试感兴趣,可以点击此处在MySQL Cluster基准测试页面内了解与之相关的详尽描述与最新结果。

此次2亿QPS基准测试运行在MySQL Cluster 7.4版本之上(为目前最新的通用版本)——大家可以点击此处了解更多与MySQL Cluster 7.4版本相关的信息,或者点击此处观看主题网络研讨会的重播视频。

1 赞

收藏

评论

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/429841.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

测试题的答案(技术博客)

根据老师的要求,我把上次测试的答案汇总了下,将程序写的得到满分的答案给挑了出来,希望大家不要追究版权问题,若有问题,我们私下武力解决问题。 第一题:从键盘输入一个大写字母,要求改用小写字母…

history模式监听_面试题:VueRouter中的 hash 模式和 history 模式有什么区别

面试题:VueRouter中的 hash 模式和 history 模式有什么区别hash模式hash 模式的路由中带有 # 号hash 模式通过 window.onhashchange 方法监听路由的修改hash 模式在页面刷新的时候,发送的请求 url 是不带 # 后面的内容的hash 模式可以兼容部分低版本的浏…

DC综合流程

Design Compiler and the Design Flow 步骤 将HDL描述的设计输入到Design Compiler中Design Compiler使用technology libraries, synthetic or DesignWare libraries, and symbol libraries执行综合过程,并展示综合结果。将HDL翻译为门级描述之后,Design…

hdu 2222 Keywords Search(ac自动机)

题目链接 http://acm.hdu.edu.cn/showproblem.php?pid2222 题意:给你一系列子串,再给你一个主串问你主串一共有几个匹配子串 原来使用字典树写的但数据有点大TLE了,然后就开始学习ac自动机了,ac自动机就像是多串匹配的kmp原理也是…

对象必须实现 iconvertible。_精雕基础教程:对象的显示颜色

“颜色工具栏”用于修改图形、文字等操作对象的颜色,设置轮廓线或者区域填充颜色,从而获得彩色效果图。这一篇文章我们叙述如何修改对象的显示颜色和填充颜色。如下图所示,颜色工具栏按钮功能的说明参见相关部分。图 - 颜色工具栏修改对象颜色…

抓包mysql乱码_抓包数据乱码是什么情况?

为什么会出现这种情况?细心的童鞋可能发现是我们发送给服务器的请求连接的数据不同:第一张图的信息是{"roomid":98284,"uid":271298361556770}第二张图的信息是{"uid":276194535568357,"protover":2,"room…

WebView

WebView在Android系统中内置了一款高性能webkit内核浏览器,在SDK中封装为一个叫做WebView组件,WebView是基于webkit引擎,展现Web页面的控件。 WebView控件功能强大,除了具有一般View的属性和设置外,还可以对url请求、页…

mysql sql优化器_MySQL SQL优化之‘%’

设计索引的主要目的就是帮助我们快速获取查询结果,而以%开头的like查询则不能够使用B-Tree索引。考虑到innodb的表都是聚簇表(类似于oracle中的索引组织表),且二级索引叶节点中记录的结构为(索引字段->主键字段),我们可以通过改写sql(mysq…

[转载]析构函数的虚析构和非虚析构调用的差别

代码示例: 非虚析构的情况下. #include <stdio.h> #include <iostream>using namespace std;class A { public:A(){std::cout << "A is created." << std::endl;}~A(){std::cout << "A is deleted." << std::endl;} }…

外部函数能修改闭包内的变量_Python函数式编程,Python闭包

前置内容为了更容易理解闭包&#xff0c;在说闭包之前&#xff0c;讲一下两个概念&#xff1a;作用域和嵌套函数。作用域作用域是变量能被访问的范围&#xff0c;定义在函数内的变量是局部变量&#xff0c;局部变量的作用范围只能在函数内部&#xff0c;它不能在函数被外引用。…

onmousedown活用之碰撞效果

通过绝对定位,在页面中随意位置设置两个div; 也就是说div 是拖动的框,div1和div2是被触碰的框; 1 <!DOCTYPE html>2 <html>3 4 <head>5 <meta charset"UTF-8">6 <title></title>7 <style type"text/css&quo…

python判断密码强度_python – 检查密码的强度(如何检查条件)

你好最好的方法是使用正则表达式搜索这是我目前使用的功能def password_check(password):"""Verify the strength of passwordReturns a dict indicating the wrong criteriaA password is considered strong if:8 characters length or more1 digit or more1 s…

java 实现微博,QQ联合登录

详见&#xff1a;http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt313 开发平台 http://connect.qq.com/ http://open.weibo.com/ 可以下载相应的sdk 和 API Java代码 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748…

python启动多个进程_Python程序中的进程操作--—--开启多进程

Python程序中的进程操作--—--开启多进程之前我们已经了解了很多进程相关的理论知识&#xff0c;了解进程是什么应该不再困难了&#xff0c;刚刚我们已经了解了&#xff0c;运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此&#xff0c;运行起来的python…

Angular JS (2)

通过Angular JS的官方教学文档&#xff0c;了解 routeProvider 的用法&#xff0c; angular.module(aaa).config([$locationProvider,$routeProvider, funtion config($locationProvider, $routeProvider){ app.config.js ---- angular. module(phonecatApp). config([$locat…

python多线程logger_python多线程logger_Dblogger:一个Python语言实现支持多进程和多线程日志打印高效Python日志库......

日期作者版本备注2020-12-7dingbinv1.0Dblogger: a powerful Python library supporting multi process and multi thread printing logsDblogger project implements a both multi-threads-safe and multi-process-safe logger library named dblogger in python language. It…

BIEE 目录迁移(文件夹)方式

文件夹迁移方式一&#xff08;归档--取消归档&#xff09;&#xff1a; 归档&#xff1a;analytics中选择目录&#xff0c;定位至指定文件夹&#xff0c;更多中选择归档&#xff0c;保存为 .catalog文档&#xff1b; 释放归档&#xff1a; 进入目录管理器&#xff0c;离…

unityscrollview生成大量_superscrollviewforUGUI的一些使用心得

接触这个插件也有差不多半年了&#xff0c;这段时间都是跟这个插件做的UI打交道&#xff0c;所以记一下相关的使用心得做备忘。这个插件主要由三个脚本构成&#xff0c;分别是ListItemData(挂载在要展示的物体预制体身上的&#xff0c;物体对应的属性&#xff0c;初始化字段等均…

使用的组件:ckeditor

老牌Web文本编辑器&#xff0c;无需多言。 官网地址&#xff1a;http://ckeditor.com/转载于:https://www.cnblogs.com/xusweeter/p/6098942.html

mybatis 配置 mysql连接池_spring 5.x 系列第5篇 —— 整合 mybatis + druid 连接池 (xml配置方式)...

项目目录结构1. 导入依赖创建 maven 工程&#xff0c;除了 Spring 的基本依赖外&#xff0c;还需要导入 Mybatis 和 Druid 的相关依赖&#xff1a;org.springframeworkgroupId>spring-jdbcartifactId>${spring-base-version}version>dependency>mysqlgroupId>my…