MySQL 亿级数据需求的优化思路(一),交易流水记录的查询

对MySQL的性能和亿级数据的处理方法思考，以及分库分表到底该如何做，在什么场景比较合适？

比如银行交易流水记录的查询 

限盐少许，上实际实验过程，以下是在实验的过程中做一些操作，以及踩过的一些坑，我觉得坑对于读者来讲是非常有用的。

首先：建立一个现金流量表，交易历史是各个金融体系下使用率最高，历史存留数据量最大的数据类型。现金流量表的数据搜索，可以根据时间范围，和个人，以及金额进行搜索。

-- 建立一张 现金流量表DROP TABLE IF EXISTS `yun_cashflow`;
CREATE TABLE `yun_cashflow` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`userid` int(11) DEFAULT NULL,`type` int(11) DEFAULT NULL COMMENT '1、入账，2提现',`operatoruserid` int(11) DEFAULT NULL COMMENT '操作员ID',`withdrawdepositid` bigint(20) DEFAULT NULL COMMENT '提现ID',`money` double DEFAULT NULL COMMENT '钱数',`runid` bigint(20) DEFAULT NULL COMMENT '工单ID',`createtime` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=63 DEFAULT CHARSET=utf8;

然后开始造1个亿的数据进去。

 


-- 循环插入drop PROCEDURE test_insert;
DELIMITER;;CREATE PROCEDURE test_insert()begin declare num int; set num=0;while num < 10000 doinsert into yun_cashflow(userid,type,operatoruserid,withdrawdepositid,money) values(FLOOR(7 + (RAND() * 6))+FLOOR(22 + (RAND() * 9)),1,FLOOR(97 + (RAND() * 6))+FLOOR(2 + (RAND() * 9)),FLOOR(17 + (RAND() * 6))+FLOOR(2 + (RAND() * 9)),FLOOR(5 + (RAND() * 6))+FLOOR(2 + (RAND() * 9)));set num=num+1;end while;END;;call test_insert();

坑一：

这个存储过程建立好了之后，发现插入数据特别的慢，一天一晚上也插入不到100万条数据，平均每秒40~60条数据，中间我停过几次，以为是随机函数的问题，都变成常数，但效果一样，还是很慢，当时让我对这个MySQL数据库感觉到悲观，毕竟Oracle用惯了，那插速是真的很快，不过功夫不负有心人，原来可以用另外一种写法造数据，速度很快，上代码。

INSERT INTO example
(example_id, name, value, other_value)
VALUES
(100, 'Name 1', 'Value 1', 'Other 1'),
(101, 'Name 2', 'Value 2', 'Other 2'),
(102, 'Name 3', 'Value 3', 'Other 3'),
(103, 'Name 4', 'Value 4', 'Other 4');

就是在循环里，用这种格式造很多数据，VALUES后面以,隔开，然后把数据写上去，我用Excel造了1万条数据，按照语句格式粘贴了出来，就变成每循环一次，就1万条数据，这样没多久1亿数据就造好了。

select count(*) from yun_cashflow

我还比较好奇，8个字段1亿条数据，到底占了多大的地方,通过以下语句找到数据的路径。
show global variables like "%datadir%";

通过查看文件，是7.78GB，看来如果字段不是很多，数据量大的话，其实不是什么问题，这其实作为架构师来讲，在估算机器配置硬盘冗余的时候，这是最简单直接粗暴的换算思路。

行了，表建完了，各种实验开始

首先，啥条件不加看看咋样。

呵呵了，Out of memory，看来这个查询是真往内存里整，内存整冒烟了，看来7.8G的数据是往内存里放，我内存没那么大导致的。

资金流水一般会按照时间进行查询，看看这速度到底怎样。

select * from yun_cashflow  where createtime between '2018-10-23 09:06:58' and '2018-10-23 09:06:59'

我去，脑补一下，当你拿这支付宝查历史资金明细的时候，56条信息，103.489秒，也就是将近2分钟的查询速度，你会是怎样的体验。哦 哦，不对，这个还没加用条件，那下面单独试试某个用户不限时间范围的条件是怎样的。

select count(*) from yun_cashflow where userid=21
 

也是将近1分半的速度，那在试试金额的条件。

select count(*) from yun_cashflow where money<62 and userid=32

同样都是将近一分半的时间。

那把两个条件做下级联，看看效果会是怎样。

一样，也是将近1分半的时间。

小总结一：在不加索引的情况下，无论单独，还是联合条件查询，结果都是1分多钟不到2分钟。

好吧，那就加上索引试试，看看到底会有啥样奇迹发生。

给用户加索引

ALTER TABLE yun_cashflow ADD INDEX index_userid (userid)

给金额加索引

ALTER TABLE yun_cashflow ADD INDEX index_money (money)


给时间加索引
ALTER TABLE yun_cashflow ADD INDEX index_createtime (createtime)

小总结二： 建立索引的时间平均在1400秒左右，大概在23分钟左右。

索引都建立完了，在开始以前的条件查询，看看效果。

1、时间范围查询

select * from yun_cashflow  where createtime between '2018-10-23 09:06:58' and '2018-10-23 09:06:59'

2、用户查询与钱的联合查询

3、用户查询与钱与时间三个条件的联合查询

select * from yun_cashflow where money<62 and userid=32 and  createtime between '2018-10-22 09:06:58' and '2018-10-23 09:06:59'

小总结三：建立完索引后，这种级联性质的查询，速度基本都很快，数据量不大的情况下，基本不会超过一秒。

由于时间的范围返回是56条数据，数据量比较小，所以速度快可能与这个有关，那实验下条件多的数据效果会是什么样。先试试加完索引, 金额条件的效果。

2千5百万的数据，返回时间为11.460秒。

加一个用户数量比较多的条件 UserID=21

返回1000多万的数据，用了6秒

在找一个用户数量比较少的userid=34

返回4000多条，用不到1秒。

小总结四：条件返回的数据统计量越多，速度就越慢，超过1000万就慢的离谱，1秒左右就是100万的量才行。

那。。。。。。。。。。。。咱们程序猿都知道，我们在做数据的时候，都要用到分页。分页一般会用到LIMIT,比如每页10行，第二页就是LIMIT 10,10，得试试在分页的时候，哪些页的情况下，会是什么样的效果呢?

limit在1千时候速度

limit在1百万时候速度

limit在1千万时候速度

小总结五：LIMIT 参数1，参数2  在随着参数1（开始索引）增大时候，这个速度就会越来越慢，如果要求1秒左右返回时候的速度是100万数据，在多在大就慢了，也就是，如果10条一页，当你到第10万页之后，就会越来越慢。如果到30万页之后，可能就会到不到一般系统的3秒要求了。 

 

数据库都建上索引了，那我插数据速度有没有影响呢，那试试

也就是说100条数据插了将近5秒，平均每秒插20条。

小总结六：也就是说，按照这样的速度插入，并发量一但大的情况下，操作起来会很慢。所以在有索引的条件下插入数据，要么索引失效，要么插入会特别慢。

 

分库分表的思维，一个大表返回那么多数据慢，那我把它变成若干张表，然后每张表count(*)后，我统计累加一下，一合计，就是所有数据的查询结果的条数，然后就是到第多少页，我先算一下这页在哪个库，哪张表，在从那张表读不就完了。通过之前 的总结，100万数据返回为1秒，所以就一张表里放100万个数据，1亿的数据就100张表。

BEGIN DECLARE `@i` int(11);     DECLARE `@createSql` VARCHAR(2560); DECLARE `@createIndexSql1` VARCHAR(2560);     DECLARE `@createIndexSql2` VARCHAR(2560);DECLARE `@createIndexSql3` VARCHAR(2560);set `@i`=0; WHILE  `@i`< 100 DO                 SET @createSql = CONCAT('CREATE TABLE IF NOT EXISTS yun_cashflow_',`@i`,'(`id` bigint(20) NOT NULL AUTO_INCREMENT,`userid` int(11) DEFAULT NULL,`type` int(11) DEFAULT NULL  ,`operatoruserid` int(11) DEFAULT NULL  ,`withdrawdepositid` bigint(20) DEFAULT NULL  ,`money` double DEFAULT NULL  ,`runid` bigint(20) DEFAULT NULL  ,`createtime` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,PRIMARY KEY (`id`))'); prepare stmt from @createSql; execute stmt;                             -- 创建索引    set @createIndexSql1  = CONCAT('create index `t_money` on yun_cashflow_',`@i`,'(`money`);');prepare stmt1 from @createIndexSql1; execute stmt1; set @createIndexSql2  = CONCAT('create index `t_userid` on yun_cashflow_',`@i`,'(`userid`);');prepare stmt2 from @createIndexSql2; execute stmt2; 
SET `@i`= `@i`+1; END WHILE;
END

表建完了，库里的效果是酱样的。

是不是很酷，这表分的，绝了，满库全是表。那还得往每张表里整100万的数据。这部分代码就不写了，可以参考前面的改，相信能把文章看到这的都是懂行的人，也是对这方面有一腚追求的人。

坑二：我高估了我的计算机的并行计算能力，当我启用100个线程同时玩我自己电脑的数据库连接的时候，到后期给我反馈的结果是这样的。

说白了，连接满了，超时，数据库都不给我返回值了，所以这种实验，不找100台机器，也别可一台机器去霍霍，因为如果能快，那个1个亿的大表，返回的也不会慢。这时候拼的就是计算能力了,都在一台机器上去做实验，会让你怀疑人生的。

那咋办， 这地方我就假装返回都是1000毫秒，也就1秒，然后每个线程都在1秒的时候都给我返回值，这个值我写死，可以看看多线程分布式统计count的效果。

最后总体耗时，就是最后那个返回时间最长的线程返回的时间，所以理论上100个线程同时启动，应该在1秒完成，但线程这玩意有快有慢，所以1秒多一点，也是可以接受的。如果碰上都是机器性能好的时候，所有数据库返回都在1秒以内，那么也就是1秒了。 

这个多线程编程可以试试类似Java的countDownLatch/AKKA 将异步多线程结果同步返回。 

最后是在数据库数据量比较大的时候，通过MySQL以上的特性，进行不同场景应用的思考。

场景：银行交易流水记录的查询 
1、根据小总结六的特性，操作表和历史查询表一定要时间可以分开，由于带索引的历史表，插入会很慢，所以要插入到操作表内，操作表和历史表的字段是一样的。

2、根据小总结二特性，然后固定某个时间点，比如半夜12点，或者固定日期，或者选择非交易查询活跃的时间，把操作表里的数据往历史表里插一下，由于重建索引也用不了太久，一样半个小时左右。让两种表并存。还有另外一种策略，由于流水主要以时间做为排序对象，可以按照时间顺序，也就是ID自增长的顺序进行分库分表，就像试验的那样，100万左右条数据一张表，另外在做一张时间范围的索引表，如下：

CreateTimeIndexTable

IDTableNameCreateTimeStartCreateTimeEnd
1yun_cashflow_12018-10-22 09:06:582018-10-26 09:06:58
2yun_cashflow_22018-10-26 09:06:582018-10-29 09:06:58
3yun_cashflow_32018-11-12 09:06:582018-11-22 09:06:58
4yun_cashflow_42018-11-22 09:06:582018-11-26 09:06:58

当遇见这样语句需求的时候：

select * from yun_cashflow where money<62 and userid=32 and  createtime between '2018-10-27 09:06:58' and '2018-10-28 09:06:59'

就改写成这样的顺序

1)、select TableName from CreateTimeIndexTable where CreateTimeStart>  '2018-10-27 09:06:58' and CreateTimeEnd < '2018-10-28 09:06:59'

2)、当得到TableName的时候，结果是yun_cashflow_2，在进行语句的查询

select * from yun_cashflow_2 where money<62 and userid=32 and  createtime between '2018-10-27 09:06:58' and '2018-10-28 09:06:59'

这样，两遍就可以查询到结果。

不过也有可能查询的结果是多个，比如

select TableName from CreateTimeIndexTable where CreateTimeStart>  '2018-10-27 09:06:58' and CreateTimeEnd < '2018-11-13 09:06:59'

yun_cashflow_2，和yun_cashflow_3，这个时候，就需要把两个表的结果都查询出来，进行merge。相信程序员们对两个表的结果集合并逻辑都不是什么难事，这地方不多解释。

这样做的好处，主要是每次重建索引的时候，就不用整个1个亿的大表进行重建，而是只重建最近的1百万的那张分出来的表，速度会很快的。

 

3、根据小总结一和小总结三的特性，把关键的字段加上索引，用户，时间，这样保证查询的速度。

4、根据小总结四的特性，尽量限制查询结果的数量范围，比如，单个人查自己的交易明细，可以限制范围，比如查询时间范围不超过三个月，或半年，或一年。

 

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/386976.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

RUNOOB python练习题2

RUNOOB python练习题2

用来练手的python 练习题&#xff0c;原链接 : python练习实例2 题干 : 企业发放的奖金根据利润提成。利润(I)低于或等于10万元时&#xff0c;奖金可提10%&#xff1b;利润高于10万元&#xff0c;低于20万元时&#xff0c;低于10万元的部分按10%提成&#xff0c;高于10万元的…
阅读更多...
MySQL 亿级数据需求的优化思路(二)，100亿数据，1万字段属性的秒级检索

MySQL 亿级数据需求的优化思路(二)，100亿数据，1万字段属性的秒级检索

最近在研究亿级数据的时候&#xff0c;无意中看到了一个关于写58同城的文章 https://blog.csdn.net/admin1973/article/details/55251499?fromtimeline 其实上面讲的versionext的方式以及压缩json的思路&#xff0c;对于我来讲都可以看得懂&#xff0c;想得通&#xff0c;其…
阅读更多...
RUNOOB python练习题3

RUNOOB python练习题3

用来练手的python 练习题&#xff0c;原链接 : python练习实例3 拿到题目就写了如下代码&#xff0c;思路是因为使用**0.5进行开平方操作时&#xff0c;python会将数据类型自动转换为float单精度浮点型。这里利用提取其整数部分&#xff0c;来判断这个数是否是完全平方数。 z…
阅读更多...
使用git将项目上传到github（最简单方法）

使用git将项目上传到github（最简单方法）

使用git将项目上传到github&#xff08;最简单方法&#xff09; 首先你需要一个github账号&#xff0c;所有还没有的话先去注册吧&#xff01; https://github.com/ 我们使用git需要先安装git工具&#xff0c;这里给出下载地址&#xff0c;下载后一路直接安装即可&#xff1…
阅读更多...
RUNOOB python练习题4

RUNOOB python练习题4

用来练手的python习题其四&#xff0c; 原题链接: python练习实例4 题干: 输入某年某月某日&#xff0c;判断这一天是这一年的第几天&#xff1f; 这个题目比较简单&#xff0c;只需要注意闰年和非闰年的区别就可以了。我这里使用numpy矩阵存储每个月的天数&#xff0c;之后用…
阅读更多...
GitHub入门：如何上传与下载工程？

GitHub入门：如何上传与下载工程？

由于经常要在家写代码&#xff0c;所以需要有个能够方便访问代码管理工具。最近尝试了一下GitHub。经过了一翻纠结之后&#xff0c;基本上掌握了他的使用方式。 要使用GitHub需要首先在其网站上进行注册。其官方网站是https://github.com/。注册的流程在这里就不多少了&#x…
阅读更多...
如何解决PIP命令不可用

如何解决PIP命令不可用

今天想用PIP装一个python包&#xff0c;发现PIP报错&#xff0c;不是内部或外部命令。。。 遇事百度&#xff0c;有两种说法&#xff0c;一&#xff0c;没安装包&#xff0c;不管那么多命令执行了再说 在命令行输入&#xff1a;python -m ensurepip 将pip.exe文件下载下来 再pi…
阅读更多...
RUNOOB python练习题5

RUNOOB python练习题5

用来练手的python 练习题其五&#xff0c;原链接 : python练习实例5 题干 : 输入三个整数x,y,z&#xff0c;请把这三个数由小到大输出。 又是非常简单的排序算法&#xff0c;只要使用numpy矩阵的排序方法或者使用python list的排序算法就可以轻松解决。 源代码如下 : import …
阅读更多...
初步使用github,并上传下载文件

初步使用github,并上传下载文件

使用GitHub需要先注册GitHub的账号,登陆进去 然后开始创建项目 start a project 创建完成,开始生成公私钥,可以不必每次都要输密码 ssh-keygen -t rsa -C "mghxy123163.com" //填写email地址&#xff0c;然后一直“回车”ok 然后把公钥导入GitHub中的key里面去,也…
阅读更多...
NOIP2000提高组复赛C 单词接龙

NOIP2000提高组复赛C 单词接龙

题目链接&#xff1a;https://ac.nowcoder.com/acm/contest/248/C 题目大意&#xff1a; 略 分析&#xff1a; 注意点&#xff1a;1.前缀和后缀的公共部分应该选最短的。2.如果两个字符串前缀和后缀的公共部分恰好是其中一个字符串&#xff0c;那么这两个字符串不能合并。 代码…
阅读更多...
右键Git Bash Here不见了怎么办，手把手教你还原！

右键Git Bash Here不见了怎么办，手把手教你还原！

第一步&#xff0c;window R&#xff0c;输入regedit回车进入注册表 依次进入HKEY_CLASSES_ROOT —-》 Directory —-》Background —-》 shell 右键点击shell&#xff0c;选择新建&#xff0c;然后选择项&#xff0c;命名为 Git Bash Here&#xff0c;成功后进入桌面右键发现…
阅读更多...
RUNOOB python练习题6 斐波那契数列

RUNOOB python练习题6 斐波那契数列

用来练手的python 练习题其六&#xff0c;原链接 : python练习实例6 题干 : 斐波那契数列 斐波那契数列可以说是很好的递归理解工具了&#xff0c;这里就用递归实现一下斐波那契数列。 源代码如下: # 返回fibonacci数列中某一项的数值 def Fibonacci(n):if n 1:return 1eli…
阅读更多...
github windows客户端

github windows客户端

方法/步骤 1 1. 首先到官网下载Github客户端 2 2. 点击上图红框的按钮开始下载客户端。 3 3. 双击下载好的客户端&#xff0c;开始安装。 4 双击之后出现一个框 5 之后等待一段时间&#xff0c;出现一个在线下载界面 6 4. 在线下载完成之后开始进行安装。安装完成之后…
阅读更多...
赋值语句 变量的地址相关 : RUNOOB python练习题7

赋值语句 变量的地址相关 : RUNOOB python练习题7

用来练手的python 练习题&#xff0c;原链接 : python练习实例7 练习实例7非常的简单也有意思。题干 : 将一个列表的数据复制到另一个列表中。 完成这个操作的代码非常简单&#xff0c;即使是我这样的初学者应该也是一语道破&#xff0c;赋值语句嘛。但这里我们就列举出几种不…
阅读更多...
Web标准的概念及组成

Web标准的概念及组成

一周更新两个或三个关于web前端的知识点&#xff0c;欢迎感兴趣的小伙伴们一起学习讨论1、WEB标准是网页制作的标准&#xff0c;它不是一个标准&#xff0c;它是根据网页的不同组成部分生成的一系列标准。这些标准大部分由W3C起草发布&#xff0c;也有部分标准由ECMA起草发布。…
阅读更多...
Fiddler简介及安装和HTTPS的解决

Fiddler简介及安装和HTTPS的解决

Fiddler简介&#xff1a; 一个很强大的抓包工具&#xff0c;类似Charles 1.安装&#xff1a; Filddler官网&#xff1a;点击打开链接 我安装的是filddler4&#xff1a;点击打开链接 直接下载文件&#xff0c;然后一路下一步就可以了 1.下载文件&#xff1a; 2.安装文件一…
阅读更多...
RUNOOB python练习题8 numpy矩阵的索引及遍历

RUNOOB python练习题8 numpy矩阵的索引及遍历

用来练手的python 练习题&#xff0c;原链接 : python练习实例8 题干: 输出 9*9 乘法口诀表。 import numpy as nptable np.zeros((9,9)) for i in range(table.shape[0]):for j in range(table.shape[1]):table[i][j] (i1) * (j1)# 查询九九乘法表 def affichage_table(a,…
阅读更多...
ddt源码修改：HtmlTestRunner报告依据接口名显示用例名字

ddt源码修改：HtmlTestRunner报告依据接口名显示用例名字

做接口测试&#xff0c;使用unittestddtexcel ,使用HtmlTetstRunner来生成测试用例。 查看报告的时候 用例名称都是 test_api_1 、test_api_2 、test_api_3 的显示 &#xff0c;看的不爽&#xff0c;也不明确&#xff0c;如果是test_api_登陆成功 、 test_api_密码错误 …
阅读更多...
Fiddler抓取https设置及其原理

Fiddler抓取https设置及其原理

Fiddler抓取https设置及其原理 2018-02-02 目录 1 HTTPS握手过程 2 Fiddler抓取HTTPS过程 3 Fiddler抓取HTTPS设置参考 数字签名是什么&#xff1f; 1 HTTPS握手过程 HTTPS 并非是应用层的一种新协议。只是 HTTP 通信接口部分用 SSL &#xff08;安全套接字层&#xff09;和…
阅读更多...
RUNOOB python练习题10

RUNOOB python练习题10

用来练手的python 练习题&#xff0c;原链接 : python练习实例9 题干 : 暂停两秒输出&#xff0c;并格式化当前时间。 import time,datetimeTIME datetime.datetime.now() print(TIME.strftime("%Y.%m.%d %H-%M-%S")) time.sleep(2) TIME datetime.datetime.now(…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023