MySQL 快速创建千万级测试数据

作者：IKNOW本尊

链接：http://t.cn/E96Shud

背景

在进行查询操作的性能测试或者 sql 优化时，我们经常需要在线下环境构建大量的基础数据供我们测试，模拟线上的真实环境。

总不能让我去线上去测试吧，会被DBA砍死的

创建测试数据的方式

    1. 编写代码，通过代码批量插库（本人使用过，步骤太繁琐，性能不高，不推荐）2. 编写存储过程和函数执行（本文实现方式1）3. 临时数据表方式执行 （本文实现方式2，强烈推荐该方式，非常简单，数据插入快速，100W，只需几秒）4. 一行一行手动插入，（WTF，去死吧）

创建基础表结构

不管用何种方式，我要插在那张表总要创建的吧

CREATE TABLE `t_user` (`id` int(11) NOT NULL AUTO_INCREMENT,`c_user_id` varchar(36) NOT NULL DEFAULT '',`c_name` varchar(22) NOT NULL DEFAULT '',`c_province_id` int(11) NOT NULL,`c_city_id` int(11) NOT NULL,`create_time` datetime NOT NULL,PRIMARY KEY (`id`),KEY `idx_user_id` (`c_user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

方式1：采用存储过程和内存表

  • 创建内存表

利用 MySQL 内存表插入速度快的特点，我们先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中
CREATE TABLE `t_user_memory` (`id` int(11) NOT NULL AUTO_INCREMENT,`c_user_id` varchar(36) NOT NULL DEFAULT '',`c_name` varchar(22) NOT NULL DEFAULT '',`c_province_id` int(11) NOT NULL,`c_city_id` int(11) NOT NULL,`create_time` datetime NOT NULL,PRIMARY KEY (`id`),KEY `idx_user_id` (`c_user_id`)
) ENGINE=MEMORY DEFAULT CHARSET=utf8mb4;

  • 创建函数和存储过程

# 创建随机字符串和随机时间的函数
mysql> delimiter $$
mysql> CREATE DEFINER=`root`@`%` FUNCTION `randStr`(n INT) RETURNS varchar(255) CHARSET utf8mb4->     DETERMINISTIC-> BEGIN->     DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';->     DECLARE return_str varchar(255) DEFAULT '' ;->     DECLARE i INT DEFAULT 0;->     WHILE i < n DO->         SET return_str = concat(return_str, substring(chars_str, FLOOR(1 + RAND() * 62), 1));->         SET i = i + 1;->     END WHILE;->     RETURN return_str;-> END$$
Query OK, 0 rows affected (0.00 sec)
mysql> CREATE DEFINER=`root`@`%` FUNCTION `randDataTime`(sd DATETIME,ed DATETIME) RETURNS datetime->     DETERMINISTIC-> BEGIN->     DECLARE sub INT DEFAULT 0;->     DECLARE ret DATETIME;->     SET sub = ABS(UNIX_TIMESTAMP(ed)-UNIX_TIMESTAMP(sd));->     SET ret = DATE_ADD(sd,INTERVAL FLOOR(1+RAND()*(sub-1)) SECOND);->     RETURN ret;-> END $$
mysql> delimiter ;
# 创建插入数据存储过程
mysql> CREATE DEFINER=`root`@`%` PROCEDURE `add_t_user_memory`(IN n int)-> BEGIN->     DECLARE i INT DEFAULT 1;->     WHILE (i <= n) DO->         INSERT INTO t_user_memory (c_user_id, c_name, c_province_id,c_city_id, create_time) VALUES (uuid(), randStr(20), FLOOR(RAND() * 1000), FLOOR(RAND() * 100), NOW());->         SET i = i + 1;->     END WHILE;-> END-> $$
Query OK, 0 rows affected (0.01 sec)

  • 调用存储过程

mysql> CALL add_t_user_memory(1000000);
ERROR 1114 (HY000): The table 't_user_memory' is full
出现内存已满时，修改 max_heap_table_size 参数的大小，我使用64M内存，插入了22W数据，看情况改，不过这个值不要太大，默认32M或者64M就好，生产环境不要乱尝试

  • 从内存表插入普通表

mysql> INSERT INTO t_user SELECT * FROM t_user_memory;
Query OK, 218953 rows affected (1.70 sec)
Records: 218953  Duplicates: 0  Warnings: 0

方式2：采用临时表

  • 创建临时数据表tmp_table

CREATE TABLE tmp_table (id INT,PRIMARY KEY (id)
);

  • 用 python或者bash 生成 100w 记录的数据文件（python瞬间就会生成完）

python(推荐): python -c "for i in range(1, 1+1000000): print(i)" > base.txt

  • 导入数据到临时表tmp_table中

mysql> load data infile '/Users/LJTjintao/temp/base.txt' replace into table tmp_table;
Query OK, 1000000 rows affected (2.55 sec)
Records: 1000000  Deleted: 0  Skipped: 0  Warnings: 0
千万级数据 20秒插入完成

注意：导入数据时有可能会报错，原因是mysql默认没有开securefilepriv（ 这个参数用来限制数据导入和导出操作的效果，例如执行LOAD DATA、SELECT … INTO OUTFILE语句和LOAD_FILE()函数。这些操作需要用户具有FILE权限 ）。

解决办法：在mysql的配置文件中（my.ini 或者 my.conf）中添加 securefilepriv = /Users/LJTjintao/temp/`, 然后重启mysql 解决

  • 以临时表为基础数据，插入数据到t_user中，100W数据插入需要10.37s

mysql> INSERT INTO t_user->   SELECT->     id,->     uuid(),->     CONCAT('userNickName', id),->     FLOOR(Rand() * 1000),->     FLOOR(Rand() * 100),->     NOW()->   FROM->     tmp_table;
Query OK, 1000000 rows affected (10.37 sec)
Records: 1000000  Duplicates: 0  Warnings: 0

  • 更新创建时间字段让插入的数据的创建时间更加随机

UPDATE t_user SET create_time=date_add(create_time, interval FLOOR(1 + (RAND() * 7)) year);
Query OK, 1000000 rows affected (5.21 sec)
Rows matched: 1000000  Changed: 1000000  Warnings: 0
mysql> UPDATE t_user SET create_time=date_add(create_time, interval FLOOR(1 + (RAND() * 7)) year);
Query OK, 1000000 rows affected (4.77 sec)
Rows matched: 1000000  Changed: 1000000  Warnings: 0
mysql> select * from t_user limit 30;
+----+--------------------------------------+----------------+---------------+-----------+---------------------+
| id | c_user_id                            | c_name         | c_province_id | c_city_id | create_time         |
+----+--------------------------------------+----------------+---------------+-----------+---------------------+
|  1 | bf5e227a-7b84-11e9-9d6e-751d319e85c2 | userNickName1  |            84 |        64 | 2015-11-13 21:13:19 |
|  2 | bf5e26f8-7b84-11e9-9d6e-751d319e85c2 | userNickName2  |           967 |        90 | 2019-11-13 20:19:33 |
|  3 | bf5e2810-7b84-11e9-9d6e-751d319e85c2 | userNickName3  |           623 |        40 | 2014-11-13 20:57:46 |
|  4 | bf5e2888-7b84-11e9-9d6e-751d319e85c2 | userNickName4  |           140 |        49 | 2016-11-13 20:50:11 |
|  5 | bf5e28f6-7b84-11e9-9d6e-751d319e85c2 | userNickName5  |            47 |        75 | 2016-11-13 21:17:38 |
|  6 | bf5e295a-7b84-11e9-9d6e-751d319e85c2 | userNickName6  |           642 |        94 | 2015-11-13 20:57:36 |
|  7 | bf5e29be-7b84-11e9-9d6e-751d319e85c2 | userNickName7  |           780 |         7 | 2015-11-13 20:55:07 |
|  8 | bf5e2a4a-7b84-11e9-9d6e-751d319e85c2 | userNickName8  |            39 |        96 | 2017-11-13 21:42:46 |
|  9 | bf5e2b58-7b84-11e9-9d6e-751d319e85c2 | userNickName9  |           731 |        74 | 2015-11-13 22:48:30 |
| 10 | bf5e2bb2-7b84-11e9-9d6e-751d319e85c2 | userNickName10 |           534 |        43 | 2016-11-13 22:54:10 |
| 11 | bf5e2c16-7b84-11e9-9d6e-751d319e85c2 | userNickName11 |           572 |        55 | 2018-11-13 20:05:19 |
| 12 | bf5e2c70-7b84-11e9-9d6e-751d319e85c2 | userNickName12 |            71 |        68 | 2014-11-13 20:44:04 |
| 13 | bf5e2cca-7b84-11e9-9d6e-751d319e85c2 | userNickName13 |           204 |        97 | 2019-11-13 20:24:23 |
| 14 | bf5e2d2e-7b84-11e9-9d6e-751d319e85c2 | userNickName14 |           249 |        32 | 2019-11-13 22:49:43 |
| 15 | bf5e2d88-7b84-11e9-9d6e-751d319e85c2 | userNickName15 |           900 |        51 | 2019-11-13 20:55:26 |
| 16 | bf5e2dec-7b84-11e9-9d6e-751d319e85c2 | userNickName16 |           854 |        74 | 2018-11-13 22:07:58 |
| 17 | bf5e2e50-7b84-11e9-9d6e-751d319e85c2 | userNickName17 |           136 |        46 | 2013-11-13 21:53:34 |
| 18 | bf5e2eb4-7b84-11e9-9d6e-751d319e85c2 | userNickName18 |           897 |        10 | 2018-11-13 20:03:55 |
| 19 | bf5e2f0e-7b84-11e9-9d6e-751d319e85c2 | userNickName19 |           829 |        83 | 2013-11-13 20:38:54 |
| 20 | bf5e2f68-7b84-11e9-9d6e-751d319e85c2 | userNickName20 |           683 |        91 | 2019-11-13 20:02:42 |
| 21 | bf5e2fcc-7b84-11e9-9d6e-751d319e85c2 | userNickName21 |           511 |        81 | 2013-11-13 21:16:48 |
| 22 | bf5e3026-7b84-11e9-9d6e-751d319e85c2 | userNickName22 |           562 |        35 | 2019-11-13 20:15:52 |
| 23 | bf5e3080-7b84-11e9-9d6e-751d319e85c2 | userNickName23 |            91 |        39 | 2016-11-13 20:28:59 |
| 24 | bf5e30da-7b84-11e9-9d6e-751d319e85c2 | userNickName24 |           677 |        21 | 2016-11-13 21:37:15 |
| 25 | bf5e3134-7b84-11e9-9d6e-751d319e85c2 | userNickName25 |            50 |        60 | 2018-11-13 20:39:20 |
| 26 | bf5e318e-7b84-11e9-9d6e-751d319e85c2 | userNickName26 |           856 |        47 | 2018-11-13 21:24:53 |
| 27 | bf5e31e8-7b84-11e9-9d6e-751d319e85c2 | userNickName27 |           816 |        65 | 2014-11-13 22:06:26 |
| 28 | bf5e324c-7b84-11e9-9d6e-751d319e85c2 | userNickName28 |           806 |         7 | 2019-11-13 20:17:30 |
| 29 | bf5e32a6-7b84-11e9-9d6e-751d319e85c2 | userNickName29 |           973 |        63 | 2014-11-13 21:08:09 |
| 30 | bf5e3300-7b84-11e9-9d6e-751d319e85c2 | userNickName30 |           237 |        29 | 2018-11-13 21:48:17 |
+----+--------------------------------------+----------------+---------------+-----------+---------------------+
30 rows in set (0.01 sec)

注意：此文章的数据量在100W，如果想要千万级，调大数量即可,但是不要大量使用rand() 或者uuid() 会导致性能下降。

往期精彩

喜庆王磊的博客搬迁！无套路送机械键盘

面试官问你MySQL的优化，看这篇文章就够了

经典面试题：如何保证缓存与数据库的双写一致性？ 

关注下方二维码，订阅更多精彩内容。

转发朋友圈，是对我最大的支持。


本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/546623.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【面试收藏】Redis最全面试题

【面试收藏】Redis最全面试题

出自&#xff1a;https://github.com/CyC2018/CS-Notes程序员乔戈里整理一、概述二、数据类型STRINGLISTSETHASHZSET三、数据结构字典跳跃表四、使用场景计数器缓存查找表消息队列会话缓存分布式锁实现其它五、Redis 与 Memcached数据类型数据持久化分布式内存管理机制六、键的…
阅读更多...
八、华为鸿蒙HarmonyOS应用开发之Java UI框架、常用TextField组件使用

八、华为鸿蒙HarmonyOS应用开发之Java UI框架、常用TextField组件使用

一、TextField组件 二、TextField组件实例测试 1.新建基于empty ability(Java)手机应用程序的TextField工程。运行出现如下结果 2.在resources->zh.element文件夹下string.json文件修改代码如下： {"string": [{"name": "entry_MainAbility&qu…
阅读更多...
面试题：彻底搞懂 Cookie 和 Session

面试题：彻底搞懂 Cookie 和 Session

我在做面试官的时候&#xff0c;曾经问过很多朋友这个问题&#xff1a; Cookie 和 Session 有什么区别呢&#xff1f;大部分的面试者应该都可以说上一两句&#xff0c;比如&#xff1a;什么是 Cookie&#xff1f;什么是 Session&#xff1f;两者的区别等。但如果再往深入探讨的…
阅读更多...
局域网内Windows允许其他电脑指定IP访问本地mysql-8.0.23数据库

局域网内Windows允许其他电脑指定IP访问本地mysql-8.0.23数据库

第一步：用ping命令测试两台电脑是否连通 如果两台电脑是连通的请转到第二步，如果是非连通的请进行如下操作： 1、进入控制面板，打开Windows Defender 防火墙，点击高级设置（本人用的是Windows10，其他Windows版本操作类似） 2、在新弹出的页面中点击入站规则，在入站规则中…
阅读更多...
经典面试题：聊一聊垃圾回收算法

经典面试题：聊一聊垃圾回收算法

关于垃圾回收算法的这道面试题&#xff0c;几乎是所有 3 年以上的 Java 面试中必问的题目&#xff0c;甚至有些好一点的公司会在校招时问到面试者。那么本文就系统的讲一下垃圾回收的算法&#xff0c;和 Hotspot 虚拟机执行垃圾回收的一些实现细节&#xff0c;比如安全点和安全…
阅读更多...
九、华为鸿蒙HarmonyOS应用开发之Java UI框架、常用Image组件使用

九、华为鸿蒙HarmonyOS应用开发之Java UI框架、常用Image组件使用

一、Image 二、Image组件实例测试 1.新建基于empty ability(Java)手机应用程序的ImageTest工程。运行出现如下结果 2.在Project窗口，打开“entry > src > main > resources > base > media”，添加4个图片至media文件夹下，以“pic1.jpg”、“pic2.jpg”、…
阅读更多...
阿里面试，我挂在了第四轮……

阿里面试，我挂在了第四轮……

可能每个技术人都有个阿里梦&#xff0c;我也不例外。最近准备跳槽&#xff0c;前一阵子在准备各种面试&#xff0c;也面了几个大厂&#xff0c;包括阿里。是的&#xff0c;最后我挂在了第四轮。这篇文章来总结一下我在阿里四轮的面试经历&#xff0c;希望能对读者有所启发。阿…
阅读更多...
基于IP-PBX的VoIP系统解决方案

基于IP-PBX的VoIP系统解决方案

基于IP-PBX的VoIP系统解决方案目前&#xff0c;众多企业随着业务的扩张&#xff0c;开设了大量的分支机构&#xff0c;这样企业总分支机构以及分支机构之间的语音沟通是非常频繁&#xff0c;企业长途电话费用是企业经营成本中的一项巨大开支。现在互联网已非常普及&#xff0c;…
阅读更多...
面试官：聊一下二分法

面试官：聊一下二分法

来源&#xff1a;cnblogs.com/luoxn28/p/5767571.html1、二分查找二分查找是一个基础的算法&#xff0c;也是面试中常考的一个知识点。二分查找就是将查找的键和子数组的中间键作比较&#xff0c;如果被查找的键小于中间键&#xff0c;就在左子数组继续查找&#xff1b;如果大于…
阅读更多...
Delphi利用Windows GDI实现文字倾斜

Delphi利用Windows GDI实现文字倾斜

2019独角兽企业重金招聘Python工程师标准>>> procedure TForm1.FormPaint(Sender: TObject);var FLogFont: tagLogFontW; hTempFont, hPrevFont: HFONT; //字体句柄 hTempDC: HDC; //设备描述表或图形设备句柄 TempString: string; //输出的文字begin FLogFont…
阅读更多...
面试干货 | Java 能否自定义一个类叫 java.lang.System？

面试干货 | Java 能否自定义一个类叫 java.lang.System？

本文由读者 apdoer 投稿&#xff0c;apdoer 是一个极具钻研精神的 Java 猿&#xff0c;技术牛X头发茂盛! 博客地址&#xff1a;https://blog.csdn.net/m0_43452671缘起&#xff1a;一个面试题最近在上下班地铁刷博客,无意刷到一个面试题,号称很多程序员的烈士公墓&#xff1a;j…
阅读更多...
mysql 数据库文件导入和导出、远程上传和下载数据库

mysql 数据库文件导入和导出、远程上传和下载数据库

1.打开数据库操作软件：Navicat Premium 15 中文版，登录测试连接！ 2.打开本地mysql 数据库，新建数据库的名字必须和要导入的数据库名字一致。字符集和排 序规则按下图设置即可。
阅读更多...
经典面试题 | 讲一下垃圾回收器都有哪些？

经典面试题 | 讲一下垃圾回收器都有哪些？

垃圾回收器有哪些&#xff1f;是一个高频的面试题&#xff0c;那本文就详细来解答这个问题。因为不同的厂商&#xff08;IBM、Oracle&#xff09;&#xff0c;实现的垃圾回收器各不相同&#xff0c;而本文要讨论的是 Oracle 的 HotSpot 虚拟机所使用的垃圾回收器。常用垃圾回收…
阅读更多...
十、华为鸿蒙HarmonyOS应用开发之Java UI框架、常用TabList组件使用

十、华为鸿蒙HarmonyOS应用开发之Java UI框架、常用TabList组件使用

一、TabList和Tab 二、TabList组件实例测试 1.新建基于empty ability(Java
阅读更多...
dotConnect for Oracle控件免费下载及使用方法

dotConnect for Oracle控件免费下载及使用方法

原文来自龙博方案网http://www.fanganwang.com/product/1330转载请注明出处dotConnect for Oracle完全基于ADO.NET方法&#xff0c;因此您完全可以采用标准ADO.NET数据提供的方法来使用它。是一款为Microsoft .NET Framework提供直接Oracle数据库连接的数据发生器控件。 具体功…
阅读更多...
面试官：谈谈数据库连接池的原理

面试官：谈谈数据库连接池的原理

来源&#xff1a;https://dwz.cn/oUF6pKOW这次我们采取技术演进的方式来谈谈数据库连接池的技术出现过程及其原理&#xff0c;以及当下最流行的开源数据库连接池jar包。一、早期我们怎么进行数据库操作1、原理一般来说&#xff0c;Java应用程序访问数据库的过程是&#xff1a;①…
阅读更多...
php调用twitter api

php调用twitter api

今天做了一个关于调用twitter api来同步twitter信息到自己网站的功能&#xff0c;虽然是比较简单的功能&#xff0c;着实花费了我不少时间。网上有很多关于twitter api调用的方法&#xff0c;我试了几个都没有成功&#xff0c;貌似需要Oauth验证&#xff0c;这个跟微信开发类似…
阅读更多...
8种常见SQL错误用法，你犯过几个？

8种常见SQL错误用法，你犯过几个？

来源&#xff1a;https://yq.aliyun.com/articles/72501高考和端午小长假一溜烟的功夫就全过完了&#xff0c;新的一周&#xff0c;让我们迎着清晨的阳光&#xff0c;继续前行。1、LIMIT 语句分页查询是最常用的场景之一&#xff0c;但也通常也是最容易出问题的地方。比如对于下…
阅读更多...
51单片机 16*64LED单红点阵屏驱动测试，上位机改字软件免费版

51单片机 16*64LED单红点阵屏驱动测试，上位机改字软件免费版

public.h #ifndef __PUBLIC_H__ #define __PUBLIC_H__#include "STC12C5A60S2.h" #include <intrins.h> #include <string.h>//包含memset函数#define UCHAR unsigned char #define UINT unsigned int #define TRUE 1 #define FALSE 0#define LEDON 0…
阅读更多...
cocos2dx基础篇(2)——Win32移植到Android

cocos2dx基础篇(2)——Win32移植到Android

【安装工具】JDKEclipse 或直接下一个 ADT集成开发工具SDKNDK9rADTCDT安装方法自行百度。【正文】1、由 Cocos2D-X 和 VS2010 环境配置——1 中提到的python方法&#xff0c;创建新项目。然后将你开发好的win项目相应的文件Classes和Resources文件夹里的东西分别拷贝到刚创建的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023