MySQL百万级/千万级数据存储解决方案

MySQL 百万级/千万级数据存储解决方案

百万级、千万级数据处理，个人认为核心关键在于数据存储方案设计，存储方案设计的是否合理，直接影响到数据CRUD操作。总体设计可以考虑一下三个方面进行设计考虑：

  1. 数据存储结构设计
  2. 索引设计
  3. 数据主键设计
  4. 查询方案设计

百万级数据处理方案：

数据存储结构设计

表字段设计

  1. 表字段 not null，因为 null 值很难查询优化且占用额外的索引空间，推荐默认数字 0。
  2. 数据状态类型的字段，比如 status, type 等等，尽量不要定义负数，如 -1。因为这样可以加上 UNSIGNED，数值容量就会扩大一倍。
  3. 可以的话用 TINYINT、SMALLINT 等代替 INT，尽量不使用 BIGINT，因为占的空间更小。
  4. 字符串类型的字段会比数字类型占的空间更大，所以尽量用整型代替字符串，很多场景是可以通过编码逻辑来实现用整型代替的。
  5. 字符串类型长度不要随意设置，保证满足业务的前提下尽量小。
  6. 用整型来存 IP。
  7. 单表不要有太多字段，建议在20以内。
  8. 为能预见的字段提前预留，因为数据量越大，修改数据结构越耗时。

索引设计

  1. 索引，空间换时间的优化策略，基本上根据业务需求设计好索引，足以应付百万级的数据量，养成使用 explain 的习惯，关于 explain 也可以访问：explain 让你的 sql 写的更踏实了解更多。
  2. 一个常识：索引并不是越多越好，索引是会降低数据写入性能的。
  3. 索引字段长度尽量短，这样能够节省大量索引空间；
  4. 取消外键，可交由程序来约束，性能更好。
  5. 复合索引的匹配最左列规则，索引的顺序和查询条件保持一致，尽量去除没必要的单列索引。
  6. 值分布较少的字段（不重复的较少）不适合建索引，比如像性别这种只有两三个值的情况字段建立索引意义不大。
  7. 需要排序的字段建议加上索引，因为索引是会排序的，能提高查询性能。
  8. 字符串字段使用前缀索引，不使用全字段索引，可大幅减小索引空间。

查询语句优化

  1. 尽量使用短查询替代复杂的内联查询。
  2. 查询不使用 select *，尽量查询带索引的字段，避免回表。
  3. 尽量使用 limit 对查询数量进行限制。
  4. 查询字段尽量落在索引上，尤其是复合索引，更需要注意最左前缀匹配。
  5. 拆分大的 delete / insert 操作，一方面会锁表，影响其他业务操作，还有一方面是 MySQL 对 sql 长度也是有限制的。
  6. 不建议使用 MySQL 的函数，计算等，可先由程序处理，从上面提的一些点会发现，能交由程序处理的尽量不要把压力转至数据库上。因为多数的服务器性能瓶颈都在数据库上。
  7. 查询 count，性能：count(1) = count(*) > count(主键) > count(其他字段)。
  8. 查询操作符能用 between 则不用 in，能用 in 则不用 or。避免使用!=或＜＞、IS NULL或IS NOT NULL、IN ，NOT IN等这样的操作符，因为这些查询无法使用索引。
  9. sql ``尽量简单，少用 join，不建议两个 join 以上。

千万级数据处理方案：

数据存储结构设计

到了这个阶段的数据量，数据本身已经有很大的价值了，数据除了满足常规业务需求外，还会有一些数据分析的需求。而这个时候数据可变动性不高，基本上不会考虑修改原有结构，一般会考虑从分区，分表，分库三方面做优化：

分区

分区是根据一定的规则，数据库把一个表分解成多个更小的、更容易管理的部分，是一种水平划分。对应用来说是完全透明的，不影响应用的业务逻辑，即不用修改代码。因此能存更多的数据，查询，删除也支持按分区来操作，从而达到优化的目的。如果有考虑分区，可以提前做准备，避免下列一些限制：

  • 一个表最多只能有1024个分区（mysql5.6之后支持8192个分区）。但你实际操作的时候，最好不要一次性打开超过 100 个分区，因为打开分区也是有时间损耗的。
  • 如果分区字段中有主键或者唯一索引列，那么所有主键列和唯一索引列都必须包含进来，如果表中有主键或唯一索引，那么分区键必须是主键或唯一索引。
  • 分区表中无法使用外键约束。
  • NULL``值会使分区过滤无效，这样会被放入默认的分区里，请千万不要让分区字段出现 NULL。
  • 所有分区必须使用相同的存储引擎。

分表

分表分水平分表和垂直分表。
水平分表即拆分成数据结构相同的各个小表，如拆分成 table1, table2…，从而缓解数据库读写压力。
垂直分表即将一些字段分出去形成一个新表，各个表数据结构不相同，可以优化高并发下锁表的情况。
可想而知，分表的话，程序的逻辑是需要做修改的，所以，一般是在项目初期时，预见到大数据量的情况，才会考虑分表。后期阶段不建议分表，成本很大。

分库

分库一般是主从模式，一个数据库服务器主节点复制到一个或多个从节点多个数据库，主库负责写操作，从库负责读操作，从而达到主从分离，高可用，数据备份等优化目的。
当然，主从模式也会有一些缺陷，主从同步延迟，binlog 文件太大导致的问题等等，这里不细讲（笔者也学不动了）。

其他

冷热表隔离。对于历史的数据，查询和使用的人数少的情况，可以移入另一个冷数据库里，只提供查询用，来缓解热表数据量大的情况。

数据库表主键设计

数据库主键设计，个人推荐带有时间属性的自增长数字ID。（分布式自增长ID生成算法）
雪花算法
百度分布式ID算法
美团分布式ID算法
为什么要使用这些算法呢，这个与MySQL数据存储结构有关

从业务上来说

在设计数据库时不需要费尽心思去考虑设置哪个字段为主键。然后是这些字段只是理论上是唯一的，例如使用图书编号为主键，这个图书编号只是理论上来说是唯一的，但实践中可能会出现重复的情况。所以还是设置一个与业务无关的自增ID作为主键，然后增加一个图书编号的唯一性约束。

从技术上来说

如果表使用自增主键，那么每次插入新的记录，记录就会顺序添加到当前索引节点的后续位置，当一页写满，就会自动开辟一个新的页。 总的来说就是可以提高查询和插入的性能。

  1. 对InnoDB来说主键索引既存储索引值，又在叶子节点中存储行的数据，也就是说数据文件本身就是按照b+树方式存放数据的。
  2. 如果没有定义主键，则会使用非空的UNIQUE键做主键 ; 如果没有非空的UNIQUE键，则系统生成一个6字节的rowid做主键;聚簇索引中，N行形成一个页（一页通常大小为16K)。如果碰到不规则数据插入时，为了保持B+树的平衡，会造成频繁的页分裂和页旋转，插入速度比较慢。所以聚簇索引的主键值应尽量是连续增长的值，而不是随机值(不要用随机字符串或UUID)。
  3. 故对于InnoDB的主键，尽量用整型，而且是递增的整型。这样在存储/查询上都是非常高效的。

MySQL面试题

MySQL数据库千万级数据查询优化方案

limit``分页查询越靠后查询越慢。这也让我们得出一个结论：

1，limit语句的查询时间与起始记录的位置成正比。

2，mysql的limit语句是很方便，但是对记录很多的表并不适合直接使用
表使用InnoDB作为存储引擎，id作为自增主键，默认为主键索引
SELECT id FROM test LIMIT 9000000,100;

现在优化的方案有两种，即通过id作为查询条件使用子查询实现和使用join实现；

  • id>=的（子查询）形式实现
    select * from test where id >= (select id from test limit 9000000,1)limit 0,100

  • 使用join的形式；
    SELECT * FROM test a JOIN (SELECT id FROM test LIMIT 9000000,100) b ON a.id = b.id
    这两种优化查询使用时间比较接近，其实两者用的都是一个原理，所以效果也差不多。但个人建议最好使用join，尽量减少子查询的使用。注：目前是千万级别查询，如果将至百万级别，速度会更快。
    SELECT * FROM test a JOIN (SELECT id FROM test LIMIT 1000000,100) b ON a.id = b.id

你用过MySQL那些存储引擎，他们都有什么特点和区别？

这是高级开发者面试时经常被问的问题。实际我们在平时的开发中，经常会遇到的。Mysql的存储引擎有这么多种，实际我们在平时用的最多的莫过于InnoDB和MyISAM了。所有如果面试官问道mysql有哪些存储引擎，你只需要告诉这两个常用的就行。

  1. 那他们都有什么特点和区别呢？

MyISAM：默认表类型，它是基于传统的ISAM类型，ISAM是Indexed Sequential Access Method (有索引的顺序访问方法) 的缩写，它是存储记录和文件的标准方法。不是事务安全的，而且不支持外键，如果执行大量的select，insert MyISAM比较适合。
InnoDB``：支持事务安全的引擎，支持外键、行锁、事务是他的最大特点。如果有大量的update和insert，建议使用InnoDB，特别是针对多个并发和QPS较高的情况。注：在MySQL 5.5之前的版本中，默认的搜索引擎是MyISAM，从MySQL 5.5之后的版本中，默认的搜索引擎变更为InnoDB

MyISAM和InnoDB的区别：

  1. InnoDB``支持事务，MyISAM不支持。对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务；
  2. InnoDB``支持外键，而MyISAM不支持。
  3. InnoDB``是聚集索引，使用B+Tree作为索引结构，数据文件是和（主键）索引绑在一起的（表数据文件本身就是按B+Tree组织的一个索引结构），必须要有主键，通过主键索引效率很高。MyISAM是非聚集索引，也是使用B+Tree作为索引结构，索引和数据文件是分离的，索引保存的是数据文件的指针。主键索引和辅助索引是独立的。
  4. InnoDB``不保存表的具体行数，执行select count(*) from table时需要全表扫描。而MyISAM用一个变量保存了整个表的行数，执行上述语句时只需要读出该变量即可，速度很快。
  5. Innodb``不支持全文索引，而MyISAM支持全文索引，查询效率上MyISAM要高；5.7以后的InnoDB支持全文索引了。
  6. InnoDB``支持表、行级锁(默认)，而MyISAM支持表级锁。；
  7. InnoDB``表必须有主键（用户没有指定的话会自己找或生产一个主键），而Myisam可以没有。
  8. Innodb``存储文件有frm、ibd，而Myisam是frm、MYD、MYI。
  9. Innodb``：frm是表定义文件，ibd是数据文件。
  10. Myisam``：frm是表定义文件，myd是数据文件，myi是索引文件。

MySQL复杂查询语句的优化，你会怎么做？

说到复杂SQL优化，最多的是由于多表关联造成了大量的复杂的SQL语句，那我们拿到这种sql到底该怎么优化呢，实际优化也是有套路的，只要按照套路执行就行。复杂SQL优化方案：

  1. 使用EXPLAIN关键词检查SQL。EXPLAIN可以帮你分析你的查询语句或是表结构的性能瓶颈，就得EXPLAIN 的查询结果还会告诉你你的索引主键被如何利用的，你的数据表是如何被搜索和排序的，是否有全表扫描等；
  2. 查询的条件尽量使用索引字段，如某一个表有多个条件，就尽量使用复合索引查询，复合索引使用要注意字段的先后顺序。
  3. 多表关联尽量用join，减少子查询的使用。表的关联字段如果能用主键就用主键，也就是尽可能的使用索引字段。如果关联字段不是索引字段可以根据情况考虑添加索引。
  4. 尽量使用limit进行分页批量查询，不要一次全部获取。
  5. 绝对避免select *的使用，尽量select具体需要的字段，减少不必要字段的查询；
  6. 尽量将or 转换为 union all。
  7. 尽量避免使用is null或is not null。
  8. 要注意like的使用，前模糊和全模糊不会走索引。
  9. Where``后的查询字段尽量减少使用函数，因为函数会造成索引失效。
  10. 避免使用不等于（!=），因为它不会使用索引。
  11. 用exists代替in，not exists代替not in，效率会更好；
  12. 避免使用HAVING子句, HAVING 只会在检索出所有记录之后才对结果集进行过滤，这个处理需要排序，总计等操作。如果能通过WHERE子句限制记录的数目,那就能减少这方面的开销。
  13. 千万不要 ORDER BY RAND()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/556080.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

vue 加载太慢_Vue首页加载过慢 解决方案

vue 加载太慢_Vue首页加载过慢 解决方案

一、什么导致了首页初步加载过慢：app.js文件体积过大二、解决方法：1、Vue-router懒加载vue-router懒加载可以解决首次加载资源过多导致的速度缓慢问题：vue-router支持WebPack内置的异步模块加载系统。所以，那些使用较少的路由组件…
阅读更多...
事件处理 v-on

事件处理 v-on

<!--事件的基本使用&#xff1a;1. 使用 v-on:xxx 或 xxx 绑定事件&#xff0c;其中 xxx 是事件名2. 事件的回调需要配置在 methods 对象中&#xff0c;最终会在 vm 上3. methods 中配置的函数&#xff0c;不要用箭头函数&#xff01;否则 this 就不是 vm 了4. methods 中配…
阅读更多...
java restful文件传输_java中使用restful web service来传输文件

java restful文件传输_java中使用restful web service来传输文件

【1】上传大文件&#xff1a;前端页面&#xff1a;1)同步上传&#xff1a;2)异步上传&#xff1a;异步上传文件上传文件&#xff1a;function doUpload() {// var formData new FormData($("#uploadForm")[0]);var formData new FormData()formData.append("t…
阅读更多...
enum与int、String之间的转换

enum与int、String之间的转换

enum与int、String之间的转换 enum<->int enum -> int: int i enumType.value.ordinal(); int -> enum: enumType b enumType.values()[i]; enum<->String enum -> String: enumType.name() String -> enum: enumType.valueOf(name); 下面是Enum和字…
阅读更多...
ios 简书 获取通讯录信息_iOS-授权获取通讯录

ios 简书 获取通讯录信息_iOS-授权获取通讯录

- (void)getContact{CNAuthorizationStatus authorizationStatus [CNContactStore authorizationStatusForEntityType:CNEntityTypeContacts];if(authorizationStatus CNAuthorizationStatusAuthorized) {// 获取指定的字段,并不是要获取所有字段&#xff0c;需要指定具体的字…
阅读更多...
枚举ENUM的tostring() valueof()name()和values()用法

枚举ENUM的tostring() valueof()name()和values()用法

从jdk5出现了枚举类后,定义一些字典值可以使用枚举类型; 枚举常用的方法是values():对枚举中的常量值进行遍历; valueof(String name) :根据名称获取枚举类中定义的常量值;要求字符串跟枚举的常量名必须一致; 获取枚举类中的常量的名称使用枚举对象.name() 枚举类中重写了t…
阅读更多...
Vue键盘事件

Vue键盘事件

<!--1. Vue 中常用的按键别名&#xff1a;回车 > enter删除 > delete (捕获"删除"和"退格"键&#xff09;退出 > esc空格 > space换行 > tab &#xff08;特殊&#xff0c;必须配合 keydown 去使用&#xff09;上 > up下 > down左…
阅读更多...
win10引导安卓x86_生命不息折腾不止 Win10竟与安卓有一腿

win10引导安卓x86_生命不息折腾不止 Win10竟与安卓有一腿

有些公司、有些产品、有些人总是生命不息折腾不止&#xff0c;不断地更新补丁、不断地出现新的漏洞。近日&#xff0c;微软又搞了几个大新闻。微软Azure营收翻倍&#xff1a;月初&#xff0c;微软重组其销售团队&#xff0c;更专注于云服务的提供&#xff0c;而其销售工作将会转…
阅读更多...
Vue 计算属性 computed

Vue 计算属性 computed

<!--计算属性&#xff1a;1. 定义&#xff1a;要用的属性不存在&#xff0c;要通过已有的属性计算得来2. 原理&#xff1a;底层借助了 Object.defineProperty 方法提供的 getter 和 setter3. get 函数什么时候执行&#xff1f;(1). 初次读取时会执行一次(2). 当依赖的数据发…
阅读更多...
Mysql 数据库默认值选 ‘‘“ 、Null和Empty String的区别

Mysql 数据库默认值选 ‘‘“ 、Null和Empty String的区别

Mysql 数据库默认值选 ‘’" 、Null和Empty String的区别 1&#xff1a;空值(’’)是不占用空间的 2: MySQL中的NULL其实是占用空间的。官方文档说明: “NULL columns require additional space in the row to record whether their values are NULL. For MyISAM tables,…
阅读更多...
Vue 监视属性 watch

Vue 监视属性 watch

<!--监视属性 watch:1. 当被监视的属性变化时&#xff0c;回调函数自动调用&#xff0c;进行相关操作2. 监视的属性必须存在&#xff0c;才能进行监视3. 监视的两种写法&#xff1a;(1). new Vue 时传入 watch 配置(2). 通过 vm.$watch 监视深度监视&#xff1a;(1). Vue 中…
阅读更多...
NAVICAT MYSQL 建表字段 默认值、EMPTY STRING、空白、NULL 的区别

NAVICAT MYSQL 建表字段 默认值、EMPTY STRING、空白、NULL 的区别

Navicat mysql 建表字段 默认值、empty string、空白、NULL 的区别 总结在最后&#xff0c;没啥干货 简单测试了4种类型 bigint tinyint varchar char 单引号 ‘’ 双引号 “” 自定义的默认值 如&#xff1a; 未知的姓名 新建一张用户表 CREATE TABLE user (id bigint(20…
阅读更多...
ddr2的上电顺序_关于内存的插入顺序的问题

ddr2的上电顺序_关于内存的插入顺序的问题

展开全部#ifndef FUNS_H#define FUNS_Hvoid error( char *, ... ); /* 输出错误信32313133353236313431303231363533e59b9ee7ad9431333234323734息&#xff0c;退出程序 */void flush_stdin( void ); /* 清空“输入缓冲区” */#endif#ifndef SQLIST_H#define SQLIST_H#define I…
阅读更多...
如何将vue项目打包为.apk文件

如何将vue项目打包为.apk文件

说明&#xff1a;使用Vue.js开发完毕的app一般不作处理的话&#xff0c;就只能在浏览器上做为Webapp使用。如果需要将它安装到安卓手机上就需要打包为.apk文件了。 前提&#xff1a;安装HBuilderX 具体步骤&#xff1a; 1.在vue项目中找到config/build.js 2.找到build下的a…
阅读更多...
vue 样式绑定 class

vue 样式绑定 class

<!--绑定样式&#xff1a;1. class 样式写法&#xff1a;:class"xxx" xxx 可以是字符串、对象、数组字符串写法适用于&#xff1a;类名不确定&#xff0c;要动态获取对象写法适用于&#xff1a;要绑定多个样式&#xff0c;个数不确定&#xff0c;名字也不确定数组…
阅读更多...
python web后端和vue哪个难_全栈开发用纯后端模板与Vue+后端框架组合哪个好？

python web后端和vue哪个难_全栈开发用纯后端模板与Vue+后端框架组合哪个好？

全栈开发没有明确的定义&#xff0c;但应该指的就是前端后端数据库。所以只用纯后端框架&#xff0c;不算全站开发。至少在Angularjs出现以前&#xff0c;我没听说过全站开发这个词。你问题描述中的感觉是对的&#xff0c;这就是前后端分离的好处。前后端分离就是&#xff1a;两…
阅读更多...
MySQL 字段默认值该如何设置

MySQL 字段默认值该如何设置

MySQL 字段默认值该如何设置 前言&#xff1a; 在 MySQL 中&#xff0c;我们可以为表字段设置默认值&#xff0c;在表中插入一条新记录时&#xff0c;如果没有为某个字段赋值&#xff0c;系统就会自动为这个字段插入默认值。关于默认值&#xff0c;有些知识还是需要了解的&am…
阅读更多...
vue 条件渲染 v-if | v-show

vue 条件渲染 v-if | v-show

<!--条件渲染&#xff1a;1. v-if写法&#xff1a;(1). v-if"表达式"(2). v-else-if"表达式"(3). v-else"表达式"适用于&#xff1a;切换评率较低的场景特点&#xff1a;不展示的DOM元素直接被移除注意&#xff1a;v-if 可以和 v-else-if、v-…
阅读更多...
unity摄影机depth模式_Unity3D Camera 摄像机属性详解

unity摄影机depth模式_Unity3D Camera 摄像机属性详解

unity3d摄像机参数1.ClearFlags:清除标记。决定屏幕的哪部分将被清除。一般用户使用对台摄像机来描绘不同游戏对象的情况&#xff0c;有3中模式选择&#xff1a;Skybox&#xff1a;天空盒。默认模式。在屏幕中的空白部分将显示当前摄像机的天空盒。如果当前摄像机没有设置天空盒…
阅读更多...
mysql，in中重复的记录也查出的方法

mysql，in中重复的记录也查出的方法

mysql&#xff0c;in中重复的记录也查出的方法 如题&#xff0c;举例说明下&#xff0c;假如where in (1,2,3,2,5,3);其中2&#xff0c;3都有重复的&#xff0c;想要让查出的记录数量和in中的相同&#xff0c;重复的也会显示重复的记录&#xff0c;就是得出的记录是6条。 in有…
阅读更多...
最新文章

Copyright @ 2022~2023