MySQL 查询速度慢与性能差的原因与解决方法

MySQL 查询速度慢与性能差的原因与解决方法

更新时间：2019年09月26日 18:05:47 作者：Microtiger

随着网站数据量与访问量的增加，MySQL 查询速度慢与性能差的问题就日渐明显，这里为大家分享一下解决方法,需要的朋友可以参考下

一、什么影响了数据库查询速度

1.1 影响数据库查询速度的四个因素

分分钟解决 MySQL 查询速度慢与性能差

1.2 风险分析

QPS： QueriesPerSecond意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

TPS： 是 TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。

Tips： 最好不要在主库上数据库备份，大型活动前取消这样的计划。

效率低下的 sql：超高的 QPS与 TPS。大量的并发：数据连接数被占满（ max_connection默认 100，一般把连接数设置得大一些）。 并发量:同一时刻数据库服务器处理的请求数量超高的 CPU使用率： CPU资源耗尽出现宕机。磁盘 IO：磁盘 IO性能突然下降、大量消耗磁盘性能的计划任务。解决：更快磁盘设备、调整计划任务、做好磁盘维护。

1.3 网卡流量：如何避免无法连接数据库的情况

减少从服务器的数量（从服务器会从主服务器复制日志）进行分级缓存（避免前端大量缓存失效）避免使用 select* 进行查询分离业务网络和服务器网络

1.4 大表带来的问题（ 重要）

1.4.1 大表的特点

记录行数巨大，单表超千万表数据文件巨大，超过 10个 G

1.4.2 大表的危害

1.慢查询：很难在短时间内过滤出需要的数据 查询字区分度低 -> 要在大数据量的表中筛选出来其中一部分数据会产生大量的磁盘 io -> 降低磁盘效率

2.对 DDL影响：

建立索引需要很长时间：

MySQL-v<5.5 建立索引会锁表MySQL-v>=5.5 建立索引会造成主从延迟（ mysql建立索引，先在组上执行，再在库上执行）

修改表结构需要长时间的锁表：会造成长时间的主从延迟(‘480秒延迟’)

1.4.3 如何处理数据库上的大表

分库分表把一张大表分成多个小表

难点：

分表主键的选择分表后跨分区数据的查询和统计

1.5 大事务带来的问题（ 重要*）*

1.5.1 什么是事务

分分钟解决 MySQL 查询速度慢与性能差

1.5.2事务的 ACID属性

1、原子性（ atomicity)：全部成功，全部回滚失败。银行存取款。

2、一致性（consistent)：银行转账的总金额不变。

3、隔离性（isolation)：

隔离性等级：

未提交读( READ UNCOMMITED) 脏读,两个事务之间互相可见；已提交读( READ COMMITED)符合隔离性的基本概念,一个事务进行时，其它已提交的事物对于该事务是可见的，即可以获取其它事务提交的数据。可重复读( REPEATABLE READ) InnoDB的默认隔离等级。事务进行时，其它所有事务对其不可见，即多次执行读，得到的结果是一样的！可串行化（ SERIALIZABLE） 在读取的每一行数据上都加锁，会造成大量的锁超时和锁征用，严格数据一致性且没有并发是可使用。

查看系统的事务隔离级别： show variables like’%iso%’;

开启一个新事务： begin;

提交一个事务： commit;

修改事物的隔离级别： setsession tx_isolation=‘read-committed’;

4、持久性( DURABILITY)：从数据库的角度的持久性，磁盘损坏就不行了

分分钟解决 MySQL 查询速度慢与性能差

redolog机制保证事务更新的一致性和持久性

1.5.3 大事务

运行时间长，操作数据比较多的事务；

风险：锁定数据太多，回滚时间长，执行时间长。

锁定太多数据，造成大量阻塞和锁超时；回滚时所需时间比较长，且数据仍然会处于锁定；如果执行时间长，将造成主从延迟，因为只有当主服务器全部执行完写入日志时，从服务器才会开始进行同步，造成延迟。

解决思路：

避免一次处理太多数据，可以分批次处理；移出不必要的 SELECT操作，保证事务中只有必要的写操作。二、什么影响了MySQL性能（ 非常重要)

2.1 影响性能的几个方面

服务器硬件。服务器系统（系统参数优化）。存储引擎。 MyISAM： 不支持事务，表级锁。 InnoDB: 支持事务，支持行级锁，事务 ACID。数据库参数配置。数据库结构设计和SQL语句。（重点优化）

2.2 MySQL体系结构

分三层：客户端->服务层->存储引擎

分分钟解决 MySQL 查询速度慢与性能差

MySQL是 插件式的存储引擎，其中存储引擎分很多种。只要实现符合mysql存储引擎的接口，可以开发自己的存储引擎!所有跨存储引擎的功能都是在服务层实现的。MySQL的存储引擎是针对表的，不是针对库的。也就是说在一个数据库中可以使用不同的存储引擎。但是不建议这样做。

2.3 InnoDB存储引擎

MySQL5.5及之后版本默认的存储引擎： InnoDB。

2.3.1 InnoDB使用表空间进行数据存储。

show variables like’innodb_file_per_table

如果innodbfileper_table 为 ON 将建立独立的表空间，文件为tablename.ibd；

如果innodbfileper_table 为 OFF 将数据存储到系统的共享表空间，文件为ibdataX（X为从1开始的整数）；

.frm ：是服务器层面产生的文件，类似服务器层的数据字典，记录表结构。

2.3.2 (MySQL5.5默认)系统表空间与( MySQL5.6及以后默认)独立表空间

1.1 系统表空间无法简单的收缩文件大小，造成空间浪费，并会产生大量的磁盘碎片。1.2 独立表空间可以通过 optimeze table 收缩系统文件，不需要重启服务器也不会影响对表的正常访问。2.1 如果对多个表进行刷新时，实际上是顺序进行的，会产生IO瓶颈。2.2 独立表空间可以同时向多个文件刷新数据。

强烈建立对Innodb 使用独立表空间，优化什么的更方便，可控。

2.3.3 系统表空间的表转移到独立表空间中的方法

1、使用mysqldump 导出所有数据库数据（存储过程、触发器、计划任务一起都要导出 ）可以在从服务器上操作。2、停止MYsql 服务器，修改参数（my.cnf加入innodbfileper_table），并删除Inoodb相关文件（可以重建Data目录）。3、重启MYSQL，并重建Innodb系统表空间。4、 重新导入数据。

或者 Altertable 同样可以的转移，但是无法回收系统表空间中占用的空间。

2.4 InnoDB存储引擎的特性

2.4.1 特性一：事务性存储引擎及两个特殊日志类型：Redo Log 和 Undo Log

Innodb 是一种事务性存储引擎。完全支持事务的 ACID特性。支持事务所需要的两个特殊日志类型： RedoLog 和 UndoLog

Redo Log： 实现事务的持久性(已提交的事务)。 Undo Log： 未提交的事务，独立于表空间，需要随机访问，可以存储在高性能io设备上。

Undo日志记录某数据被修改前的值，可以用来在事务失败时进行 rollback； Redo日志记录某数据块被修改后的值，可以用来恢复未写入 data file的已成功事务更新的数据。

2.4.2 特性二：支持行级锁

InnoDB支持行级锁。行级锁可以最大程度地支持并发。行级锁是由存储引擎层实现的。

2.5 什么是锁

2.5.1 锁

分分钟解决 MySQL 查询速度慢与性能差

2.5.2 锁类型

分分钟解决 MySQL 查询速度慢与性能差

2.5.3 锁的粒度

MySQL的事务支持不是绑定在MySQL服务器本身， 而是与存储引擎相关

分分钟解决 MySQL 查询速度慢与性能差

将table_name加表级锁命令： locktable table_name write; 写锁会阻塞其它用户对该表的‘读写’操作，直到写锁被释放： unlock tables；

锁的开销越大，粒度越小，并发度越高。表级锁通常是在服务器层实现的。行级锁是存储引擎层实现的。innodb的锁机制，服务器层是不知道的

2.5.4 阻塞和死锁

（1）阻塞是由于资源不足引起的排队等待现象。 （2）死锁是由于两个对象在拥有一份资源的情况下申请另一份资源，而另一份资源恰好又是这两对象正持有的，导致两对象无法完成操作，且所持资源无法释放。

2.6 如何选择正确的存储引擎

参考条件：

事务备份( Innobd免费在线备份)崩溃恢复存储引擎的特有特性

总结: Innodb 大法好。

注意: 尽量别使用混合存储引擎，比如回滚会出问题在线热备问题。

2.7 配置参数

2.7.1 内存配置相关参数

确定可以使用的内存上限。

内存的使用上限不能超过物理内存，否则容易造成内存溢出；（对于32位操作系统，MySQL只能试用3G以下的内存。）

确定MySQL的 每个连接 单独 使用的内存。

sort_buffer_size #定义了每个线程排序缓存区的大小，MySQL在有查询、需要做排序操作时才会为每个缓冲区分配内存（直接分配该参数的全部内存）join_buffer_size #定义了每个线程所使用的连接缓冲区的大小，如果一个查询关联了多张表，MySQL会为每张表分配一个连接缓冲，导致一个查询产生了多个连接缓冲read_buffer_size #定义了当对一张MyISAM进行全表扫描时所分配读缓冲池大小，MySQL有查询需要时会为其分配内存，其必须是4k的倍数；read_rnd_buffer_size #索引缓冲区大小，MySQL有查询需要时会为其分配内存，只会分配需要的大小。

注意： 以上四个参数是为一个线程分配的，如果有100个连接，那么需要×100。

MySQL数据库实例：

①MySQL是 单进程多线程（而oracle是多进程），也就是说 MySQL实例在系统上表现就是一个服务进程，即进程；

②MySQL实例是线程和内存组成，实例才是真正用于操作数据库文件的；

一般情况下一个实例操作一个或多个数据库；集群情况下多个实例操作一个或多个数据库。

如何为缓存池分配内存：

Innodb_buffer_pool_size，定义了Innodb所使用缓存池的大小，对其性能十分重要，必须足够大，但是过大时，使得Innodb 关闭时候需要更多时间把脏页从缓冲池中刷新到磁盘中；

总内存-（每个线程所需要的内存*连接数）-系统保留内存

key_buffer_size，定义了MyISAM所使用的缓存池的大小，由于数据是依赖存储操作系统缓存的，所以要为操作系统预留更大的内存空间；

select sum(index_length) from information_schema.talbes where engine=‘myisam’

注意： 即使开发使用的表全部是Innodb表，也要为MyISAM预留内存，因为MySQL系统使用的表仍然是MyISAM表。

max_connections 控制允许的最大连接数， 一般2000更大。

不要使用外键约束保证数据的完整性。

2.8 性能优化顺序

从上到下：

分分钟解决 MySQL 查询速度慢与性能差

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/555958.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

重写JS数组常用方法

重写JS数组常用方法

Array.prototype.forEach 没有返回值 参数1&#xff1a;遍历数组时需要执行的回调函数 回调函数参数1&#xff1a;数组的每一项 item回调函数参数2&#xff1a;每一项的下标 index回调函数参数3&#xff1a;整个数组 array 参数2&#xff1a;这个回调函数的 this 指向 Array.pr…
阅读更多...
mysql 时间戳 2038_mysql数据库的timestamp为什么从1970到2038的某一时间？某一时间是指什么时间？过了这个时间之后怎么办？-问答-阿里云开发者社区-阿里云...

mysql 时间戳 2038_mysql数据库的timestamp为什么从1970到2038的某一时间？某一时间是指什么时间？过了这个时间之后怎么办？-问答-阿里云开发者社区-阿里云...

首先你要理解什么是时间戳。时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至某一时间点的总秒数。例如北京时间2015-12-31 17:00:00的时间戳是1451552400&#xff0c;就是指从北京时间1970-01-01 08:00:00到2015-12-31 17:00:00已经…
阅读更多...
MySQL 批量插入数据，单次插入多少条数据效率最高

MySQL 批量插入数据，单次插入多少条数据效率最高

文章目录一、前言二、批量插入前准备1、插入到数据表的字段2、计算一行字段占用的空间3、在数据里做插入操作的时候&#xff0c;整体时间的分配三、批量插入数据测试1、SQL语句的大小限制2、查看服务器上的参数&#xff1a;3、计算一次能插入的最大行记录4、测试插入数据比对&a…
阅读更多...
重写 typeof 方法

重写 typeof 方法

重写 typeof 方法 function myTypeof(str) {var toStr Object.prototype.toString,typeofStr typeof(str),typeTemp {[object Object]: object, // 检测对象[object String]: object-string, // 检测包装类 String[object Number]: object-number, // 检测包装类 Number[ob…
阅读更多...
mysql+跨服务器+写入_MySQL中使用FREDATED引擎实现跨数据库服务器、跨实例访问

mysql+跨服务器+写入_MySQL中使用FREDATED引擎实现跨数据库服务器、跨实例访问

跨数据库服务器&#xff0c;跨实例访问是比较常见的一种访问方式&#xff0c;在Oracle中可以通过DB LINK的方式来实现。对于MySQL而言&#xff0c;有一个FEDERATED存储引擎与之相对应。同样也是通过创建一个链接方式的形式来访问远程服务器上的数据。本文简要描述了FEDERATED存…
阅读更多...
MYSQL避免全表扫描__如何查看sql查询是否用到索引(mysql)

MYSQL避免全表扫描__如何查看sql查询是否用到索引(mysql)

MYSQL避免全表扫描 1.对查询进行优化&#xff0c;应尽量避免全表扫描&#xff0c;首先应考虑在 where 及 order by 涉及的列上建立索引 2.应尽量避免在 where 子句中对字段进行 null 值判断&#xff0c;否则将导致引擎放弃使用索引而进行全表扫描 如&#xff1a;select id f…
阅读更多...
字符串数组排序

字符串数组排序

字符串数组排序 var arr [chifan, 抽yan, he酒, 烫头, Coding2233];/*** 计算字符串字节数*/ function getBytesCount(str) {var bytesCount str.length;for (var i 0; i < bytesCount; i) {var ASCIINum str.charCodeAt(i);ASCIINum > 255 && bytesCount;}…
阅读更多...
mysql主键unsigned_mysql – 主键应该总是unsigned？

mysql主键unsigned_mysql – 主键应该总是unsigned？

MySQL支持可选的SERIAL数据类型(假定与PostgreSQL兼容&#xff0c;因为SERIAL不是标准的ANSI SQL)。此数据类型只是创建BIGINT UNSIGNED的简写。去试试吧&#xff1a;CREATE TABLE test.foo (foo_id SERIAL PRIMARY KEY);SHOW CREATE TABLE test.foo;CREATE TABLE test.foo (fo…
阅读更多...
@SuppressWarnings使用的正确姿势

@SuppressWarnings使用的正确姿势

SuppressWarnings比较常见&#xff0c;理解和使用起来都很简单。 但是就这这个机会系统的整理一下。 通过源码可以看出&#xff0c;支持在类、属性、方法、参数、构造方法、本地变量上使用。 SuppressWarnings注解的使用有三种&#xff1a; SuppressWarnings(“unchecked”)…
阅读更多...
DOM - 找出当前节点的子元素节点和找出当前节点的第 n 层父级元素

DOM - 找出当前节点的子元素节点和找出当前节点的第 n 层父级元素

一、找出当前节点的子元素节点 思路&#xff1a; 先拿到当前节点的子节点集合循环遍历这些节点&#xff0c;找出元素节点并添加到元素集合中如果传了数字参数&#xff0c;就返回元素集合中对应下标的节点没传参数就返回整个元素集合 Element.prototype.getChildNode functio…
阅读更多...
mysql5.7.3安装教程_最新mysql 5.7.23安装配置图文教程

mysql5.7.3安装教程_最新mysql 5.7.23安装配置图文教程

2018年最新MySQL5.7详细安装与配置&#xff0c;总共分为四步&#xff0c;其中环境变量配置不是必须的。1、安装包下载2、安装过程3、环境变量配置4、连接测试一、官网下载MYSQL安装包2.选择合适你电脑系统的版本进行安装。如果有网络&#xff0c;选择在线安装的版本&#xff0c…
阅读更多...
MySQL 添加where 1= 1 是否会引起索引失效

MySQL 添加where 1= 1 是否会引起索引失效

背景 在检查数据库的执行效率的时候&#xff0c;发现了一条查询极慢的查询sql。sql的例子如下&#xff1a; EXPLAIN SELECT * FROM user_point_detail_info WHERE 11 AND deleted FALSE AND app_id 2010001 AND point > 10 AND add_time BETWEEN "2021-03-12 17:0…
阅读更多...
DOM - 查看当前节点下有无子元素节点

DOM - 查看当前节点下有无子元素节点

for 循环版 Element.prototype.hasChildren function () {const childNodes this.childNodes,len childNodes.length;for (let i 0; i < len; i) {const item childNodes[i];if (item.nodeType 1) {return true;}}return false; }while 循环版 Element.prototype.ha…
阅读更多...
mysql回档命令_MySQL 备份恢复

mysql回档命令_MySQL 备份恢复

1&#xff1a;备份常用工具&#xff1a;mysqldump, xtrabackupmysqldump: 原生数据导出工具&#xff0c;以sql的形式导出保存xtrabackup: percona团队提供的备份工具&#xff0c;基于文件系统的备份2&#xff1a;备份全库&#xff1a;mysqldump -h10.6.29.1 -uroot -p --all-da…
阅读更多...
MySQL在like查询中是否使用到索引

MySQL在like查询中是否使用到索引

mysql在使用like查询中&#xff0c;能不能用到索引&#xff1f;在什么地方使用索引呢&#xff1f; 在使用like的时候&#xff0c;如果使用‘%%’&#xff0c;会不会用到索引呢&#xff1f; EXPLAIN SELECT * FROM user WHERE username LIKE %ptd_%;上面的结果是全表扫描&#…
阅读更多...
DOM - 查看当前节点的前后兄弟元素节点

DOM - 查看当前节点的前后兄弟元素节点

查看当前节点的前后兄弟元素节点 Element.prototype.getElementSibling function (n) {let node this,type typeof(n);if (type undefined && type ! number) {return;}while (n) {if (n > 0) { // 控制往前找还是往后找node node.nextElementSibling;n--;} e…
阅读更多...
elasticsearch scroll 一页最大数据量_elasticsearch 百亿级数据检索案例与原理

elasticsearch scroll 一页最大数据量_elasticsearch 百亿级数据检索案例与原理

一、前言数据平台已迭代三个版本&#xff0c;从头开始遇到很多常见的难题&#xff0c;终于有片段时间整理一些已完善的文档&#xff0c;在此分享以供所需朋友的实现参考&#xff0c;少走些弯路&#xff0c;在此篇幅中偏重于ES的优化&#xff0c;关于HBase&#xff0c;Hadoop的设…
阅读更多...
使用Collections.emptyList()生成的List不支持add方法___Java Collections.emptyList方法的使用及注意事项

使用Collections.emptyList()生成的List不支持add方法___Java Collections.emptyList方法的使用及注意事项

使用Collections.emptyList()生成的List不支持add方法 今天使用Collections.emptyList()&#xff0c;返回一个空的List 但是发现它不支持Add功能&#xff0c;调用Add会抛出unsupportedException&#xff0c; 在以后要返回一个空的List&#xff0c;并还需要后续操作时&#xff…
阅读更多...
DOM - 找出当前节点下的所有元素节点（不管多少层都找出来）

DOM - 找出当前节点下的所有元素节点（不管多少层都找出来）

Element.prototype.getChildNode function () {const resArr [];fn(this);function fn(node) {const childNodes node.childNodes,len childNodes.length;// 找出元素节点(node && node.nodeType 1) && resArr.push(node);for (let i 0; i < len; i) …
阅读更多...
mysql批量查询版本号最大的_mysql子查询批量找id最大的

mysql批量查询版本号最大的_mysql子查询批量找id最大的

hiho一下123周 后缀数组四&&num;183&semi;重复旋律后缀数组四重复旋律4 时间限制:5000ms 单点时限:1000ms 内存限制:256MB 描述 小Hi平时的一大兴趣爱好就是演奏钢琴.我们知道一个音乐旋律被表示为长度为 N 的数构成的数列.小Hi ...mxGraph实现按住ctrl键盘拖动图形…
阅读更多...
最新文章

Copyright @ 2022~2023