MySQL 优化及故障排查

目录

一、mysql 前置知识点

二、MySQL 单实例常见故障

故障一

故障二

故障三

故障四

故障五

故障六

故障七

故障八

三、MySQL 主从故障排查

故障一

故障二

故障三

四、MySQL 优化

1.硬件方面

(1)关于 CPU

(2)关于内存

(3)关于磁盘

2.MySQL 配置文件

二进制日志文件的优化

引擎是 innodb 的优化

引擎是 myisam 的优化

3. SQL 优化

4.MySQL架构优化


一、mysql 前置知识点

MySQL逻辑架构图

  • 客户端和连接服务
  • 核心服务功能
  • 存储引擎层
  • 数据存储层 

二、MySQL 单实例常见故障

故障一

  • 故障现象

ERROR  2002  (HY000):  Can't  connect  to  local  MySQL  server  through  socket '/data/mysql/mysql.sock'  (2)

翻译:

错误2002(HY000):无法通过套接字“/data/mysql/mysql.sock”连接到本地MySQL服务器 (2)

  • 问题分析:
    • 数据库未启动或者数据库端口被防火墙拦截
  • 解决方法:
    • 启动数据库或者防火墙开放数据库监听端口。

故障二

  • 故障现象

ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)

翻译:

错误1045(28000):用户“root”@“localhost”的访问被拒绝(使用密码:否)

  • 问题分析:
    • 密码不正确或者没有权限访问。
  • 解决方法:
    • 修改 my.cnf 主配置文件,在[mysqld]下添加 skip-grant-tables,重启数据库。

最后修改密码命令如下。

mysql>use mysql;
mysql> update mysql.user set authentication_string=password('123456') where user='root' and Host = 'localhost';
mysql> flush privileges;再删除刚刚添加的 skip-grant-tables 参数,重启数据库,使用新密码即可登录。
  • 重新授权

命令如下。

mysql>grant all on *.* to 'root'@'mysql-server' identified by '123456';

故障三

  • 故障现象
    • 在使用远程连接数据库时偶尔会发生远程连接数据库很慢的问题。
  • 问题分析:
    • 如果 MySQL 主机查询 DNS 很慢或是有很多客户端主机时会导致连接很慢. 由于开发机器是不能够连接外网的,在进行 MySQL 连接时,DNS 解析是不可能完成的, 从而也就明白了为什么连接那么慢了。
  • 解决方法:
    • 修改 my.cnf 主配置文件,在[mysqld]下添加 skip-name-resolve,重启数据库可以解决。
    • 数据库授权禁止使用主机名

故障四

  • 故障现象

Can't open file: 'xxx_forums.MYI'. (errno: 145)

  • 问题分析:
    • 服务器非正常关机,数据库所在空间已满,或一些其它未知的原因,对数据库表造  成了损坏。
    • 可能是操作系统下直接将数据库文件拷贝移动,会因为文件的 属组 问题而产生这个 错误。
  • 解决方法:
    • 可以使用下面的两种方式修复数据表(第一种方法仅适合独立主机用户):

        使用 MySQL 自带的专门用户数据表检查和修复工具 myisamchk。一般情况下只有在命令行下面才能运行 myisamchk 命令。常用的修复命令为:

myisamchk -r 数据文件目录/数据表名.MYI;

        通过 phpMyAdmin 修复, phpMyAdmin 带有修复数据表的功能,进入到某一个表中后,点击“操作”,在下方的“表维护”中点击“修复表”即可。

注意:以上两种修复方式在执行前一定要备份数据库。

  • 修改文件的属组(仅适合独立主机用户):

        复制数据库文件的过程中没有将数据库文件设置为 MySQL 运行的帐号可读写(一般适用于 Linux 和 FreeBSD 用户)。

故障五

  • 故障现象

ERROR 1129 (HY000): Host 'xxx.xxx.xxx.xxx' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'

翻译:

错误1129(HY000):主机xxx.xxx.xxx.xxx由于许多连接错误而被阻塞;请使用mysgladmin flush-hosts解除阻塞

  • 问题分析:

        由于 mysql 数据库的参数:max_connect_errors,其默认值是 10。当大量(max_connect_errors)的主机去连接 MySQL,总连接请求超过了 10 次,新的连接就再也无法连接上 MySQL 服务。同一个 ip 在短时间内产生太多中断的数据库连接而导致的阻塞( 超过 mysql 数据库 max_connection_errors 的最大值)。

  • 解决方法:

        使用 mysqladmin flush-hosts 命令清除缓存,命令执行方法如下:

mysqladmin -u root -p -h 192.168.80.7 flush-hosts

Enter password:

注意用户权限

        修改 mysql 配置文件,在[mysqld]下面添加 max_connect_errors=1000,然后重启 MySQL。

故障六

  • 故障现象

客户端报 Too many connections。

  • 问题分析:

        连接数超出 Mysql 的最大连接数限制。

  • 解决方法:

        在 my.cnf 配置文件里面增大连接数,然后重启 MySQL 服务。

max_connections = 2000

一般在1000、2000、3000中选择。

        临时修改最大连接数,重启后不生效。需要在 my.cnf 里面修改配置文件,下次重启生效。

set GLOBAL max_connections=2000;

故障七

  • 故障现象

Warning: World-writable config file '/etc/my.cnf' is ignored ERROR! MySQL is running but PID file could not be found

翻译:

警告:通用可写配置文件'/etc/my.cnf' 被忽略错误!MySQL正在运行但找不到PID文件

  • 问题分析:

MySQL 的配置文件/etc/my.cnf 权限不对。

MySQL 的配置文件/etc/my.cnf 属组不对。

  • 解决方法:

chmod 644 /et/my.cnf

chown mysql:mysql  /etc/my.cnf

故障八

  • 故障现象

InnoDB: Error: page 14178 log sequence number 29455369832
InnoDB: is in the future! Current system log sequence number 29455369832

  • 问题分析:

        innodb 数据文件损坏。

  • 解决方法:

        修改 my.cnf 配置文件,在[mysqld]下添加 innodb_force_recovery=4, 启动数据库后备份数据文件,然后去掉该参数,利用备份文件恢复数据。

三、MySQL 主从故障排查

故障一

  • 故障现象

        从库的 Slave_IO_Running 为 NO

The slave I/O thread stops because master and slave have equal MySQL server ids; these ids must be different for replication to work (or the --replicate-same-server-id option must be used on slave but this does not always make sense; please check the manual before using it).

翻译:

从I/0线程停止,因为主服务器和从服务器具有相同的MySQL服务器ID;这些ID必须是不同的,以便复制工作(或者必须在从服务器上使用-replicate-same-server-id选项)但这并不总是有意义的;使用前请查看说明书)。

  • 问题分析:

        主库和从库的 server-id 值一样。

  • 解决方法:

        修改从库的 server-id 的值,修改为和主库不一样。修改完后重启,再同步即可。

        更改数据库配置的 时候关闭从数据库的数据同步。

故障二

  • 故障现象

        从库的 Slave_IO_Running 为 NO

  • 问题分析:

        造成从库线程为 NO 的原因会有很多,主要原因是主键冲突或者主库删除或更新数据,从库找不到记录,数据被修改导致。通常状态码报错有 1007、1032、1062、1452 等。

一般 Slave_IO_Running: No 的可能性:
1、网络不通
2、my.cnf 配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭

  • 解决方法一:

mysql> stop slave;
mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
mysql> start slave;

  • 解决方法二:

        设置用户权限,设置从库只读权限

set global read_only=true;

故障三

  • 故障现象

Error initializing relay log position: I/O error reading the header from the binary log

  • 分析问题:

        从库的中继日志 relay-bin 损坏。

  • 解决方法:

        手工修复,重新找到同步的 binlog(二进制日志) 和 pos(段位偏移量) 点,然后重新同步即可。

mysql>CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.xxx',MASTER_LOG_POS=xxx;

四、MySQL 优化

1.硬件方面

说到服务器硬件,最主要的无非 CPU、内存、磁盘三大关键因素。

(1)关于 CPU

        CPU 对于 MySQL 应用,推荐使用 S.M.P.架构的多路对称 CPU。例如:可以使用两颗Intel Xeon 3.6GHz 的 CPU。现在比较推荐用 4U 的服务器来专门做数据库服务器,不仅仅是针对于 MySQL。

(2)关于内存

        物理内存对于一台使用 MySQL 的 Database Server 来说,服务器内存建议不要小于2GB,推荐使用 4GB 以上的物理内存。不过内存对于现在的服务器而言可以说是一个可以忽略的问题,工作中遇到了高端服务器基本上内存都超过了 32G。

(3)关于磁盘

        磁盘寻道能力(磁盘 I/O)。以目前市场上普遍高转速 SAS 硬盘(15000 转/秒)为例, 这种硬盘理论上每秒寻道 15000 次,这是物理特性决定的,没有办法改变。 MySQL 每秒钟都在进行大量、复杂的查询操作,对磁盘的读写量可想而知。

        所以通常认为磁盘 I/O 是制约 MySQL 性能的最大因素之一,通常是使用 RAID-0+1 磁盘阵列,注意不要尝试使用RAID-5,MySQL 在 RAID-5 磁盘阵列上的效率并不高。如果不考虑硬件的投入成本,也可以考虑固态(SSD)硬盘专门作为数据库服务器使用。数据库的读写性能肯定会提高很多。

2.MySQL 配置文件

        通常默认的 my.cnf 配置文件无法发挥出 MySQL 最高的性能,所以需要根据不同的硬件进行优化,配置文件的优化也是重点。下面是物理内存为 32G 的数据库优化参数,具体从全局、二进制日志、主从、innodb、myisam 几个方面优化,仅供参考。

(1)default-time-zone=+8:00

        默认 MySQL 使用的是系统时区,修改为北京时间,也就是所说的东八区。

(2)interactive_timeout = 120

        服务器关闭交互式连接前等待活动的秒数。

(3)wait_timeout = 120

        服务器关闭非交互连接之前等待活动的秒数。

(4)open_files_limit = 10240

        MySQL 服务器打开文件句柄数限制。

(5)group_concat_max_len = 102400

        MySQL 默认的拼接最大长度为 1024 个字节,由于 1024 个字节会出现不够用的情况, 根据实际情况进行修改。


(6)user=mysql

        使用 mysql 用户运行。

(7)character-set-server=utf8、init_connect='SET NAMES utf8'

        设置字符集为 utf8

(8)back_log = 600

        在 MySQL 暂时停止响应新请求之前,短时间内的多少个请求可以被存在堆栈中。如果系统在短时间内有很多连接,则需要增大该参数的值,该参数值指定到来的 TCP/IP 连接的监听队列的大小。默认值 50。


(9)max_connections = 5000

        MySQL 允许最大的进程连接数,如果经常出现 Too Many Connections 的错误提示, 则需要增大此值。


10)max_connect_errors = 6000

        设置每个主机的连接请求异常中断的最大次数。当超过该次数,MySQL 服务器将禁止
host 的连接请求,直到 MySQL 服务器重启或通过flush hosts 命令清空此host 的相关信息。

(11)table_cache = 1024

        数据表调整缓冲区大小。它设置表高速缓存的数目。每个连接进来,都会至少打开一个表缓存。因此,table_cache 的大小与 max_connections 的设置有关。例如,对于 200 个并行运行的连接,应该让表的缓存至少有 200×N。这里 N 是应用可以执行查询的一个连接中表的最大数量。
此外,还需要为临时表和文件保留一些额外的文件描述符。 当 MySQL 访问一个表时, 如果该表在缓存中已经被打开,则可以直接访问缓存。如果还没有被缓存,但是在 MySQL 表缓冲区中还有空间,那么这个表就被打开并放入表缓冲区。如果表缓存满了,则会按照一定的规则将当前未用的表释放,或者临时扩大表缓存来存放,使用表缓存的好处是可以更快速地访问表中的内容。执行 flushtables 会清空缓存的内容。
        一般来说,可以通过 showstatus 命令查看数据库运行峰值时间的状态值 Open_tables 和 Opened_tables,判断是否需要增加 table_cache 的值(其中 open_tables 是当前打开的表的数量,Opened_tables 则是已经打开的表的数量)。若 open_tables 接近 table_cache, 并且 Opened_tables 值在逐步增加, 那就要考虑增加这个值的大小了。还有就是Table_locks_waited 比较高的时候,也需要增加 table_cache。


(12)table_open_cache = 2048

        指定表高速缓存的大小。每当MySQL 访问一个表时,如果在表缓冲区中还有空间,该表就被打开并放入其中,这样可以更快地访问表内容。

(13)max_heap_table_size = 256M

        这个变量定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变,即 set @max_heap_table_size=#。但是对于已经存在的内存表就没有什么用了,除非这个表被重新创建(create table)、修改(alter table)或者truncate table。服务重启也会设置已经存在的内存表为全局 max_heap_table_size 的值。


(14)external-locking = false

        使用 skip-external-lockingMySQL 选项以避免外部锁定。该选项默认开启。

(15)max_allowed_packet = 32M

        设置在网络传输中一次消息传输量的最大值。系统默认值为 1MB,最大值是 1GB,必须设置 1024 的倍数。


(16)sort_buffer_size = 512M

        Sort_Buffer_Size 是一个 connection 级参数,在每个 connection(session)第一次需要使用这个 buffer 的时候,一次性分配设置的内存。Sort_Buffer_Size 并不是越大越好,由于是 connection 级的参数,过大的设置+高并发可能会耗尽系统内存资源。


(17)join_buffer_size = 8M

用于表间关联缓存的大小,和 sort_buffer_size 一样,该参数对应的分配内存也是每个连接独享。


(18)thread_cache_size = 300

        服务器线程缓存这个值表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中;如果线程重新被请求,那么请求将从缓存中读取;如果缓存中是空的或者是新的请求,那么这个线程将被重新创建;如果有很多新的线程,增加这个值可以改善系统性能。通过比较 Connections 和 Threads_created 状态的变量,可以看到这个变量的作用。设置规则如下:1GB 内存配置为 8,2GB 配置为 16, 3GB 配置为 32,4GB 或更高内存,可配置更大。


(19)thread_concurrency = 8

        设置 thread_concurrency 值的正确与否,对 MySQL 的性能影响很大,在多个 CPU(或多核)的情况下, 错误设置了 thread_concurrency 的值, 会导致 MySQL 不能充分利用多CPU(或多核),出现同一时刻只能一个 CPU 在工作的情况。thread_concurrency 应设为CPU核数的 2 倍。比如有一个双核的 CPU,那么 thread_concurrency 的应该为 4;2 个双核的cpu,thread_concurrency 的值应为 8。

(20)query_cache_size = 512M

        使用 MySQL 的用户,对于这个变量一定不会陌生。前几年的 MyISAM 引擎优化中, 这个参数也是一个重要的优化参数。但随着发展,这个参数也爆露出来一些问题。机器的内存越来越大,人们也都习惯性的把以前有用的参数分配的值越来越大。这个参数加大后也引发了一系列问题。

        首先分析一下 query_cache_size 的工作原理:一个 SELECT 查询在 DB 中工作后,DB 会把该语句缓存下来。当同样的一个 SQL 再次来到 DB 里调用时,DB 在该表没发生变化的情况下把结果从缓存中返回给 Client。这里有一个关建点,就是 DB 在利用Query_cache 工作时,要求该语句涉及的表在这段时间内没有发生变更。那如果该表在发生变更时,Query_cache 里的数据又怎么处理呢?首先要把 Query_cache 和该表相关的语句全部设置为失效,然后再写入更新。那么如果 Query_cache 非常大,该表的查询结构又比较多,查询语句失效也慢,一个更新或是 Insert 就会很慢,这样看到的就是 Update 或是Insert 怎么这么慢了。

        所以在数据库写入量或是更新量也比较大的系统,该参数不适合分配过大。而且在高并发,写入量大的系统,建议把该功能禁掉。


(21)query_cache_limit = 4M

        指定单个查询能够使用的缓冲区大小,缺省为 1M。

(22)query_cache_min_res_unit = 2k

        默认是 4KB,设置值大对大数据查询有好处,但如果查询都是小数据查询,就容易造成内存碎片和浪费,查询缓存碎片率=Qcache_free_blocks/Qcache_total_blocks*100%。  如果查询缓存碎片率超过 20%,可以用 FLUSHQUERYCACHE 整理缓存碎片,或者尝试减小 query_cache_min_res_unit 。 如果查询都是小数据量, 那么查询缓存利用率
=(query_cache_size–Qcache_free_memory)/query_cache_size*100%。查询缓存利用率在 25%以下,说明 query_cache_size 设置的过大,可适当减小。查询缓存利用率在 80%以上而且 Qcache_lowmem_prunes>50 的话说明 query_cache_size 可能有点小,要不就是碎片太多。查询缓存命中率=(Qcache_hits–Qcache_inserts)/Qcache_hits*100%。


(23)default-storage-engine = innodb

        默认引擎,现在一般都是 innodb 引擎表居多。

(24)thread_stack = 192K

        设置 MySQL 每个线程的堆栈大小,默认值足够大,可满足普通操作。可设置范围为
128K 至 4GB,默认为 192KB。

(25)transaction_isolation = READ-COMMITTED

        设定默认的事务隔离级别,READCOMMITTEE 是读已提交。

(26)tmp_table_size = 256M

        tmp_table_size 的默认大小是 32M。如果一张临时表超出该大小,MySQL 产生一个Thetabletbl_nameisfull 形 式 的 错误 ; 如 果 执 行很 多 高 级 GROUPBY 查 询, 增 加tmp_table_size 值。如果超过该值,则会将临时表写入磁盘。


(27)key_buffer_size = 1024M

        指定用于索引的缓冲区大小,增加它可以得到更好的索引处理性能。

(28)read_buffer_size = 2M

        MySQL 读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL 会为它分配一段内存缓冲区。read_buffer_size 变量控制这一缓冲区的大小。如果对表的顺序扫描请求非常频繁,并且认为频繁扫描进行得太慢,可以通过增加该变量值以及内存缓冲区大小提高其性能。和 sort_buffer_size 一样,该参数对应的分配内存也是每个连接独享。


(29)read_rnd_buffer_size = 256M

        MySQL 的随机读(查询操作)缓冲区大小。当按任意顺序读取行时(例如,按照排序顺序),将分配一个随机读缓存区。进行排序查询时,MySQL 会首先扫描一遍该缓冲,以避免磁盘搜索,提高查询速度。如果需要排序大量数据,可适当调高该值。但 MySQL 会为每个客户连接发放该缓冲空间,所以应尽量适当设置该值,以避免内存开销过大。


(30)bulk_insert_buffer_size = 64M

        批量插入数据缓存大小,可以有效提高插入效率,默认为 8M。(31)skip-name-resolve
禁止域名解析,包括主机名.所以授权的时候要使用 IP 地址。

(32)ft_min_word_len = 1

        从 MySQL4.0 开始就支持全文索引功能,但是 MySQL 默认的最小索引长度是 4。如果是英文默认值是比较合理的,但是中文绝大部分词都是 2 个字符,这就导致小于 4 个字的词都不能被索引。MySQL 全文索引是专门为了解决模糊查询提供的,可以对整篇文章预先按照词进行索引,搜索效率高,能够支持百万级的数据检索。

二进制日志文件的优化


下面几个参数时关于 MySQL 二进制日志文件的优化。

(33)log-bin=mysql-bin

        打开 MySQL 二进制功能。

(34)binlog_cache_size = 4M

        在事务过程中容纳二进制日志 SQL 语句的缓存大小。二进制日志缓存是服务器支持事务存储引擎并且服务器启用了二进制日志(—log-bin 选项)的前提下为每个客户端分配的内存。
        注意:是每个 Client 都可以分配设置大小的 binlogcache 空间。可以通过 MySQL 的以下两个 状态变量来判 断当前的 binlog_cache_size 的状况 : Binlog_cache_use 和Binlog_cache_disk_use。


(35)max_binlog_cache_size = 128M

        表 示 binlog 能 够使 用的 最大 cache 内 存大 小。 执行 多语 句事 务的 时候 , max_binlog_cache_size 如 果 不 够 大 的 话 , 系 统 可 能 会 报 出“Multi-statementtransactionrequiredmorethan'max_binlog_cache_size'bytesofstorage” 的错误。


(36)max_binlog_size = 1G

        Binlog 日志最大值,一般来说设置为 512M 或者 1G,但不能超过 1G。该大小并不能非常严格控制 Binlog 大小,尤其是当到达 Binlog 比较靠近尾部而又遇到一个较大事务的时候,系统为了保证事务的完整性,不可能做切换日志的动作,只能将该事务的所有 SQL 都记录进入当前日志,直到该事务结束。这一点和Oracle 的Redo 日志有点不一样,因为Oracle 的 Redo 日志所记录的是数据文件的物理位置的变化,而且里面同时记录了 Redo 和 Undo 相关的信息,所以同一个事务是否在一个日志中对 Oracle 来说并不关键。而 MySQL 在Binlog 中所记录的是数据库逻辑变化信息,MySQL 称之为 Event,实际上就是带来数据库变化的 DML 之类的 Query 语句。


(37)sync_binlog=1

        在 MySQL 中系统默认的设置是 sync_binlog=0,也就是不做任何强制性的磁盘刷新指令,这时候的性能是最好的,但是风险也是最大的。因为一旦系统 Crash,在 binlog_cache 中的所有 binlog 信息都会被丢失。

        而当设置为“1”的时候最安全,但也是性能损耗最大的设置。因为当设置为 1 的时候,即使系统 Crash,也最多丢失 binlog_cache 中未完成的一个事务,对实际数据没有任何实质性影响。从以往经验和相关测试来看,对于高并发事务的系统来说,“sync_binlog”设置为 0 和设置为 1 的系统写入性能差距可能高达 5 倍甚至更多。


(38)binlog_format=mixed

        默认使用 statement 模式,基于 SQL 语句的复制,另外一种是基于行的复制,为提升效率,可以将以上两种模式混合使用。一般的复制使用 STATEMENT 模式保存 binlog,对于 STATEMENT 模式无法复制的操作使用 ROW 模式保存 binlog,MySQL 会根据执行的SQL 语句选择日志保存方式。


(39)expire_logs_days = 7

        二进制日志只留存最近 7 天,不用人工手动删除。

(40)log-slave-updates

        这条参数只读主从架构适用,当从库 log_slave_updates 参数没有开启时,从库的 binlog 不会记录来源于主库的操作记录。只有开启 log_slave_updates,从库 binlog 才会记录主库同步的操作日志。


(41)slow_query_log 打开慢查询日志。


(42)slow_query_log_file=slow.log 慢查询日志文件位置。


(43)long_query_time = 2

        记录超过 2 秒的 SQL 查询。

引擎是 innodb 的优化

关于引擎是 innodb 的优化如下:

(44)innodb_additional_mem_pool_size = 64M

        这个参数用来设置 InnoDB 存储的数据目录信息和其它内部数据结构的内存池大小,类似于 Oracle 的 library cache。这不是一个强制参数,可以被突破。


(45)innodb_buffer_pool_size = 20480M

        用于缓存索引和数据的内存大小,这个选项的值越多越好, 数据读写在内存中非常快, 减少了对磁盘的读写。当数据提交或满足检查点条件后才一次性将内存数据刷新到磁盘中。   然而内存还有操作系统或数据库其他进程使用,推荐设置 innodb-buffer-pool-size 为服务器总可用内存的 75%。 若设置不当, 内存使用可能浪费或者使用过多。 对于繁忙的服务器, buffer pool 将划分为多个实例以提高系统并发性, 减少线程间读写缓存的争用。buffer pool 的大小首先受 innodb_buffer_pool_instances 影响,当然影响较小。


(46)innodb_data_file_path = ibdata1:1024M:autoextend

        用 来 指 定 innodb tablespace 文 件 , 如 果 我 们 不 在 my.cnf 文 件 中 指 定innodb_data_home_dir 和innodb_data_file_path 那么默认会在datadir 目录下创建ibdata1 作为 innodb tablespace。


(47)innodb_file_io_threads = 4

        文件 IO 的线程数,一般为 4,但是在 Windows 下,可以设置得较大。

(48)innodb_thread_concurrency = 8

        服务器有几个 CPU 就设置为几,建议用默认设置,一般为 8。

(49)innodb_write_io_threads = 8

        InnoDB 使用后台线程处理数据页上写 I/O(输入输出)请求的数量。一般设置为 CPU
核数,比如 CPU 是 2 颗 8 核的,可以设置为 8。

(50)innodb_read_io_threads = 8

        InnoDB 使用后台线程处理数据页上读 I/O(输入输出)请求的数量。一般设置为 CPU
核数,比如 CPU 是 2 颗 8 核的,可以设置为 8。

(51)innodb_flush_log_at_trx_commit = 2

        如果将此参数设置为 1,将在每次提交事务后将日志写入磁盘。为提高性能,可以设置为 0 或 2,但要承担在发生故障时丢失数据的风险。设置为 0 表示事务日志写入日志文件,
而日志文件每秒刷新到磁盘一次。设置为 2 表示事务日志将在提交时写入日志,但日志文件每次刷新到磁盘一次。


(52)innodb_log_buffer_size = 16M

        此参数确定日志文件所用的内存大小,以 M 为单位。缓冲区更大能提高性能,但意外

的故障将会丢失数据。MySQL 开发人员建议设置为 1-8M 之间。

(53)innodb_log_file_size = 256M

        此参数确定数据日志文件的大小,以 M 为单位,较大的值可以提高性能,但也会增加恢复故障数据库所需的时间。


(54)innodb_log_files_in_group = 3

        #为提高性能,MySQL 可以以循环方式将日志文件写到多个文件。

(55)innodb_file_per_table = 1

        独享表空间(关闭)。

(56)innodb_max_dirty_pages_pct = 90

        Buffer_Pool 中 Dirty_Page 所占的数量, 直接影响 InnoDB 的关闭时间。 参数innodb_max_dirty_pages_pct 可以直接控制了 Dirty_Page 在 Buffer_Pool 中所占的比率, 而且幸运的是 innodb_max_dirty_pages_pct 是可以动态改变的。所以,在关闭 InnoDB 之前先将 innodb_max_dirty_pages_pct 调小,强制数据块 Flush 一段时间,就能够大大缩短MySQL 关闭的时间。


(57)innodb_lock_wait_timeout = 120

        InnoDB 有其内置的死锁检测机制,能导致未完成的事务回滚。但是,如果结合 InnoDB 使用 MyISAM 的 locktables 语句或第三方事务引擎,InnoDB 就无法识别死锁。为消除这种可能性,可以将 innodb_lock_wait_timeout 设置为一个整数值,设置 MySQL 在允许其他事务修改那些最终受事务回滚的数据之前要等待多长时间(秒数)。


(58)innodb_open_files = 8192 innodb 打开文件句柄数。

引擎是 myisam 的优化

关于引擎是 myisam 的优化如下:

(59)myisam_sort_buffer_size = 128M

        MyISAM 表发生变化时重新排序所需的缓冲大小。

(60)myisam_max_sort_file_size = 10G

        MySQL 重建索引时所允许的最大临时文件的大小(当 REPAIR,ALTERTABLE 或者LOADDATAINFILE)。如果文件大小比此值更大,索引会通过键值缓冲创建(更慢)。

(61)myisam_repair_threads = 1

        如果一个表拥有超过一个索引,MyISAM 可以通过并行排序使用超过一个线程去修复。这对于拥有多个 CPU 以及大量内存情况的用户是一个很好的选择。


(62)myisam_recover

        自动检查和修复没有适当关闭的 MyISAM 表。

3. SQL 优化

  • 尽量使用索引进行查询
  • 优化分页
  • group by 优化

4.MySQL架构优化

  • 架构选择:主从、主主、一主多从、多主多从

5.数据库性能优化

1,查看每个客户端IP过来的连接消耗了多少资源。 
mysql> select * from sys.x$host_summary;2,查看某个数据文件上发生了多少IO请求。 
mysql> select * from sys.x$io_global_by_file_by_bytes;3,查看每个用户消耗了多少资源。 
mysql> select * from sys.x$user_summary;4,查看总共分配了多少内存。 
mysql> select * from sys.x$memory_global_total;5,数据库连接来自哪里,以及这些连接对数据库的请求情况是怎样的? 
查看当前连接情况。 
mysql> select host, current_connections, statements from sys.x$host_summary;6,查看当前正在执行的SQL和执行show full processlist的效果相当。 
mysql> select conn_id, user, current_statement, last_statement from sys.x$session;7,数据库中哪些SQL被频繁执行? 
执行下面命令查询TOP10 SQL。 
mysql> select db,exec_count,query from sys.x$statement_analysis order by exec_count desc limit 10;8,哪个文件产生了最多的IO,读多,还是写的多? 
mysql> select * from sys.x$io_global_by_file_by_bytes limit 10;9,哪个表上的IO请求最多? 
mysql> select * from sys.x$io_global_by_file_by_bytes where file like "%ibd" order by total desc limit 10;10,哪个表被访问的最多? 
先访问statement_analysis,根据热门SQL排序找到相应的数据表。 
哪些语句延迟比较严重? 
查看statement_analysis中avg_latency的最高的SQL。 
mysql> select * from sys.x$statement_analysis order by avg_latency desc limit 10;11,哪些SQL执行了全表扫描,如果没有使用索引,则考虑为大型表添加索引 
mysql> select * from sys.x$statements_with_full_table_scans;12,列出所有做过排序的规范化语句
mysql> select * from sys.x$statements_with_sorting13,哪些SQL语句使用了临时表,又有哪些用到了磁盘临时表? 
查看statement_analysis中哪个SQL的tmp_tables 、tmp_disk_tables值大于0即可。 
mysql> select db, query, tmp_tables, tmp_disk_tables from sys.x$statement_analysis where tmp_tables>0 or tmp_disk_tables >0 order by (tmp_tables+tmp_disk_tables) desc limit 20;14,列出所有使用临时表的语句——访问最高的磁盘临时表,然后访问内存临时表
mysql>select * from sys.statements_with_temp_tables15 哪个表占用了最多的buffer pool? 
mysql> select * from sys.x$innodb_buffer_stats_by_table order by allocated desc limit 10;16,每个库(database)占用多少buffer pool? 
mysql> select * from sys.x$innodb_buffer_stats_by_schema order by allocated desc limit 10;

select table_name,TABLE_COMMENT,CONCAT(TRUNCATE(data_length / 1024 / 1024/1024, 4),"GB") AS data_size,table_rows from information_schema.tables where table_schema="dbname"

这条SQL查询语句是在MySQL的信息架构(information_schema)数据库中运行的,其目的是获取名为“dbname”的数据库中所有表的一些基本信息,包括:

  1. table_name:表的名称。
  2. TABLE_COMMENT:表的注释信息。
  3. data_size:表的数据大小,单位转换为GB(吉字节)。通过TRUNCATE函数将数据长度(data_length)除以1024三次(转换为MB,再转换为KB,最后转换为GB),并保留四位小数。
  4. table_rows:表中的行数。

整个查询的结果是一个包含表名、表注释、表数据大小(以GB为单位)以及表中行数的列表。

执行这条SQL语句时,请确保将"dbname"替换为您想要查询的实际数据库名称。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/786485.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Reversing Linked List

Given a constant K and a singly linked list L, you are supposed to reverse the links of every K elements on L. For example, given L being 1→2→3→4→5→6, if K3, then you must output 3→2→1→6→5→4; if K4, you must output 4→3→2→1→5→6. Input Specifi…

网络基础——ISIS

名词 ISIS:中间系统到中间系统,优先级是15集成化ISIS:这是在优化后,可以使用在OSI模型上的NET地址:由区域ID、系统ID和SEL组成,一台设备上最多配置3个NET地址,条件是区域号要不一致,…

Intel FPGA (7):adc adc128s102

Intel FPGA (7):adc adc128s102 前提摘要 个人说明: 限于时间紧迫以及作者水平有限,本文错误、疏漏之处恐不在少数,恳请读者批评指正。意见请留言或者发送邮件至:“Email:noahpanzzzgmail.com”。本博客的工程文件均存…

用Python实现办公自动化(自动化处理PDF文件)

自动化处理 PDF 文件 目录 自动化处理 PDF 文件 谷歌浏览器 Chrome与浏览器驱动ChromeDriver安装 (一)批量下载 PDF 文件 1.使用Selenium模块爬取多页内容 2.使用Selenium模块下载PDF文件 3.使用urllib模块来进行网页的下载和保存 4.使用urllib…

关于OcenaBase v4.2中,分区转移和负载均衡的技术解读

OceanBase​​​​​​​​​​​​​​作为一款原生分布式数据库,其核心的技术特性之一是高可扩展性,其具体表现在两个方面: 首先,是灵活的扩缩容能力,包括垂直扩缩容和水平扩缩容: 垂直扩缩容&#xff…

神经网络汇聚层

文章目录 最大汇聚层平均汇聚层自适应平均池化层 最大汇聚层 汇聚窗口从输入张量的左上角开始,从左往右、从上往下的在输入张量内滑动。在汇聚窗口到达的每个位置,它计算该窗口中输入子张量的最大值或平均值。计算最大值或平均值是取决于使用了最大汇聚…

RISC-V/ARM mcu OpenOCD 调试架构解析

Risc-v/ARM mcu OpenOCD 调试架构解析 最近有使用到risc-v的单片机,所以了解了下risc-v单片机的编译与调试环境的搭建,面试时问到risc-v的调试可参看以下内容。 risc-v根据官方的推荐,调试器服务是选择OpenOCD,DopenOCD(开放片上…

Python反爬案例——验证码的识别

验证码的识别 使用打码平台识别验证码 利用打码平台可以轻松识别各种各样的验证码,图形验证码、滑动验证码、点选验证码和逻辑推理验证码。打码平台提供了一系列API,只需要向API上传验证码图片,它便会返回对应的识别结果。 使用超级鹰平台…

深入理解指针1:指针变量、指针运算、野指针、const修饰指针

生活中我们把门牌号也叫地址,在计算机中我们把内存单元的编号也称为地址。C语⾔中给地址起 了新的名字叫:指针。 所以我们可以理解为:内存单元的编号地址指针 1、指针变量 我们知道的是:数组名是数组首元素的地址。也就是说&…

中断服务程序模板

通常定时器初始化过程如下: ①对 TMOD赋值,以确定TO和T1的工作方式。 ②计算初值,并将初值写入THO、TLO或TH1、TL1。 ③中断方式时,则对IE赋值,开放中断。 ④使TRO或TR1置位,启动定时器/计数器定时或计数。 代码 利用定时器0工作方式1&…

轻松设置Facebook自动隐藏评论和删除评论功能

Facebook作为海外营销的最大流量平台之一,是很多跨境卖家争夺的市场,希望可以通过Facebook这个全球性的平台来推广自己的产品或服务。身处这个竞争激烈的市场,任何一条负面评论或不当言论出现在你的品牌页面上都可能影响到品牌形象&#xff0…

臻奶惠无人售货机:新零售时代的便捷消费革命

臻奶惠无人售货机:新零售时代的便捷消费革命 在新零售的浪潮中,智能无人售货机作为一个创新的消费模式,已经成为距离消费者最近的便捷购物点之一。这种模式不仅能够满足居民对消费升级的需求,还能通过建立多样化和多层次的消费体…

k8s练习-创建一个Deployment

创建Deployment 创建一个nginx deployment [rootk8s-master home]# cat nginx-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata:name: nginx-deployment spec:selector:matchLabels:app: nginx # 配置pod的labelsreplicas: 2 # 声明2个副本template:metada…

spring boot自动配置原理-怎样回答这个问题

首先我们说一下自动配置的概念。 自动配置:遵循约定大约配置的原则,在boot程序启动后,起步依赖中的一些bean对象会自动注入到ioc容器 例子 程序引入spring-boot-starter-web 起步依赖,启动后,会自动往ioc容器中注入…

记一次 pdfplumber 内存泄漏导致的服务器宕机

有一个项目需求,要在每天凌晨5点的时候执行一个任务,获取一系列的PDF文件并解析。 后端是Django框架,定时任务用Celery来实现的。 本地跑没什么问题,但是一放到服务器上跑就会宕机,而且是毫无征兆的宕机,…

黑马HTMLCSS基础

黑马的笔记和资料都是提供好了的,这个文档非常适合回顾复习。我在黑马提供的笔记上做了一些微不足道的补充,以便自己复习查阅。该笔记比较重要的部分是 表单,http请求 第一章. HTML 与 CSS HTML 是什么:即 HyperText Markup lan…

使用虚拟引擎为AR体验提供动力

Powering AR Experiences with Unreal Engine ​​​​​​​ 目录 1. 虚拟引擎概述 2. 虚拟引擎如何为AR体验提供动力 3. 虚拟引擎中AR体验的组成部分是什么? 4. 使用虚拟引擎创建AR体验 5. 虚拟引擎中AR的优化提示 6. 将互动性融入AR与虚拟引擎 7. 在AR中…

5G PLMN相关概念

PLMN PLMN(Public Land Mobile Network,公用陆地移动网络),是由政府或其批准的经营者为公众提供陆地移动通信业务而建立、经营的网络。PLMN与公众交换电话网(PSTN)互连,形成整个地区或国家规模…

AR和VR如何改变客户体验?

How AR and VR are transforming customer experiences? How AR and VR are transforming customer experiences AR和VR如何改变客户体验 AR and VR technology was largely expedited by the past pandemic with at least 93.3 million and 58.9 million users r…

运筹学经典问题(八):CVRP和VRP-TW

文章目录 问题描述问题建模决策变量数学建模基于容量的消除子环的约束 (load-based SECs) CVRP完整的数学模型加上时间窗限制的CVRP 问题描述 给定一个图,图上的点代表客户,边代表客户之间的路线,边的权重代表客户之间…