CentOS服务器下对mysql的优化

一、mysql的优化思路

mysql的优化分为两方面:

1. 服务器使用前的优化

2. 服务使用中的优化

二、mysql的基础优化步骤

1. 硬件级优化

(1). 最好mysql自己使用一台物理服务器

(2). 内存和CPU方面,根据需求给予mysql服务器足够大的内存和足够多的CPU核数

(3). 避免使用Swap交换分区–交换时从硬盘读取的它的速度很慢,有的DBA安装系统时就不装swap分区

(4). 如果是mysql主库,硬盘可以选用比较好的高速硬盘,系统用SSD固态硬盘,数据盘用sas替代sata硬盘,将操作系统和数据分区分开

(5). mysql产生的日志与数据库也放到不同的磁盘分区上面

(6). mysql数据库硬盘格式化时,可以指定更小的硬盘块

(7). 关于做RAID方面,主库尽量做成RAID10,既提高了数据的读写速度也提到了数据的安全性

(8). 服务器双线双电,保障服务器运行稳定,不会因为突然断电影响业务和损坏磁盘数据

2. mysql数据库设计优化

(1). 根据需求选择正确的存储引擎,比如说读的特别猛就用MySAM,如果对事务性要求高就用InnoDB

(2). 设置合理的字段类型和字段长度,比如说你这个字段就20多个字段你设置成VARCHAR(255)就是对磁盘空间的浪费

(3). 默认值尽可能的使用 NOT NULL,如果空值太多对mysql的查询会有影响,尤其是在查询语句编写上面

(4). 尽量少的使用VARCHAR,TEXT,BLOB这三个字段

(5). 添加适当索引(index) [四种: 普通索引、主键索引、唯一索引unique、全文索引]

(6). 不要滥用索引,大表索引,小表不索引

(7). 表的设计合理化(符合3NF)

3. mysql配置参数的优化

这里是mysql5.5版本的配置文件

vi my.cnf

[client]
port            = 3306           #mysql客户端连接时的默认端口
socket          = /tmp/mysql.sock  #与mysql服务器本地通信所使用的socket文件路径

default-character-set = utf8  #指定默认字符集为utf8
[mysql]
no-auto-rehash               #auto-rehash是自动补全的意思,就像我们在linux命令行里输入命令的时候,使用tab键的功能是一样的,这里是默认的不自动补全
default-character-set = utf8  #指定默认字符集为utf8
[mysqld]
user    = mysql
port    = 3306

character-set-server = utf8    #设置服务器端的字符编码
socket  = /tmp/mysql.sock
basedir = /application/mysql
datadir = /mysqldata

 skip-external-locking     #避免MySQL的外部锁定,减少出错几率增强稳定性。

open_files_limit    = 10240    #MySQL打开的文件描述符限制,默认最小1024;当open_files_limit没有被配置的时候,比较max_connections*5和ulimit -n的值,哪个大用哪个,当open_file_limit被配置的时候,比较open_files_limit和max_connections*5的值,哪个大用哪个。
back_log = 500                #back_log参数的值指出在MySQL暂时停止响应新请求之前的短时间内多少个请求可 以被存在堆栈中。 如果系统在一个短时间内有很多连接,则需要增大该参数的值,该参数值指定到来的TCP/IP连接的侦听队列的大小。不同的操作系统在这个队列大小上有它自 己的限制。 试图设back_log高于你的操作系统的限制将是无效的。默认值为50。对于Linux系统推荐设置为小于512的整数。
max_connections = 800        #MySQL的最大连接数,如果服务器的并发连接请求量比较大,建议调高此值,以增加并行连接数量,当然这建立在机器能支撑的情况下,因为如果连接数越多, 介于MySQL会为每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值,不能盲目提高设值。可以过’conn%’通配符查看当前状态的连接 数量,以定夺该值的大小。
max_connect_errors = 3000    #对于同一主机,如果有超出该参数值个数的中断错误连接,则该主机将被禁止连接。如需对该主机进行解禁,执行:FLUSH HOST。
table_open_cache = 614            #物理内存越大,设置就越大.默认为2402,调到512-1024最佳
external-locking = FALSE     #使用–skip-external-locking MySQL选项以避免外部锁定。该选项默认开启
max_allowed_packet =8M       #设置最大包,限制server接受的数据包大小,避免超长SQL的执行有问题 默认值为16M,当MySQL客户端或mysqld服务器收到大于max_allowed_packet字节的信息包时,将发出“信息包过大”错误,并关闭连接。对于某些客户端,如果通信信息包过大,在执行查询期间,可能会遇“丢失与MySQL服务器的连接”错误。默认值16M。
sort_buffer_size = 6M        #用于表间关联缓存的大小,查询排序时所能使用的缓冲区大小。注意:该参数对应的分配内存是每连接独占,如果有100个连接,那么实际分配的总共排序缓冲区大小为100 × 6 = 600MB。所以,对于内存在4GB左右的服务器推荐设置为6-8M。
join_buffer_size = 6M       #联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是每连接独享。
thread_cache_size = 100       #服务器线程缓存这个值表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中,如果线程重新被请求, 那么请求将从缓存中读取,如果缓存中是空的或者是新的请求,那么这个线程将被重新创建,如果有很多新的线程,增加这个值可以改善系统性能.通过比较 Connections 和 Threads_created 状态的变量,可以看到这个变量的作用
thread_concurrency = 8        #设置thread_concurrency的值的正确与否, 对mysql的性能影响很大, 在多个cpu(或多核)的情况下,错误设置了thread_concurrency的值, 会导致mysql不能充分利用多cpu(或多核), 出现同一时刻只能一个cpu(或核)在工作的情况。thread_concurrency应设为CPU核数的2倍. 比如有一个双核的CPU, 那么thread_concurrency的应该为4; 2个双核的cpu, thread_concurrency的值应为8,属重点优化参数
query_cache_size = 2M         #指定MySQL查询缓冲区的大小,在数据库写入量或是更新量也比较大的系统,该参数不适合分配过大。而且在高并发,写入量大的系统,建系把该功能禁掉。
query_cache_limit = 1M         #默认是4KB,设置值大对大数据查询有好处,但如果你的查询都是小数据查询,就容易造成内存碎片和浪费
query_cache_min_res_unit = 2k   #MySQL参数中query_cache_min_res_unit查询缓存中的块是以这个大小进行分配的,使用下面的公式计算查询缓存的平均大小,根据计算结果设置这个变量,MySQL就会更有效地使用查询缓存,缓存更多的查询,减少内存的浪费。
default_table_type = InnoDB     #默认表的引擎为InnoDB
thread_stack = 192K             #限定用于每个数据库线程的栈大小。默认设置足以满足大多数应用transaction_isolation = READ-COMMITTED #设定默认的事务隔离级别.可用的级别如下:

READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE,1.READ UNCOMMITTED-读未提交2.READ COMMITTE-读已提交3.REPEATABLE READ -可重复读4.SERIALIZABLE -串行
tmp_table_size = 246M             #tmp_table_size 的默认大小是 32M。如果一张临时表超出该大小,MySQL产生一个 The table tbl_name is full 形式的错误,如果你做很多高级 GROUP BY 查询,增加 tmp_table_size 值。
max_heap_table_size = 246M          #内存表,内存表不支持事务,内存表使用哈希散列索引把数据保存在内存中,因此具有极快的速度,适合缓存中小型数据库,但是使用上受到一些限制
long_query_time = 1                 #记录时间超过1秒的查询语句
log_long_format                     #
log-error = /logs/error.log         #开启mysql错误日志,该选项指定mysqld保存错误日志文件的位置
log-slow-queries = /logs/slow.log   #慢查询日志文件路径
pid-file = /pids/mysql.pid
log-bin = /binlog/mysql-bin         #binlog日志位置以及binlog的名称
relay-log = /relaylog/relay-bin     #relaylog日志位置以名称
binlog_cache_size = 1M              #binlog_cache_size 就是满足两点的:一个事务,在没有提交(uncommitted)的时候,产生的日志,记录到Cache中;等到事务提交(committed)需要提交的时候,则把日志持久化到磁盘,默认是32K。
max_binlog_cache_size = 32M         #binlog缓存最大使用的内存
max_binlog_size = 2M                #一个binlog日志的大小
expire_logs_days = 7                #保留7天的binlog
key_buffer_size = 124M              #索引缓存大小: 它决定了数据库索引处理的速度,尤其是索引读的速度
read_buffer_size = 16M              #MySql读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySql会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。如果对表的顺序扫描请求非常频繁,并且你认为频繁扫描进行得太慢,可以通过增加该变量值以及内存缓冲区大小提高其性能
read_rnd_buffer_size = 2M           #MySQL的随机读缓冲区大小。当按任意顺序读取行时(例如,按照排序顺序),将分配一个随机读缓存区。进行排序查询时,MySQL会首先扫描一遍该缓冲,以避免磁盘搜索,提高查询速度,如果需要排序大量数据,可适当调高该值。但MySQL会为每个客户连接发放该缓冲空间,所以应尽量适当设置该值,以避免内存开销过大
bulk_insert_buffer_size = 1M        #批量插入数据缓存大小,可以有效提高插入效率,默认为8M
myisam_sort_buffer_size = 1M        #MyISAM表发生变化时重新排序所需的缓冲
myisam_max_sort_file_size = 10G     #MySQL重建索引时所允许的最大临时文件的大小 (当 REPAIR, ALTER TABLE 或者 LOAD DATA INFILE). 如果文件大小比此值更大,索引会通过键值缓冲创建(更慢)
myisam_repair_threads = 1           #如果一个表拥有超过一个索引, MyISAM 可以通过并行排序使用超过一个线程去修复他们.这对于拥有多个CPU以及大量内存情况的用户,是一个很好的选择.
myisam_recover                      #自动检查和修复没有适当关闭的 MyISAM 表
lower_case_table_names = 1          #让mysql不区分大小写
skip-name-resolve                   #禁用DNS解析,连接速度会快很多。不过,这样的话就不能在MySQL的授权表中使用主机名了而只能用ip格式。
#slave-skip-errors = 1032,1062       #这是选填项让slave库跳过哪些错误继续同步
#replicate-ignore-db=mysql           #选填,同步时候哪个数据库不同步设置
server-id = 1

innodb_additional_mem_pool_size = 4M #InnoDB 存储的数据目录信息和其它内部数据结构的内存池大小。应用程序里的表越多,你需要在这里分配越多的内存,默认是2M
innodb_buffer_pool_size = 1024M         #这对Innodb表来说非常重要。Innodb相比MyISAM表对缓冲更为敏感。MyISAM可以在默 认的 key_buffer_size 设置下运行的可以,然而Innodb在默认的 设置下却跟蜗牛似的。由于Innodb把数据和索引都缓存起来,无需留给操作系统太多的内存,因此如果只需要用Innodb的话则可以设置它高达 70-80% 的可用内存。一些应用于 key_buffer 的规则有 — 如果你的数据量不大,并且不会暴增,那么无需把 innodb_buffer_pool_size 设置的太大了
innodb_file_io_threads = 4            #文件IO的线程数,一般为 4
innodb_thread_concurrency = 8         #你的服务器CPU有几个就设置为几,建议用默认一般为8
innodb_flush_log_at_trx_commit = 2    #默认为1,如果将此参数设置为1,将在每次提交事务后将日志写入磁盘。为提供性能,可以设置为0或2,但要承担在发生故障时丢失数据的风险。设置为0表示事务日志写入日志文件,而日志文件每秒刷新到磁盘一次。设置为2表示事务日志将在提交时写入日志,但日志文件每次刷新到磁盘一次。
innodb_log_buffer_size = 2M           #此参数确定些日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据.MySQL开发人员建议设置为1-8M之间
innodb_log_file_size = 4M             #此参数确定数据日志文件的大小,以M为单位,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间
innodb_log_files_in_group = 3         #为提高性能,MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3M
innodb_max_dirty_pages_pct = 90      #Buffer_Pool中Dirty_Page所占的数量,直接影响InnoDB的关闭时间。参数 innodb_max_dirty_pages_pct可以直接控制了Dirty_Page在Buffer_Pool中所占的比率,而且幸运的是 innodb_max_dirty_pages_pct是可以动态改变的。所以,在关闭InnoDB之前先调小,强制数据块Flush一段时间,则能够大大缩短MySQL关闭的时间。
innodb_lock_wait_timeout = 120        #InnoDB 有其内置的死锁检测机制,能导致未完成的事务回滚。但是,如果结合InnoDB使用MyISAM的lock tables 语句或第三方事务引擎,则InnoDB无法识别死锁。为消除这种可能性,可以将innodb_lock_wait_timeout设置为一个整数值,指示 MySQL在允许其他事务修改那些最终受事务回滚的数据之前要等待多长时间(秒数)
innodb_file_per_table = 0             #独享表空间(关闭)
[mysqldump]
quick
max_allowed_packet = 16M

4. 架构优化

(1). 前端用memcached,redis等缓存分担数据库压力

(2). 数据库读写分离,负载均衡

(3). 数据库分库分表

(4). 存储可采取分布式

5. 后期优化

主要是多观察,后期就是维护工作了,观察服务器负载是需要添加硬件了,还是有语句有问题啊,还是参数要修改了。

6. 查询优化(摘抄别人的)

63. 使用慢查询日志去发现慢查询。
64. 使用执行计划去判断查询是否正常运行。
65. 总是去测试你的查询看看是否他们运行在最佳状态下 –久而久之性能总会变化。
66. 避免在整个表上使用count(*),它可能锁住整张表。
67. 使查询保持一致以便后续相似的查询可以使用查询缓存。
68. 在适当的情形下使用GROUP BY而不是DISTINCT。
69. 在WHERE, GROUP BY和ORDER BY子句中使用有索引的列。
70. 保持索引简单,不在多个索引中包含同一个列。
71. 有时候MySQL会使用错误的索引,对于这种情况使用USE INDEX。
72. 检查使用SQL_MODE=STRICT的问题。
73. 对于记录数小于5的索引字段,在UNION的时候使用LIMIT不是是用OR.
74. 为了 避免在更新前SELECT,使用INSERT ON DUPLICATE KEY或者INSERT IGNORE ,不要用UPDATE去实现。
75. 不要使用 MAX,使用索引字段和ORDER BY子句。
76. 避免使用ORDER BY RAND().

77。LIMIT M,N实际上可以减缓查询在某些情况下,有节制地使用。
78。在WHERE子句中使用UNION代替子查询。
79。对于UPDATES(更新),使用 SHARE MODE(共享模式),以防止独占锁。
80。在重新启动的MySQL,记得来温暖你的数据库,以确保您的数据在内存和查询速度快。
81。使用DROP TABLE,CREATE TABLE DELETE FROM从表中删除所有数据。
82。最小化的数据在查询你需要的数据,使用*消耗大量的时间。
83。考虑持久连接,而不是多个连接,以减少开销。
84。基准查询,包括使用服务器上的负载,有时一个简单的查询可以影响其他查询。
85。当负载增加您的服务器上,使用SHOW PROCESSLIST查看慢的和有问题的查询。
86。在开发环境中产生的镜像数据中 测试的所有可疑的查询。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/570065.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【使用指南】WijmoJS 前端开发工具包

为方便广大前端开发人员更好的使用 WijmoJS 前端开发工具包,葡萄城专门推出了 WijmoJS 使用指南,该指南详细地介绍了如何把 WijmoJS 各种强大的功能应用到您自己的 Web 项目中,助您轻松掌握产品使用技巧,快速完成产品选型。 本指南…

phpMyAdmin4.4.10安装

1.下载地址: phpMyAdmin4.4.10 https://files.phpmyadmin.net/phpMyAdmin/4.4.10/phpMyAdmin-4.4.10-all-languages.zip Apache 2.4.12(VC9) http://www.apachehaus.com/cgi-bin/download.plx php-5.4.42(VC9&#xff09…

汇编实验九

20171308171 胡欣怡 一、实验目的1. 掌握十进制两位数输出的方法2. 理解 8025 彩色字符模式显示原理3. 综合应用寻址方式和汇编指令完成应用编程二、实验准备1. 复习数值和数字字符之间的转换方法,div 指令用法2. 学习 P187-189 支撑材料及「实验 9 提示」&#xff…

Tensorflow取消占用全部GPU

参考:https://www.cnblogs.com/jiu0821/p/9501665.html Tensorflow默认是会占用全部的GPU,而有时候你根本不需要那么占用那么多GPU资源,这时候就可以采用如下三种方法进行解决: 1、在构造tf.Session()时候通过传递tf.GPUOptions作…

mysql5.7.12安装问题

mysql5.7.6之后不再有data数据目录,需手动初始化数据目录。 在Windows上,使用这些命令之一: C:\> bin\mysqld --initialize C:\> bin\mysqld --initialize-insecure 使用 --initialize为 “缺省安全”安装(会生成一个随机的初始 root密码)。不过密码会被标记为…

P5068 [Ynoi2015]我回来了

传送门 解锁成就:ynoi的题目都做到过原题 因为\(n\)很小,我们可以用\(sss[u][i]\)表示到点\(u\)的距离不超过\(i\)的点的集合,这个可以用bitset存,然后先一遍bfs,再做一个前缀和就可以处理好了 询问的话,把…

U盘安装centos 7 提示 “Warning: /dev/root does not exist, could not boot” 解决办法

安装centos 7时提示 “Warning: /dev/root does not exist, could not boot” 这个问题是没有找到你的U盘,这个配置是需要在上一步需要完成的,但在上一步我们并不知道U盘的文件名,所以索性在这一步查看一下U盘的设备名,然后再回到…

bzoj 3585 mex

Written with StackEdit. 题目描述 有一个长度为\(n\)的数组\({a_1,a_2,...,a_n}\)。\(m\)次询问,每次询问一个区间内最小没有出现过的自然数。 Input 第一行\(n,m\)。 第二行为\(n\)个数。 从第三行开始,每行一个询问\(l,r\)。 Output 一行一个数&#…

ffmpeg转mp4格式

FFMPEG -i uploadfile/video/test.wmv -c:v libx264 -strict -2 uploadfile/mp4/test.mp4FFMPEG -i uploadfile/video/test.wmv -c:v libx264 -strict -2 -s 1280x720 -b 1000k uploadfile/mp4/test.mp4

(笔记)网络技术学习交流会

1、网络工程师发展历程 (1)网络管理员阶段 ①计算机硬件的维护 ②计算机系统的维护 ③局域网的维护 ④打印服务的维护 ⑤业务数据的管理(更新、备份) ⑥网站的维护(在网站上进行更新) ⑦在网络上对公司进行…

CentOS 6服务器简单安全配置

1. 禁用不使用的用户 注意:不建议直接删除,当你需要某个用户时,自己重新添加会很麻烦。也可以usermod -L或passwd -l user锁定。 cp /etc/passwd{,.bak}修改之前先备份 vi /etc/passwd编辑用户,在前面加上#注释掉此行 注释的用…

【原创】大叔经验分享(6)Oozie如何查看提交到Yarn上的任务日志

通过oozie job id可以查看流程详细信息,命令如下: oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息如下: Job ID : 0012077-180830142722522-oozie-hado-W -----------------------------------------------------------…

Beta 冲刺(3/7)

Beta 冲刺(3/7) Beta 冲刺 (3/7) 队名:第三视角 组长博客链接 本次作业链接 团队部分 团队燃尽图 工作情况汇报 张扬(组长) 过去两天完成了哪些任务 文字/口头描述 参与开发关键词提醒部分展示G…

vuex的理解

首先需要了解vuex的基本概念和使用方式,vue的官网也有很详细的说明或者浏览:https://zhuanlan.zhihu.com/p/24357762。vue是单页应用所以当页面刷新时vuex的数据随之也被清空了,如何实现页面被刷新而数据没有被清空呢?vuex主要是v…

Redis高可用sentinel

1.sentine介绍 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换,而Redis-sentinel本身也是一个独立运行…

关于eclipse web项目认不到用户库的问题

解决方法: 选中项目右键属性,弹出对话框,选择Deployment Assembly,设置用户库对应路径。

Python中 类和对象调用其他类中的变量和方法

class house_item: def __init__(self,name,area): self.namename self.areaarea def __str__(self): return "%s,\n面积是%.2f" % (self.name,self.area)class house: def __init__(self,house_type,house_area): self.typeho…

201771010109焦旭超《面向对象程序设计(java)》第十六周学习总结

1、实验目的与要求 (1) 掌握线程概念; (2) 掌握线程创建的两种技术; (3) 理解和掌握线程的优先级属性及调度方法; (4) 掌握线程同步的概念及实现技术; 2、实验内容和步骤 实验1:测试程序并进行代码注释。 测试程序1&am…

Hibernate hql getHibernateTemplate()常用方法汇总

getHibernateTemplate()常用方法 一、find(String queryString); 示例: Java代码 this.getHibernateTemplate().find("from bean.User"); 返回所有User对象 二、find(String queryString , Object value); 示例: Java代码 this.getHib…

ASP.NET操作DataTable各种方法总结(给Datatable添加行列、DataTable选择排序等)

using System; using System.Collections.Generic; using System.Data; using System.Text;namespace Gzcms.Common {public class CreateTable{public static DataTable getTable(){//1.创建 datatable DataTable dt new DataTable("datatable");//可以给表创建一…