前言:数据库读取速度较慢一直是无法解决的问题,大型网站应对的方式主要是使用缓存服务器来缓解这种情况,减少数据库访问次数,以提高动态Web等应用的速度、提高可扩展性。
1、简介
Memcached/redis是高性能的分布式内存缓存服务器,通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web等应用的速度、 提高可扩展性。
2、memcache
2.1、memcache简介
memcache特点如下:
- 内置内存存储方式:数据完全不走硬盘,重启操作系统会导致全部数据消失。
- 简单key/value存储:服务器不关心数据本身的意义及结构,只要是可序列化数据即可,所以极其方便读取。 存储项由“键、过期时间、可选的标志及数据”四个部分组成;
- 不互相通信的分布式:memcached尽管是“分布式”缓存服务器,但服务器端并没有分布式功能。 各个memcached不会互相通信以共 享信息,由客户端决策信息存放位置。
memcache工作流程:
- 检查用户请求的数据是缓存中是否有存在,如果有存在的话,只需要直接把请求的数据返回,无需查询数据库。
- 如果请求的数据在缓存中找不到,这时候再去查询数据库。返回请求数据的同时,把数据存储到缓存中一份。
- 保持缓存的“新鲜性”,每当数据发生变化的时候(比如,数据有被修改,或被删除的情况下),要同步的更新缓存信息,确保用户不会在缓存取到旧的数据。
2.2、memcache部署
下述环境已提前更换阿里基础仓房,epel源,关闭防火墙和selinux
[root@localhost ~]# yum install -y memcached
修改配置文件
[root@localhost ~]# vim /etc/sysconfig/memcached
[root@localhost ~]# cat /etc/sysconfig/memcached
PORT="11211" # Memcached服务监听的端口号
USER="memcached" # 运行Memcached服务的用户
MAXCONN="1024" # 允许的最大并发连接数
CACHESIZE="64" # Memcached的缓存大小,单位为MB,可以根据内存大小进行调整
OPTIONS="" # 其他启动选项,例如可用于设置内存分配策略或其他配置
启动memcache
[root@localhost ~]# systemctl start memcached[root@localhost ~]# ps aux | grep memcache
memcach+ 62086 0.0 0.1 344100 1688 ? Ssl 22:20 0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024
root 62095 0.0 0.0 112824 988 pts/0 R+ 22:21 0:00 grep --color=auto memcache
尝试简单的memcache的使用(实际功能中此处为应用程序逻辑设计,和运维无关,此处仅为测试memcache功能使用)
[root@localhost ~]# yum install -y telnet
[root@localhost ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set name 0 900 9
liumuquan
STORED
get name
VALUE name 0 9
liumuquan
END
^]
telnet> quit
Connection closed.# 此处set参数解释# set key的名字 key的id号 缓存过期时间(0为无限) 字符串最大长度
memcache这里简单整理了一下,主要重心还是放在redis上,redis对于memcache优势太明显了。
3、redis
3.1、redis简介
redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。目前,Vmware在资助着redis项目的开发和维护。目前使用redis公司主要有暴雪、github、digg等。
redis特点:丰富的数据结构、支持持久化、支持事务(可以做集群分布式保证数据安全)、支持主从。
3.2、redis部署
基础环境
IP | 角色 |
---|---|
192.168.188.128 | master1 |
安装redis
[root@localhost ~]# wget http://download.redis.io/releases/redis-4.0.9.tar.gz -O /redis-
[root@localhost ~]# cd /
[root@localhost /]# tar zxf redis-4.0.9.tar.gz
[root@localhost /]# cd redis-4.0.9
[root@localhost redis-4.0.9]# pwd
/redis-4.0.9
[root@localhost redis-4.0.9]# make
配置开机启动
[root@localhost redis-4.0.9]# mkdir /etc/redis
[root@localhost redis-4.0.9]# cp /redis-4.0.9/redis.conf /etc/redis/6379.conf
[root@localhost redis-4.0.9]# cp /redis-4.0.9/utils/redis_init_script /etc/init.d/redis
编辑启动文件(此处尽量全文复制,后台运作容易遗忘)
[root@localhost redis-4.0.9]# vim /etc/init.d/redis
[root@localhost redis-4.0.9]# cat /etc/init.d/redis
#!/bin/sh
#
# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.
# chkconfig: 2345 10 90
# description: Start and Stop redisREDISPORT=6379
#EXEC=/usr/local/bin/redis-server
EXEC=/redis-4.0.9/src/redis-server
#CLIEXEC=/usr/local/bin/redis-cli
CLIEXEC=/redis-4.0.9/src/redis-cliPIDFILE=/var/run/redis_${REDISPORT}.pid
CONF="/etc/redis/${REDISPORT}.conf"case "$1" instart)if [ -f $PIDFILE ]thenecho "$PIDFILE exists, process is already running or crashed"elseecho "Starting Redis server..."$EXEC $CONF &fi;;stop)if [ ! -f $PIDFILE ]thenecho "$PIDFILE does not exist, process is not running"elsePID=$(cat $PIDFILE)echo "Stopping ..."$CLIEXEC -p $REDISPORT shutdownwhile [ -x /proc/${PID} ]doecho "Waiting for Redis to shutdown ..."sleep 1doneecho "Redis stopped"fi;;*)echo "Please use start or stop as first argument";;
esac
[root@localhost redis-4.0.9]# chmod +x /etc/init.d/redis
[root@localhost redis-4.0.9]# chkconfig --add redis# 这个命令是老版本centos添加开机启动项用的,这里是按照官方文档选用的这种方式[root@localhost redis-4.0.9]# chkconfig redis on# 设置redis开机启动[root@localhost redis-4.0.9]# chkconfig --list注:该输出结果只显示 SysV 服务,并不包含
原生 systemd 服务。SysV 配置数据
可能被原生 systemd 配置覆盖。 要列出 systemd 服务,请执行 'systemctl list-unit-files'。查看在具体 target 启用的服务请执行'systemctl list-dependencies [target]'。netconsole 0:关 1:关 2:关 3:关 4:关 5:关 6:关
network 0:关 1:关 2:开 3:开 4:开 5:开 6:关
redis 0:关 1:关 2:开 3:开 4:开 5:开 6:关# 这里的0-6对应的是centos的0-6状态,1是单用户模式[root@localhost redis-4.0.9]# systemctl daemon-reload# 重新加载自启动信息[root@localhost redis-4.0.9]# systemctl start redis
[root@localhost redis-4.0.9]# systemctl status redis
redis测试
[root@localhost redis-4.0.9]# /redis-4.0.9/src/redis-cli
127.0.0.1:6379> set name liumuquan
OK
127.0.0.1:6379> get name
"liumuquan"
127.0.0.1:6379>
3.3、redis持久化
3.3.1、持久化简介
Redis 持久化是指将 Redis 内存中的数据持久化保存到硬盘上,以防止服务器重启或宕机时数据丢失。在 Redis 中,有两种主要的持久化方式:RDB(Redis DataBase)和 AOF(Append Only File)。
-
RDB 持久化:
- RDB 持久化通过定期将 Redis 内存中的数据快照写入磁盘来实现。管理员可以配置 Redis 定期将内存中的数据以快照的形式保存到一个
.rdb
文件中。 - 这种方式类似于拍照,Redis 在指定的时间点将当前的数据状态保存下来。这种方式适合用于备份,恢复较大数据集时速度较快,因为只需要读取一个文件即可还原数据。
- RDB 持久化通过定期将 Redis 内存中的数据快照写入磁盘来实现。管理员可以配置 Redis 定期将内存中的数据以快照的形式保存到一个
-
AOF 持久化:
- AOF 持久化则是通过记录 Redis 服务器所执行的写命令(例如 SET、INCR 等)来记录数据变化。这些命令以追加的方式写入一个文件中,称为 AOF 文件。
- 这种方式类似于录制操作日志,Redis 在执行写命令时将其追加到文件末尾。当服务器需要恢复时,会重新执行 AOF 文件中的命令,从而重建数据状态。
- AOF 文件通常比 RDB 文件更大,因为它记录了每个写操作,但它提供了更精细的数据恢复和更小的数据丢失风险。
大概可以这么理解:
-
RDB 类比:想象你在玩一个游戏,游戏允许你在每个关卡结束时保存进度。这样,即使你在下一个关卡失败,你可以重新加载上一个关卡的进度并继续游戏。
-
AOF 类比:而 AOF 则像你在玩一个没有保存功能的游戏,但它可以记录下你每一步的操作。如果你因为失误或游戏崩溃而需要重新开始,你可以根据你的操作日志重新执行每一步,从而恢复到你离开的地方,虽然过程有点麻烦,但是保证了你不会丢失任何进度。
两种方法虽然有不同,但是由于实际使用中的特殊性,当不需要数据安全时两个全关就行,需要时双开,因RDB数据不实时,但同时使用两者时服务器只会找AOF文件,所以RDB留作万一的手段。
3.3.2、配置redis持久化
RDB默认开启,查看配置
[root@localhost ~]# vim /redis-4.0.9/redis.confdbfilename dump.rdb
#使用RDB时,持久化存在本地的文件叫dump.rdbdir ./
#持久化数据存储在本地的路径save 900 1
save 300 10
save 60 10000
#触发快照的时机,
#save 多少时间内 被改过多少次
#出发以上条件就会被拍摄快照stop-writes-on-bgsave-error yes
#当snapshot时出现错误无法继续时,是否阻塞客户端“变更操作”,“错误”可能因为磁盘已满/磁盘故障/OS级别异常等,这里配置的是报错拒绝继续写入rdbcompression yes
#是否启用rdb文件压缩,默认为“yes”,压缩很占用cpu,同时同时可以节省存储空间和减少网络传输时间
客户端使用命令进行持久化save存储
[root@localhost ~]#./redis-cli -h ip -p port save
#前台进行存储
[root@localhost ~]#./redis-cli -h ip -p port bgsave
#后台进行存储#每次快照持久化都是将内存数据完整写入到磁盘一次,并不是增量的只同步脏数据。如果数据量大的话,而且写操作比较多,必然会引起大量的磁盘io操作,可能会严重影响性能。
AOF默认关闭,开启方式
[root@localhost ~]# vim /redis-4.0.9/redis.conf##此选项为aof功能的开关,默认为“no”,可以通过“yes”来开启aof功能
##只有在“yes”下,aof重写/文件同步等特性才会生效
appendonly yes appendfilename appendonly.aof
#指定aof文件名称appendfsync everysec
#指定aof操作中文件同步策略,有三个合法值:always everysec no,默认为everysec
#这行指令设置了 AOF 文件的同步方式。everysec 表示每秒钟将 AOF 文件同步到磁盘一次,以确保即使系统崩溃,最多丢失一秒钟的数据。no-appendfsync-on-rewrite no
#在aof-rewrite(重写)期间,appendfsync是否暂缓文件同步,"no"表示“不暂缓”,“yes”表示“暂缓”,默认为“no”auto-aof-rewrite-min-size 64mb
#触发aof rewrite的最小文件尺寸auto-aof-rewrite-percentage 100
#这行指令设置了触发自动 AOF 重写的增长百分比。100 表示当当前 AOF 文件大小比上一次重写时的大小增长了 100%(即翻倍)时,触发自动 AOF 重写。重写是为了使aof体积保持最小,而确保保存最完整的数据。
3.4、redis主从
3.4.1、redis主从简介
-
用法
Redis支持类似于MySQL的主从结构,允许配置一主多从甚至多级从结构。主从结构旨在提供冗余备份和增强读性能,例如将性能消耗较大的SORT操作分担给从服务器。Redis的主从同步是异步进行的,不会影响主服务器的主要逻辑或性能。在主从架构中,可以考虑关闭主服务器的数据持久化,由从服务器承担这一任务,以提高主服务器的处理性能。通常情况下,从服务器设置为只读,以防止误修改数据,但仍可接受CONFIG等命令。对于不安全的网络环境,建议重命名重要命令以避免误操作。
-
原理
从服务器通过发送SYNC指令向主服务器请求同步。主服务器收到SYNC指令后,会执行BGSAVE命令生成RDB文件进行数据持久化。在持久化期间,主服务器将所有写操作缓存在内存中。BGSAVE完成后,主服务器将RDB文件发送给从服务器,从服务器将文件存储到磁盘并加载到内存。然后,主服务器以Redis协议格式将缓存的写操作发送给从服务器。即使多个从服务器同时发出SYNC指令,主服务器也只执行一次BGSAVE,并将生成的RDB文件发送给所有从服务器。在Redis 2.8版本之前,主从断开连接后会进行全量数据同步,而2.8版本后支持高效的增量同步,显著降低了连接断开恢复成本。主服务器在内存中维护缓冲区,用于存储将发送给从服务器的内容。如果从服务器与主服务器连接断开,从服务器会尝试重新连接,成功后发送“希望同步的主服务器ID”和“希望请求的复制偏移量”。主服务器验证ID匹配后,检查缓冲区中是否存在请求的偏移量,并根据需要向从服务器发送增量内容。增量同步功能需要服务器端支持全新的PSYNC指令,该指令从Redis 2.8版本开始提供。
3.4.2、 redis主从部署
3.4.2.1、基础环境
IP | 角色 |
---|---|
192.168.188.128 | master |
192.168.188.129 | slave1 |
192.168.188.130 | slave2 |
在slave1和slave2上部署上redis
slave1操作如下
[root@localhost /]# tar xf redis-4.0.9.tar.gz
[root@localhost /]# cd /redis-4.0.9
[root@localhost redis-4.0.9]# make
[root@localhost redis-4.0.9]# mkdir /etc/redis
[root@localhost redis-4.0.9]# cp /redis-4.0.9/redis.conf /etc/redis/6379.conf
[root@localhost redis-4.0.9]# cp /redis-4.0.9/utils/redis_init_script /etc/init.d/redis
[root@localhost redis-4.0.9]# vim /etc/init.d/redis
[root@localhost redis-4.0.9]# vim /etc/init.d/redis
[root@localhost redis-4.0.9]# cat /etc/init.d/redis
#!/bin/sh
#
# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.
# chkconfig: 2345 10 90
# description: Start and Stop redisREDISPORT=6379
#EXEC=/usr/local/bin/redis-server
EXEC=/redis-4.0.9/src/redis-server
#CLIEXEC=/usr/local/bin/redis-cli
CLIEXEC=/redis-4.0.9/src/redis-cliPIDFILE=/var/run/redis_${REDISPORT}.pid
CONF="/etc/redis/${REDISPORT}.conf"case "$1" instart)if [ -f $PIDFILE ]thenecho "$PIDFILE exists, process is already running or crashed"elseecho "Starting Redis server..."$EXEC $CONF &fi;;stop)if [ ! -f $PIDFILE ]thenecho "$PIDFILE does not exist, process is not running"elsePID=$(cat $PIDFILE)echo "Stopping ..."$CLIEXEC -p $REDISPORT shutdownwhile [ -x /proc/${PID} ]doecho "Waiting for Redis to shutdown ..."sleep 1doneecho "Redis stopped"fi;;*)echo "Please use start or stop as first argument";;
esac
[root@localhost redis-4.0.9]# scp /etc/init.d/redis 192.168.188.130:/etc/init.d/
[root@localhost redis-4.0.9]# chmod +x /etc/init.d/redis
[root@localhost redis-4.0.9]# chkconfig --add redis
[root@localhost redis-4.0.9]# chkconfig redis on
[root@localhost redis-4.0.9]# systemctl daemon-reload
[root@localhost redis-4.0.9]# systemctl start redis
slave2操作同slave1
3.4.2.2、master配置
[root@localhost ~]# vim /etc/redis/6379.conf#bind 127.0.0.1
#注释掉
bind 0.0.0.0
#增加监听地址为所有ip#protected-mode yes
protected-mode no
#关闭保护模式[root@localhost ~]# systemctl restart redis
3.4.2.3、salve1配置
[root@localhost redis-4.0.9]# vim /etc/redis/6379.confslaveof 192.168.188.128 6379
#bind 127.0.0.1
bind 0.0.0.0
#protected-mode yes
protected-mode no[root@localhost redis-4.0.9]# systemctl restart redis
3.4.2.3、salve2配置
同slave1
3.4.3、redis主从测试
在master上
[root@localhost ~]# /redis-4.0.9/src/redis-cli
127.0.0.1:6379> set your_id 1210
OK
127.0.0.1:6379> get your_id
"1210"
#查询主从状态
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.188.129,port=6379,state=online,offset=1557,lag=1
slave1:ip=192.168.188.130,port=6379,state=online,offset=1557,lag=0
master_replid:65eda2694558d007f08f5645d92fb67c4423c265
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1557
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:1557
127.0.0.1:6379>
在slave1上
[root@localhost redis-4.0.9]# /redis-4.0.9/src/redis-cli
127.0.0.1:6379> get your_id
"1210"
127.0.0.1:6379> info replication
# Replication
role:slave
master_host:192.168.188.128
master_port:6379
master_link_status:up
master_last_io_seconds_ago:8
master_sync_in_progress:0
slave_repl_offset:1669
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:65eda2694558d007f08f5645d92fb67c4423c265
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1669
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:253
repl_backlog_histlen:1417
127.0.0.1:6379>
主从架构实现,可以保持数据同步,但此时集群无法实现灾备冗余,主服务器宕机时,从服务器此时无法承担主服务器角色,需要使用redis-sentine来实现。
3.5、redis-sentinel
3.5.1、redis-sentinel简介
Redis Sentinel是Redis官方推荐的高可用性(HA)解决方案,允许你创建一个能够自动处理各种故障的Redis部署,无需人工干预。
作用:
- 检测Master状态。
- 在Master异常时进行Master-Slave切换,将一个Slave提升为新的Master,原Master降级为Slave。
- 切换后,会自动更新配置文件:master_redis.conf会新增slaveof配置,sentinel.conf中的监控目标也会相应调整。
工作方式:
- 每个Sentinel每秒向已知的Master、Slave和其他Sentinel实例发送PING命令。
- 如果一个实例超过配置的down-after-milliseconds时间未响应PING命令,Sentinel会将其标记为主观下线。
- Sentinel持续检查主观下线的Master状态,确认是否达到客观下线条件。
- 当足够多的Sentinel在指定时间内确认主观下线状态时,Master会被标记为客观下线。
3.5.2、redis-sentinel部署
继续使用上面的环境
1)每台机器上修改redis主配置文件设置:bind 0.0.0.0(略)
2)每台机器上修改sentinel配置文件:
master如下
[root@localhost ~]# vim /redis-4.0.9/sentinel.conf
#sentinel monitor mymaster 127.0.0.1 6379 2
sentinel monitor mymaster 192.168.188.128 6379 2# 当集群中有2个(超过半数)sentinel认为master死了时,才能真正认为该master已经不可用了。#sentinel down-after-milliseconds mymaster 30000
sentinel down-after-milliseconds mymaster 3000# 3秒内没收到有效回复后认定主服务器离线(默认30秒)#sentinel failover-timeout mymaster 180000
sentinel failover-timeout mymaster 10000# 故障发生后10秒内完成选举,若sentinel在该配置值内未能完成failover(故障转移)操作(即故障时master/slave自动切换),则认为本次failover失败。# protected-mode no
protected-mode no# 关闭保护模式
slave1、slave2同上
3)启动哨兵,三台都要启动
[root@localhost ~]# cd /redis-4.0.9
[root@localhost redis-4.0.9]# ./src/redis-sentinel sentinel.conf
3.5.3、redis-sentinel测试
关闭主服务器,观察从服务器改变状态
在master上使用ctrl+c停止当前进程
[root@localhost redis-4.0.9]# systemctl stop redis
观察从服务器返回信息
选举slave2成为主服务器,slave2状态如下
[root@localhost redis-4.0.9]# /redis-4.0.9/src/redis-cli
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.188.129,port=6379,state=online,offset=63531,lag=0
slave1:ip=192.168.188.128,port=6379,state=online,offset=63531,lag=0
master_replid:b417e01353b4a576aaba97987acd33602ba5d9df
master_replid2:bd33fbabce342aeb3ec5c5aa85aaf1a2e5a02b23
master_repl_offset:63676
second_repl_offset:4257
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:63676
127.0.0.1:6379>
3.6、redis使用经验
- Master的工作不应包括持久化任务,如RDB快照和AOF日志文件。
- 如果数据非常重要,可以让某个Slave开启AOF备份数据,设置为每秒同步一次。
- 为了提高主从复制的速度和连接稳定性,最好将Master和Slave部署在同一个局域网内。
- 在主库压力较大时,应尽量避免增加从库,可以通过为现有从库增加从库来缓解压力。
- 主从复制应采用单向链表结构而不是树状结构,例如:Master(写) <- Slave1(读) <- Slave2(读) <- Slave3(读)... 这种结构有助于提高稳定性和处理单点故障问题。如果Master宕机,可以立即将Slave1提升为新的Master,其他从库保持不变。