redis数据恢复

公司线上一个项目数据存储采用MySQL，共分为10个库，分布在4台机器上，每个库数据量约为10G，各机器均采用RAID5加速磁盘访问；
当同时在线人数达高峰期（10w），DB磁盘IO压力巨大，导致访问巨慢，，在线人数就很难上不去了。

针对上面描述情况，使用redis后可有效解决这一瓶颈，因为Redis数据读写都是直接操作内。

解决方案：
将部分数据压缩导入到redis后，总数据量约30G（转换成redis数据类型数据量），一主一从模型，共两组。
一台机器内存32G，开10个实例，共20个实例，多实例方便做持久化。

同样适用于上面的redis持久化策略调整方案（思路和上面一致）

主从库配置：
主库：关闭save开展，aof默认不打开，允许从库访问。主库设置了密码访问requirepass My#redis
从库：需增加配置：开启AOF持久化，关闭save快照，设置密码；
从库10个实例的配置文件分别为：slave6001.conf ~ slave6010.conf
slave6001.conf配置内容如下（其他实例拷贝这个，修改端口等其他信息即可）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

daemonize yes

pidfile /var/run/slave6001.pid

port 6001

timeout 300

loglevel debug

logfile /usr/local/redis/var/debug6001.log

syslog-enabled yes

databases 16

rdbcompression yes

dbfilename slave6001.rdb

dir /data/redis-data/slave6001

slaveof 192.168.0.139 6001

masterauth My#redis

slave-serve-stale-data yes

requirepass My#redis

appendonly yes

appendfilename slave6001.aof

appendfsync everysec

no-appendfsync-on-rewrite no

vm-enabled no

vm-swap-file /tmp/redis.swap

vm-max-memory 0

vm-page-size 32

vm-pages 134217728

vm-max-threads 4

hash-max-zipmap-entries 512

hash-max-zipmap-value 64

list-max-ziplist-entries 512

list-max-ziplist-value 64

set-max-intset-entries 512

activerehashing yes

主库每晚12点给每个实例手动做一次bgsave快照。主库备份脚本（redis_bgsave.sh）

1

2

3

4

5

6

7

8

9

#!/bin/bash

#date=`date +%y%m%d_%H%M%S`

REDISPASSWORD=My#redis

for PORT in `seq 6001 6010`

do

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgsave

sleep 10

done

date >> /usr/local/redis/var/bgsave.log

从库每晚12点拷贝每个实例的AOF到其他目录并对其打包，压缩包要有异地备份，之后再压缩AOF（bgrewriteaof）。
从库备份AOF并bgrewriteaof脚本（redis_backup.sh ：对单个实例）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

#!/bin/sh

## FD:File Dir

## RD:Runing Dir

## 第一个参数为redis实例名

if [ $# -ne 1 ]; then

echo “Usage:$0  redis_name”

exit

fi

CURDATE=`date +%Y%m%d`

CURHOUR=`date +%Y%m%d_%H`

CURTIME=`date +%Y%m%d_%H%M%S`

REDISPASSWORD=My#redis

REDISNAME=$1

PORT=`echo $REDISNAME | cut -c6-9`

LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log

if [ "${REDISNAME}" = "" ]; then

echo “redis name Error!”

exit 1

else

if [ ! -d "/data/redis-data/${REDISNAME}" ]; then

echo “redis name Error!”

exit 1

fi

fi

DDIR=/data/backup/redis/$CURHOUR

mkdir -p ${DDIR}

RDIR=/data/redis-data/$REDISNAME

cd ${RDIR}

tar -zcf $DDIR/${REDISNAME}_${CURTIME}.tar.gz $REDISNAME.aof

if [ $? != 0 ]; then

echo “tar error $REDISNAME.aof” >> $LOGFILE

#exit 1

fi

sleep 5

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgrewriteaof

sleep 5

###  delete old backup data dir  ###

#/bin/rm -rf `date -d -7day +”%Y%m%d”`

find /data/backup/redis/ -mtime +7 | xargs rm -rf

echo “Backup $REDISNAME ok at $CURTIME !” >> $LOGFILE

从库对所有实例备份（/data/sh/redis_allbak.sh）

1

2

3

4

5

6

7

#!/bin/sh

CURDATE=`date +%Y%m%d`

LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log

for PORT in `seq 6001 6010`

do

/data/sh/redis_backup.sh slave${PORT} && echo “slave${PORT} ok `date +%Y%m%d_%H%M%S`” >> $LOGFILE 2>&1 || echo “slave${PORT} backup error” >> $LOGFILE 2>&1

done

操作注意事项
1）若主库挂了，不能直接开启主库程序。若直接开启主库程序将会冲掉从库的AOF文件，这样将导致只能恢复到前一天晚上12的备份。
2）程序在跑时，不能重启网络(程序是通过网络接口的端口进行读写的)。网络中断将导致中断期间数据丢失。
3）确定配置文件全部正确才启动（尤其不能有数据文件名相同），否则会冲掉原来的文件，可能造成无法恢复的损失。

灾难恢复
1）主库故障，快速恢复到最近状态描述：主库挂了（redis程序挂了/机器宕机了），从库正常，恢复到主库挂掉的时间点：去从库手动做一次快照，拷贝快照到主库相应目录，启动，OK。
在从库做一次快照，转移快照文件到其他目录，将快照文件目录拷贝到主库相应目录，启动主库，OK!
( /data/sh/redis_bgsave_cp.sh )

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

#!/bin/bash

REDISPASSWORD=My#redis

for PORT in `seq 6001 6010`

do

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgsave

sleep 5

done

sleep 15

for PORT in `seq 6001 6010`

do

SDIR=/data/redis-data/slave${PORT}/

DDIR=/data/redis_recovery/redis-data/

mkdir -p $DDIR/redis${PORT}/

cd $SDIR

cp -rf slave${PORT}.rdb $DDIR/redis${PORT}/redis${PORT}.rdb

#sleep 1

done

在主库将原来数据目录重命名。
从从库拷贝快照文件到主库。
启动主库。

2）恢复到当天12点状态注意备份数据（当前状态AOF+正常退出快照）！
停止redis。
解压AOF（/data/sh/redis_untar.sh）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

#!/bin/bash

DAY=20111102

SDIR=/data/backup/redis/20161102_00/

cd $SDIR

for PORT in `seq 6001 6010`

do

tar -zxf slave${PORT}_$DAY_*.tar.gz

sleep 2

done

切割AOF（/data/sh/redis_sed.sh）

#!/bin/bash

DDIR=/data/redis_recovery/

TAG=”TAG111101_1200″

for PORT in `seq 6001 6010`

do

SDIR=/data/backup/redis/20161102_00/

SAOF=${SDIR}/slave${PORT}.aof

line=`sed -n “/$TAG/=” $SAOF`

num=$[$line + 3]

mkdir -p ${DDIR}/slave${PORT}/

sed “${num},\$d” $SAOF > ${DDIR}/slave${PORT}/slave${PORT}.aof

done

将原来数据目录重命名。
将切割出来的AOF目录重命名为配置文件的数据目录。（注释主从同步配置项）。
启动从库。
做快照，拷贝到主库，启动主库（同上面第1）步）。

3）恢复到两天或几天前12点状态从库每晚备份要备份AOF未bgrewriteaof之前的数据，可根据当天晚上12点备份，没有bfrewriteaof之前的AOF文件来进行恢复，方法同上面的第2）步。

 

 

公司线上redis主从环境下的持久化策略调整：
描述：
之前线上项目使用redis，部署了redis主从环境。redis的主从复制功能非常强大，一个master可以拥有多个slave，而一个slave又可以拥有多个slave，如此下去，形成了强大的多级服务器集群架构。由于主redis采用了AOF和save快照的持久化，长时间下去，aof文件不断增大，磁盘空间使用率逐渐暴增。
考虑到性能问题，需要对redis持久化做些调整，调整如下：
   1）主库不开启AOF持久化，并关闭save快照功能（即注释默认的三个save设置），只在每晚12点定时手动做一次bgsave快照，并将快照文件转移到异地。即主库上不产生appendonly.aof持久化文件，做的快照数据放在.rdb文件里（如dump.rdb，由于是压缩配置(rdbcompression yes表示快照文件要压缩)，所以快照文件要比aof文件小），然后将这个快照文件dump.rdb转移到其他的服务器上，防止主服务器宕机造成的损失！
   2）从库开启AOF持久化并1秒落地，同样不做快照save。并在每晚12点做一次bgrewriteaof压缩appendonly.aof持久化文件，压缩前先对aof文件进行备份。
--------------------------------------------------------------------------------------------------------------------------------------------
按照这种方法进行redis持久化调整，由于线上redis的主库之前采用了AOF和save快照的持久化，之后将这两种都关闭，从库采用AOF持久化。出现了下面的现象：
就是主库关闭AOF和save快照后，主redis上的appendonly.aof持久化文件在一段时间内还在刷，在增大，这是正常的，由于之前开启的缘故，刷过一段时间，主redis的appendonly.aof持久化文件就不刷了，只有从redis的appendonly.aof持久化文件在刷了
--------------------------------------------------------------------------------------------------------------------------------------------

主从redis部署的主要目的：数据持久化，灾难恢复，冗余。主库不落地，减少消耗。
1）主库不做AOF，不做快照，允许从库访问即可。
2）从库开启AOF，不做save
3）备份策略：
主库每晚12点整给每个实例手动做一次bgsave快照，并将快照文件备份到远程节点上。
从库每晚12点整对AOF文件打包备份(tar)，打包备份后做一次AOF文件压缩(bgrewriteaof)。每天的数据起始点是前一天晚上rewriteaof后的数据。

主库服务器脚本：
即主库快照之后，将快照文件转移到异地即从库机器192.168.1.121/135上面。

1

2

3

4

5

6

7

8

9

[root@192-168-1-132 redis]# cat redis_bgsave.sh

#!/bin/bash

CURHOUR=`date +%Y%m%d_%H`

/usr/local/bin/redis-cli -h 127.0.0.1 -p 6379 bgsave

sleep 10

rsync -av /data/redis/dump.rdb root@192.168.1.121:/data/backup/192.168.1.132-save/$CURHOUR/

rsync -av /data/redis/dump.rdb root@192.168.1.135:/data/backup/192.168.1.132-save/$CURHOUR/

sleep 10

date >> /data/logs/bgsave.log

从库服务器脚本：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

[root@cdn redis]# cat redis_backup.sh

#!/bin/bash

 

CURDATE=`date +%Y%m%d`

CURHOUR=`date +%Y%m%d_%H`

CURTIME=`date +%Y%m%d_%H%M%S`

LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log

REDISNAME=appendonly.7000

DDIR=/data/backup/redis/$CURHOUR

mkdir -p ${DDIR}

RDIR=/data/redis

cd ${RDIR}

tar -zcf $DDIR/${REDISNAME}_${CURTIME}.tar.gz appendonly.7000.aof

if [ $? != 0 ]; then

  echo "tar error $REDISNAME.aof" >> $LOGFILE

fi

sleep 5

/usr/local/bin/redis-cli -h 127.0.0.1 -p 6379 bgrewriteaof

sleep 5

 

###  delete old backup data dir  ###

#/bin/rm -rf `date -d -30day + "%Y%m%d"`

find /data/backup/redis/ -mtime +30 | xargs rm -rf

echo "Backup $REDISNAME ok at $CURTIME !" >> $LOGFILE

[root@cdn redis]# crontab -e
59 23 * * * /bin/bash /data/redis/redis_backup.sh >/dev/null 2>&1

[root@cdn redis]# cd /data/backup/redis/20161207_13
[root@cdn 20161207_13]# ls
appendonly.7000_20161207_133131.tar.gz

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/535340.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Redis哨兵模式（sentinel）学习总结及部署记录（主从复制、读写分离、主从切换）

Redis哨兵模式（sentinel）学习总结及部署记录（主从复制、读写分离、主从切换）

Redis的集群方案大致有三种：1）redis cluster集群方案；2）master/slave主从方案；3）哨兵模式来进行主从替换以及故障恢复。 一、sentinel哨兵模式介绍 Sentinel(哨兵)是用于监控redis集群中Master状态的工具&…
阅读更多...
Redis之Redis内存模型

Redis之Redis内存模型

Redis是目前最火爆的内存数据库之一，通过在内存中读写数据，大大提高了读写速度，可以说Redis是实现网站高并发不可或缺的一部分。 我们使用Redis时，会接触Redis的5种对象类型（字符串、哈希、列表、集合、有序集合&…
阅读更多...
MySQL 数据库误删除后的数据恢复操作说明

MySQL 数据库误删除后的数据恢复操作说明

在日常运维工作中，对mysql数据库的备份是万分重要的，以防在数据库表丢失或损坏情况出现，可以及时恢复数据。 线上数据库备份场景： 每周日执行一次全量备份，然后每天下午1点执行MySQLdump增量备份. 下面对这种备份方案…
阅读更多...
MySQL 之binlog日志说明及利用binlog日志恢复数据操作记录

MySQL 之binlog日志说明及利用binlog日志恢复数据操作记录

众所周知，binlog日志对于mysql数据库来说是十分重要的。在数据丢失的紧急情况下，我们往往会想到用binlog日志功能进行数据恢复（定时全备份binlog日志恢复增量数据部分），化险为夷！ 一、简单了解binlog MySQ…
阅读更多...
zabbix巡检脚本

zabbix巡检脚本

#!/bin/bash BIN/usr/local/zabbix/binpasswort() { name$2 while read line do ipecho $line|awk -F {print $1} timeecho $line|awk -F {print $2} echo -e "${name}passport${ip}探活时间\t $time" done <$1 }for i in 100.245.160.113 100.245.160.141 1…
阅读更多...
mysqldump备份（全量+增量）

mysqldump备份（全量+增量）

在日常运维工作中&#xff0c;对mysql数据库的备份是万分重要的&#xff0c;以防在数据库表丢失或损坏情况出现&#xff0c;可以及时恢复数据。 线上数据库备份场景&#xff1a; 每周日执行一次全量备份&#xff0c;然后每天下午1点执行MySQLdump增量备份. 下面对这种备份方案…
阅读更多...
查找指定日期数据所在分区数据

查找指定日期数据所在分区数据

select a.subobject_namefrom dba_objects a join (select dbms_rowid.rowid_object(rowid) object_idfrom NEWLOG4 where TO_CHAR(autudt,YYYY-MM-DD) 2021-06-22) b on a.object_id b.object_id and object_name UPPER(NEWLOG4) group by a.subobject_name
阅读更多...
统计内存使用率shell

统计内存使用率shell

#!/bin/bashdatedate "%Y-%m-%d %H:%M:%S"#显示消耗资源内存最高的进程名firstps aux | grep -v "grep" | grep -v "USER" | sort -rn -k 4 | head -4 | awk -F {print $13} | sed -n 1pSecondps aux | grep -v "grep" | grep -v &q…
阅读更多...
Oracle 11g系统自动收集统计信息

Oracle 11g系统自动收集统计信息

从Oracle Database 10g开始&#xff0c;Oracle在建库后就默认创建了一个名为GATHER_STATS_JOB的定时任务&#xff0c;用于自动收集CBO的统计信息&#xff0c;调用DBMS_STATS.GATHER_DATABASE_STATS_JOB_PROC收集统计信息。该过程首先检测统计信息缺失和陈旧的对象。然后确定优先…
阅读更多...
Redis监控指标

Redis监控指标

监控指标 •性能指标&#xff1a;Performance•内存指标: Memory•基本活动指标&#xff1a;Basic activity•持久性指标: Persistence•错误指标&#xff1a;Error 性能指标&#xff1a;Performance NameDescriptionlatencyRedis响应一个请求的时间instantaneous_ops_per_s…
阅读更多...
innobackupex参数说明

innobackupex参数说明

1、备份&#xff1a; #常用参数 　　　　--user&#xff1a;该选项表示备份账号。 　　　　--password&#xff1a;该选项表示备份的密码。 　　　　--port&#xff1a;该选项表示备份数据库的端口。 　　　　--host&#xff1a;该选项表示备份数据库的地址。 　　　　--socket…
阅读更多...
innobackupex远程备份脚本

innobackupex远程备份脚本

#!/bin/sh #备份主机 remote_ip10.2.142.161 Master_ip10.2.142.148 VIP103.2.132.136 #备份用户 userroot #密码 password123456 # 返回年月日 backup_datedate %F # 返回时分秒 backup_timedate %H-%M-%S # 返回今天是这周的第几天 backup_week_daydate %u backup_ok0 #备份目…
阅读更多...
MySQL管理利器 MySQL Utilities---mysqlreplicate

MySQL管理利器 MySQL Utilities---mysqlreplicate

mysqlreplicate 工具是在两台服务器间设置和启动复制。用户提供登录从服务器信息和连接到主的信息。也可以指定一个数据库用于测试复制。 该工具报告条件是当主和从的存储引擎不一样时。如果主和从的存储引擎不同将产生告警信息。对于Innodb存储引擎而言&#xff0c;必需完全…
阅读更多...
MySQL管理工具MySQL Utilities — 如何连接MySQL服务器

MySQL管理工具MySQL Utilities — 如何连接MySQL服务器

连接参数 连接到一个服务器&#xff0c;必须指定连接参数&#xff0c;如用户名&#xff0c;主机名称&#xff0c;密码&#xff0c;端口号&#xff0c;socket。MySQL Utilities提供了三种提供这些参数的方法&#xff0c;这些方法都需要通过命令行指定。 使用.mylogin.cnf文件&…
阅读更多...
MHA高可用

MHA高可用

manager 组件 masterha_manger # 启动MHA masterha_check_ssh # 检查MHA的SSH配置状况 masterha_check_repl # 检查MySQL复制状况&#xff0c;配置信息 masterha_master_monitor # 检测master是否宕机 masterha_check_status # 检测当…
阅读更多...
MySQL Replication需要注意的问题

MySQL Replication需要注意的问题

主库意外宕机 如果没有设置主库的sync_binlog选项&#xff0c;就可能在奔溃前没有将最后的几个二进制日志事件刷新到磁盘中。备库I/O线程因此也可一直处于读不到尚未写入磁盘的事件的状态中。当主库从新启动时&#xff0c;备库将重连到主库并再次尝试去读该事件&#xff0c;但…
阅读更多...
update和delete操作忘加where条件导致全表更新的处理方法

update和delete操作忘加where条件导致全表更新的处理方法

在数据库日常维护中&#xff0c;开发人员是最让人头痛的&#xff0c;很多时候都会由于SQL语句写的有问题导致服务器出问题&#xff0c;导致资源耗尽。最危险的操作就是在做DML操作的时候忘加where条件&#xff0c;导致全表更新&#xff0c;这是作为运维或者DBA的我们改如何处理…
阅读更多...
Innodb结构

Innodb结构

从MySQL5.5版本开始默认使用InnoDB作为引擎&#xff0c;它擅长处理事务&#xff0c;具有自动崩满恢复的特性&#xff0c;在日常开发中使用非常广泛&#xff0c;下面是言方的InnoDB引擎美构图&#xff0c;主要分为内存结构和磁盘结构两大部分。 内存结构主要包括Buffer Pool、C…
阅读更多...
ES备份工具elasticdump

ES备份工具elasticdump

安装 下载node下载 | Node.js 中文网 tar xvf node-v16.5.0-linux-x64.tar.xz ln -s /app/temp/node-v16.5.0-linux-x64/bin/node /usr/bin/node ln -s /app/temp/node-v16.5.0-linux-x64/bin/npm /usr/bin/npm npm install elasticdump -g npm config get cache npm in…
阅读更多...
innodb_flush_method理解【转】

innodb_flush_method理解【转】

innodb_flush_method这个参数控制着innodb数据文件及redo log的打开、刷写模式&#xff0c;对于这个参数&#xff0c;文档上是这样描述的&#xff1a; 有三个值&#xff1a;fdatasync(默认)&#xff0c;O_DSYNC&#xff0c;O_DIRECT 默认是fdatasync&#xff0c;调用fsync()去…
阅读更多...
最新文章

Copyright @ 2022~2023