Codis 分布式缓存部署

为什么80%的码农都做不了架构师？>>>

环境介绍:

1:机器三台 ,IP/hostname 如下, hostname的设置很重要zookeeper / codis的通信都会用到,所以要配置好三台机器的hosts文件.

10.221.8.220 机器的hostname为 Redis1

10.221.8.221 机器的hostname为 Redis2

10.221.8.222 机器的hostname为 Redis3

三台机器的/etc/hosts 文件添加如下解析

10.221.8.220 Redis1

10.221.8.1.221 Redis2

10.221.8.1.222 Redis3

2: 三台机器的系统都是centos 6.5 已经安装基本服务.

yum -y install gcc gcc-c++ make glibc glibc-devel glib2 glib2-devel patch autoconf automake（安装基本编译工具）

yum -y install ntp wget unzip vixie-cron ntsysv openssh-clients sysstat irqbalance subversion（安装常用系统软件，按需）

yum update -y （更新软件包）

3:使用三台机器做codis集群的服务部署如图:

服务的部署

第一步: zookeeper的安装

zookeeper的安装请参考 http://my.oschina.net/denglz/blog/503912

注意: 三台机器上的zookeeper都已启动

第二步:golang环境的部署

1: 下载golang

wget https://storage.googleapis.com/golang/go1.4.1.linux-amd64.tar.gz

2: 解压go1.4.1.linux-amd64.tar.gz移动go目录到/usr/local/ 目录下.

3:进入 /usr/local/go/src 目录执行下面的命令

bash all.bash

4:配置golang的环境变量, 修改/etc/profile (我的jdk与golang的环境变量如下)

ZOOKEEPER_HOME=/usr/local/zookeeper-3.3.6

GOROOT=/usr/local/go

JAVA_HOME=/usr/local/jdk1.8

CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export GOPATH=/usr/local/codis

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin

5:下载codis

go get github.com/wandoulabs/codis

如果报错: go: missing Git command. See http://golang.org/s/gogetcmd

安装git即可解决: yum install git

第三步:codis的部署域服务的启动

1:codis的安装与配置

cd /usr/local/codis/src/github.com/wandoulabs/codis

执行 bootstrap.sh脚本进行codis的安装 (需要等一下)

sh bootstrap.sh

安装结束后会在 codis/bin 文件夹生成 codis-config, codis-proxy 两个可执行文件, (另外, bin/assets 文件夹是 codis-config 的 dashboard http 服务需要的前端资源, 需要和 codis-config 放置在同一文件夹下)

mkdir -p /usr/local/codis/{logs,conf,scripts} #log目录存放日志,conf 目录存放codis-server的配置文件与config.ini配置文件,scripts目录存放codis服务的启动脚本.

cp -rf bin /usr/local/codis/ #bin目录里面是一些可执行文件与dashboard http 服务需要的前端资源.

cp config.ini /usr/local/codis/conf/ #config.ini 是codis的配置文件

cp ./extern/redis-test/conf/6379.conf /usr/local/codis/conf/ #6379.conf 是codis-server的配置文件

修改config.ini文件,修改好的config.ini文件内容如下

[root@Redis1 codis]# cat bin/config.ini | grep -v "^#" | grep -v "^$"

coordinator=zookeeper

zk=10.221.8.220:2181,10.221.8.221:2181,10.221.8.222:2181 #三台机器的zookeeper的ip域端口

product=codis

dashboard_addr=10.221.8.220:18087 #codis 架构中提供web操作界面服务的机器的ip与端口,(Redis1中的redis-config服务提供的web操作界面)所以是Redis1机器的ip

password=

backend_ping_period=5

session_max_timeout=1800

session_max_bufsize=131072

session_max_pipeline=1024

zk_session_timeout=30

proxy_id=Redis1_proxy #codis启动代理服务的代理ID,这个代理id不能与其他机器的代理id一样.

net_timeout=5

2:创建脚本启动codis服务的启动

创建 codis web操作界面的启动脚本(只需要在Redis1 机器上创建这个脚本,因为dashboard http 服务只在这个机器上启动)

[root@Redis1 codis]# vi /usr/local/codis/scripts/start_dashboard.sh

#!/bin/sh

CODIS_HOME=/usr/local/codis

nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard --addr=:18087 --http-log=$CODIS_HOME/logs/requests.log &>/dev/null &

创建slots的初始化脚本(只需要在Redis1 机器上创建这个脚本,因为codis的slot只需要初始化一次)

[root@RedisA codis]# vi /usr/local/codis/scripts/initslot.sh

#!/bin/sh

CODIS_HOME=/usr/local/codis

echo "slots initializing..."

$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f

echo "done"

创建codis-proxy的启动脚本 (只需在Redis2和Redis3上面创建这个脚本,因为codis-proxy服务只在这两个机器上启动)

注意: 在Redis3上把下面脚本里面的Redis2全部改成Redis3.这个代理id是在各个机器codis的config.ini文件里面配置的

注意:运行服务之前先创建proxy的日志文件,不然会报错. touch /usr/local/codis/logs/Redis2_proxy.log

vi /usr/local/codis/scripts/start_proxy.sh

#!/bin/sh

CODIS_HOME=/usr/local/codis

echo "shut down Redis2_proxy..."

$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy offline Redis2_proxy

echo "done"

echo "start new Redis2_proxy..."

nohup $CODIS_HOME/bin/codis-proxy --log-level error -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/Redis2_proxy.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &

echo "done"

echo "sleep 3s"

sleep 3

tail -n 30 $CODIS_HOME/logs/Redis2_proxy.log

修改Redis2和Redis3的codis-server的配置文件 /usr/local/codis/conf/6379.conf (我修改了三个地方,可以安装自己的需要修改)

logfile "/usr/local/codis/logs/codis_server.log"

dir /usr/local/codis/data

maxmemory 1G

按照上面的服务部署如图来启动机器上启动

Redis1 上需要运行的服务:

sh /usr/local/codis/scripts/start_dashboard.sh

sh /usr/local/codis/scripts/initslot.sh (这个初始化slot的脚本在哪台机器执行都可以我就放到Redis1上执行了,)

Redis1 上面需要启动一个codis-server的HA服务,用来自动切换codis-server的主从.这一步放到后面这里先不实现.

Redis2 上需要运行的服务:

sh /usr/local/codis/scripts/start_proxy.sh

/usr/local/codis/bin/codis-server /usr/local/codis/conf/6379.conf &

Redis3 上需要运行的服务:

sh /usr/local/codis/scripts/start_proxy.sh

/usr/local/codis/bin/codis-server /usr/local/codis/conf/6379.conf &

codis 的 HA (codisHA只需要在Redis1上部署)

codis的HA 分为 codis-prosy层的 HA 和 codis-server成的 HA

codis-server 层的HA的实现:

获取codis-server HA .

go get github.com/ngaut/codis-ha

编译codis-server HA

cd /data/go/src/github.com/ngaut/codis-ha

go build

移动编译后的codis-ha文件到 /usr/local/codis/bin

cp codis-ha /usr/local/codis/bin

codis-server HA 的启动方法

codis-ha --codis-config=dashboard地址:18087 --productName=集群项目名称

codis-ha 启动以后 ,任何一个组里面的codis-server master 挂掉以后,都会自动切换一个slave为master.

codis-proxy 层的HA的实现:

proxy本身是无状态的，所以proxy本身的HA是比较好做的，因为连接到任何一个活着的proxy上都是一样的，我们可以使用LVS和HA Proxy来做负载均衡.

豌豆荚针对java客户端开发了一个jodis, jodis是jedis的一个连接池，很简单，就是监听zk上面的存活proxy列表，挨个返回jedis对象，达到负载均衡和HA的效果.

使用joids需要从zookeeper获取存活的proxy列表,所以需要配置zookeeper的IP与端口. zookeeper的ip:端口是可以配置多个的,使用逗号隔开就可以了..这样整个架构就没有单点问题了...

具体的链接代码：

JedisResourcePool jedisPool = new RoundRobinJedisPool("Redis1:2181,Redis2:2181,Redis3:2181", 30000, "/zk/codis/db_codis/proxy", new JedisPoolConfig());

try (Jedis jedis = jedisPool.getResource()) {

jedis.set("foo", "bar");

String value = jedis.get("foo");

System.out.println(value);

}

注释：

"Redis1:2181,Redis2:2181,Redis3:2181" #zookeeper主机的hostname与zookeeper服务开启的客户端链接端口，多个zookeeper主机之间用逗号分割，这样就解决了单点问题。

30000 #超时时间的设定

"/zk/codis/db_codis/proxy" #zookeeper中存储 codis代理的位置。

Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑

http://database.51cto.com/art/201507/483314_all.htm

codis 与 zookeeper 所在服务器重启需要做的一些事情?