mongodb集群与分片的配置说明

Shardingcluster介绍

这是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建monodb系统。


系统分为需要三种角色:

Shard Server:mongod 实例,用于存储实际的数据块,实际生产环境中一个 shard server角色可由几台机器组个一个relica set承担,防止主机单点故障

Config Server:mongod 实例,存储了整个 Cluster Metadata,其中包括 chunk 信息。

Route Server:mongos 实例,前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。

架构图:

mongodb集群与分片的配置说明

本系统环境架构图:

mongodb集群与分片的配置说明

注:mongoDB集群最好是奇数数个服务器,本例介绍的是三台服务器

 

  1. 分别在3台机器上运行一个mongod实例(称为mongod shard11,mongod shard12,mongod shard13)组成replica set1 ,作为cluster的shard1

  2. 分别在3台机器上运行另一个mongod实例(称为mongod shard21,mongod shard22,mongod shard23)组成replica set2 ,作为cluster的shard2

  3. 分别在3台机器运行一个mongod实例,作为3个config server

  4. 分别在每台机器运行一个mongos进程,用于客户连接

主机

IP

端口信息

Server1

192.168.10.207

mongod shard11:27017

mongod shard12:27018

mongod shard1:20000

mongos1:30000

Server2

192.168.10.208

mongod shard11:27017

mongod shard12:27018

mongod shard1:20000

mongos1:30000

Server3

192.168.10.209

mongod shard11:27017

mongod shard12:27018

mongod shard1:20000

mongos1:30000

软件准备

部署前请先关闭防火墙,因为防火墙有时候会屏蔽

1 安装mongoDB软件

下载mongodb

解压tar zxvf mongodb-linux-***.tar

2 创建数据目录

Server1:

 mkdir -p /data/shard11 mkdir -p /data/shard21 

Server2:

 mkdir -p /data/shard12 mkdir -p /data/shard22 

Server3:

 mkdir -p /data/shard13 mkdir -p /data/shard23 

配置replice sets(副本集):

  1. 配置shard1所用到的replicasets:

Server1:

 ./mongod -shardsvr -replSet shard1 -port 27017 -dbpath/data/shard11/ -oplogSize 100 -logpath /data/shard11.log -logappend --fork 

Server2:

 ./mongod -shardsvr -replSet shard1 -port 27017 -dbpath/data/shard12/ -oplogSize 100 -logpath /data/shard12.log -logappend --fork 

Server3:

 ./mongod -shardsvr -replSet shard1 -port 27017 -dbpath/data/shard13/ -oplogSize 100 -logpath /data/shard13.log -logappend –-fork 

初始化replica set

用mongo连接其中一个mongod(例如:./mongo 192.168.10.207:27017)执行:

 > config = {_id:"shard1",members:[{_id:0,host:'192.168.10.207:27017'},{_id:1,host:'192.168.10.208:27017'},{_id:2,host:'192.168.10.209:27017'}]}                                                   > rs.initiate(config); 

2、同样的方法,配置shard2用到的replica sets:

Server1:

 ./mongod -shardsvr -replSet shard2 -port 27018 -dbpath/data/shard21/ -oplogSize 100 -logpath /data/shard21.log -logappend --fork 

Server2:

 ./mongod -shardsvr -replSet shard2 -port 27018 -dbpath/data/shard22/ -oplogSize 100 -logpath /data/shard22.log -logappend --fork 

Server3:

 ./mongod -shardsvr -replSet shard2 -port 27018 -dbpath/data/shard23/ -oplogSize 100 -logpath /data/shard23.log -logappend –-fork 

初始化replica set

用mongo连接其中一个mongod(例如:./mongo 192.168.10.207:27017)执行:

 > config ={_id:"shard2",members:[{_id:0,host:'192.168.10.207:27018'},{_id:1,host:'192.168.10.208:27018'},{_id:2,host:'192.168.10.209:27018'}]}                                               > rs.initiate(config); 

配置三台config server:

Server1:

 ./mongod -configsvr -dbpath /data/config -port 20000 -logpath/data/config.log -logappend --fork 

Server2:

 ./mongod -configsvr -dbpath /data/config -port 20000 -logpath/data/config.log -logappend --fork 

Server3:

 ./mongod -configsvr -dbpath /data/config -port 20000 -logpath/data/config.log -logappend --fork 

配置mongos:

Server1

 ./mongos -configdb192.168.10.207:20000,192.168.10.208:20000,192.168.10.209:20000 -port 30000-chunkSize 5 -logpath /data/mongos.log -logappend --fork 

server2

 ./mongos -configdb192.168.10.207:20000,192.168.10.208:20000,192.168.10.209:20000 -port 30000-chunkSize 5 -logpath /data/mongos.log -logappend --fork 

server3

 ./mongos -configdb192.168.10.207:20000,192.168.10.208:20000,192.168.10.209:20000 -port 30000-chunkSize 5 -logpath /data/mongos.log -logappend --fork 

注释:mongos不需要dbpath

配置分片:

  1. 连接mongos,并切换到admin ./mongo 192.168.10.207:30000/admin

 >db admi 

2.加入shards

如果shard是单台服务器,用:

 >db.runCommand({ addshard :“[:]”}) 

如果shard是replica sets,用:

 >db.runCommand({ addshard : “replicaSetName/[:],[:]..”}) 

如本机执行:

 >db.runCommand({ addshard :“shard1/192.168.10.207:27017,192.168.10.208:27017,192.168.10.209:27017″,name:”s1″,maxsize:20480}); 
 >db.runCommand({ addshard :“shard2/192.168.10.207:27018,192.168.10.208:27018, 192.168.10.209:27018″,name:”s2″,maxsize:20480}) 

注释:

name为用于置顶shard的名字,不指定的话系统自动分配

maxsize为指定各个shard可用的最大磁盘空间

3.查看shard是否添加成功

 >db.runCommand({listshards:1}) 

如果列出了以上两个你家的shards,表示添加成功

4.激活数据库分片

 >db.runCommand({enablesharding:””}) 

通过执行以上命令,可以让数据库跨shard,如果不执行这步,数据库只会存放在一个shard,一旦激活数据库分片,数据库中不同的 collection将被存放在不同的shard上,但一个collection仍旧存放在同一个shard上,要使单个collection也分片,还 需单独对collection作些操作

如:

 >db.runCommand({enablesharding:"test"}) 

查看数否生效:

 >db.printShardingStatus()    sharding version: { "_id" : 1, "version" : 3 }     shards:        {  "_id" : "s1",  "host" :        "shard1/192.168.10.207:27017,192.168.10.208:27017,192.168.10.209:27017" }        {  "_id" : "s2",  "host" : "shard2/192.168.10.207:27018,192.168.10.208:27018,192.168.10.209:27018" }          databases:        {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }        {  "_id" : "test",  "partitioned" : true,  "primary" : "s1" } 

注释:

一旦enable了个数据库,mongos将会把数据库里的不同数据集放在不同的分片上。除非数据集被分片(下面会设置),否则一个数据集的所有数据将放在一个分片上。

Collecton分片:

要使单个collection也分片存储,需要给collections指定一个分片key,如下:

 > db.runCommand( {shardcollection : “”,key :  }) 

a. 分片的collection系统会自动创建一个索引(也可用户提前创建好)
b. 分片的collection只能有一个在分片key上的唯一索引,其它唯一索引不被允许

分片collection例子:

 > db.runCommand({shardcollection:"test.c1",key:{id:1}}) > use test 

测试一下:

 > for(var i =0; i<20000; i++) db.c1.save({id:i,value:"111111"})              > db.c1.stats()              {         “sharded” : true,         “ns” : “test.c1″,         “count” : 200003,         “size” : 25600384,         “avgObjSize” : 128,         “storageSize” : 44509696,         “nindexes” : 2,         “nchunks” : 15,         “shards” : {                “s1″ : {                        “ns” : “test.c1″,                        “count” : 141941,                        “size” : 18168448,                        “avgObjSize” : 128,                        “storageSize” : 33327616,                        “numExtents” : 8,                        “nindexes” : 2,                        “lastExtentSize” : 12079360,                        “paddingFactor” : 1,                        “flags” : 1,                        “totalIndexSize” : 11157504,                        “indexSizes” : {                                “_id_” : 5898240,                                “id_1″ : 5259264                        },                        “ok” : 1                },                “s2″ : {                        “ns” : “test.c1″,                        “count” : 58062,                        “size” : 7431936,                        “avgObjSize” : 128,                        “storageSize” : 11182080,                        “numExtents” : 6,                        “nindexes” : 2,                        “lastExtentSize” : 8388608,                        “paddingFactor” : 1,                        “flags” : 1,                        “totalIndexSize” : 4579328,                        “indexSizes” : {                                “_id_” : 2416640,                                “id_1″ : 2162688                        },                        “ok” : 1                }         },         “ok” : 1 } 

如果出现以上相同信息,为系统部署正确

附录:

mongod手册:http://cn.docs.mongodb.org/manual/reference/mongod/

服务器状态查询手册:http://cn.docs.mongodb.org/manual/reference/server-status/

数据库统计参考手册:http://cn.docs.mongodb.org/manual/reference/database-statistics/


此文章并非转载,我是看到很多地方总结出来写的,但是里面也有别人的经验,只为提供参考



2年前 / 0℃ /
标签:mongodb集群 mongodb
上一篇下一篇