MongoDB分片集群搭建

----前言

mongodb分片

一般用得比较少,需要较多的服务器,还有三种的角色

一般把mongodb的副本集应用得好就足够用了,可搭建多套mongodb复本集

mongodb分片技术

mongodb副本集可以解决数据备份、读性能的问题,但由于mongodb副本集是每份数据都一模一样的,无法解决数据量过大问题

mongodb分片技术能够把数据分成两份存储,假如shijiange.myuser里面有1亿条数据,分片能够实现5千万左右存储在data1,5千万左右存储在data2

data1、data2需要使用副本集的形式,预防数据丢失

mongodb分片集群三种角色介绍

router角色        #mongodb的路由,提供入口,使得分片集群对外透明。router不存储数据

configsvr角色        #mongodb的配置角色,存储元数据信息。分片集群后端有多份存储,读取数据该去哪个存储上读取,依赖于配置角色。配置角色建议使用副本集

shardsvr角色        #mongodb的存储角色,存储真正的数据,建议使用副本集

依赖关系

当用户通过router角色插入数据时,需要从configsvr知道这份数据插入到哪个节点,然后执行插入动作插入数据到sharedsvr

当用户通过router角色获取数据时,需要从configsvr知道这份数据是存储在哪个节点,然后再去sharedsvr获取数据

mongodb分片集群的搭建说明

使用同一份mongodb二进制文件

修改对应的配置就能实现分片集群的搭建

--第一步,分片集群搭建-configsvr

mongodb分片集群实战环境搭建说明

configsvr        #使用28017,28018,28019三个端口来搭建

router                    #使用27017,27018,27019三个端口来搭建

shardsvr        #使用29017,29018,29019,29020四个端口来搭建,两个端口一个集群,生产环境肯定是要三个端口

资源有限,就三台服务器,我的分配情况是

mongodb配置角色的搭建,配置文件路径/data/mongodb-fenpiancluster/28017,另外两节点改下路径、端口、IP

systemLog:

  destination: file

  logAppend: true

  path: /data/mongodb-fenpiancluster/28017/mongodb.log

storage:

  dbPath: /data/mongodb-fenpiancluster/28017

  journal:

    enabled: true

processManagement:

  fork: true

net:

  port: 28017

  bindIp: 127.0.0.1,192.167.100.181

replication:

  replSetName: zmhconf

sharding:

  clusterRole: configsvr

mongodb配置服务集群的启动跟单例的启动方式一致,都是使用mongod

分片集群的配置角色副本集搭建

config = { _id:"zmhconf",

  configsvr: true,

  members:[

    {_id:0,host:"192.167.100.181:28017"},

    {_id:1,host:"192.167.100.182:28018"},

    {_id:2,host:"192.167.100.183:28019"}

  ]

}

rs.initiate(config)

验证是否搭建成功

/usr/local/mongodb/bin/mongo 192.167.100.181:28017

rs.status()

--第二步,分片集群搭建-router

router说明

mongodb中的router角色只负责提供一个入口,不存储任何的数据

router角色的搭建,配置文件/data/mongodb-fenpiancluster/27017/mongodb.conf

systemLog:

  destination: file

  logAppend: true

  path: /data/mongodb-fenpiancluster/27017/mongodb.log

processManagement:

  fork: true

net:

  port: 27017

  bindIp: 192.167.100.181

sharding:

  configDB: zmhconf/192.167.100.181:28017,192.167.100.182:28018,192.167.100.183:28019

router最重要的配置

指定configsvr的地址,使用副本集id+ip端口的方式指定

配置多个router,任何一个都能正常的获取数据

router的启动

     /usr/local/mongodb/bin/mongos -f /data/mongodb-fenpiancluster/27017/mongodb.conf

/usr/local/mongodb/bin/mongos -f /data/mongodb-fenpiancluster/27018/mongodb.conf

/usr/local/mongodb/bin/mongos -f /data/mongodb-fenpiancluster/27019/mongodb.conf

router的验证

需要等到数据角色搭建完才能够进行验证

--第三步,分片集群搭建-sharedsvr

数据角色

分片集群的数据角色里面存储着真正的数据,所以数据角色一定得使用副本集

多个数据角色

mongodb的数据角色搭建,配置文件/data/mongodb-fenpiancluster/29017/mongodb.conf,另外三台也这么写,由于资源不足,把zmhdata2的副本集都放在了192.167.100.183上。

systemLog:

  destination: file

  logAppend: true

  path: /data/mongodb-fenpiancluster/29017/mongodb.log

storage:

  dbPath: /data/mongodb-fenpiancluster/29017

  journal:

    enabled: true

processManagement:

  fork: true

net:

  port: 29017

  bindIp: 192.167.100.181

replication:

  replSetName: zmhdata1

sharding:

  clusterRole: shardsvr

systemLog:

  destination: file

  logAppend: true

  path: /data/mongodb-fenpiancluster/29019/mongodb.log

storage:

  dbPath: /data/mongodb-fenpiancluster/29019

  journal:

    enabled: true

processManagement:

  fork: true

net:

  port: 29019

  bindIp: 192.167.100.183

replication:

  replSetName: zmhdata2

sharding:

  clusterRole: shardsvr

数据服务两个集群说明

29017、29018数据角色zmhdata1

29019、29020数据角色zmhdata2

在各自节点分别启动四个数据实例

/usr/local/mongodb/bin/mongod -f /data/mongodb-fenpiancluster/29017/mongodb.log

/usr/local/mongodb/bin/mongod -f /data/mongodb-fenpiancluster/29018/mongodb.log

/usr/local/mongodb/bin/mongod -f /data/mongodb-fenpiancluster/29019/mongodb.log

/usr/local/mongodb/bin/mongod -f /data/mongodb-fenpiancluster/29020/mongodb.log

在各自副本集的节点上写入节点信息(任意找一个副本集内的节点操作):

数据角色zmhdata1

config = { _id:"zmhdata1",

  members:[

    {_id:0,host:"192.167.100.181:29017"},

    {_id:1,host:"192.167.100.182:29018"}

  ]

}

rs.initiate(config)

数据角色zmhdata2

config = { _id:"zmhdata2",

  members:[

    {_id:0,host:"192.167.100.183:29019"},

    {_id:1,host:"192.167.100.183:29020"}

  ]

}

rs.initiate(config)

--第四步,分片集群添加数据节点

分片集群添加数据角色,连接到路由角色里面配置,数据角色为副本集的方式

/usr/local/mongodb/bin/mongo 192.167.100.181:27017         

sh.addShard("zmhdata1/192.167.100.181:29017,192.167.100.182:29018")

sh.addShard("zmhdata2/192.167.100.183:29019,192.167.100.183:29020")

sh.status()

默认添加数据没有分片存储,操作都是在路由角色里面

use shijiange

for(i=1; i<=500;i++){

  db.myuser.insert( {name:'mytest'+i, age:i} )

}

db.dropDatabase()        #验证完后删除

经验证发现,新建的数据会随机分配到一个分片中,而不会均分到所有分片。

针对某个数据库的某个表使用hash分片存储,分片存储就会同一个colloection分配两个数据角色(MongoDB的分片是基于集合的,就算有分片集群不等于数据会自动分片,需要实现分片表首先需要启用数据库分片

use admin

db.runCommand( { enablesharding :"shijiange"});

db.runCommand( { shardcollection : "shijiange.myuser",key : {_id: "hashed"} } )

或者也可以这样的语句来启用分片:

 mongos> sh.enableSharding("shijiange")

 mongos> sh.shardCollection("shijiange.myuser",{_id: "hashed"});

插入数据校验,分布在两个数据角色上

use shijiange

for(i=1; i<=500;i++){

  db.myuser.insert( {name:'mytest'+i, age:i} )

}

配置角色如果挂掉一台会不会有影响

验证mongos多个入口是否能够正常使用

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/146118.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

创作者焦点:Temple of Dum-Dum(试炼 3)

《Bomkus 博士的试炼》创作的幕后花絮。 《创作者焦点》系列共分为六部分&#xff0c;重点介绍《Bomkus 博士的试炼》的游戏创作过程及其独特的游戏功能。 Temple of Dum-Dum&#xff1a; Temple of Dum-Dum 是 Bomkus 博士试炼中的第三个挑战&#xff0c;该试炼由六项体验组成…

SecureCRT 9.4.2 for Mac

SecureCRT是一款由VanDyke Software公司开发的终端仿真软件&#xff0c;它提供了类似于Telnet和SSH等协议的远程访问功能。SecureCRT专门为网络管理员、系统管理员和其他需要保密访问网络设备的用户设计。 SecureCRT具有以下特点&#xff1a; 安全性&#xff1a;SecureCRT支持…

windows服务器热备、负载均衡配置

安装网络负载平衡 需要加入的服务器上全部需要安装网络负载平衡管理器 图形化安装&#xff1a;使用服务器管理器安装 在服务器管理器中&#xff0c;使用“添加角色和功能”向导添加网络负载均衡功能。 完成向导后&#xff0c;将安装 NLB&#xff0c;并且不需要重启计算机。 …

337. 打家劫舍 III

小偷又发现了一个新的可行窃的地区。这个地区只有一个入口&#xff0c;我们称之为 root 。 除了 root 之外&#xff0c;每栋房子有且只有一个“父“房子与之相连。一番侦察之后&#xff0c;聪明的小偷意识到“这个地方的所有房屋的排列类似于一棵二叉树”。 如果 两个直接相连…

MATLAB中zticks函数用法

目录 语法 说明 示例 指定 z 轴刻度值和标签 指定非均匀 z 轴刻度值 以 2 为增量递增 z 轴刻度值 将 z 轴刻度值设置回默认值 指定特定坐标区的 z 轴刻度值 删除 z 轴刻度线 zticks函数的功能是设置或查询 z 轴刻度值。 语法 zticks(ticks) zt zticks zticks(auto)…

ReportLab创建合同PDF

一、前言 有一个项目需要将电子签名后的报价合同和生成的发票发送给客户&#xff0c;这种发送给客户的文件一般都是使用PDF格式&#xff0c;主要是因为PDF特别适合阅读且不同平台打开文件格式不会变形&#xff0c;不过要在程序中生成PDF还是比较麻烦的&#xff0c;我们的发票是…

TCP与UDP协议

TCP与UDP协议 1、TCP协议&#xff1a; 1、TCP特性&#xff1a; TCP 提供一种面向连接的、可靠的字节流服务。在一个 TCP 连接中&#xff0c;仅有两方进行彼此通信。广播和多播不能用于 TCP。TCP 使用校验和&#xff0c;确认和重传机制来保证可靠传输。TCP 给数据分节进行排序…

AdaBoost 算法:理解、实现和掌握 AdaBoost

一、介绍 Boosting 是一种集成建模技术&#xff0c;由 Freund 和 Schapire 于 1997 年首次提出。从那时起&#xff0c;Boosting 就成为解决二元分类问题的流行技术。这些算法通过将大量弱学习器转换为强学习器来提高预测能力 。 Boosting 算法背后的原理是&#xff0c;我们首先…

万宾科技智能传感器EN100-C2有什么作用?

在日常生活中井盖是一种常见的城市设施&#xff0c;但井盖出现问题可能会对人们的生活造成什么影响呢&#xff1f;移位或老化的井盖可能会威胁人们的安全&#xff0c;同时也会影响城市生命线的正常运行。然而智能井盖的出现为解决这些问题提供了有效的应对方案。 WITBEE万宾智能…

udp多点通信-广播-组播

单播 每次只有两个实体相互通信&#xff0c;发送端和接收端都是唯一确定的。 广播 主机之间的一对多的通信所有的主机都可以接收到广播消息(不管你是否需要)广播禁止穿过路由器&#xff08;只能做局域网通信&#xff09;只有UDP可以广播广播地址 有效网络号全是1的主机号 192.1…

Pikachu(皮卡丘靶场)初识XSS(常见标签事件及payload总结)

目录 1、反射型xss(get) 2、反射性xss(post) 3、存储型xss 4、DOM型xss 5、DOM型xss-x XSS又叫跨站脚本攻击&#xff0c;是HTML代码注入&#xff0c;通过对网页注入浏览器可执行代码&#xff0c;从而实现攻击。 ​ 1、反射型xss(get) Which NBA player do you like? 由…

nvm安装详细教程(卸载旧的nodejs,安装nvm、node、npm、cnpm、yarn及环境变量配置)

文章目录 一、完全卸载旧的nodejs1、打开系统的控制面板&#xff0c;点击卸载程序&#xff0c;卸载nodejs&#xff08;1&#xff09;打开系统的控制面板&#xff0c;点击程序下的卸载程序&#xff08;2&#xff09;找到node.js&#xff0c;鼠标右击出现下拉框&#xff0c;点卸载…

YOLO改进系列之注意力机制(EffectiveSE模型介绍)

模型结构 ESE(Effective Squeeze and Extraction) layer是CenterMask模型中的一个block&#xff0c;基于SE&#xff08;Squeeze and Extraction&#xff09;改进得到。与SE的区别在于&#xff0c;ESE block只有一个fc层&#xff0c;(CenterMask : Real-Time Anchor-Free Insta…

【git】远程远程仓库命令操作详解

这篇文章主要是针对git的命令行操作进行讲解&#xff0c;工具操作的基础也是命令行&#xff0c;如果基本命令操作都不理解&#xff0c;就算是会工具操作&#xff0c;真正遇到问题还是一脸懵逼 如果需要查看本地仓库的详细操作可以看我上篇文件 【git】git本地仓库命令操作详解…

IIC总线概述和通信时序代码详细图文解析

IIC总线 1 IIC总线概述 I2C总线两线制包括&#xff1a;串行数据SDA&#xff08;Serial Data&#xff09;、串行时钟SCL&#xff08;Serial Clock&#xff09;。总线必须由主机&#xff08;通常为微控制器&#xff09;控制&#xff0c;主机产生串行时钟&#xff08;SCL&#x…

Linux安装DMETL5与卸载

Linux安装DMETL5与卸载 环境介绍1 DM8数据库配置1.1 DM8数据库安装1.2 初始化达梦数据库1.3 创建DMETL使用的数据库用户 2 配置DMETL52.1 解压DMETL5安装包2.2 安装调度器2.3 安装执行器2.4 安装管理器2.5 启动dmetl5 调度器2.6 启动dmetl5 执行器2.7 启动dmetl5 管理器2.8 查看…

跨境电商与文化多样性:市场中的机遇

在数字时代&#xff0c;跨境电商已经成为全球贸易的主要驱动力之一。随着互联网的普及和物流的改善&#xff0c;企业有机会将产品和服务推向全球市场。 然而&#xff0c;随着全球市场的扩大&#xff0c;文化多样性也成为了一个重要的考虑因素。本文将深入探讨跨境电商与文化多…

【408】计算机学科专业基础 - 操作系统

一、计算机系统概述 1.简介 什么是操作系统&#xff1f; 操作系统&#xff08;Operating Ststem&#xff0c; OS&#xff09;是指控制和管理整个计算机系统的硬件和软件资源&#xff0c;并合理地组织调度计算机的工作和资源的分配&#xff0c;以提供给用户和其他软件方便的接口…

成功解决:文档根元素 “mapper“ 必须匹配 DOCTYPE 根 “null“

文章底部有个人公众号&#xff1a;热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享&#xff1f; 踩过的坑没必要让别人在再踩&#xff0c;自己复盘也能加深记忆。利己利人、所谓双赢。 文章目录 前言错误信息解决方法 前言 错误…

【中间件篇-Redis缓存数据库07】Redis缓存使用问题及互联网运用

Redis缓存使用问题 数据一致性 只要使用到缓存&#xff0c;无论是本地内存做缓存还是使用 redis 做缓存&#xff0c;那么就会存在数据同步的问题。 我以 Tomcat 向 MySQL 中写入和删改数据为例&#xff0c;来给你解释一下&#xff0c;数据的增删改操作具体是如何进行的。 我…