mysql binlog oplog_mongodb 学习之oplog

背景：

原来一个同事问我主从mongodb数据库为什么数据差距很大,我让他察看一下两边有啥不一样，发现

主的local库有13G从却很小，进入local之后du发现有一个collection前缀的文件有13g，说明是local数据库中一个集合太大了，推测是oplog太大了，oplog是类似于mysql的binlog oracle的archivelog

当Primary进行写操作的时候，会将这些写操作记录写入Primary的Oplog中，而后Secondary会将Oplog复制到本机并应用这些操作，从而实现Replication的功能。同时由于其记录了Primary上的写操作，故还能将其用作数据恢复。可以简单的将其视作Mysql中的binlog。

为了进一步确认，进入mongodb之后通过

show dbs

use local

show collections

看到现有的集合

然后

db.getReplicationInfo()

rs.printReplicationInfo()

了解一下复制信息以及oplog大小与使用情况

为进一步确认相应的文件是否为oplog

db.printCollectionStats()

根据展示出来的结果只需要知道两条信息：

"ns" : "local.oplog.$main",

"uri" : "statistics:table:local/collection-2-1716662444632575459"

就可以确认oplog集合的相应文件，oplog如果太大可以清理和修改大小。

MongoDB oplog是一个capped collection，创建capped collection时，createCollection可以设置size(最大字节数)和max(最大文档数)的参数，当这个集合的『总大小超过size』或者『总文档数超过max』时，在新插入文档时就会自动删除一些集合内最先插入的文档，相当于一片环形的存储空间。

oplog(local.oplog.rs集合)默认情况下配置为可用磁盘空间的5%，当oplog写满时，就会开始删除最先写入的oplog，一次正常的insert操作包含如下步骤：将文档写入指定的集合

将写入操作记录到oplog

如果oplog满了，删除最先写入的oplog

优化策略

MongoDB 3.2为了提升写入性能，使用wiredtiger引擎时，针对local.oplog.rs这个集合的删除策略进行了优化，主要改进：将删除动作从用户的写入路径移除，放到后台线程执行

批量删除，并不是oplog一满就立马触发删除，而是一次删除一批

实施方案

monogd启动时，会根据oplog的最大字节数将整个集合分为10-100个Stone(可以理解为oplog的一段数据，包含多个文档，Stone的具体个数oplogSizeMB的配置相关)。WiredTigerRecordStore::OplogStones::OplogStones(OperationContext* txn, WiredTigerRecordStore* rs)

: _rs(rs) {

//...

unsigned long long maxSize = rs->cappedMaxSize();

const unsigned long long kMinStonesToKeep = 10ULL;

const unsigned long long kMaxStonesToKeep = 100ULL;

unsigned long long numStones = maxSize / BSONObjMaxInternalSize;

_numStonesToKeep = std::min(kMaxStonesToKeep, std::max(kMinStonesToKeep, numStones));

_minBytesPerStone = maxSize / _numStonesToKeep;

// ...

}

其中_numStonesToKeep为oplog应该保持的Stone个数，而_minBytesPerStone代表每个Stone的最小字节数。

stone.png

接下来，会根据oplog当前的大小以及_minBytesPerStone来估算下，当前的oplog大致包含的Stone数量，并通过采样的方式来获取每个Stone的起始位置(不能保证每个Stone的大小跟预期完全一样)，然后将所有的Stone按顺序存储到一个队列中。

mongod在服务写请求的过程中，每次都会记录下新产生oplog的大小，当新产生的oplog的总量超过_minBytesPerStones时，就会产生一个新的Stone加入到队列中。void WiredTigerRecordStore::OplogStones::createNewStoneIfNeeded(RecordId lastRecord) {

if (_currentBytes.load() < _minBytesPerStone) {

// Must have raced to create a new stone, someone else already triggered it.

return;

}

// ...

OplogStones::Stone stone = {_currentRecords.swap(0), _currentBytes.swap(0), lastRecord};

_stones.push_back(stone);

_pokeReclaimThreadIfNeeded(); // 唤醒后台回收oplog空间的线程

}

当队列中的Stone数量超过_numStonesToKeep，后台线程就会删除最老的Stone里的数据，来回收oplog的存储空间。

修改mongodb oplog size

oplog简介：

oplog：operations log的简写，存储在一个特殊的数据库中(local)，oplog就存储在其中的oplog.$main集合里面，这个集合是一个固定集合，新操作会自动替换旧的操作，以保证oplog不会超过预设的大小，其中的每个文档都代表主节点上执行的一个操作，oplog会包含所有对数据有修改的的操作(查询操作不会记录)，默认下，oplog大小会占用64位的实例5%的可用磁盘空间。

mongo复制的过程：主节点应用业务操作修改到数据库中，然后记录这些操作到oplog中，从节点复制这些oplog，然后应用这些修改。ps：这些操作是异步的。如果从节点的操作已经被主节点落下很远，oplog日志在从节点还没执行完，oplog可能已经轮滚一圈了，从节点跟不上同步，复制就会停下，从节点需要重新做完整的同步，为了避免此种情况，尽量保证主节点的oplog足够大，能够存放相当长时间的操作记录。

查询oplog的大小及保存的操作记录持续的时长

repltest:PRIMARY> db.printReplicationInfo()

configured oplog size:   1024MB

log length start to end: 3705secs (1.03hrs)

oplog first event time:  Thu Oct 10 2013 11:13:29 GMT+0800 (CST)

oplog last event time:   Thu Oct 10 2013 12:15:14 GMT+0800 (CST)

now:                     Fri Oct 11 2013 16:33:42 GMT+0800 (CST)

查询从节点的数据源列表，其中有数据滞后的时间

repltest:PRIMARY> db.printSlaveReplicationInfo()

source:   192.168.1.101:37017

syncedTo: Fri Oct 11 2013 16:38:16 GMT+0800 (CST)

= 1 secs ago (0hrs)

source:   192.168.1.100:37017

no replication info, yet.  State: ARBITER

so,修改oplog的大小：(下面介绍两种方式)

方式一:

The oplog exists internally as a capped collection, so you cannot modify its size in the course of normal operations.另：改变oplog大小，需要在每个节点上执行维护模式。(官方推荐)

步骤：

1:重启一个实例以单机模式，

通常再关闭server之前，使用rs.stepDown() 强制primary成为secondary

2:重新创建一个新大小，

其中包含旧的oplgo的入口条目的oplog

3:重启mongod作为replica set的成员

操作步骤：

1>: Restart a Secondary in Standalone Mode on a Different Port

关闭mongod实例：

repset:PRIMARY> use admin

repset:PRIMARY> db.shutdownServer()

重启mongod实例以单机模式，修改端口，并不要加--replSet参数

＃vim /etc/mongo.conf

dbpath=/var/lib/mongodb

logpath=/var/log/mongodb/mongo.log

pidfilepath=/var/run/mongo.pid

directoryperdb=true

logappend=true

#replSet=repset

bind_ip=192.168.1.100,127.0.0.1

port=37017

oplogSize=2000

fork=true＃ mongod -f /etc/mongo.conf

备份oplog＃ mongodump --db local --collection 'oplog.rs' --port 37017

2>: Recreate the Oplog with a New Size and a Seed Entry

保存oplog的最新的时间点

> use local

> db.temp.save( db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() )

> db.temp.find()

删除旧的oplog

> db.oplog.rs.drop()

3> :Create a New Oplog

创建一个新的Oplog，大小为2G

> db.runCommand( { create: "oplog.rs", capped: true, size: (2 * 1024 * 1024 * 1024) } )

插入前面保存的旧的oplog的时间点的记录

> db.oplog.rs.save( db.temp.findOne() )

> db.oplog.rs.find()

4>:Restart the Member：

关闭单机实例：

> use admin

> db.shutdownServer()

修改回配置＃ vim /etc/mongo.conf

dbpath=/var/lib/mongodb

logpath=/var/log/mongodb/mongo.log

pidfilepath=/var/run/mongo.pid

directoryperdb=true

logappend=true

replSet=repset

bind_ip=192.168.1.100,127.0.0.1

port=37017

oplogSize=2000

fork=true

启动mongod

＃ mongod -f /etc/mongo.conf

重复上述步骤到所有需要更改的节点。

方式二：

步骤：

1:停掉所有replca set节点.

2:主节点删除local库下的文件，从节点删除数据目录下所有文件.

3:修改所有节点配置文件.

4:重启所有节点.

5:重新配置replca set，从节点会重新同步所有数据(initial sync).

ps：此法好处是简单，但需要停掉服务，且如果数据量很大，初始同步的成本较高

1>:关闭mongod实例(所有节点)

> use admin

> db.shutdownServer()

2>:删除local数据库下的所有文件(PRIMARY节点)

# rm -rf /var/lib/mongodb/local/*

删除mongo数据目录(其他节点上操作，可不要删错哦，建议所有rm操作先mv，待无问题时候再删除)# rm -rf /var/lib/mongodb/*

3> 修改所有节点配置文件(oplogsize)

＃ vim /etc/mongo.conf

dbpath=/var/lib/mongodb

logpath=/var/log/mongodb/mongo.log

pidfilepath=/var/run/mongo.pid

directoryperdb=true

logappend=true

replSet=repset

bind_ip=192.168.1.100,127.0.0.1

port=37017

oplogSize=2000

fork=true

4> 重启所有节点mongod

> mongod -f /etc/mongo.conf

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/302399.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

php同个用户同时只能登陆一个, 后登陆者踢掉前登陆者

php同个用户同时只能登陆一个, 后登陆者踢掉前登陆者

php同个用户同时只能登陆一个, 后登陆者踢掉前登陆者php同个用户同时只能登陆一个, 后登陆者踢掉前登陆者通常用户登陆,如果没有特别的限定, 同一个用户可以同时登陆, 今天搞了一个东西限定一个用户不能同时登陆到一个系统上, 后登陆者会把前面登陆的踢出来.(有点像QQ,同个帐号…
阅读更多...
WPF实现Map加载

WPF实现Map加载

WPF开发者QQ群&#xff1a; 340500857 欢迎转发、分享、点赞&#xff0c;谢谢大家~。 接着上一篇效果预览&#xff1a;一、MainWindow.xaml代码如下&#xff1a;<Window x:Class"WpfBingMap.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml…
阅读更多...
和哪个专业的男生谈恋爱最惨？

和哪个专业的男生谈恋爱最惨？

全世界只有3.14 % 的人关注了数据与算法之美艺术类专业艺术类的男生是最懂女孩们的心思&#xff0c;也是最浪漫的一类人群&#xff0c;弹琴唱歌跳舞画画样样擅长。这类男生所做的一切&#xff0c;皆可以把女孩们的心俘获到。但是呢&#xff0c;这类男孩的身边总是会有很多玩的很…
阅读更多...
只能选择分卷文件的第一部分。_为机器学习模型选择正确的度量评估（第一部分）...

只能选择分卷文件的第一部分。_为机器学习模型选择正确的度量评估（第一部分）...

作者&#xff1a;Alvira Swalin编译&#xff1a;ronghuaiyang导读对不同的应用场景&#xff0c;需要不同的模型&#xff0c;对于不同的模型&#xff0c;需要不同的度量评估方式。本系列的第一部分主要关注回归的度量在后现代主义的世界里&#xff0c;相对主义的各种形式一直是最…
阅读更多...
android学习笔记之多线程（二）

android学习笔记之多线程（二）

这个需要在输出&#xff0c;点击start后会隔一会输出一行字&#xff0c;点end会结束输出。 Code package tk.handleractivity;import android.app.Activity; import android.os.Bundle; import android.os.Handler; import android.view.Menu; import android.view.View; impor…
阅读更多...
用implicit和explicit打通两种类型

用implicit和explicit打通两种类型

我们知道&#xff0c;在c#中&#xff0c;如果两个类型没有继承关系 &#xff0c;是不能相互值赋的&#xff0c;但有两个关键字implicit和explicit&#xff0c;可以让 Date date DateTime.Now这样的赋值成为可能。注&#xff1a;c#是没有Date类型的&#xff0c;但DateTime有Dat…
阅读更多...
多项式乘法与快速傅里叶变换

多项式乘法与快速傅里叶变换

全世界只有3.14 % 的人关注了数据与算法之美第一节、多项式乘法我们知道&#xff0c;有两种表示多项式的方法&#xff0c;即系数表示法和点值表示法。什么是系数表示法?所谓的系数表示法&#xff0c;举个例子如下图所示&#xff0c;A&#xff08;x&#xff09;6x^3 7x^2 - 10…
阅读更多...
mysql全局变量 error_记录——node-mysql连接池遇到的全局变量问题

mysql全局变量 error_记录——node-mysql连接池遇到的全局变量问题

记录一个折腾了快2个小时的BUG&#xff0c;目前还不清楚原理。系统分别在阿里云(测试用)、XL服务器上部署&#xff0c;此次BUG所在功能模块为生成表格并下载&#xff0c;表格数据由120(阿里云)上的数据库提供。阿里云上一切正常&#xff0c;无任何异常。部署到112后(XL服务器)&…
阅读更多...
WPF 模仿QQ音乐首页歌单效果

WPF 模仿QQ音乐首页歌单效果

qq音乐桌面版做的效果感觉很不错&#xff0c;今天就模仿一下它首页歌单的效果&#xff0c;从简单做起。。。看一下效果&#xff1a;&#xff0c;其实也很简单&#xff0c;就是布局和动画&#xff0c;触发器。。。还用到了ItemsControl下面就看看代码&#xff1a;MainWindow的xa…
阅读更多...
收藏 : 50个Excel逆天功能，一秒变“表哥”

收藏 : 50个Excel逆天功能，一秒变“表哥”

全世界只有3.14 % 的人关注了数据与算法之美Excel的50个逆天功能&#xff0c;动画教程珍藏版&#xff01;先看几个简单的&#xff1a;1、自动筛选2、在Excel中字符替换3、在Excel中冻结行列标题4、在Excel中为导入外部数据5、在Excel中行列快速转换6、共享Excel工作簿7、在Exce…
阅读更多...
实战~~整个网络无法浏览，提示网络不存在或者尚未启动

实战~~整个网络无法浏览，提示网络不存在或者尚未启动

今天早上接到同事的电脑&#xff0c;说其他人访问不到他的电脑&#xff0c;他电脑上有文件要共享才能进行工作~~故障现象&#xff1a;能上网&#xff0c;能PING通其他电脑&#xff0c;但是通过网上邻居和IP不能访问其他电脑上的资源。 这是在故障本机上的提示~~ 这是其他工作站…
阅读更多...
python ctp接口_使用ctp的python接口

python ctp接口_使用ctp的python接口

在github上查到一个项目ctpwrapper在按照文档按照的时候报错>>>pip install cython --upgrade>>>pip install ctpwrapper --upgrade在安装第二个命令的时候第一个问题安装yum install -y gcc-c 解决第二个问题ctpwrapper/MdApi.cpp:39:20: 致命错误:Python.h…
阅读更多...
C# 并行和多线程编程——认识和使用Task

C# 并行和多线程编程——认识和使用Task

对于多线程&#xff0c;我们经常使用的是Thread。在我们了解Task之前&#xff0c;如果我们要使用多核的功能可能就会自己来开线程&#xff0c;然而这种线程模型在.net 4.0之后被一种称为基于“任务的编程模型”所冲击&#xff0c;因为task会比thread具有更小的性能开销&#xf…
阅读更多...
formula 返回list_python正则实现计算器功能

formula 返回list_python正则实现计算器功能

本文实例为大家分享了python正则实现计算器功能的具体代码&#xff0c;供大家参考&#xff0c;具体内容如下 # -*- coding: utf-8 -*-# Author :Gogh# Time :2017/12/4 20:16# Email :361910002qq.comimport redef operator_update(formula):# 对formula公式进行 去除空字符&am…
阅读更多...
Facebook上的一道题，超过50万的评论和1万3500次分享

Facebook上的一道题，超过50万的评论和1万3500次分享

全世界只有3.14 % 的人关注了数据与算法之美近日&#xff0c;有网友在Facebook发了一道数学题&#xff1a;发布以后&#xff0c;目前已经收到超过50万的评论和1万3500次分享&#xff0c;图中包含四个等式&#xff0c;前面三个已经有答案了&#xff0c;最后一个问题要求你得出相…
阅读更多...
闲聊linux中的input设备(转)

闲聊linux中的input设备(转)

转自&#xff1a;http://blog.csdn.net/lmm670/article/details/6080998 用过linux的哥们都知道&#xff0c;linux所有的设备都是以文件的形式实现的&#xff0c;要访问一个设备&#xff0c;我们只需要以open、read、write的形式对设备的进行操作就可以了。在linux系统的/dev目…
阅读更多...
Polly的7种策略

Polly的7种策略

概念Polly是一个被.net基金会支持认可的框架&#xff0c;Polly是一个.NET弹性和瞬态故障处理库&#xff0c;允许开发人员以流畅和线程安全的方式表达策略&#xff0c;如重试、断路器、超时、舱壁隔离和回退。Polly的7种策略1、重试&#xff08;Retry&#xff09;:当程序发生短暂…
阅读更多...
从数学入手，3招打破机器学习的边界

从数学入手，3招打破机器学习的边界

全世界只有3.14 % 的人关注了数据与算法之美本文约2007余字&#xff0c;阅读需要约6分钟&#xff1b;系统资料领取见文末&#xff1b;关键词&#xff1a;人工智能&#xff0c;机器学习&#xff0c;深度学习&#xff0c;数学&#xff0c;学习建议01.机器学习工程师的边界是什么&…
阅读更多...
mysql not exists 效率高_mysql not in、left join、IS NULL、NOT EXISTS 效率问题记录

mysql not exists 效率高_mysql not in、left join、IS NULL、NOT EXISTS 效率问题记录

语句一&#xff1a;select count(*) from A where A.a not in (select a from B)语句二&#xff1a;select count(*) from A left join B on A.a B.a where B.a is null语句三&#xff1a;select count(*) from A where not exists (select a from B where A.a B.a)知道以上三…
阅读更多...
POJ 3981(字符串替换)

POJ 3981(字符串替换)

字符串替换Time Limit: 1000MS Memory Limit: 65536KTotal Submissions: 7290 Accepted: 3451Description 编写一个C程序实现将字符串中的所有"you"替换成"we"Input 输入包含多行数据 每行数据是一个字符串&#xff0c;长度不超过1000 数据以EOF结束Output…
阅读更多...
最新文章

Copyright @ 2022~2023