关于MongoDB大数据量下远程备份本地恢复操作

背景

  • 需要将远程服务的MongoDB数据拷贝到本地环境
  • 数据量很大,单表数据在100亿,占用硬盘存储空间270G左右
  • 没有远程服务器的操作权限,但是可以连接远程mongo

备份操作

  • 使用mongodump
  • 远程服务和本地环境的MongoDB环境一致,或者本地环境的为高版本
./mongodump --uri="mongodb://user:passWord@host:port/database?ssl=false&authSource=admin" --out=/disk2/mongo/mongodbServer/dumpback --gzip -v
  • 上面的命令 --uri 是连接url,--out是本地环境备份存储目录,--gzip是以压缩形式存储,-v 是展示备份详情,将远程对应database整个备份到本地dumpback文件下
  • 大约耗时72小时

还原操作

  • 由于数据量很大,所以直接还原会导致数据还原,索引创建失败, too many open file
  • 优先在本地创建对应数据库及集合,然后按照远程环境下数据库索引详情,在本地优先创建对应数据库索引
  • 再使用mongorestore
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback -v
  • 上面的命令 --host 是连接信息,--username是操作用户名,--password是操作密码,--gzip是以解压缩形式,-v 是展示还原详情,将dumpback文件下所有数据库集合还原到本地环境
  • 当前使用用户名密码无鉴权,如果需要鉴权,则需要加上对应鉴权参数数据库
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback/trail/car_trail.bson.gz -v
  • 上面的命令将dumpback文件下所有car_trail集合还原到本地环境

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/659778.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++ //练习 3.21 请使用迭代器重做3.3.3节(第94页)的第一个练习。

C Primer(第5版) 练习 3.21 练习 3.21 请使用迭代器重做3.3.3节(第94页)的第一个练习。 环境:Linux Ubuntu(云服务器) 工具:vim 代码块 /*************************************…

【重磅】中国隐私计算平台市场,摩斯第一

摩斯市场份额遥遥领先 10月11日,全球领先的IT市场研究和咨询公司IDC发布了《中国隐私计算平台厂商市场份额,2022》报告。蚂蚁集团凭借商用隐私计算平台摩斯(MORSE),以 36.9%的市场份额排名第一。…

Git系列---远程操作

📙 作者简介 :RO-BERRY 📗 学习方向:致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 📒 日后方向 : 偏向于CPP开发以及大数据方向,欢迎各位关注,谢谢各位的支持 引用 1.理解分布式版本控制…

java+springboot校园体育场地预约预订使用系统vue+ssm

研究内容和研究方法 1.研究内容 网站主要包括管理员和用户两个部分,用户可以登录与注册自己的基本信息、查询哪些场地可以使用、提前预约场地、取消预约的场地、使用完场地后进行缴费。管理员可以审批用户的注册信息、对用户信息进行增删改查、查询场地的使用情况、…

JUnit

前言:自动化就是selenium脚本来实现的,JUnit是java的单元测试工具,只不过我们在实现自动化的时候需要借助一下JUnit库里面提供的一些方法。 1、Test Test :表示方法是测试方法,执行当前这个类的时候,会自动…

微服务知识

1、概念 大型单体应用拆分成多个独立部署运行的微服务(解决并发问题)​​​​​​​ 2、特点 3、技术栈 4、微服务带来的问题 ​​​​​​​ 5、微服务的注册中心 服务注册与发现:微服务实例在启动时会向注册中心注册自己的信息&#xf…

Centos慢慢长大(一)

1、写在前面 这将是一个系列性的文章。可能更多的是记录我在学习的过程中的一些感悟吧。我想强调的是在这一系列文章里我会从最小化的安装开始,然后逐渐的增加需要安装的软件。就象一个婴儿的诞生,慢慢的学走路、学说话、学使用筷子。。。。。。 这将是一…

nginx反向代理-负载均衡

nginx环境搭建 wget https://nginx.org/download/nginx-1.21.6.tar.gz(下载nginx安装包) tar -xvzf nginx-1.21.6.tar.gz(解压缩) yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel(下载依赖库和…

Wireshark网络协议分析 - UDP协议

在我的博客阅读本文 文章目录 1. 基础2. 实战2.1. 用Go写一个简单的UDP服务器与客户端2.2. Wireshark抓包分析 3. UDP与TCP的区别4. 参考资料 1. 基础 UDP包的数据结构: 2. 实战 2.1. 用Go写一个简单的UDP服务器与客户端 我们这里使用Golang写了一个简单的9830端…

强化学习原理python篇07——策略梯度法

强化学习原理python篇07——策略梯度法 Average state valueAverage rewardMonte Carlo policy gradient (REINFORCE)REINFORCE示例在torch里面编写这段代码1、用随机权重初始化策略网络2、运行N个完整的片段,保存其(s,a,r,s)状态转移3、对于每个片段k的每一步t&…

RocketMQ—RocketMQ安装

RocketMQ—RocketMQ安装 在安装RocketMQ之前需要先安装Jdk,并配置JAVA_HOME环境变量。 在安装之前我们要先下载RocketMQ的安装包。 下载 到RocketMQ的官网https://rocketmq.apache.org/ 选择Download。 本文使用4.9.2版本。 将下载页面拉到最后面,有…

【WPF.NET开发】​规划WPF应用程序性能

本文内容 对各种场景进行考虑定义目标了解平台使性能优化成为一个迭代过程构建图形丰富性 能否成功实现性能目标取决于如何制定性能策略。 规划是开发任何产品的第一阶段。 本主题介绍一些非常简单的规则,用于开发良好的性能策略。 1、对各种场景进行考虑 场景可…

外星人入侵(python)

前言 代码来源《python编程从入门到实践》Eric Matthes 署 袁国忠 译 使用软件:PyCharm Community Editor 2022 目的:记录一下按照书上敲的代码 alien_invasion.py 游戏的一些初始化设置,界面的大小,标题 import sys import …

【Tomcat与网络10】Tomcat I/O和线程池的并发调优

前面我们看了提高Tomcat启动速度的措施,这里我们看一下如何提高Tomcat的性能。 Tomcat 的调优涉及 I/O 模型和线程池调优、JVM 内存调优以及网络优化等,今天我们来聊聊 I/O 模型和线程池调优,由于 Web 应用程序跑在 Tomcat 的工作线程中&…

Vue 计算属性(Computed)传参

Vue 计算属性&#xff08;Computed&#xff09;传参 使用computed时&#xff0c;如果需要传递参数&#xff0c; 需要使用return返回一个带参数的函数。 简单示例 <template><div><div v-for"student in students" :key"student.id">&…

075:vue+mapbox 利用高德地址逆转换,点击地图,弹出地址信息

第075个 点击查看专栏目录 本示例的目的是介绍演示如何在vue+mapbox中利用高德逆地理编码,点击地图,弹出某点坐标和地址信息。这里要仔细阅读高德地图的逆编码API,同时要注意的是,这种转换在中国很好用,到了欧美国家就不好使了。同时这个底图是天地图的图像和标记。 直接…

Elasticsearch:构建自定义分析器指南

在本博客中&#xff0c;我们将介绍不同的内置字符过滤器、分词器和分词过滤器&#xff0c;以及如何创建适合我们需求的自定义分析器。更多关于分析器的知识&#xff0c;请详细阅读文章&#xff1a; 开始使用 Elasticsearch &#xff08;3&#xff09; Elasticsearch: analyzer…

MYSQL的配置和安装

下载安装 打开官网 MYSQL官网 点击DOWNLOADS 滑到最低下点击&#xff1a;MYSQL Community(GPL) Downlads 点击Download Archives 点击MySQL Community Server进入网站 选择相应版本下载&#xff0c;这里选择的是5.7.24版本,x86 64位【按需选择】 下载解压 配置文件…

Node.js Express 框架 2024版 笔记

1.0 操作命令 Node.js express 框架 https://www.expressjs.com.cn/ npm install -g express-generator expressexpress --pug --git // --pug 添加对 pug 模板引擎的支持 // --git 添加 .gitignore 代码仓库排除 //无法直接安装新版pug模板 npm i npm …

uniApp开发小程序自定义tabBar底部导航栏+tabBar中间凸起自定义样式实现

先看效果是否可以满足你们&#xff0c;如果可以满足你只要一步一步照着做绝对没有错。 本人技术不佳&#xff0c;研究了一整天&#xff0c;全网的大佬们写的博客看的晕头转向&#xff0c;避免大伙再走弯路&#xff0c;跟着我以下步骤一点一点来绝对可以实现。 最终效果图&#…