中间件--MongoDB部署及初始化js脚本（docker部署，docker-entrypoint-initdb.d，数据迁移，自动化部署）

一、概述

MongoDB是一种常见的Nosql数据库（非关系型数据库），以文档（Document）的形式存储数据。是非关系型数据库中最像关系型数据库的一种。本篇主要介绍下部署和数据迁移。

在 MongoDB 官方镜像部署介绍中，MongoDB 的官方镜像会在容器首次启动时自动执行 docker-entrypoint-initdb.d/ 目录下的所有.js 文件（注意：只会在容器创建的第一次会执行，如果是运行之前已有的容器则不会执行），我们可以利用这一点来实现数据的迁移和自动化部署服务。

二、完整部署和迁移过程：

1、删除之前的容器

因为js脚本仅会在初次创建容器启动时才会被执行。如果是已存在的容器重新运行，js脚本是不会被执行的。所以如果之前有运行的容器，需要删除。
命令：

docker rm -f mongdb-with-js

删除示例：
在这里插入图片描述

2、编写Dockerfile脚本

因为我们要把我们指定的js文件压到官方的mongDB镜像中，所以这里需要编写Dockerfile文件，用来重新构建镜像。

Dockerfile示例：

# 使用自定义的 MongoDB 镜像
FROM mongo:7.0.4# 维护者信息
MAINTAINER weisian# 设置时区为上海
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime# 将 object-mongo.js 文件复制到容器的初始化脚本目录
COPY ./object-mongo.js /docker-entrypoint-initdb.d

3、编写用于初始化的js脚本

该js文件会被Dockerfile文件压入到镜像中。本例的js脚本就是需要初始化到库中的数据。

名称如：
object-mongo.js

代码示例：

console.log("start running js!!!");
const db = db.getSiblingDB("object_cloud");     // 指定库的名称try {console.log("Switching to database: object_cloud");console.log("Inserting data into object_sensor_category...");// 在object_cloud库的object_sensor_category表中插入数据（支持many和one两种方法）const result = db.object_sensor_category.insertMany([{"_id" : NumberLong("988405030841225243"),"sensorModel" : "DT-ZD-V1001","vibrateIndicators" : [ "rms", "peak"],"params" : {"frequencyResponse" : 22,"sensitivity" : 102},"deleteFlag" : false,"createTime" : ISODate("2024-06-20T03:28:43.030Z")},{"_id" : NumberLong("988405030841225244"),"sensorModel" : "DT-ZS-V1001","pointTypeList" : [ {"pointType" : 1020,"dataBizTypes" : [ 1020]}],"params" : {"workmanshipCollectInterval" : 60,"triggerCount" : 30},"createTime" : ISODate("2024-06-20T03:28:43.030Z"),"createUser" : "1543837863788879871"}]);const result2 = db.object_category.insertMany([{"_id" : NumberLong("988108368994373658"),"collectorChannelNum" : 18,"channelConfList" : [ {"channelType" : "1020","sensorTypeList" : [ NumberLong("988405030841225244")]}],"manufacturerId" : NumberLong("7382949823"),"workmanshipExist" : [ NumberLong(1060)],"sensorTypeList" : [ NumberLong("988404952147693592"), NumberLong("988405030841225242")],"updateTime" : ISODate("2024-06-19T07:49:53.351Z"),"updateUser" : "1543837863788879871"}]);} catch (e) {console.error("Error inserting data: " + e);
}

4、重新构建镜像

（1）、创建工作路径
随意创建一个目录即可。
上传前面编写的Dockerfile和object-mongo.js两个文件
在这里插入图片描述

（2）、重新构建镜像image-mongodb-js:1.0
命令：

docker build -t image-mongodb-js:1.0 .

在这里插入图片描述

（3）、查询镜像存在
在这里插入图片描述

5、启动mongodb服务

（1）、指定用户名（root），密码（123456），和镜像
命令：

docker run -d --name mongodb-with-js -p 27017:27017 -e MONGO_INITDB_ROOT_USERNAME=root -e MONGO_INITDB_ROOT_PASSWORD=123456 image-mongodb-js:1.0

在这里插入图片描述

（2）、查看启动日志
命令：

docker logs mongodb-with-js

可以看到object-mongo.js中打印的日志信息，方便查看是否初始化js等操作信息。
在这里插入图片描述

6、客户端连接验证

使用如下的IP、端口，用户名，密码连接mongDb服务。
ip:27017
root/123456
可以看到登录成功，且数据初始化完成。
在这里插入图片描述

7、过程中的几个命令记一下

进入容器
docker exec -it 415dc88956bd bash
停止并删除容器
docker rm -f mongodb-with-js
删除镜像
docker rmi image-mongodb-js:1.0
宿主机打开mongo shell窗口（可执行原始的mongo命令，在mongDB5.0及之后改为mongosh）（如果进入容器内直接*mongosh即可打开）
docker exec -it mongodb-with-js mongosh以下几个为mong shell的脚本：展示mongo服务中有哪些个数据库
show databases
切换数据库
use phm_local
展示当前数据库下的表
show collections
展示当前数据库下，指定表中的数据
db.object_sensor_category.find().pretty();
加载执行js脚本
load("/docker-entrypoint-initdb.d/phm-mongo.js")

三、js脚本需要注意的点

（1）、Long类型的精度问题

在处理long类型时，如果不用双引号框起来会造成精度丢失问题甚至报错。如下为正确和错误的示例。
正确示例：

"_id" : NumberLong("988404952147693592"),错误示例如：
"_id" : NumberLong(988404952147693592),

（2）、注意mongDb的版本

使用5.0之前和之后的mongDb版本，js语法可能会不相同。
目前使用7.0.4版本，可用语法如下：

const db = db.getSiblingDB("object_cloud");   // 切换到object_cloud库
const result = db.object_sensor_category.insertMany([])   // db库导入多条数据

（3）、时间对象

时间对象需要改成以下格式，注意后面也有双引号

"createTime" : ISODate("2024-06-20T03:28:24.269Z")

四、通过代码做数据迁移

通过如下的代码，也可以实现mongoDb数据的迁移工作。但这种方式要求必须同时连接到两个数据源，对于一些线上环境往往是平常无法访问的。如果网络环境不通的情况下，就只能先把数据导出后，在迁移到目标环境中进行导入的工作（上面的js初始化方式也是这种实现的逻辑，但是不同在于js的方式实现了自动化部署，即：不需要人为再去操作迁移了）

java代码示例如下：


import com.alibaba.fastjson2.JSON;
import com.mongodb.MongoClientSettings;
import com.mongodb.MongoCredential;
import com.mongodb.ServerAddress;
import com.mongodb.client.*;
import org.bson.Document;
import java.util.Collections;
import java.util.Iterator;public class MongoMigration {public static void main(String[] args) {String[] collections = new String[]{    // 指定需要迁移数据的表"object_category",
//                "object_running_conf","object_sensor_category"};for (String collection:collections){copyCollection(collection);       // 遍历上面的表进行数据迁移}}private static void copyCollection(String collection) {// 源MongoDB配置String sourceHost = "";int sourcePort = 27017;String sourceDatabase = "object-cloud";String sourceUsername = "root"; // 如果需要的话String sourcePassword = "123456"; // 如果需要的话// 目标MongoDB配置String targetHost = "";int targetPort = 38630; String targetDatabase = "object-cloud";String targetUsername = "root"; // 如果需要的话String targetPassword = "123456"; // 如果需要的话// 连接到源MongoDBMongoClient sourceClient = createMongoClient(sourceHost, sourcePort, sourceDatabase, sourceUsername, sourcePassword);MongoDatabase sourceDatabaseInstance = sourceClient.getDatabase(sourceDatabase);MongoCollection<Document> sourceCollectionInstance = sourceDatabaseInstance.getCollection(collection);// 连接到目标MongoDBMongoClient targetClient = createMongoClient(targetHost, targetPort,  targetDatabase ,targetUsername, targetPassword);MongoDatabase targetDatabaseInstance = targetClient.getDatabase(targetDatabase);MongoCollection<Document> targetCollectionInstance = targetDatabaseInstance.getCollection(collection);// 从源集合读取数据并写入目标集合FindIterable<Document> documents = sourceCollectionInstance.find();Iterator<Document> iterator = sourceCollectionInstance.find().iterator();int i=0;while (iterator.hasNext()) {Document doc = iterator.next();targetCollectionInstance.insertOne(doc);if (++i>100){                  // 仅迁移前100条数据，有些表数据量太大，不需要可以放弃。如果需要全量，这里要删除掉break;}}// 关闭连接sourceClient.close();targetClient.close();System.out.println("Data migration completed successfully!");}private static MongoClient createMongoClient(String host, int port, String  database, String username, String password) {MongoCredential credential = null;if (username != null && !username.isEmpty() && password != null && !password.isEmpty()) {credential = MongoCredential.createCredential(username, database, password.toCharArray()); }MongoClientSettings settings = MongoClientSettings.builder().applyToClusterSettings(builder ->builder.hosts(Collections.singletonList(new ServerAddress(host, port)))).credential(credential) // 如果需要认证.build();return MongoClients.create(settings);}
}