java操作mongodb详解

前言
一切操作都应该以官方文档为准，mongodb官网文档地址： https://www.mongodb.com/docs/ ，网上关于java操作mongodb的文章偏少，而且有些乱。这篇文章是在项目中使用mongodb后的一些总结，希望能帮到大家。

1.创建mongodb客户端（这里注册了自定义解码器，方便直接存java对象）

String linkUrl = "mongodb://" + url;
if (hasAuth) { //需要用户名密码用下面的方式拼接urllinkUrl = "mongodb://" + username + ":" + password + "@" + url + "/" + databaseName;
}
CodecRegistry pojoCodecRegistry = CodecRegistries.fromRegistries(MongoClientSettings.getDefaultCodecRegistry(),CodecRegistries.fromProviders(PojoCodecProvider.builder().automatic(true).build()));MongoClientSettings build = MongoClientSettings.builder().codecRegistry(pojoCodecRegistry).applyConnectionString(new ConnectionString(linkUrl)).build();MongoClient client = MongoClients.create(build);

2.批量写入对象数据

  public static void write(MongoClient client, String databaseName, String collectionName, List<?> dataList) {if (dataList != null && dataList.size() != 0) {MongoDatabase database = client.getDatabase(databaseName);MongoCollection<Document> collection = database.getCollection(collectionName);List<WriteModel<Document>> writes = new ArrayList();Iterator var7 = dataList.iterator();while(var7.hasNext()) {Object data = var7.next();Map<String, Object> dataMap = ObjectToMapUtil.objectToMap(data);writes.add(new InsertOneModel(new Document(dataMap)));}collection.bulkWrite(writes);}}public static Map<String, Object> objectToMap(Object obj) {Map<String, Object> map = new HashMap();try {Class<?> clazz = obj.getClass();for (Field field : clazz.getDeclaredFields()) {field.setAccessible(true);map.put(field.getName(), field.get(obj));}}catch (Exception e){log.info("ObjectToMapUtil.objectToMap 实体类转换成Map失败={}", JSON.toJSONString(e.getMessage()));e.printStackTrace();}return map;}

3.批量更新数据

private void batchUpdateData(MongoCollection<Document> collection, List<POJO> list) {if (CollectionUtil.isEmpty(list)) {return;}List<String> ids = list.stream().map(POJO::get_id).collect(Collectors.toList());List<WriteModel<Document>> writes = new ArrayList();for (int i = 0; i < list.size(); i++) {Object data = list.get(i);String id = ids.get(i);Map<String, Object> dataMap = ObjectToMapUtil.objectToMap(data);UpdateOneModel updateOneModel = new UpdateOneModel(Filters.eq("_id", id), new Document("$set", new Document(dataMap)), (new UpdateOptions()).upsert(true));writes.add(updateOneModel);}collection.bulkWrite(writes);
}

4.查询

4.1.自定义条件封装，二维数组

private Document buildReportQuery(BasicPageBO pageBO) {Document query = new Document();List<List<Condition>> conditions = pageBO.getConditions();if (CollectionUtil.isEmpty(conditions)) {return query;}query = MongoOperateUtil.buildConditions(conditions);return query;}//BasicPageBO是一个灵活的参数对象，里面有分页信息，非常好用//条件参数对象public static class Condition implements Serializable {@ApiModelProperty("字段名")private String field;@ApiModelProperty("操作符，gt,gte,eq等")private String operator;@ApiModelProperty("值")private String value;@ApiModelProperty("逻辑条件,and、or等")private String logic;}public static Document strEq(String field, String value) {return  new Document(field, value);}public static Document buildBson(BasicPageBO.Condition condition) {String operator = condition.getOperator();switch (operator) {case "eq" :return MongoOperateUtil.strEq(condition.getField(), condition.getValue());case "ne" :return MongoOperateUtil.strNe(condition.getField(), condition.getValue());case "like" :return MongoOperateUtil.like(condition.getField(), condition.getValue());case "startWith" :return MongoOperateUtil.leftLike(condition.getField(), condition.getValue());case "endWith" :return MongoOperateUtil.rightLike(condition.getField(), condition.getValue());case "in" :return MongoOperateUtil.strIn(condition.getField(), condition.getValue());case "nin" :return MongoOperateUtil.strNin(condition.getField(), condition.getValue());case "isNull" :return MongoOperateUtil.isNull(condition.getField(), null);default: {return null;}}}private static Document strNe(String field, String value) {return new Document(field, new Document("$ne", value));}private static Document isNull(String field, String value) {return new Document(field, value);}public static Document buildConditions(List<List<BasicPageBO.Condition>> conditionAll){Document totalBson = null;for (int i = 0; i < conditionAll.size(); i++) {List<BasicPageBO.Condition> conditions = conditionAll.get(i);Document oneBson = null;String twoLogic = conditions.get(0).getLogic();for (int j = 0; j < conditions.size(); j++) {BasicPageBO.Condition condition = conditions.get(j);String logic = condition.getLogic();//加上前缀condition.setField("dataMap." + condition.getField());//单个构建Document bson = MongoOperateUtil.buildBson(condition);if (0 == j) {oneBson = bson;} else {oneBson = MongoOperateUtil.conditionOn(oneBson, bson, logic);}}if (0 == i) {totalBson = oneBson;} else {totalBson = MongoOperateUtil.conditionOn(totalBson, oneBson, twoLogic);}}return totalBson;}public static Document conditionOn(Document first, Document two, String logic) {BasicDBList list = new BasicDBList();list.add(first);list.add(two);if ("and".equals(logic)) {return new Document("$and", list);} else if("or".equals(logic)) {return new Document("$or", list);}return null;}public static Document strIn(String field, String value) {String[] valueArr = value.split(",");List<String> vList = Arrays.asList(valueArr);String operate = "$in";BasicDBList vBasics = new BasicDBList();vBasics.addAll(vList);return new Document(field, new Document(operate, vBasics));}public static Document strNin(String field, String value) {String[] valueArr = value.split(",");List<String> vList = Arrays.asList(valueArr);String operate = "$nin";BasicDBList vBasics = new BasicDBList();vBasics.addAll(vList);return new Document(field, new Document(operate, vBasics));}public static Document like(String field, String value) {Document dbo = new Document();Pattern pattern = Pattern.compile("^.*" + value+ ".*$", Pattern.CASE_INSENSITIVE);dbo.put(field, pattern);return dbo;}public static Document leftLike(String field, String value) {Document dbo = new Document();Pattern pattern = Pattern.compile("^" + Pattern.quote(value) + ".*", Pattern.CASE_INSENSITIVE);dbo.put(field, pattern);return dbo;}public static Document rightLike(String field, String value) {Document dbo = new Document();Pattern pattern = Pattern.compile(".*" + Pattern.quote(value) + "$", Pattern.CASE_INSENSITIVE);dbo.put(field, pattern);return dbo;}

4.2 单表查询

Document condition = new Document();condition.put(k,v)//加各种条件计数 db.getCollection(表名).countDocuments(condition)分页查询 db.getCollection(表名).find(condition).skip(skip).limit(pageSize);

4.3 多表lookup关联查询(大数据量时，已经放弃，分页查询求count时性能极慢(30w数据，耗时30秒左右))

4.3.1 执行的各个阶段
l o o k u p − > lookup-> lookup−>match-> g r o u p − > group-> group−>sort-> u n w i n d − > unwind-> unwind−>project-> s k i p − > skip-> skip−>limit
leftjoin用到$unwind preserveNullAndEmptyArrays: true

	4.3.2 如下是一个案例：

	int current = (int) pageBO.getCurrent();int pageSize = (int) pageBO.getSize();int skip = pageSize * (current - 1);//以key(某个字段)关联String joinField = "key";//注意，这个字段名需要与返回数据对象中的(关联对象）属性名称对应，不然json解析不出数据String tableAlias = "linkDto";// 联合查询条件List<Bson> aggregationList = new LinkedList<Bson>();//主表查询条件Bson matchFilter = Aggregates.match(match);aggregationList.add(matchFilter);//从表名、主表连接字段、从表连接字段、别名aggregationList.add(Aggregates.lookup(param.getTableId(), joinField, joinField, tableAlias));BasicDBObject bson = new BasicDBObject();bson.put(statusKey, param.getStatus);aggregationList.add(Aggregates.unwind("$linkDto", new UnwindOptions().preserveNullAndEmptyArrays(true)));aggregationList.add(Aggregates.match(bson));List<Bson> countBson = new ArrayList<>(aggregationList);countBson.add(Aggregates.group("_id", new BsonField("count", new BasicDBObject("$sum", 1))));//分组聚会统计数量AggregateIterable<Document> countAgg = util.getDb().getCollection(表名).aggregate(countBson).batchSize(1);long total = 0;Document first = countAgg.first();if (Objects.nonNull(first) && Objects.nonNull(first.get("count"))) {total = (long) (Integer) first.get("count");}aggregationList.add(Aggregates.skip(skip));aggregationList.add(Aggregates.limit(pageSize));AggregateIterable<Document> labelList = util.getDb().getCollection(表名).aggregate(aggregationList);//提取和转换结果集for (Document dr : labelList) {dr.toJson();//todo .....}PageDto<POJOView> pageBean = new PageDto<>();pageBean.setTotal(total);pageBean.setRecords(results);pageBean.setCurrent(current);pageBean.setSize(pageSize);

		## 5.命令行相关查询(直接放到navicat上执行)例子1,总数```javascriptdb.getCollection("主表名").aggregate([{$lookup: {from: "从表名", // 关联的集合名称localField: "key", // 本地字段，主表关联字段，建索引也没有卵用 集合中用于关联的字段foreignField: "key", // 外部字段，从表关联字段 集合中用于关联的字段， 意思是主表key=从表key，若不是相等，可以用管线的形式（构建其他条件，最后别用，真是难用）as: "report" // 关联结果存放的字段名}},{$unwind: {path: "$report",preserveNullAndEmptyArrays: true // 保留没有匹配的订单文档}},{ $match : { "report.字段a":"xxx",$or: [{ "report.字段b": "aaa" }]}},{$group: {_id:null,count:{$sum:1}}},{$project: {count:1}}])
例子2，关联查询list数据

db.getCollection("主表名").aggregate([{$lookup: {from: "从表名", // 关联的集合名称localField: "主表关联key", // 本地字段，orders 集合中用于关联的字段foreignField: "从表关联key", // 外部字段，customers 集合中用于关联的字段as: "report" // 关联结果存放的字段名}},{$unwind: {path: "$report",preserveNullAndEmptyArrays: true // 保留没有匹配的订单文档}},{ $match : { "report.字段a":"xxx",$or: [{ "report.字段b": "xxxc" }]}},{$project: {_id: 1,主表字段a:1,主表字段b:1,report: {_id: "$report._id",......}}},{$skip: 0 // 跳过的文档数，用于分页},{$limit: 10 // 限制返回的文档数，用于分页}])

6.其他

6.1 可视化工具，MongoDB Compass,实用又好用，查看，编辑，导入导出，下载地址https://www.mongodb.com/try/download/compass
6.2 navicat可以执行命令，查询数据选择行模式
6.3 springboot项目，打印命令行参数(参考)，yml或properties中配置logging.level.root debuglogging.level.org.springframework.data.mongodb.core: debug6.4分片集群分片集群部署https://blog.csdn.net/github_38616039/article/details/134158118分配数据创建sh.enableSharding("库名")db.getCollection(表名).createIndex({ fieldName: 1 })sh.shardCollection('库名.表名',{pkValue:1})db.adminCommand("flushRouterConfig")sh.enableBalancing("库名.表名")sh.startBalancer() sh.status({"verbose":1})db.表名.getShardDistribution()

7.参考网站

http://www.manongjc.com/detail/33-nlyyuqqbufycepj.html
https://www.mongodb.com/docs/manual/reference/operator/aggregation/count/
https://www.mongodb.com/docs/manual/reference/operator/aggregation/lookup/?_ga=2.167579261.2108825086.1710915715-66292563.1709890069
https://www.jb51.net/program/285486kdm.htm#_lab2_2_5
https://blog.csdn.net/superatom01/article/details/135004991?spm=1001.2014.3001.5506
https://www.knowledgedict.com/tutorial/mongodb-create-index.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/791252.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

(译) 理解 Elixir 中的宏 Macro, 第四部分：深入化

(译) 理解 Elixir 中的宏 Macro, 第四部分：深入化

Elixir Macros 系列文章译文 [1] (译) Understanding Elixir Macros, Part 1 Basics[2] (译) Understanding Elixir Macros, Part 2 - Macro Theory[3] (译) Understanding Elixir Macros, Part 3 - Getting into the AST[4] (译) Understanding Elixir Macros, Part 4 - Divin…
阅读更多...
如何开启MySQL的binlog日志

如何开启MySQL的binlog日志

1.启用远程连接&#xff1a; 如果你想要允许远程主机连接到MySQL服务器&#xff0c;需要进行以下步骤&#xff1a; 确保MySQL服务器的防火墙允许远程连接的流量通过。在MySQL服务器上&#xff0c;编辑MySQL配置文件&#xff08;一般是my.cnf&#xff09;&#xff0c;找到bind-…
阅读更多...
Go——函数

Go——函数

一. 函数定义 1.1 特点 无需声明原型支持不定变参支持多返回值支持命名返回参数支持匿名函数和闭包函数也是一种类型&#xff0c;一种函数可以赋值给变量不支持嵌套&#xff0c;一个包不能有两个名字一样的函数不支持重载不支持默认参数 1.2 函数声明 函数声明包含一个函数名&…
阅读更多...
备战蓝桥杯---DP刷题2

备战蓝桥杯---DP刷题2

1.树形DP&#xff1a; 即问那几个点在树的直径上&#xff0c;类似ROAD那题&#xff0c;我们先求一下每一个子树根的子树的最大值与次大值用d1,d2表示&#xff0c;直径就是d1d2的最大值&#xff0c;那么我们如何判断是否在最大路径上&#xff0c;其实就是看一下从某一点出发的所…
阅读更多...
还得是抖音，字节推出竖屏视频理解数据集，入选CVPR2024

还得是抖音，字节推出竖屏视频理解数据集，入选CVPR2024

ChatGPT狂飙160天&#xff0c;世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 短视频在当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频…
阅读更多...
58商铺全新UI试客试用平台网站php源码

58商铺全新UI试客试用平台网站php源码

探索未来商铺新纪元&#xff0c;58商铺全新UI试客试用平台网站PHP源码完整版震撼来袭&#xff01; 在这个数字化飞速发展的时代&#xff0c;58商铺一直致力于为商家和消费者打造更加便捷、高效的交易平台。今天&#xff0c;我们荣幸地推出全新UI试客试用平台网站PHP源码完整版…
阅读更多...
计算模型 观察分析 杂记

计算模型 观察分析 杂记

计算模式 计算模式通常指的&#xff1a;用特定计算资源完成特定计算任务所采用的计算策略。计算资源主要指运算器和存储器&#xff0c;当然若其他设备影响因素较大的情况下也考虑控制器&#xff0c;输入输出设备&#xff1b;计算任务多种多样&#xff0c;可以是简单的加减乘除&…
阅读更多...
动态规划基础

动态规划基础

动态规划 1、动态规划的概念 简称DP，通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。常常适用于有重叠子问题和最优子结构性质的问题。 简单来说，就是给定一个问题，把它拆成一个个子问题，查到子问题可以直接解决。然后把子问题答案保存起来，以减少重复计算…
阅读更多...
Flink SQL系列之：解析Debezium数据格式时间字段常用的函数

Flink SQL系列之：解析Debezium数据格式时间字段常用的函数

Flink SQL系列之：解析Debezium数据格式时间字段常用的函数 一、FROM_UNIXTIME二、DATE_FORMAT三、TO_DATE四、CAST五、TO_TIMESTAMP_LTZ六、CONVERT_TZ七、FROM_UNIXTIME八、TO_TIMESTAMP九、常见用法案例1.案例一2.案例二3.案例三4.案例四5.案例五
阅读更多...
C/C++ 项目：分别用精密星历和广播星历计算卫星坐标

C/C++ 项目：分别用精密星历和广播星历计算卫星坐标

文章目录 Part.I IntroductionChap.I rinex.hChap.II gmain_body.h Part.II 使用方法扩展阅读 Part.I Introduction 本文将介绍一个小项目的使用方法&#xff0c;此项目可用精密星历和广播星历计算卫星位置&#xff0c;并将两者结果做差&#xff0c;输出至文件。 其实 『分别…
阅读更多...
SWM341系列应用（上位机应用）

SWM341系列应用（上位机应用）

SWM341系列之上位机应用 1、分级图像和PNG、JPG的应用 现象&#xff1a;客户使用SWM34SVET6HMI_0.4.1版本上位机进行UI界面布局&#xff0c;反馈在模拟运行时&#xff08;PC端&#xff09;流畅&#xff0c;在Demo平台&#xff08;设备端&#xff09;运行卡顿。 分析及解决&…
阅读更多...
【fastadmin】脚本模式下，日志钩子函数执行出现死循环，导致内存溢出奔溃

【fastadmin】脚本模式下，日志钩子函数执行出现死循环，导致内存溢出奔溃

问题出现原因是想对项目中error级别的日志&#xff0c;接入钉钉告警&#xff0c;方便查看 于是使用钩子方法&#xff0c;日志写入完成后&#xff0c;自动调用自定义的告警方法中 1、在application/tags.php 中添加log_write_done > [app\\common\\behavior\\Common, ],2、在…
阅读更多...
【THM】Nmap Post Port Scans（后端口扫描）-初级渗透测试

【THM】Nmap Post Port Scans（后端口扫描）-初级渗透测试

介绍 本房间是 Nmap 系列的最后一个（网络安全简介模块的一部分）。在这个房间中，我们重点关注端口扫描之后的步骤：特别是服务检测、操作系统检测、Nmap脚本引擎和保存扫描结果。 Nmap实时主机发现Nmap基本端口扫描Nmap高级端口扫描Nmap后端口扫描在本系列的第一个房间中，我…
阅读更多...
ZJGSU 1858在数组中查找两个数之和等于输入的另一个数

ZJGSU 1858在数组中查找两个数之和等于输入的另一个数

描述 题目&#xff1a;输入一个已经按升序排序过的数组和一个数字&#xff0c; 在数组中查找两个数&#xff0c;使得它们的和正好是输入的那个数字。如果有多对数字的和等于输入的数字&#xff0c;输出任意一对即可。 例如输入数组1、2、4、7、11、15和数字15。由于41115&…
阅读更多...
代码随想录第29天|491.递增子序列 46.全排列 47.全排列 II

代码随想录第29天|491.递增子序列 46.全排列 47.全排列 II

目录&#xff1a; 491.递增子序列 46.全排列 47.全排列 II 491.递增子序列 491. 非递减子序列 - 力扣&#xff08;LeetCode&#xff09; 代码随想录 (programmercarl.com) 回溯算法精讲&#xff0c;树层去重与树枝去重 | LeetCode&#xff1a;491.递增子序列_哔哩哔哩_bili…
阅读更多...
DTFT及其反变换的直观理解

DTFT及其反变换的直观理解

对于离散时间傅里叶变换(DTFT)及其反变换的讲解&#xff0c;教材里通常会先给出DTFT正变换的公式&#xff0c;再举个DTFT的简单变换例子&#xff0c;推导一下DTFT的性质&#xff0c;然后给出DTFT反变换的公式&#xff0c;再证明一下正变换和反变化的对应关系。总的来说就是&…
阅读更多...
Spring-IoC 基于xml管理

Spring-IoC 基于xml管理

现大多使用注解方式&#xff0c;xml方式并不简洁&#xff0c;本文仅记录xml用作基础学习。 0、前提 首先在父项目的pom.xml中配置好依赖们。然后子模块也可以使用这些依赖。 在resource目录下创建Spring的xml文件&#xff0c;名称无要求&#xff0c;本文使用bean.xml。文件最…
阅读更多...
黄锈水过滤器 卫生热水工业循环水色度水处理器厂家工作原理动画

黄锈水过滤器 卫生热水工业循环水色度水处理器厂家工作原理动画

​ 1&#xff1a;黄锈水处理器介绍 黄锈水处理器是一种专门用于处理“黄锈水”的设备&#xff0c;它采用机电一体化设计&#xff0c;安装方便&#xff0c;操作简单&#xff0c;且运行费用极低。这种处理器主要由数码射频发生器、射频换能器、活性过滤体三部分组成&#xff0c;…
阅读更多...
uniapp uni.scss中使用@mixin混入，在文件引入@include 样式不生效 Error: Undefined mixin.（踩坑记录一）

uniapp uni.scss中使用@mixin混入，在文件引入@include 样式不生效 Error: Undefined mixin.（踩坑记录一）

问题&#xff1a; 在uni.scss文件定义mixin 2. 在vue文件引入: 3. 出现报错信息: 4. 问题思考&#xff1a; 是不是需要引入uni.scss &#xff1f; 答案不需要 uni.scss是一个特殊文件&#xff0c;在代码中无需 import 这个文件即可在scss代码中使用这里的样式变量。uni-app的…
阅读更多...
图像识别技术在体育领域的应用

图像识别技术在体育领域的应用

图像识别技术在体育领域的应用是一个充满创新和挑战的研究方向。随着计算机视觉和人工智能技术的快速发展&#xff0c;图像识别技术已经在体育领域展现出广泛的应用潜力和实际价值。以下是一些图像识别技术在体育领域的具体应用&#xff1a; 运动员表现分析&#xff1a; 图像识…
阅读更多...
最新文章

Copyright @ 2022~2023