MongoDB聚合管道的限制

MongoDB聚合管道功能非常丰富且强大,能够实现各种复杂的聚合查询和数据处理,我们在利用强大功能的同时,也需要了解其限制和约束,这样才能在系统设计时做到用其长避其短。聚合管道的限制主要有几个方面,分别是结果结果、阶段数量、内存等三个方面的限制。

返回结果大小的限制

聚合管道命令可以返回游标也可以返回集合,但是结果集中单个文档大小不能超过BSON文档16M的限制(单个BSON文档大小<=16M),如果超过BSON文档大小的限制聚合会产生错误。这个限制只针对返回结果,对于聚合的处理过程则没有影响。缺省情况下db.collection.aggregate()返回游标。

聚合阶段数量的限制

从MongoDB 5.0开始,单个管道中允许的最多聚合管道级数1000。通常手写的管道不会这么长了,一些程序自动生成的管道应该稍注意下这一问题,不要突破这一限制,不够的时候可以把结果暂存,对管道阶段进行适当的拆分。

内存的限制

在默认情况下,MongoDB为每个操作分配了100兆字节(MB)的内存。当聚合结果数据量太大时,有些操作如:排序就可能会占用更多的内存,导致超出限制。从MongoDB 6.0开始,allowDiskUseByDefault参数可控制当内存超出限制时是否默认写入磁盘。

  • 当allowDiskUseByDefault为true时,如果执行管道需要的内存超过100M,默认会把临时文件写入磁盘,使用 { allowDiskUse: false } 选项可以禁止将特定查找或聚合命令的临时文件写入磁盘。

  • 当allowDiskUseByDefault为false时,超过 100 MB 内存才能执行的管道阶段默认会出错。此时也可以使用{ allowDiskUse: true }选项为特定的查找或聚合启用向磁盘写入临时文件的功能。

不过$search阶段没有100M内存的限制,因为它在一个单独的进程中运行。

allowDiskUsetrue时,下面的这些聚合阶段可以把运行时的临时文件写入到磁盘上:$bucket$bucketAuto$group$setWindowFields$sort(当索引不支持排序操作时)、$sortByCount

注意:

聚合管道的每个阶段处理的过程都有三个步骤:接收文档、处理文档、输出生成文档。有些管道阶段只有在处理完所有输入文档后才能输出文档,因此需要把数据存储在内存中,当数据较多时,就可能会超过100M的限制。要避免这个问题需要一方面对业务数据有一个大致的估算,另一方面可以根据情况使用allowDiskUseByDefaultallowDiskUse来启用磁盘缓存。比如$sort操作时,如果超过了内存限制,也可以加个$limit阶段.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/239700.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

伽马校正:FPGA

参考资料&#xff1a; Tone Mapping 与 Gamma Correction - 知乎 (zhihu.com) Book_VIP: 《基于MATLAB与FPGA的图像处理教程》此书是业内第一本基于MATLAB与FPGA的图像处理教程&#xff0c;第一本真正结合理论及算法加速方案&#xff0c;在Matlab验证&#xff0c;以及在FPGA上…

Debezium发布历史21

原文地址&#xff1a; https://debezium.io/blog/2017/10/26/debezium-0-6-1-released/ 欢迎关注留言&#xff0c;我是收集整理小能手&#xff0c;工具翻译&#xff0c;仅供参考&#xff0c;笔芯笔芯. Debezium 0.6.1 发布 2017 年 10 月 26 日 作者&#xff1a; Gunnar Morl…

为实例方法创建错误的引用(js的问题)

考虑下面代码&#xff1a; var MyObject function() {}MyObject.prototype.whoAmI function() {console.log(this window ? "window" : "MyObj"); };var obj new MyObject(); 现在&#xff0c;为了操作方便&#xff0c;我们创建一个对whoAmI方法的引…

【开源工程及源码】超级经典开源项目实景三维数字孪生智慧机场

智慧机场可视化平台通过可视化手段&#xff0c;将复杂的机场运营数据以图形、图表等形式展现&#xff0c;使管理者能够更直观、实时地了解机场的各个方面。飞渡科技通过整合物联网IOT、人工智能、大数据分析等技术&#xff0c;围绕机场管理、运控、安防、服务、监测等业务领域&…

Java设计模式-原型模式

目录 一、克隆羊问题 二、传统方式解决 三、基本介绍 四、浅拷贝和深拷贝 &#xff08;一&#xff09;浅拷贝介绍 &#xff08;二&#xff09;深拷贝 五、原型模式深拷贝 &#xff08;一&#xff09;重写clone方法 &#xff08;二&#xff09;对象序列化 六、注意事项…

理解计算机中的中断与中断处理

计算机系统是一个高度并发的环境&#xff0c;处理各种任务和事件。为了有效地响应硬件和软件引起的特殊事件&#xff0c;计算机引入了一种叫做中断的机制。 什么是中断&#xff1f; 中断是一种通知机制&#xff0c;用于向计算机处理器表示发生了特殊事件&#xff0c;需要处理器…

扩展检测和响应:零信任安全的核心要素

面对不断增长的攻击面&#xff0c;扩展和增强威胁检测和响应能力是XDR在安全功效方面的主要结果。这一成果不仅有助于全面保护&#xff0c;而且有助于更好地实施零信任安全。 默认情况下&#xff0c;这种方法不信任任何用户或任何设备&#xff0c;只允许访问需要的资源。为了更…

【OCR识别】PaddleHub实现验证码识别

文章目录 前言无脑安装使用PaddleHub寻找预训练模型库完整代码效果图 前言 前面有篇文章介绍了 【网站验证码识别】 &#xff0c;但是其是利用 tesseract 工具的命令行来实现图片内容的识别。 这几天我突然想起&#xff0c;大学时参加百度 AI 比赛用过其 PaddleHub 框架&…

软考高级难度排行榜,哪个科目相对较容易呢?

面对软考的5大高级科目&#xff0c;你是不是也想知道哪个科目相对较“容易”一些呢&#xff1f;今天&#xff0c;让我们一起来看看吧 软考高级科目岗位描述 首先&#xff0c;大家可以看一下官方发布的《计算机技术与软件专业技术资格(水平)考试岗位设置与岗位描述》中有关软考…

Kubectl 部署无状态应用

基本概念 无状态服务 无状态服务不会在本地存储持久化数据。多个服务实例对于同一个用户请求的响应结果是完全一致的。这种多服务实例之间是没有依赖关系&#xff0c;比如web应用&#xff0c;在k8s控制器中动态启停无状态服务的pod并不会对其它的pod产生影响。 有状态服务 有状…

Web自动化测试工具的优势分析

Web自动化测试工具在现代软件开发中扮演着关键的角色&#xff0c;帮助团队确保Web应用程序的质量和稳定性。然而&#xff0c;选择合适的Web自动化测试工具对项目的成功至关重要。本文将介绍Web自动化测试工具优势是什么! 1. 自动化执行 Web自动化测试工具能够模拟用户的行为&am…

基于博弈树的开源五子棋AI教程[4 静态棋盘评估]

引子 静态棋盘的评估是棋力的一个很重要的体现&#xff0c;一个优秀的基于博弈树搜索的AI往往有上千行工作量&#xff0c;本文没有做深入讨论&#xff0c;仅仅写了个引子用来抛砖引玉。 评估一般从两个角度入手&#xff0c;一个是子力&#xff0c;另一个是局势。 1 评估维度 …

计算机的工作原理(上)

1. 计算机发展史 计算的需求在人类的历史中是广泛存在的&#xff0c;发展大体经历了从一般计算工具到机械计算机到目前的电子计算机的发展历程。&#xff08;以下是计算机的发展历程&#xff09; 1、公元前2500 年前&#xff0c;算盘已经出现了&#xff1b;除此之外&#xff0c…

完整的 Meteor NPM 集成

在Meteor中&#xff0c;你只能使用包内的模块。你不能直接将模块与流星应用一起使用。此软件包解决了该问题 文章目录 源码下载地址安装定义软件包使用软件包在 Meteor 方法中使用 npm 模块的示例应用程序接口异步实用程序Async.runSync&#xff08;函数&#xff09;Meteor.sy…

js中将数字转成中文

文章目录 一、实现二、最后 一、实现 如果要将数字10、100和1000转换成中文的"十"、“一百"和"一千”&#xff0c;可以使用以下 JavaScript 代码实现&#xff1a; function numberToChinese(num) {const chineseNums [零, 一, 二, 三, 四, 五, 六, 七, …

C#基础——同步异步、预处理指令

同步异步、预处理指令 async和await 同步异步 async&#xff1a; async 关键字用于定义异步方法&#xff0c;表示这个方法可能会执行异步操作。异步方法使用 async 关键字修饰&#xff0c;以便在方法中使用 await。await&#xff1a; await 关键字用于等待异步操作的完成&…

Centos系统升级gcc版本

自己环境的gcc版本太低&#xff0c;影响使用SAN全家桶进行内存泄露检查 当前环境gcc版本查看 gcc --version 进行升级&#xff1a; 1、安装EPEL存储库 yum install epel-release -y 2、确保系统已经更新到最新版本 yum update -y 3、安装GCC编译器及其相关工具包 yum g…

让生活更智能,P1600边缘智能网关带你进入智能家居新时代

一、什么是P1600边缘智能网关&#xff1f; 在科技日新月异的今天&#xff0c;我们的生活已经被各种智能产品所包围。而在这个智能化的浪潮中&#xff0c;P1600边缘智能网关以其独特的优势&#xff0c;成为了智能家居的重要组成部分。那么&#xff0c;什么是P1600边缘智能网关呢…

Debezium发布历史22

原文地址&#xff1a; https://debezium.io/blog/2017/11/11/debezium-at-devoxx-belgium/ 欢迎关注留言&#xff0c;我是收集整理小能手&#xff0c;工具翻译&#xff0c;仅供参考&#xff0c;笔芯笔芯. Debezium 在 Devoxx 比利时 十一月 11, 2017 作者&#xff1a; Jiri P…

在 Laravel 中,清空缓存

在 Laravel 中&#xff0c;清空缓存通常涉及到清除应用程序中的缓存文件和数据库查询缓存。以下是一些常用的清空缓存方法&#xff1a; 1. 清除路由缓存&#xff1a; Laravel 的路由缓存可以提高应用程序的性能&#xff0c;但在开发过程中&#xff0c;你可能需要频繁地更改路…