精通MongoDB聚合操作API:深入探索高级技巧与实践

在这里插入图片描述

MongoDB 聚合操作API提供了强大的数据处理能力,能够对数据进行筛选、变换、分组、统计等复杂操作。本文介绍了MongoDB的基本用法和高级用法,高级用法涵盖了setWindowFields、merge、facet、expr、accumulator窗口函数、结果合并、多面聚合、查询表达式在聚合中的使用以及自定义聚合操作,基本用法涵盖了match、project、group、sort、limit、skip、unwind、lookup、graphLookup、sample、bucket等。

一、基本用法:

1. $match:筛选文档

作用:根据指定的查询条件过滤输入文档。

语法

{ $match: { <query> } }

示例:筛选年龄大于等于30的用户文档:

db.users.aggregate([{ $match: { age: { $gte: 30 } } }
]);

2. $project:重塑文档

作用:指定输出文档的字段及内容,可以包括添加新字段、重命名字段、删除字段、计算表达式等。

语法

{ $project: { <field1>: <1 or 0>, <field2>: <1 or 0>, ... } }

示例:只输出用户姓名和年龄,不包含其他字段:

db.users.aggregate([{ $project: { name: 1, age: 1, _id: 0 } } // _id: 0 表示不包含_id字段
]);

3. $group:分组并计算

作用:根据指定的键(通常是一个字段)对文档进行分组,并对每个组应用聚合函数(如计数、求和、平均值等)。

语法

{ $group: { _id: <expression>, <field1>: { <accumulator1>: <expression1> }, ... } }

示例:按年龄分组,统计每个年龄段的用户数量:

db.users.aggregate([{ $group: { _id: "$age", count: { $sum: 1 } } }
]);

4. $sort:排序文档

作用:对输入文档进行排序。

语法

{ $sort: { <field1>: <1 or -1>, <field2>: <1 or -1>, ... } }

示例:按年龄降序排序用户:

db.users.aggregate([{ $sort: { age: -1 } }
]);

5. $limit:限制输出文档数量

作用:限制输出结果集的最大文档数。

语法

{ $limit: <number> }

示例:只返回前5个用户:

db.users.aggregate([{ $limit: 5 }
]);

6. $skip:跳过指定数量的文档

作用:跳过指定数量的文档,返回剩余文档。

语法

{ $skip: <number> }

示例:跳过前10个用户,返回剩下的用户:

db.users.aggregate([{ $skip: 10 }
]);

7. $unwind:展开数组字段

作用:将文档中某个数组字段的每个元素拆分为独立文档。

语法

{ $unwind: "<field>" }

示例:假设每个用户有多项技能,将技能数组拆分为独立文档:

db.users.aggregate([{ $unwind: "$skills" }
]);

8. $lookup:联接其他集合

作用:执行类似于关系型数据库的左外部联接操作,将来自不同集合的数据合并到一个结果集中。

语法

{ $lookup: {from: "<collection to join>",localField: "<field from the input documents>",foreignField: "<field from the documents of the 'from' collection>",as: "<output array field>"
} }

示例:假设有一个 orders 集合,联接用户和他们的订单:

db.users.aggregate([{ $lookup: {from: "orders",localField: "_id",foreignField: "userId",as: "orders"} }
]);

9. $graphLookup:深度查询关联文档

作用:在集合中递归地查询与当前文档相关的文档,构建层次结构或图状结构。

语法

{ $graphLookup: {from: "<collection to search>",startWith: "<expression>",connectFromField: "<field in the 'from' collection>",connectToField: "<field in the input documents>",as: "<output array field>",maxDepth: <number>,depthField: "<output field>",restrictSearchWithMatch: { <query> }
} }

示例:假设有一个 departments 集合,每个部门可能有上级部门,构建部门间的层级关系:

db.departments.aggregate([{ $graphLookup: {from: "departments",startWith: "$parentDepartmentId",connectFromField: "parentDepartmentId",connectToField: "_id",as: "ancestors",maxDepth: 10,depthField: "level"} }
]);

10. $sample:随机采样文档

作用:从输入文档中随机选取指定数量的文档。

语法

{ $sample: { size: <number> } }

示例:随机选取10个用户:

db.users.aggregate([{ $sample: { size: 10 } }
]);

11. $bucket:桶式分组

作用:根据指定的范围边界将数据划分为桶(区间),并对每个桶进行统计或聚合操作。

语法

{ $bucket: {groupBy: "<expression>",boundaries: [ <value1>, <value2>, ... ],default: <output document>,output: {<field1>: { <accumulator1>: <expression1> },<field2>: { <accumulator2>: <expression2> },...}
} }

示例:将用户年龄分为几个区间,并统计每个区间的用户数量:

db.users.aggregate([{ $bucket: {groupBy: "$age",boundaries: [ 18, 25, 30, 40, 50 ],default: "other",output: { count: { $sum: 1 } }} }
]);

12. $bucketAuto:自动桶式分组

作用:根据数据分布自动划分桶(区间),并进行统计或聚合操作。

语法

{ $bucketAuto: {groupBy: "<expression>",buckets: <number>,granularity: "<string>",output: {<field1>: { <accumulator1>: <expression1> },<field2>: { <accumulator2>: <expression2> },...}
} }

示例:自动将用户年龄分为若干区间,并统计每个区间的用户数量:

db.users.aggregate([{ $bucketAuto: {groupBy: "$age",buckets: 5,output: { count: { $sum: 1 } }} }
]);

以上就是MongoDB聚合操作API的全面解析以及示例,涵盖了主要的聚合阶段。实际使用时,可以根据具体需求组合这些阶段,构建复杂的数据分析管道。注意,聚合管道的执行顺序是从左到右,先执行 $match 这样的筛选阶段通常可以提高性能。

MongoDB 聚合框架除了提供基本的聚合操作外,还支持一些高级操作,用于处理更复杂的数据分析场景。以下是对这些高级聚合操作API的全面解析以及示例:

二、高级用法:

1. $setWindowFields:窗口函数

作用:在一组相邻文档(称为窗口)上执行计算,每个文档的结果依赖于窗口内的其他文档。支持多种窗口函数,如排名、累加、移动平均、分组统计等。

语法

{ $setWindowFields: {partitionBy: <expression>,sortBy: { <field1>: <1 or -1>, <field2>: <1 or -1>, ... },output: {<field1>: { <windowFunction1>: { ... } },<field2>: { <windowFunction2>: { ... } },...}
} }

示例:计算每个用户的连续订单编号、订单总金额及订单数量:

db.orders.aggregate([{ $setWindowFields: {partitionBy: "$userId",sortBy: { orderDate: 1 },output: {consecutiveOrderNumber: { $denseRank: {} },cumulativeTotalAmount: { $sum: "$amount", window: { documents: ["unbounded", "current"] } },orderCountInLast3Days: {$count: {},window: { range: [-3, "current"], unit: "day", timezone: "America/New_York" }}}} }
]);

2. $merge:合并结果到集合

作用:将聚合管道的结果合并到另一个集合中,支持插入、更新、替换等多种合并策略。

语法

{ $merge: {into: "<collection>",on: <field or array of fields>,whenMatched: "<mergeMode>",whenNotMatched: "<mergeMode>",let: { <var1>: <expression1>, <var2>: <expression2>, ... },pipeline: [ <stage1>, <stage2>, ... ]
} }

示例:将按年龄分组统计的用户数量结果合并到 userCounts 集合中,存在则更新,不存在则插入:

db.users.aggregate([{ $group: { _id: "$age", count: { $sum: 1 } } },{ $merge: {into: "userCounts",on: "_id",whenMatched: "replace",whenNotMatched: "insert"} }
]);

3. $facet:多面聚合

作用:在一个阶段内执行多个聚合管道,每个管道可以有不同的阶段和输出字段,最终结果将所有子聚合的输出合并到一个文档中。

语法

{ $facet: {<outputField1>: [ <stage1>, <stage2>, ... ],<outputField2>: [ <stage3>, <stage4>, ... ],...
} }

示例:同时计算年龄大于等于30和小于30的用户数量:

db.users.aggregate([{ $facet: {"over30": [{ $match: { age: { $gte: 30 } } },{ $count: "count" }],"under30": [{ $match: { age: { $lt: 30 } } },{ $count: "count" }]} }
]);

4. $expr:在聚合表达式中使用查询运算符

作用:在聚合操作(如 $match$project$redact 等)中使用查询表达式,允许在聚合管道中使用查询操作符。

语法

{ $match: { $expr: { <query operator expression> } } }

示例:查找年龄比其所在部门平均年龄大的用户:

db.users.aggregate([{$lookup: {from: "departments",localField: "departmentId",foreignField: "_id",as: "department"}},{$unwind: "$department"},{$match: {$expr: {$gt: ["$age", { $avg: "$department.ages" }]}}}
]);

5. $accumulator:自定义聚合操作

作用:允许定义自己的聚合操作(自定义累加器),用于在 $group 阶段执行特定的计算。

语法

db.createAggregateAccumulator("<accumulatorName>","<javascriptCode>",{ finalize: "<javascriptCode>", lang: "<language>" }
)// 在聚合管道中使用自定义累加器
{ $group: { _id: "$category", customValue: { $accumulator: "<accumulatorName>" } } }

示例:创建一个自定义累加器,计算文档数组中每个元素的平方和:

db.createAggregateAccumulator("squareSum","function(values) { return values.reduce((acc, val) => acc + Math.pow(val, 2), 0); }",{ lang: "js" }
)// 在聚合管道中使用自定义累加器
db.items.aggregate([{ $group: { _id: "$category", squareSum: { $accumulator: "squareSum", initialValue: [], accumulateArgs: ["$itemValues"] } } }
]);

以上就是MongoDB聚合高级操作API的全面解析以及示例,涵盖了窗口函数、结果合并、多面聚合、查询表达式在聚合中的使用以及自定义聚合操作。这些高级操作极大地扩展了聚合框架的功能,使其能够应对更复杂的数据分析需求。在实际使用时,应根据具体业务场景灵活运用这些高级操作,构建高效、精确的聚合管道。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/1163.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

卷王问卷考试系统/SurveyKing调查系统源码

SurveyKing是一个功能强大的开源调查问卷和考试系统&#xff0c;它能够快速部署并适用于各个行业。 这个系统提供了在线表单设计、数据收集、统计和分析等功能&#xff0c;支持20多种题型&#xff0c;提供多种创建问卷的方式和设置。 项 目 地 址 &#xff1a; runruncode.c…

C++相关概念和易错语法(7)(初始化列表、隐式类型转换、友元)

1.初始化列表 初始化列表是集成在构造函数里面的&#xff0c;对象在创建的时候一定会调用构造函数&#xff08;就算不显式定义&#xff0c;也会自动生成并调用&#xff09;。初始化列表就是这些对象的成员变量在创建的时候初始化的地方。 下面是使用的例子&#xff0c;可以先…

香港服务器_免备案服务器有哪些正规的?企业、建站方向

香港服务器&#xff0c;是最受欢迎的外贸、企业建站服务器&#xff0c;在个人建站领域&#xff0c;香港服务器、香港虚拟主机都是首选的网站服务器托管方案&#xff0c;不仅其具备免备案的特点&#xff0c;而且国内外地区访问速度都很快。那么&#xff0c;现今2024年个人和企业…

项目如何部署

我们平常写的项目通常只能在本机上运行&#xff0c;要想项目能被远程访问就不得不谈到项目部署的知识&#xff0c;接下来我通过实际操作的操作让大家来上线一个vuespringBoot项目。 1.在windows上将vue部署到nginx服务器上 介绍nginx Nginx是一款高性能的Web服务器和反向代理服…

C#语法知识之循环语句

5、循环语句 文章目录 1、while思考1 斐波那契数列思考2 判断一个数是否为质数思考3 找出100以内的质数 2、do...while3、for思考1 找水仙花数思考2 乘法表 1、while 1、作用 让代码重复去执行 2、语法相关 while(bool类型值){//当满足条件时&#xff0c;就会执行while语句…

【GIS教程】ArcGIS做日照分析(附练习数据下载)

我国对住宅日照标准的规定是:冬至日住宅底层日照不少于1小时或大寒日住宅层日照不少于2小时(通常以当地冬至日正午12时的太阳高度角作为依据)。因冬至日太阳高度角最低&#xff0c;照射范围最小&#xff0c;如果冬至日12&#xff1a;00建筑物底层能够接收到阳光&#xff0c;那么…

Python数据可视化库—Bokeh与Altair指南

&#x1f47d;发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 在数据科学和数据分析领域&#xff0c;数据可视化是一种强大的工具&#xff0c;可以帮助我们…

Docker - HelloWorld

原文地址&#xff0c;使用效果更佳&#xff01; Docker - HelloWorld | CoderMast编程桅杆https://www.codermast.com/dev-tools/docker/docker-helloworld.html 开始之前 在学习本小节之前&#xff0c;你必须确保你正确安装了 Docker&#xff0c;正确安装 Docker 是后续学习的…

墨子web3实时周报

蚂蚁集团Web3研发进展与布局 国内Web3赛道的领军企业——蚂蚁集团&#xff0c;凭借其在前沿科技领域的深耕不辍&#xff0c;已在Web3技术研发疆域缔造了卓越战绩。特别是在引领行业革新的关键时刻&#xff0c;集团于今年四月末震撼推出了颠覆性的Web3全套解决方案&#xff0c;…

java通过maven导入本地jar包的三种方式

一、引入lib下加载&#xff08;加载过后打包&#xff0c;以后再次使用不用再次导入&#xff09; 首先创建一个用于创建jar包的项目&#xff0c;并测试能否成功运行 讲项目打包 在需要引入的项目中创建lib目录 并把刚才打包的jar复制进去 通过dependency引入jar包 groupId、art…

读天才与算法:人脑与AI的数学思维笔记05_算法的幻觉

1. 自下而上 1.1. 代码在未来可以自主学习、适应并进行自我改进 1.2. 程序员通过编程教会计算机玩游戏&#xff0c;而计算机却会比教它的人玩得更好&#xff0c;这种输入寡而输出众的事情不大可能实现 1.3. 早在20世纪50年代&#xff0c;计算机科学家们就模拟该过程创造了感…

人工智能论文GPT-3(3):2020.5 Language Models are Few-Shot Learners;架构;训练数据集;开源

2.1 模型与架构 我们使用了与GPT-2相同的模型和架构&#xff0c;包括其中描述的改进初始化、预归一化和可逆分词技术&#xff0c;但有所不同的是&#xff0c;我们在Transformer的各层中使用了交替的密集和局部带状稀疏注意力模式&#xff0c;类似于Sparse Transformer 。为了研…

Flutter 的 showDialog 和 showCupertinoDialog 有什么区别?

我将我的 App 里用的 Flutter 升级到了 3.19&#xff0c;没想到&#xff0c;以前我用 showDialog 和 AlertDialog 组合创建的二次确认框&#xff0c;变得无敌难看了&#xff0c;大幅度增加了整个框的圆角和里面默认按钮的圆角。不得已&#xff0c;我必须修改一下&#xff0c;以…

算法练习|Leetcode189轮转数组 ,Leetcode56合并区间,Leetcode21合并两个有序链表,Leetcode2两数相加,sql总结

目录 一、Leetcode189轮转数组题目描述解题思路方法:切片总结 二、Leetcode56合并区间题目描述解题思路方法:总结 三、Leetcode21合并两个有序链表题目描述解题思路方法:总结 四、Leetcode2两数相加题目描述解题思路方法:总结 sql总结: 一、Leetcode189轮转数组 题目描述 给定…

C++|stack-queue-priority_queue(适配器+模拟实现+仿函数)

目录 一、容器适配器 1.1容器适配器概念的介绍 1.2stack和queue的底层结构 1.3deque容器的介绍 1.3.1deque的缺陷及为何选择他作为stack和queue的底层默认实现 二、stack的介绍和使用 2.1stack的介绍 2.2stack的使用 2.3stack的模拟实现 三、queue的介绍和使用 …

NotePad++联动ABAQUS

Abaqus 中脚本运行 1. 命令区kernel Command Line Interface &#xff08;KCLI&#xff09; execfile(C:\\temp\second develop\chapter2\pyTest1.py)2. CAE-Run Script File->Run Script 3. Abaqus command Abaqus cae noGUIscript.py(前后处理都可)Abaqus Python scr…

排序算法集合

912. 排序数组 趁着这道题总结下排序方法 1.快速排序 算法描述 1.从数列中挑出一个元素&#xff0c;称为"基准"&#xff08;pivot&#xff09;&#xff0c; 2.重新排序数列&#xff0c;所有比基准值小的元素摆放在基准前面&#xff0c;所有比基准值大的元素摆在基…

【网站项目】高校毕业论文管理系统小程序

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0c;帮助大学选题。赠送开题报告模板&#xff…

人工智能论文GPT-3(2):2020.5 Language Models are Few-Shot Learners;微调;少样本Few-Shot (FS)

2 方法Approach 我们的基本预训练方法&#xff0c;包括模型、数据和训练&#xff0c;与GPT-2中描述的过程相似&#xff0c;只是模型规模、数据集规模和多样性&#xff0c;以及训练时长有所扩大&#xff0c;相对简单直接。 我们使用的上下文学习也与GPT-2相似&#xff0c;但在…

SpringCloud系列(8)--将服务提供者Provider注册进Eureka Server

前言&#xff1a;上一章节我们介绍了Eureka服务端的安装与配置&#xff0c;本章节则介绍关于微服务如何入职Eureka Server Eureka架构原理图 1、修改provider-payment8001子模块的pom.xml文件&#xff0c;引入Eureka Clinet的依赖&#xff0c;然后reolad一下&#xff0c;下载依…