使用 mongo2neo4j 和 SemSpect 通过各种方式进行图探索

用于可视化和探索每个 MEAN 堆栈背后的数据图的 ETL

您是否正在努力回答有关 MEANS Web 服务数据的紧急问题?哪里有 BI 可以快速回答“上个季度哪些亚洲的artisan.plus 用户触发了订单?”这个问题,而无需编写查询?使用 mongo2neo4j 、 Neo4j 和 SemSpect ,可以根据需要以可视化方式免费回答此类问题。这篇文章介绍了如何将 MongoDB 数据和对象模型转移到 Neo4j,以及如何使用 SemSpect 深入了解您的业务数据。

MEAN 堆栈

MEAN 堆栈 (MEANS) 是基于 MongoDB 、 Express.js 、 AngularJS 和 Node.js 构建的流行技术组合,适用于 Netflix、PayPal、Gmail、LinkedIn、YouTube 等云应用程序。在前端方面,此堆栈有多种变体,例如 MERN(使用 React 而不是 Angular)或 MEVN(使用 Vue.js )。无论如何,MongoDB 始终充当数据后端,作为管理集合中嵌套 JSON 对象的数据库。集合包含 JSON 对象,在 MongoDB 中称为文档,具有类似的结构(例如,一个用于用户的集合,一个用于产品的集合,一个用于订单的集合等)。

此堆栈通常会辅以对象数据建模 (ODM) 框架,例如MongoDB 上的 mongoose 。通过整合 mongoose,您可以无缝定义和实施数据模式,从而在集合之间或跨集合建立 JSON 对象之间的链接。这可以增强数据完整性并降低不一致的风险。

集合中隐藏的宝贵知识

MEAN 堆栈很棒,但它无法轻松洞察底层数据,甚至无法回答简单的业务问题。这是因为 JSON 数据集合不易探索。MongoDB 有一个 查询 API ,包括聚合和投影,但结果始终是 JSON。此外,该 API 有点麻烦,需要编程知识,有时您从一开始就不知道在数据中寻找什么。

这就是 mongo2neo4j 发挥作用的地方。通过自动转换为 Neo4j 的标记属性图 (LPG),可以使用 SemSpect 轻松可视化、探索和分析生成的图表。

alt

mongo2neo4j 构建了从 MEAN 堆栈到图和图分析世界的桥梁

例如,在为咖啡库存管理应用程序 artisan.plus 规划新功能时,出现了一个问题:其 PRO 用户中是否有人只烘焙来自巴西的纯阿拉比卡咖啡混合物?调查这个问题后,只需在 SemSpect 中单击几下并加载相关的 artisan.plus 数据(约 120 万个节点和 360 万个关系),就会发现 59 位 PRO 用户进行了约 24,000 次此类混合烘焙。

alt

SemSpect 使用来自 artisan.plus 的样本数据:有多少 PRO 用户将纯阿拉比卡咖啡与仅来自巴西的咖啡混合烘焙?

将您的平均值变成图表并进行探索

Mongo2neo4j、Neo4j 和 SemSpect 图形可视化和探索工具有效地解决了这种缺乏数据洞察力的问题。

mongo2neo4j 是将 MEANS 数据传输到本机图形的最快、最方便的方法,同时考虑到对象关系数据模型。但是,我们为什么要将数据映射到图形中呢?图形模型是处理对象和关系时最自然的数据模型——正是您在应用 mongoose 或任何其他 ODM 框架时在 MongoDB 中编码的内容。生成的图形接近对象关系数据模型。与分布在各个集合中的原始 JSON 表示相比,以对象和关系网络形式显示的图形更易于查询和理解。

简单来说:使用 mongo2neo4j,所有顶级 JSON 对象都将成为图节点。每个 JSON 对象的字段都会产生相应图节点的属性。默认情况下,嵌套数组元素也会成为节点,并通过关系链接到其原始节点。

对于 ODM 框架引入的每个对象引用(通过对象 ID),mongo2neo4j 都会与图形模型中对象的相应节点建立关系。正如我们稍后看到的,某些配置允许我们在必要时调整 JSON 对象到 Neo4j 节点的映射。

一旦我们的 JSON 集合可以作为数据图使用,就可以更轻松地查看节点之间的链接、掌握间接连接,并通过使用 SemSpect 等工具以交互方式探索图表来开发查询。

MEANS 示例

例如,让我们采用一个基于 MEAN 堆栈的简单商店应用程序,其中来自不同国家的用户可以订购各种产品。

我们使用随机生成的样本数据,其数据生成器由mongo2neo4j 示例目录 提供。当使用 Robo 3T 等 UI 检查 MongoDB 中的示例数据时,我们会看到四个集合,这是 在 mongoose 框架的帮助下在 models.js 中定义的 ODM 的结果。

代表订单的对象具有对用户(订购者)和产品(购买)的对象引用,如下图所示,一个订单的红色箭头所示。

alt

生成的示例数据的集合

使用 MongoDB 查询语言通过 project 的级联可以找出法国用户订购了哪些产品 。但是,它过于复杂,绝对不适合临时数据分析。

因此,让我们使用 mongo2neo4j 提取数据集合并将其加载到 Neo4j 中,以查看数据如何显示在图形数据库中。我们只需安装 Python 包 mongo2neo4j 并运行数据转换:

Shell
> pip3 install mongo2neo4j
> mongo2neo4j --neo4j_password=<your-neo4j-password> <your-mongodb-database>

为了成功执行,必须设置一个 Neo4j 数据库并接受远程 Cypher 命令(后者是本地连接的默认设置)。

从开头的 person 示例来看,我们期望每个集合中的任何顶级对象都成为结果图中的节点。嵌套对象也应成为节点。

查看上面显示集合拼贴的图像时,商店数据中唯一的嵌套是“订单”集合对象中的“产品”字段。此类字段的相应值是一个对象数组,其中每个数组对象包含对“产品”对象的引用以及带有订购数量的整数值。如何通过节点和边以及节点/边属性将此结构转换为 LPG 模型?

最简单的方法是将订单节点通过某种产品订单关系链接到产品节点,其中产品数量由相应关系的相应属性表示,如下所示。

alt

但是,如果每个数组元素都包含另一个对象引用,这种映射类型将导致问题。Neo4j 背后的 LPG 模型仅允许两个对象之间的关系。因此,在 LPG 中建模此类构造的更通用方法是借助专用的新节点。

alt

在数据建模的背景下,这种模式称为 具体化, 因为它通过引入明确表示这种关系的节点来具体化这种关系。原始关系的节点链接结果节点,并且还可以与多个其他节点相关或存储金额等属性。

mongo2neo4j 将源自嵌套对象的所有关系具体化,以支持任何类型的 n 元关系。

微调 ETL 流程

mongo2neo4j 中实现的默认映射将 MongoDB 中的所有对象引用转换为 Neo4j 中生成的图形模型的关系,如前所述。有配置选项可以将 ODM 的隐式编码链接转换为关系或为节点分配特定标签,具体取决于原始对象的字段值。

例如,我们可以看到“countries”是一个与给定 ODM 设计中的其他集合无关的集合。但是,此集合中的“isoname”对象字段的值(即法国)似乎与用户的“country”字段的值相匹配。

为了建立从用户到其国家/地区的联系,我们可以配置 mongo2neo4j 来创建这种关系,通过提供一对 . 对作为匹配条件:

Shell
--relations "users.country,countries.isoname"

要根据原始 MongoDB 对象的字段值为节点分配附加标签,我们可以使用“sublabel”选项。在我们的示例中,这对于根据用户的订阅计划对其进行分类非常有用。用户的订阅在“subscription”字段中编码为字符串值。要将这些值转换为 Neo4j 标签,我们指定哪些字段值应被视为标签(此处为“user.subscription”),标签是否应获得后缀(“_user”),以及如果没有值(“无订阅”)应使用什么标签:

Shell
--sublabels "users.subscription._user,`no subscription`"

此外,还有更多映射选项,例如从映射过程中排除集合或字段,以及指定 MongoDB 和 Neo4j 连接详细信息的选项。 有关配置选项的详尽描述,请参阅 脚本参数。

上面集合中显示的 MongoDB 数据摘录最终如下所示。

alt

之前提出的有关法国用户的所有产品的分析问题现在对应于来自节点法国(蓝色圆圈)的图形遍历请求,该请求遍历所有相关用户及其产品订单。这可以通过 Neo4j Cypher 查询语言轻松完成:

Shell
match (:countries {isoname:’France’})<--(:users)<--(:orders)-->
(:orders_products)-->(p:products)
return count(distinct p)

编写这样的查询需要 Cypher 知识,但至少比 MongoDB 查询对应部分容易得多,因为 Cypher 使用基于文本的视觉描述来声明性地描述节点(写在圆括号中)和关系(写为“->”或“-[:relation-type]->”)查询模式。

然而,还有一种更简单的方法来编写此类查询 - 不需要任何查询语言技能或底层图形模型的知识:SemSpect。

SemSpect 和 MEANS

SemSpect 是一款无代码图形探索和可视化工具。它适用于 Neo4j 以及 RDF 图形数据。SemSpect 有一个免费版本,即 Neo4j Desktop 的 GraphApp,它有一些限制,但功能强大,足以认真探索大型 MongoDB 数据集 — — 至少对于我们的小示例而言。

注意请确保您使用的是 Neo4j Desktop 1.5.9,您可以 下载 。最新版本 (1.6.0) 将 Neo4j Desktop 置于维护模式,不再允许安装图形应用程序。

如果我们 MEANS 示例中的数据已经使用 Neo4j Desktop 存储在 Neo4j DBMS 中(说明位于 GitHub 上的 mongo2neo4j 示例 中),那么 SemSpect 就近在咫尺。只需直接从 Neo4j 开发人员图形应用程序库 安装 SemSpect 图形应用程序即可。

安装和设置 SemSpect 后,您将在左侧列表中看到 mongo2neo4j 导入的标签,如下图所示,以红色框突出显示。为不同订阅计划生成的附加标签按用户标签排序。SemSpect 会自动推断标签之间的子标签包含情况。在这里,其中一个订阅标签的所有用户也始终带有用户标签。

alt

现在,您只需将其中一个标签拖放到 SemSpect UI 中间画布中的探索窗格上即可。为了回答我们的查询,我们从“国家”标签开始。放置在探索窗格中后,我们会看到组(蓝色圆圈)内的 10 个国家节点(灰色圆点)。在搜索框中搜索“法国”并按 Enter 时,我们会看到代表法国的节点,并用显示其名称的旗帜突出显示。

alt

要探索从此节点到法国用户订购产品的路径,我们可以选择该节点并使用上下文菜单“探索节点的连接”。由于此节点仅通过传出国家关系连接到用户节点,因此我们只能选择此关系进行探索。

alt

通过反复扩展“订单”组,然后扩展“订单_产品”组,如下所示,我们最终到达“产品”组。来自法国的订单的 134 种产品节点中的数字显示了该产品链接到左侧组中节点的频率。换句话说,这些数字显示了这些产品的订购频率。

我们找到了两件被订购三次的产品。其中一件是饮料 Celestial Brew。选择此节点会在右侧的详细信息档案中显示其属性。

alt

我们还可以详细检查对象详细信息,并根据特定节点属性值对其进行分类。让我们从产品对象开始。在探索窗格中选择产品组后,我们可以打开一个表格视图,其中逐行列出了组对象的所有属性。

alt

我们可以借助字符串、数字或日期时间限制按任何属性过滤节点。例如,让我们过滤“饮料”类别的产品。表格显示了结果的预览,使用 应用过滤器 ,我们可以限制探索图中的组。

alt

现在,该产品组最终由 1,000 种产品中的 213 种饮料组成。

SemSpect 的一个独特功能允许我们在探索图表时从组中定义新标签。新定义的标签“饮料”在标签树中被组织为一种特殊的产品,随时可以作为新探索或过滤的起点。

alt

我们还能发现什么?

让我们看看我们能用 SemSpect 解决哪些其他分析任务。假设我们要回答以下问题:

2022 年 8 月免费订阅用户订购的最突出的产品是什么?

有没有尚未订购商品的用户?

第一个问题的答案是,从“free_user”开始探索,然后扩展到“订单”,最后扩展到“产品”。由于我们对特定时间范围内的订单感兴趣,因此我们必须打开“订单”的表格视图,并通过日期过滤器选择器将“订单日期”限制为 9 月之前和 7 月之后。

alt

这将订单限制在 2022 年 8 月。由于过滤限制会立即传播到探索图中,因此我们看到 2022 年 8 月有三款产品被免费订阅用户订购了两次。选择产品组时,右侧的档案选项卡还提供了描述组节点的自然语言描述。您还可以将这组结果节点下载为 CSV 文件。

alt

最后,要找到没有订购任何商品的用户,我们必须从所有“用户”开始,然后扩展到“订单”。 “用户”组中的浅灰色用户节点是未连接到右侧“订单”组中的任何节点的用户节点。 我们可以使用“用户”组的上下文菜单并选择“未连接到右侧任何组的节点”,轻松地为它们添加标记。

alt

总结

很难对基于 MongoDB 数据库构建的服务的数据进行概览和洞察。这适用于所有使用 MongoDB 数据存储的应用程序,尤其是如果使用对象关系模型在集合之间建立对象引用,就像采用 MEAN 堆栈的情况一样。

我们提供了一个方便的工具包,其中包含 mongo2neo4j 数据转换器、Neo4j 数据库以及图形探索和查询应用程序 SemSpect,它建立了一个可配置的工作流程,可以真正连接隐藏在 MEAN 堆栈的 MongoDB 数据库中的点。这是查找数据或应用程序中的数据缺陷以及回答相关 BI 问题的关键。

好消息是,这里介绍的工作流程是免费的。mongo2neo4j和 Neo4j 社区都是 GPL 3.0, SemSpect 附带免费模型。但是,当您的数据增长到一定规模以上时,或者您希望使工作流程专业化,或者如果您想享受完整的性能和功能,您可以切换到 Neo4j 和 SemSpect 的企业版。

原文链接:https://medium.com/neo4j/graph-exploration-by-all-means-with-mongo2neo4j-and-semspect-382e55c14c4c

原文作者:

本文由 mdnice 多平台发布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/41243.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习每周学习总结N3(文本分类实战:基本分类(熟悉流程)、textCNN分类(通用模型)、Bert分类(模型进阶))

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 | 接辅导、项目定制 目录 0. 总结&#xff1a;1. 前期准备环境安装 2. 文本分类基本流程a. 加载数据b.构建词典c.生成数据批次和迭代器d.定义模型及实例e. 定义…

Linux搭建hive手册

一、将hive安装包上传到NameNode节点并解压 1、删除安装MySQL时的.rpm文件 cd /opt/install_packages/ rm -rf *.rpm 2、将安装包拖进/install_packages目录 3、解压安装包 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/softs/ 4、修改包名 cd /opt/softs mv apache-…

力扣双指针算法题目:复写零

1.题目 . - 力扣&#xff08;LeetCode&#xff09; 2.解题思路 本题要求就是对于一个数组顺序表&#xff0c;将表中的所有“0”元素都向后再写一遍&#xff0c;且我们还要保证此元素之后的元素不受到影响&#xff0c;且复写零之后此数组顺序表的总长度不可以改变&#xff0c;…

OpenCV 灰度直方图及熵的计算

目录 一、概述 1.1灰度直方图 1.1.1灰度直方图的原理 1.1.2灰度直方图的应用 1.1.3直方图的评判标准 1.2熵 二、代码实现 三、实现效果 3.1直方图显示 3.2 熵的计算 一、概述 OpenCV中的灰度直方图是一个关键的工具&#xff0c;用于分析和理解图像的灰度分布情况。直…

12 Dockerfile详解

目录 1. Dockerfile 2. Dockerfile构建过程 2.1. Dockerfile编写规则&#xff1a; 2.2. Docker执行Dockerfile的大致流程 2.3. 总结 3. Dockerfile指令 3.1. FROM 3.2. MAINTAINER 3.3. RUN 3.4. EXPOSE 3.5. WORKDIR 3.6. USER 3.7. ENV 3.8. VOLUME 3.9. ADD …

mac 11 变编译安装nginx

mac 11 变编译安装nginx 记录一次安装过程 所需要的包 pcre: https://sourceforge.net/projects/pcre/files/pcre/OpenSSL: https://www.openssl.org/source/Nginx: https://nginx.org/en/download.html如果没有pcre 和Openssl,报错如下 把pcre和Openssl 解压到nginx 目录下…

Linux高并发服务器开发(十三)Web服务器开发

文章目录 1 使用的知识点2 http请求get 和 post的区别 3 整体功能介绍4 基于epoll的web服务器开发流程5 服务器代码6 libevent版本的本地web服务器 1 使用的知识点 2 http请求 get 和 post的区别 http协议请求报文格式: 1 请求行 GET /test.txt HTTP/1.1 2 请求行 健值对 3 空…

第一次的pentest show总结

第一次的pentest show总结 前言 开始之前&#xff0c;我特别感谢TryHackMe(英)、HackTheBox(美)、zero-point security(英)、offsec(美)等平台&#xff0c;使我们能够通过网络以线上的方式学习与练习&#xff0c;打破传统线下各地区教育资源差异大的限制&#xff0c;对网络教…

03:EDA的进阶使用

使用EDA设计一个38译码器电路和245放大电路 1、38译码器1.1、查看74HC138芯片数据1.2、电路设计 2、245放大电路2.1、查看数据手册2.2、设计电路 3、绘制PCB3.1、导入3.2、放置3.3、飞线3.4、特殊方式连接GND3.5、泪滴3.6、配置丝印和划分区域3.7、添加typc接口供电 1、38译码器…

20.5.【C语言】求长度的两种方式

1.sizeof 用于测数据类型的长度的函数&#xff08;详细见第3篇&#xff09; 2.strlen 其计算长度时只有遇到\0才会停止&#xff0c;并且\0不会计算在内 如char arr[]{a,1,b}; printf("%d\n",strlen(arr)); 结果是个随机数&#xff01;strlen读内存中的数据&…

快递物流运输中的RFID智能锁控应用方案

一、物流货运管理的痛点分析 1.1 货物安全与监控难题 物流货运过程中&#xff0c;货物安全是首要关注的问题。传统的锁控方式存在诸多不足&#xff0c;例如易被撬锁、监控盲点以及难以实时追踪货物状态。据统计&#xff0c;每年因货物丢失或损坏导致的经济损失高达数十亿美元…

小白也可以部署私有化大模型知识库_私有化知识库

透过产品了解RAG技术原理&#xff0c;对未来大模型应用开发也将起到事半功倍的效果。 虽然网络上有很多此类技术文章&#xff0c;这里自己也进行一次总结&#xff0c;加深印象的同时给小伙伴做一个参考&#xff0c;多多交流。 准备 Linux服务器、windows也可以 Docker环境&…

Excel多表格合并

我这里一共有25张表格: 所有表的表头和格式都一样,但是内容不一样: 现在我要做的是把所有表格的内容合并到一起,研究了一下发现WPS的这项功能要开会员的,本来想用代码撸出来的,但是后来想想还是找其他办法,后来找到"易用宝"这个插件,这个插件可以从如下地址下载:ht…

C++基础21 二维数组及相关问题详解

这是《C算法宝典》C基础篇的第21节文章啦~ 如果你之前没有太多C基础&#xff0c;请点击&#x1f449;C基础&#xff0c;如果你C语法基础已经炉火纯青&#xff0c;则可以进阶算法&#x1f449;专栏&#xff1a;算法知识和数据结构&#x1f449;专栏&#xff1a;数据结构啦 ​ 目…

谷歌地图Google JS API 实现

demo实现 实现源码&#x1f447; // 谷歌地图Google JS API 实现 <template><div class"myMap"><gmp-map :center"center" zoom"15" map-id"ab6b6643adfa1a70"><gmp-advanced-markerv-for"(res, index) in…

MySQL | JDBC连接数据库详细教程【全程干货】

文章目录 一、什么是JDBC&#xff1f;二、JDBC工作原理三、使用JDBC连接MySQL数据库【✔】1、安装对应数据驱动包2、将jar包导入项目中3、编写代码连接数据库【⭐】1️⃣ 创建数据源2️⃣ 和数据库建立网络连接3️⃣ 构造SQL语句4️⃣ 执行SQL语句5️⃣ 断开连接&#xff0c;释…

nginx安装演示(离线安装,直接安装在Linux中)

文章目录 1、创建文件夹 tool / nginx2、把安装文件放到 /opt/tool/nginx 目录下面3、yum install gcc4、yum install gcc-c5、tar -zxvf pcre-8.37.tar.gz6、./configure7、make8、make install9、tar -zxvf openssl-1.0.1t.tar.gz10、./config11、/config 1、创建文件夹 tool…

人脉社群平台微信小程序系统源码

&#x1f31f;【解锁人脉新纪元&#xff1a;探索人脉社群平台小程序】&#x1f31f; &#x1f680;【开篇&#xff1a;为什么我们需要人脉社群平台小程序&#xff1f;】&#x1f680; 在这个快节奏的时代&#xff0c;人脉不再是简单的名片交换&#xff0c;而是通往成功与机遇…

昇思25天学习打卡营第17天|ChatGLM-6B聊天demo

一、简介&#xff1a; 本次实验&#xff0c;基于MindNLP和ChatGLM6B模型搭建一个小的聊天应用&#xff0c;ChatGLM6B 是基于 GLM-4 模型开发的开源对话机器人&#xff0c;拥有 62 亿个参数&#xff0c;能够进行自然流畅的语言交流。在对话中&#xff0c;ChatGLM6B 可以胜任文案…

我关于Excel使用点滴的笔记

本篇笔记是我关于Excel使用点滴的学习笔记&#xff0c;摘要和地址链接列表。临时暂挂&#xff0c;后面可能在不需要时删除。 (笔记模板由python脚本于2024年06月28日 12:23:32创建&#xff0c;本篇笔记适合初通Python&#xff0c;熟悉六大基本数据(str字符串、int整型、float浮…