演讲全文|林涛:MongoDB助力智能制造出海控本增效

请添加图片描述

5月29日-30日在上海世博中心举办的亚马逊云科技中国峰会圆满结束。本文整理了MongoDB北亚区方案与咨询总监林涛在白金讲堂的演讲全文,就《MongoDB助力智能制造出海控本增效》话题与大家共同探讨。

白金讲堂演讲视频

从全球经济竞争的角度看,中国制造业是目前竞争能力最强,也是最有活力的产业。我们的制造业企业不仅仅是布局全球,而且从我们产品出海的形态上已经逐渐呈现出了智能化、物联化、场景化的明显趋势。

对于很多制造业企业,特别是智能制造业企业来说,出海现在已经不仅是一个选择题,而是一个必答题。比如在医疗设备领域,根据业界统计,在国内上市的医疗企业里,其出海营收已接近 50% 。就像我们著名的投资者所说,在国内市场,对我们的制造业企业来说是解决吃饭的问题,但在海外市场才能解决我们吃肉的问题。

请添加图片描述

与此同时,先进的制造业企业,特别是智能制造企业,不仅仅摆脱了低端制造的印象,而且正在从以产品为中心转向以服务为中心的销售形式,甚至在MongoDB 最近接触的一些智能制造的企业里,我们看到了以产品为辅、服务为主的形式,给我们海外客户提供的不仅仅是产品,更提供行业方案的服务,而产品甚至只是服务的一个载体。不仅仅是中国制造产品的能力,企业构建服务的能力正在变得越来越关键。与此同时,为了构建这样的服务,云和基础设施的构建成本也正在变得越来越高。根据艾瑞咨询的统计,从 2022 年开始,在海外云的使用上,目前制造业在出海这个细分领域已经占到了第四,但是我们的增速实际上已经到了第二,甚至从增速的角度讲已经超过了传统的游戏或其他音视频行业的增长。

这个也并不仅仅是中国制造业企业或者是智能制造企业所面临的问题,很多行业调研报告都发现,全球的智能制造业或者说在 IoT 的应用上都面临同样的挑战。

那三个关键挑战是什么?第一个就是开发效率,因为我们出海提供服务最重要的是什么?就是能够快速的推出本地市场所需要的新服务,或者是一种新形式。同时我们要确保提供的服务不仅能够兼容我们现在既有售卖的设备,而且能够保证我们的服务能够满足未来设备的要求。

第二个就是要保证数据的安全和隐私,这个是对我们中国制造企业现在也是敏感的问题。

第三个是运营成本,这是所有制造业企业都需要面临的一个挑战,但这是一个端到端的全生命周期的成本,不仅仅是部署成本,其实还涉及到开发的成本、维护的成本,这些都需要综合的去考虑。

请添加图片描述

那么MongoDB作为数据库公司,为什么会关心或者了解这样些话题呢?主要的原因是 MongoDB 被全球众多制造业企业广泛的使用,在汽车领域,几乎全球所有知名的汽车制造商都在使用 MongoDB 作为 IoT 或者智能的服务提供商。

●在智能制造领域,思科,像西门子都在使用 MongoDB 来构建整个的物联网平台。

●在零售行业,7-11等众多零售企业也在使用 MongoDB 打造智能服务,如说电子标签等等。

●不仅仅是国外的企业,中国的智能制造企业用MongoDB的案例也非常多。

为什么众多企业都选择使用 MongoDB 来构建智能制造的应用平台,特别是选择采用部署在亚马逊云科技上的 Atlas (MongoDB托管服务)呢?主要有三个原因:
第一、MongoDB 开发速度非常快
第二、MongoDB架构简单,成本可控
第三、MongoDB能够很好地保证数据隐私和合规

请添加图片描述

除了制造业,几乎所有行业都在广泛采用MongoDB,都是因为 MongoDB 易于开发。易于开发的第一个原因是 MongoDB 的数据模型采用JSON模式,这种模型非常适用于制造业的业务场景。

举例来说,如果用传统数据库的设计理念来设计一个 IoT 或者智能制造的业务场景,比如智能光源,那首先我们需要一个表来记录智能光源的位置、是什么设备、可能用在什么地方。智能光源里有很多传感器,或者有很多不同的属性,我们就再要有一个表,来保证这个智能光源设备下面有多少个控制器,以及控制器上有多少个属性。我们还要再有一个表来记录所有的控制器上到底做了什么操作,比如做了开关、做了调整,调整的是多少。我们可能还需要有一个表去记录,这些设备上又产生了多少个事件,比如说过热、正常等等。所以我们想要搞清楚一个智能制造设备上到底发生了什么,可能需要四五张表。

请添加图片描述

但在 MongoDB 数据库里,开发者可以按照企业的业务逻辑,把所有的事件包含在一条记录上,成为一个对象,这样不管是分析和处理都可以变得更快

得益于 MongoDB 这样的特点,使MongoDB能够非常容易地支持在工业领域常用的各种数据模型:

●泛工业类用非常多AAS模型。只要企业业务对象、产品能用AAS模型表述出来,就可以直接把它变成JSON。

●在医疗行业, 医疗设备产生的数据通常用FHIR模型来表示,那么也可以直接用JSON来表示。

实际上,大家现在看到的很多 IoT 设备,产生的数据都是 JSON 的。所以用MongoDB就可以直接把它存储到数据库里,不需要做任何的转化,不需要花时间去设计这个表一定要长成什么样子、这个数据是不是要拆成三个表,都不用。你的设备产生什么数据,在 MongoDB 里直接就存什么数据就可以。

现在业界的很多数据就是 JSON 格式的。最典型的地理信息就是GEOJSON,所以这种数据可以直接存在MongoDB里,做地理位置的搜索,比如说查一查,离我最近的是谁,数据在不在地理围栏里,在MongoDB数据库上就可以直接处理了。

总之,MongoDB开发起来是特别简单的,与传统开发一个应用需要使用大量不同的数据库不同。使用MongoDB,在一个数据模型上、一个数据库上,就可以实现业界需要的大多数操作。举例来说,设备产生了数据可以直接存进MongoDB数据库里,表示出各种各样数据之间的关系、不仅可以做到ACID,而且支持事务处理、对数据任意字段的查询、地理位置搜索、全文搜索甚至向量搜索,支持现在最新的 AI 应用。

请添加图片描述

如上所介绍的都是功能上的信息,我具体给大家讲一个例子,来给大家解释一下MongoDB到底是怎么用的。例如车联网或移动设备的应用,传感器发送信息到平台,检测到事故或故障,会联系对应的车主,再找到最近的 4S 店来提供帮助,我们就以这个为例,从数据层面来看一看,可能会去涉及到哪些数据。

第一,传感器会把数据上报,这个时候就会产生需要处理时序的数据。

第二,肯定要根据这个时序数据,比如说车的ID,那这个车是什么车?对应车辆 ID 的车的配置信息是什么?

第三,联系车主,需要处理这个车跟车主之间的关系。

第四,需要提供呼叫支持,因此还需要 4S 店的信息,包括 4S 店的位置、以及店里有什么配件的信息等等。

这些都是需要处理的基础数据,那如果我们用传统的架构,实际上需要很多不同的数据的模组来支持。

比如说第一个处理是 IoT传感器上报的数据,我们可能需要用时序。

那我们上报拿到这个车辆ID,我们需要找到对应的这个车,这个车是个什么配置?哪一年出产的?我们可能需要有一张宽表。

还要找到这个车主是谁?可能需要关系型数据库的表。

还需要知道哪个4S店能支持?因此还需要 4S 店的信息。

4S店能不能支持这个车?它有没有出故障的这个配件的信息?都需要有关系型数据库来保存。

那同样的我们需要找到这个车的位置,以及对应哪个 4S 店离它最近?就需要一个地理位置信息的插件。

而且很多时候,比如说搜索配件的话,如果不是输全名,而只是输配件的一个关键字,那么这个时候又涉及到全文搜索。

实际上现在很多 AI 的应用,还要处理向量的信息,比如说需要把车辆的异响数据变成向量信息存储在数据库里,那这个时候还需要增加一个向量数据库来做 AI 的应用。

所以可以看到,虽然这个业务现在看起来很标准、而且似乎是出海必备的服务,但其实构建这个应用本身是非常复杂的,需要处理这么多不同的组件、需要开发人员开发这些组件、在组件之间移动数据,而且要做大量的ETL(Extract-Transform-Load)的工作,将来还需要构建、需要维护,其实这个对企业来说是很大的负担和挑战。

请添加图片描述

而如果用MongoDB,就可以把所有这些功能都用统一的接口、用一个数据库来实现。奔驰汽车在整个车联网的系统里,一共只有两套数据库,一套是 MongoDB,处理所有实时数据;而历史数据都是存放到Hadoop平台做历史数据分析,所以让整个开发和运维都变得非常简单。

谈到架构,就不可避免的谈到成本问题,那么 MongoDB 能够帮助大家做什么呢?首先要理解智能制造企业出海遇到的成本都有哪些主要挑战?

第一、数据量庞大。在游戏行业,一个游戏有100 万玩家就已经数据量很大了;但对智能制造企业来说,有100万个或200万个设备需要做管理,只是刚起步的一个状态。可能几TB是刚起步、几十TB是标配、上百TB非常常见。怎么处理IoT这么巨大的数据量?特别是考虑到制造业的毛利,成本能不能有效的压降,是个必须应对的问题。

第二、技术栈复杂。有那么多复杂的技术栈,从开发角度,得确保开发人员每个技术栈都得懂、运维的同事每个技术栈都得能维护、还要确保这些技术栈之间的数据互相的 ETL 都能够工作,也是一个很大的技能和成本挑战。

MongoDB 怎么做?IoT 数据,只要是JSON格式的,都可以直接存到 MongoDB ,并且在存储过程中,MongoDB 会自动地把存进的所有数据都转化成时序的存储方式,所以MongoDB可以自动地支持所有时序数据的处理,比如说用window 函数算 5 分钟平均最大、最小,然后帮你自动地去落盘。

请添加图片描述

更重要的是,MongoDB可以支持自动数据压缩,可以把数据大小从原始尺寸大概减少90%,这样可以大幅度地压缩数据的存储、降低成本。而且跟其他常见的时序数据库不同的是,MongoDB并不要求大家预先定义时序数据表。常见的时序数据库要先把字段先定下来,以后有新设备的时候就需要去修改和增加字段,就会导致停机,但是 MongoDB 是完全不需要。只要数据是JSON格式,直接存入MongoDB 就可以了。MongoDB甚至可以做到在同一个表中允许新老设备传上来的数据是不同格式的,在 MongoDB 里都可以自动的存储,这样就可以大幅减低开发量,确保新老设备都可以做到无缝的处理。至于新设备有哪些字段、老设备有哪些字段,可以在后台的程序里去进一步处理,但是MongoDB可以把它全部都收进来,非常容易,而且能实现数据的压缩。

这只是MongoDB帮助制造企业控本的第一步,也是最基础的一步。其实在 IoT 、包括智能制造的业务场景中历史数据的问题,比如血压计或血糖仪,大家关注的可能更多的是最近身体的变化情况;对两年以前,甚至 4 个月以前的数据可能不太关心、或者只是偶尔看一看。那这种情况下你可以定一个时间,比如说是一个星期、两个星期或者两个月、甚至一年,MongoDB可以做到自动的数据归档。只要你定义出这个时间,自动的就会把保存在 MongoDB 数据库的老数据移动到S3的存储上,从而大幅的降低存储的成本。

而且移到 S3 之后,应用依然可以用MongoDB 的接口访问这些历史数据的,只是它的性能会稍微降低一点,但是从成本最优的角度以及服务有效的角度上讲,这无疑是非常优化的方式,且整个过程是完全通过数据库自动来完成的,不需要人为的任何干预。开发人员要做的,只是定义多老的数据需要归档,是一周、两周还是一个月。

能不能在这个基础上再优化?答案是肯定的,因为在很多设备的场景中,有一部分数据是需要实时处理的。但有一部分数据可能只是做历史归档和统计,数据其实根本不需要进数据库了,可以直接把它放到 S3 上,因为S3是非常低成本的存储,直接把它放在 S3 上,只要格式是JSON,那么 MongoDB就可以支持用 MongoDB 的接口和查询语言直接搜索 S3 上的数据。只要开发一套接口,这些非实时的数据就可以直接在 S3 上处理掉。这样可以再次压降成本。

采用MongoDB Atlas,可以对IoT场景有哪些帮助?

第一,只要设备发送的 JSON 数据,就都可以通过 MongoDB 统一的接收和存储。不管新老数据格式是不是完全一致,都可以完全的把它接收回来,在存储的时候都实现用时序数据,在实现时序数据的分析和支持的同时又大幅地压降存储。

第二,自动实现冷热数据归档,进一步降低数据的成本。同时如果是不需要做实时分析的数据,就可以直接把它放进S3里,在S3上直接帮助大家做分析。

请添加图片描述

另外,除了实现功能以外,另一个很重要的问题是实现数据合规。数据合规对制造行业、储能行业以及医疗行业都是非常重要的,这些行业的规范和区域的规范是一定要满足的。MongoDB托管平台Atlas都可以提供全面支持。

MongoDB认为,在现在的环境下仅仅是满足基础要求,是不够的,MongoDB需要在这个基础上做更多的事情来助力客户保证隐私。除了能够做到基础数据库的落盘和传输的加密以外,其实很大的一个挑战,就是比如客户的姓名、联系方式、ID、家庭住址这些敏感信息,能不能更进一步保护客户的隐私?MongoDB是可以做到的。MongoDB可以实现字段级加密,字段在落盘的时候就是加密的,在数据库这一侧就是加密的秘文,而且密钥不是放在数据库里,而是放在客户端。这也就是说,只有掌握这个密钥,在客户端才能够把这个变成明文,除此以外都是秘文。即使你能够访问数据库,数据库里也全部是秘文。而且数据库侧,数据库管理员、厂商是没有企业的密钥的,即使企业的数据库被非授权访问了,这些信息也都是秘文;包括做数据查询的时候,实际上所查询的这些字段也是用密钥加密的;查询也是秘文查秘文,这样就可以保证数据隐私,在数据库这一侧是绝对安全的。

为什么客户会需要这样的功能?其实现在还有一个监管的要求,就是遗忘权。就是即使从数据库的角度就算我把这个数据库删了,但因为我们是放在云上的,甚至我们的数据库可能就是托管的,怎么能保证你这个数据真的被删了?你是做个删除操作,但怎么能保证这个数据真的就没有了呢?会不会被从备份上恢复呢?会不会在文件系统中被恢复?其实我们都没办法保证。但是如果我们用了字段级加密,因为密钥掌握在我们自己手里,只要我们销毁了密钥,就可以确认这些敏感的数据已经全部被销毁了,因为没有人能破解你的这些秘文。

我们看到已经越来越多的厂商应用这样的技术。MongoDB的客户之一,是全球非常知名的家庭设备制造企业,保存了大量的家庭敏感信息,包括姓名、家庭住址、联系方式,客户需要保存这些信息,才能有效管理企业设备,为客户提供卓越服务。这家客户就采用了MongoDB Atlas客户端加密的方式,所有的密钥都是保存在应用侧的,数据库侧完全没有,所有的查询都是通过密钥,以秘文查秘文,确保用户信息的绝对安全。,客户也可以删掉这个密钥,确保这些数据完全失效,满足在欧洲的非常严格的合规要求。

请添加图片描述

MongoDB正在帮助众多的中国智能制造企业出海,某医疗设备企业,借助 MongoDB 原生的时序数据,以及冷热分离方式,实现了存储成本降低67%

MongoDB 现在也在帮助众多光伏和储能的企业出海,因为MongoDB大大地简化了这些企业的技术栈,因为只需要一套数据库,MongoDB把业务发布周期短到了天,只要有业务需要,很快就可以发布出来。

点击了解更多MongoDB智能制造客户案例:

智能制造案例专题|与MongoDB一起解锁工业4.0转型与增长的无限潜力!

点击观看教程,学习如何在亚马逊云科技Marketplace上使用MongoDB Atlas:

Demo|亚马逊云科技Marketplace上的MongoDB Atlas

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/23256.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++标准模板(STL)- 迭代器库-迭代器适配器- 逆序遍历的迭代器适配器 (二)

迭代器库-迭代器原语 迭代器库提供了五种迭代器的定义,同时还提供了迭代器特征、适配器及相关的工具函数。 迭代器分类 迭代器共有五 (C17 前)六 (C17 起)种:遗留输入迭代器 (LegacyInputIterator) 、遗留输出迭代器 (LegacyOutputIterator) 、遗留向前…

网站安全小白也能搞定的SSL证书安装免费方法

大家都知道,部署一个网站,除了购买域名,现在基本标配SSL证书。 我们以aliyun为例 大家看到这个,收费的SSL证书几千-几万1年不等。这时候,你就会想有没有免费的可以搞。linux老鸟都知道, Let’s Encrypt 、…

Megapoly.Art - Mechanic Shop Pack

Megapoly.art很高兴推出“汽车机械师包”。这个模块化包包括创建汽车机械师场景所需的一切,从简单的工具到先进的机器,包括路虎卫士的额外内容。 移动友好型低多边形建模和优化的纹理。 包信息 总计:129个预制件 - 5个独特的机器,21个建筑预制件,98个道具和奖励内容路虎(…

JVM类加载机制和双亲委派

类加载机制 java文件需要编译成字节码文件(.class文件),jvm是通过类加载机制,将.class文件加载进内存,经过验证连接->初始化直到使用该对象的过程就是类加载机制,当new对象的时候,jvm首先去常量池寻找该类的符号引用…

LabVIEW电路板性能与稳定性测试系统

LabVIEW电路板性能与稳定性测试系统 概述: 开发基于LabVIEW的电路板性能与稳定性测试系统,通过集成多种测试仪器,实现对电路板的电气性能和长期稳定性的全面评估。系统涵盖了电压、电流、温度等多项参数的监测,并具备自动化测试…

Navicat+sqlite操作数据

使用navicat操作数据库(比如sqlite数据库)可以实现与access(参考该文)一样的操作,可以导入导出excel等格式的文件,如下图所示。 两种方式的sql语句的语法也基本一样。

C# PaddleOCR 单字识别效果

C# PaddleOCR 单字识别效果 效果 说明 根据《百度办公文档识别C离线SDKV1.2用户接入文档.pdf》,使用C封装DLL,C#调用。 背景 为使客户、第三方开发者等能够更快速、方便的接入使用百度办公文档识别 SDK、促进百度 OCR产品赋能更多客户,特设…

水泵选型指南

在现代暖通空调(HVAC)系统中,冷冻水泵是关键组件之一,它在提供冷却和空调效果方面起着至关重要的作用。选择合适的冷冻水泵不仅可以提高系统效率,还能节省能源和维护成本。本文将介绍冷冻水泵选型的关键因素和步骤。 …

【遗传算法】【机器学习】【Python】常见交叉方法(二)、多点交叉和均匀交叉

往期遗传算法文章见: 【遗传算法】【机器学习】【Python】常见交叉方法(一)、单点交叉和两点交叉 一、遗传算法流程图 交叉过程即存在于上图的”交叉“(crossover)步骤中。 二、多点交叉 多点交叉的原理就是&#x…

金融科技发展报告:移动支付的市场格局、趋势与优缺点

一、引言 随着科技的飞速发展,金融科技已成为推动全球经济发展的重要力量。移动支付作为金融科技的重要分支,其市场格局与趋势日益受到业界的关注。本报告将详细剖析移动支付的市场格局,并深入探讨其发展趋势,同时结合相关案例和数据,为读者呈现移动支付的优缺点,以及国…

LNMP网络架构的搭建

操作准备:准备三台虚拟机 安装 MySQL 服务 (1)准备好mysql目录上传软件压缩包并解压 cd /opt mkdir mysql tar xf mysql-boost-5.7.44.tar.gz (2)安装mysql环境依赖包 yum -y install ncurses ncurses-devel bison…

JVM之垃圾回收面试总结

文章目录 1.GC概述1.1 什么是垃圾1.2 为什么需要GC?1.3 早期垃圾回收1.4 Java垃圾回收机制1.5 评估GC的性能指标 2.垃圾回收相关算法2.1 垃圾标记阶段的算法2.1.1 引用计数算法(Java没有使用)2.1.2 可达性分析算法 2.2 垃圾清除阶段的算法2.2.1 标记-清除(Mark-Swee…

RAG 高效应用指南 :Query 理解

前言 构建一个检索增强生成 (Retrieval-Augmented Generation, RAG) 应用的 PoC(概念验证,Proof of Concept)过程相对简单,但要将其推广到生产环境中则会面临多方面的挑战。这主要是因为 RAG 系统涉及多个不同的组件,…

Termux安装SSH服务与内网穿透工具实现远程SFTP传输文件

文章目录 前言1. 安装openSSH2. 安装cpolar3. 远程SFTP连接配置4. 远程SFTP访问4. 配置固定远程连接地址 前言 本教程主要介绍如何在安卓 Termux 系统中使用 SFTP 文件传输并结合[cpolar内网穿透工具](cpolar - 安全的内网穿透工具)轻松实现无公网IP远程传输,无需购…

ATFX汇市:加拿大央行或启动首次降息,关注加元贬值风险

ATFX汇市:今日21:45,加拿大央行将公布6月份利率决议结果,当前的基准利率为5%,市场普遍预期其将降息25基点,最新基准利率有可能调降至4.75%。市场人士预期降息的主要依据有两点,其一是加拿大央行行长麦克勒姆…

超级详细Spring AI运用Ollama大模型

大模型工具Ollama 官网:https://ollama.com/ Ollama是一个用于部署和运行各种开源大模型的工具; 它能够帮助用户快速在本地运行各种大模型,极大地简化了大模型在本地运行的过程。用户通过执行几条命令就能在本地运行开源大模型,如Lama 2等; 综上&#x…

SpringBoot:SpringBoot中使用Redisson实现分布式锁

一、前言 Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务。 刚好项目中需要使用到分布式锁,记录一下Redisson是如何使用分布式…

(免费领源码)Java#springboot#MySQL书法社团管理系统36200-计算机毕业设计项目选题推荐

目 录 摘要 Abstract 1 绪论 1.1 研究背景 1.2 研究意义 1.3论文结构与章节安排 2 书法社团管理系统系统分析 2.1 可行性分析 2.2 系统流程分析 2.2.1 数据增加流程 2.2.2 数据修改流程 2.2.3 数据删除流程 2.3 系统功能分析 2.3.1 功能性分析 2.3.2 非功能性分析…

SqlServer2016企业版安装

前言 好久没有知识的累积,最近工作上遇到新的SqlServer2016安装,记录一下 参考文章 SQL Server 2016软件安装包和安装教程 - 哔哩哔哩 (bilibili.com) 安装包准备 需要提前准备软件安装包如下 cn_sql_server_2016_enterprise_x64_dvd_8699450&…

【文档智能】符合人类阅读顺序的文档模型-LayoutReader原理及权重开源

引言 阅读顺序检测旨在捕获人类读者能够自然理解的单词序列。现有的OCR引擎通常按照从上到下、从左到右的方式排列识别到的文本行,但这并不适用于某些文档类型,如多栏模板、表格等。LayoutReader模型使用seq2seq模型捕获文本和布局信息,用于…