离散制造 vs 流程制造:锚定精准制造未来,从装配线到化学反应,实时数据集成在制造业案例中的多维应用

使用 TapData,化繁为简,摆脱手动搭建、维护数据管道的诸多烦扰,轻量替代 OGG, Kettle 等同步工具,以及基于 Kafka 的 ETL 解决方案,「CDC + 流处理 + 数据集成」组合拳,加速仓内数据流转,帮助企业将真正具有业务价值的数据作用到实处,将“实时数仓”方法论落进现实。

TapData 持续迭代产品能力,优化用户体验的同时,也在不断探索各行各业数据需求的底层逻辑,力求为行业用户提供更加简洁、更具针对性的解题思路。本期内容便是我们在轮胎制造行业做出的实践以及展望。

通过 TapData,我们成功帮助制造业客户搭建了灵活可扩展的工厂质量分析平台,实现了多源异构数据集成,有效提升了生产过程的质量控制与管理效率。除此之外,TapData 还提供了高质量的技术服务支持,帮助我们更快上手。期待未来双方的更多合作。——杭州盈格,某大型离散制造企业集成商

建造一艘大型游轮,涉及数百家供应链企业,如果客户有定制需求,生产流程则更加复杂。如何实现供应链的高效协同?

制造一种创新药品,需要严格控制原材料的质量和工艺流程中的每一个参数。如何实现从原材料到成品的全流程质量监控?

生产一批智能家电,市场需求波动时,需要迅速调整生产计划,并通知上百家供应商。如何确保信息传递及时准确,生产顺利进行?

由此可见,无论是离散制造还是流程制造,信息数据在整个生产过程中都扮演着至关重要的角色。离散制造依赖于对各个零部件的精准管理和供应链的高效协作,而流程制造则需要对生产过程中的各项参数进行严格控制。

众多制造业分支中,不乏一些制造领域在生产过程中兼具流程制造和离散制造的特征,像是半导体制造、食品加工、制药行业、航空航天制造、电子设备制造和化妆品制造等。本文案例中涉及的轮胎制造,也是一个类似的典型例子——橡胶等原材料的混炼、硫化等属于流程制造,而各组件的制造和最终装配则属于离散制造的元素。

下面让我们进入详细的案例解析。

一、客户背景:如何在多源异构及多系统集成融合压力下,搭建质量分析平台

杭州盈格信息技术有限公司是一家专注于工业物联网、智能制造执行系统(MES)、工业大数据分析及相关技术的高科技企业,致力于产品研发、系统集成和工程服务。其主要产品——云端智能制造系统平台(CIM),是一套基于组件式的分布式智能制造执行系统和产业互联系统集成平台。通过 CIM 系统,杭州盈格能够为工业企业构建物联监控系统、智能制造执行系统和企业电商门户,提供数字化、可视化、智能化建设的一体化信息平台。目前,该系统已经在化工、橡胶、机械制造、食品医药等领域得到了广泛应用。

需求:数据可视化

在与橡胶领域某老牌轮胎制造企业合作的过程中,杭州盈格敏锐地体察到生产制造过程中对于数据分析越来越迫切的需求。随着生产过程的复杂性增加和市场竞争的加剧,数据可视化的重要性愈发凸显。数据驱动下,企业可以实现:

  1. 质量控制与提升: 数据分析可以帮助企业实时监控产品质量,识别生产过程中的质量问题。例如,通过实时分析生产线上的传感器数据和质量检测数据,企业能够迅速发现并纠正偏差。此外,历史数据的回溯分析还能揭示潜在的质量趋势和问题根源,为持续改进提供依据。
  2. 生产效率优化: 通过对生产数据的全面分析,企业可以识别生产流程中的瓶颈和低效环节。例如,通过对 MES 系统中的生产计划和实际执行情况进行对比分析,可以找出生产调度中的问题,优化资源配置,提高生产效率。
  3. 设备维护与管理: 数据分析可以帮助企业实施预测性维护,通过对设备运行状态数据的监控和分析,提前发现设备潜在故障,减少停机时间,降低维护成本。例如,通过分析设备的振动、温度等数据,企业可以预测设备的磨损和故障,及时安排维修。
  4. 成本控制: 通过对物料使用、能源消耗等数据的分析,企业可以有效控制生产成本。例如,智能物料管理系统和能源管控系统的数据分析可以帮助企业优化物料采购和库存管理,降低浪费,提高能源利用效率。
  5. 决策支持: 大数据分析工具能够提供多维度的数据可视化展示,为管理层提供全面、直观的决策支持。例如,通过BI工具,管理层可以实时查看各生产环节的关键绩效指标(KPI),进行数据驱动的决策,快速响应市场变化。

为此,杭州盈格计划通过以 Doris 为底座的数仓,结合自建 BI,搭建质量分析平台来满足这一需求。

方案设计:基于 Doris 数仓的数据分析平台

该方案包含以下几个关键部分:

  1. 数据采集与整合
    首先,需要收集来自生产线各个环节的数据,包括但不限于传感器数据、生产计划数据、质量检测数据、设备运行数据、物料使用数据和能源消耗数据。

  2. 数据存储与管理
    处理后的数据将被传输至基于 Apache Doris 的数据仓库。Doris 作为一款高性能的分布式分析型数据库,具备以下优势:

  • 高并发处理能力:支持大规模并发查询,能够满足生产环境中大量实时数据的处理需求。
  • 快速响应:提供低延迟的查询响应时间,确保管理层能够实时获取所需数据。
  • 易扩展性:支持水平扩展,能够根据数据量的增长灵活调整存储和计算资源。
  1. 数据建模与分析
    在数据仓库中,盈格将对收集到的数据进行建模和处理,以支持各类分析需求。具体包括:
  • 数据清洗与预处理:利用 ETL 工具,对原始数据进行清洗、转换和加载,确保数据的一致性和完整性。
  • 数据建模:构建适应不同分析需求的多维数据模型,为质量控制、生产效率优化、设备维护、成本控制等方面的分析提供基础。
  1. 数据可视化与自建 BI
    通过数据中间件,实现自建 BI 系统与 Doris 数仓的无缝对接,从而实现数据可视化。BI 系统将具备以下功能:
  • 仪表盘与报告:提供多种预定义的仪表盘和报告模板,帮助管理层快速获取关键数据。
  • 自定义分析:支持用户自定义数据查询和分析,满足特定业务场景的需求。
  • 实时监控与预警:实时监控生产过程中的关键指标,提供预警功能,帮助企业迅速应对异常情况。

在此基础上构建起的全面质量分析平台,能够支持对生产过程的全方位监控和分析:

  • 实时质量监控:通过对生产线上的传感器数据和质量检测数据的实时分析,及时发现并解决生产过程中的质量问题。
  • 历史数据分析:利用大数据分析技术,对历史生产数据进行深入分析,发现潜在的质量趋势和问题根源,为持续改进提供依据。
  • 智能预警系统:建立基于AI的智能预警系统,及时发现生产中的异常情况,避免问题的扩大化和严重化。

方案难点:多源异构挑战

然而,着手进行具体的工具选型时,在第一步数据集成环节遇到了一些新的难题——数据源现状要求方案能够整合来自多个不同来源的异构数据(例如 MongoDB、Oracle 以及 MySQL),同时还需兼容多种现有系统(涵盖制造执行系统 (MES)、仓库管理系统 (WMS)、智能物料管理系统、能源管控系统等)——形成了复杂的系统集成与数据融合挑战。

值得一提的是,离散制造与流程制造在数据集成上的难点各有侧重:

  • 离散制造:难点主要在于数据源多样化、系统接口复杂、实时数据处理和追溯管理。离散制造企业的数据采集通常依赖手工上报,结合条形码采集等半自动信息采集技术。这种数据采集方式的时间间隔较大,容易受到人为因素的影响,因此确保数据的准确性尤为重要。为应对这些挑战,需要高度灵活的集成方案来处理不同系统的数据,并确保实时性和追溯能力。

  • 流程制造:数据集成的难点主要在于高频率的数据采集和处理、复杂的过程控制模型集成以及系统集成要求高。流程制造行业的自动化程度较高,设备控制层大量采用 DCS(分布式控制系统)、PLC(可编程逻辑控制器)等技术,使得数据采集相对容易实现。这些自动化技术能够实现高频率的数据采集和实时处理,确保生产过程的连续性和数据的一致性。

因此,在搭建数据分析平台时,针对这两种制造模式的不同需求,选择合适的数据集成方案至关重要。例如,采用支持高频数据处理的流数据平台,或使用能够灵活适配多种系统接口的集成工具,可以有效应对这些数据集成上的挑战。通过针对性地选择和实施数据集成方案,企业可以提高数据管理的效率和准确性,从而增强生产过程的优化和决策支持能力。这也是杭州盈格最终选择 TapData 作为整个方案中承担数据集成任务的数据中间件的原因。

接下来,我们将进一步解读该轮胎制造工厂质量分析平台的具体实施与创新实践情况。

二、方案实施:如何高效整合异构数据,构建一体化质量分析平台在这里插入图片描述

在实施质量分析平台的过程中,从多源异构的痛难点,以及离散制造和流程制造各自面临的数据集成挑战出发——前者更依赖精准的零部件管理和高效的供应链协作,后者需要对生产过程中各项参数的严格控制。在实施过程中,特别注重兼顾这两种制造模式的数据需求,确保平台的兼容性与高效性。

数据采集与整合

数据库:MongoDB、Oracle、MySQL 等 → Doris
系统:MES、WMS 等

在构建质量分析平台的第一步,面临的主要挑战是如何有效收集并整合来自生产线各个环节的多源异构数据。这些数据包括但不限于传感器数据、生产计划数据、质量检测数据、设备运行数据、物料使用数据和能源消耗数据。这些数据来源于不同的系统和数据库,例如 MongoDB、Oracle 和 MySQL 等,必须被统一处理和整合,才能在后续的分析中发挥作用。

为了应对这一挑战,我们使用了 TapData 的数据集成工具。TapData 具备强大的数据连接能力,能够无缝集成多个异构数据源,将分散在各个系统中的数据统一到一个集中管理的平台上。在数据采集过程中,TapData 支持实时数据流和批量数据处理,使得数据能够以最小的延迟被采集和整合,为后续的分析提供了坚实的基础。

数据存储与管理

在数据采集和整合完成后,处理后的数据将被传输至基于 Doris 的数据仓库。Doris 的高性能特性在此次项目中发挥了关键作用。它能够支持大规模并发查询,满足制造环境中大量实时数据的处理需求,同时提供低延迟的查询响应,确保管理层能够及时获取所需数据。

Doris 数据仓库的设计还具备极高的易扩展性,能够随着数据量的增长灵活调整存储和计算资源,这一点在制造企业不断扩展的数据需求中尤为重要。此外,Doris 强大的数据管理能力能够确保数据的完整性和一致性,使得分析结果更加精准可靠。

数据建模与分析

数据存储在 Doris 数据仓库中后,杭州盈格对数据进行了细致的建模和处理,以支持多种分析需求。数据的清洗与预处理是其中一个关键环节,通过 TapData,我们能够将原始数据进行标准化处理,确保所有数据符合一致的格式与标准。这为后续的多维数据建模奠定了基础。

在多维数据模型的构建中,我们针对离散制造和流程制造的不同需求,设计了不同的数据分析路径。例如,在离散制造中,特别注重对零部件管理和供应链数据的深入分析;而在流程制造中,则更关注生产过程中各项参数的实时监控和异常检测。这种差异化的建模策略,有助于为实际业务提供更具针对性的分析结果。

数据可视化与自建 BI

为了使数据分析的结果能够直观地展示给管理层和生产一线,通过自建的 BI 系统,实现了与 Doris 数据仓库的无缝对接。这个 BI 系统提供了多种预定义的仪表盘和报告模板,帮助管理层快速获取关键数据。

更重要的是,BI 系统支持用户自定义数据查询和分析,满足特定业务场景的需求。这种灵活性使得管理层能够根据实际情况,快速调整生产策略。此外,BI 系统还具备实时监控与预警功能,能够对生产过程中出现的异常情况进行实时提醒,帮助企业迅速采取应对措施,避免潜在问题的扩大化。

通过上述策略,杭州盈格成功构建了一体化的质量分析平台,满足了离散制造与流程制造企业在数据管理与分析方面的多重需求。这一平台不仅提升了企业的生产效率和质量控制能力,还为未来的数字化转型提供了坚实的基础。

成果反馈

由此,企业实现了对包括条码追踪、热度、湿度等生产数据的高效跟踪和管理,为决策提供了可靠依据。体验反馈如下:

  1. 可视化与易用性
  • 操作简便:TapData 提供的零代码开发和可视化运维界面,使得数据开发和运维工作变得简单直观。即使非专业人员也能轻松上手,快速构建和管理数据流程。
  • 统一监控与管理:TapData 集成了全面的监控和告警功能,企业可以在一个平台上统一管理所有数据链路和任务。这种全链路统一管理方式,不仅提高了数据处理效率,还显著降低了运维复杂度。
  1. 成本控制与快速落地
  • 降低投入成本:相比传统的自研方案,TapData 与 Doris 数仓的组合方案能够显著降低前期投入和维护成本。企业无需组建庞大的开发团队,即可实现高效的数据管理和分析。
  • 快速实施与上线:通过 TapData 的高效集成和自动化功能,企业可以在短时间内完成方案的实施和上线。原本需要数月时间的自研方案,现在仅需一两周即可完成,大大缩短了项目周期。
  1. 为智能化创新铺路
    打通系统数据,统一实时数据形成数据资产层,为数智时代的进一步转型打下数据管理基石。

未来展望

随着工业物联网(IIoT)和人工智能(AI)等技术的迅速发展,制造业中的数据应用将更加广泛和深入。数据集成平台正在逐渐演变为智能化、自动化的生产管理工具。通过对海量数据的智能分析,系统能够自主决策和优化生产流程,大幅提高生产效率和资源利用率。

通过此次合作,我们不仅为轮胎制造企业搭建了高效的质量分析平台,还积累了丰富的数据集成与分析经验,为未来在其他分支领域中的应用打下了坚实基础。

未来,数据将推动整个行业向智能化、数字化方向发展。TapData 也将持续挖掘实时数据在制造行业的实用性价值,为从业者提供更多运营灵感。

采用 TapData 实时数据平台解决方案有哪些优势?

  • 广泛的数据源和目标支持:内置 100+ 数据连接器,稳定的实时采集和传输能力
  • 学习成本低,轻量易上手:开箱即用与低代码可视化操作,支持数据模型预览,无需专业的编程能力,即可完成复杂的数据集成和开发。
  • 更实时,更高效:兼具秒级响应的数据实时计算能力,以及稳定易用的数据实时服务能力
  • 支持数据、任务分类:可根据不同项目自定义标签,方便快速筛选查找,有助于对跨部门协同管理及后续维护
  • 支持平台级数据校验:有效保障数据一致性
  • 可视化任务运行监控和告警:20+ 可观测性指标,实时监测任务最新状态

推荐阅读】:

  • 制造业数字化转型创新思路 |《数智新时代制造业数字化创新实践白皮书》上线!
  • TapData 信创数据源 | 国产信创数据库 OceanBase数据同步指南,加速国产化进程,推进自主创新建设
  • TapData 信创数据源 | 国产信创数据库 TiDB数据迁移指南,加速国产化进程,推进自主创新建设
  • TapData 信创数据源 |国产信创数据库达梦(Dameng)数据迁移指南,加速国产化进程,推进自主创新建设
  • ETL vs. ELT:数据集成的最佳实践是什么?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/54485.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android IME输入法启动显示隐藏流程梳理

阅读Android AOSP 12版本代码,对输入法IME整体框架模块进行学习梳理,内容包含输入法框架三部分IMM、IMMS、IMS的启动流程、点击弹出流程、显示/隐藏流程,以及常见问题和调试技巧。 1. IME整体框架​​​​​​​ IME整体分为三个部分&#xf…

股指期货的持仓量指标如何分析?有哪些作用?

股指期货市的持仓量是一个极其重要的指标,它就像市场的“晴雨表”,能反映出投资者的信心、市场的热度以及潜在的趋势。下面,我们就用大白话的方式来详细解读一下股指期货持仓量指标的分析方法及其作用。 一、什么是股指期货持仓量&#xff1…

用CPU训练机器学习模型

人工智能最近的成功通常归功于 GPU 的出现和发展。GPU 的架构通常包括数千个多处理器、高速内存、专用张量核心等,特别适合满足人工智能/机器学习工作负载的密集需求。 不幸的是,人工智能开发的快速增长导致对 GPU 的需求激增,使得 GPU 难以…

ESP32/ESP8266开发板单向一对多ESP-NOW无线通信

目录 简介读取ESP32/ESP8266接收方Receiver的MAC地址ESP32发送方Sender程序ESP32/ESP8266接收方Receiver程序ESP-NOW通信验证总结 简介 本实验通过ESP-NOW无线通信协议实现ESP32开发板向多个ESP32/ESP 8266开发板发送数据。 读取ESP32/ESP8266接收方Receiver的MAC地址 读取…

Nginx反向代理出现502 Bad Gateway问题的解决方案

🎉 前言 前一阵子写了一篇“关于解决调用百度翻译API问题”的博客,近日在调用其他API时又遇到一些棘手的问题,于是写下这篇博客作为记录。 🎉 问题描述 在代理的遇到过很多错误码,其中出现频率最高的就是502&#x…

LabVIEW提高开发效率技巧----代码规范与文档记录

良好的代码规范与文档记录在LabVIEW开发中至关重要。它不仅能够大幅提升开发效率,还为后续的维护和项目交接提供便利。下面将从命名规则、注释标准、功能说明等多个角度,介绍如何通过规范化开发提高项目的可维护性与协作性。 1. 保持一致的命名规则 在L…

Flutter局域网广播(UDP通信)与TCP通信

前言 现在有一个需求,手机和ESP32通过WIFI进行通信。流程如下: 手机创建TCP服务器手机向192.168.0.255的1002端口广播自己的ip地址以及TCP服务器的端口号ESP32监听到1002的广播内容后,连接手机的TCP服务器。最后就是ESP32硬件和TCP服务器进…

双击热备 Electron网页客户端

安装流程: 1.下载node.js安装包进行安装 2.点击Next; 3.勾选,点击Next; 4.选择安装目录 5.选择Online 模式 6.下一步执行安装 。 7.运行cmd,执行命令 path 和 node --version,查看配置路径和版本 8.Goland安装插件node.js 9.配置运行…

【有啥问啥】深度剖析:大模型AI时代下的推理路径创新应用方法论

深度剖析:大模型AI时代下的推理路径创新应用方法论 随着大规模预训练模型(Large Pretrained Models, LPMs)和生成式人工智能的迅速发展,AI 在多领域的推理能力大幅提升,尤其是在自然语言处理、计算机视觉和自动决策领…

Kafka 下载安装及使用总结

1. 下载安装 官网下载地址:Apache Kafka 下载对应的文件 上传到服务器上,解压 tar -xzf kafka_2.13-3.7.0.tgz目录结果如下 ├── bin │ └── windows ├── config │ └── kraft ├── libs ├── licenses └── site-docs官方文档…

Flink Task 日志文件隔离

Flink Task 日志文件隔离 任务在启动时会先通过 MdcUtils 启动一个 slf4j 的 MDC 环境,然后将 jobId 添加到 slf4j 的 MDC 容器中,随后任务输出的日志都将附带 joid。 MDC 介绍如下: MDC ( Mapped Diagnostic Contexts ),它是一个…

深度学习:(六)激活函数的选择与介绍

激活函数 之前使用的 a σ ( z ) a\sigma(z) aσ(z) ,其中 σ ( ) \sigma(~) σ( ) 便是激活函数。 在神经网络中,不同层的激活函数可以不同。 在学习中,一般以 g ( z ) g(z) g(z) 来表示激活函数。 为什么需要(线性)激活函数&#xff…

K8s容器运行时,移除Dockershim后存在哪些疑惑?

K8s容器运行时,移除Dockershim后存在哪些疑惑? 大家好,我是秋意零。 K8s版本截止目前(24/09)已经发布到了1.31.x版本。早在K8s版本从1.24.x起(22/05),默认的容器运行时就不再是Doc…

算法之搜索--最长公共子序列LCS

最长公共子序列&#xff08;longest common sequence&#xff09;:可以不连续 最长公共子串&#xff08;longest common substring&#xff09;&#xff1a;连续 demo for (int i 1;i<lena;i){for (int j 1;j<lenb;j){if(a[i-1]b[j-1]){dp[i][j]dp[i-1][j-1]1;}el…

Qt (17)【Qt 文件操作 读写保存】

阅读导航 引言一、Qt文件概述二、输入输出设备类三、文件读写类四、文件和目录信息类五、自定义“记事本” 引言 在上一篇文章中&#xff0c;我们学习了Qt的事件处理机制&#xff0c;知道了如何响应用户的操作。但应用程序常常还需要处理文件&#xff0c;比如读写数据。所以&a…

python爬虫初体验(一)

文章目录 1. 什么是爬虫&#xff1f;2. 为什么选择 Python&#xff1f;3. 爬虫小案例3.1 安装python3.2 安装依赖3.3 requests请求设置3.4 完整代码 4. 总结 1. 什么是爬虫&#xff1f; 爬虫&#xff08;Web Scraping&#xff09;是一种从网站自动提取数据的技术。简单来说&am…

指针修仙之实现qsort

文章目录 回调函数什么是回调函数回调函数的作用 库函数qsort使用qsort函数排序整形使用qsort函数排序结构体 qsort函数模拟实现说明源码and说明 回调函数 什么是回调函数 回调函数就是⼀个通过函数指针调⽤的函数。 如果你把函数的指针&#xff08;地址&#xff09;作为参数…

Sigmoid引发的梯度消失爆炸及ReLU引起的神经元参数失效问题思考

Sigmoid和ReLU激活函数思考&#xff09; 引文Sigmoid函数梯度消失问题梯度爆炸问题解决方案 ReLU函数简化模型示例场景设定前向传播对反向传播的影响总结 内容精简版 引文 梯度消失和梯度爆炸是神经网络训练中常见的两个问题&#xff0c;特别是在使用Sigmoid激活函数时。这些问…

后端-navicat查找语句(单表与多表)

表格字段设置如图 语句&#xff1a; 1.输出 1.输出name和age列 SELECT name,age from student 1.2.全部输出 select * from student 2.where子语句 1.运算符&#xff1a; 等于 >大于 >大于等于 <小于 <小于等于 ! <>不等于 select * from stude…

torch模型量化方法总结

0.概述 模型训练完成后的参数为float或double类型,而装机(比如车载)后推理预测时,通常都会预先定点(量化)为int类型参数,相应的推理的精度会有少量下降,但不构成明显性能下降,带来的结果是板端部署的可能性,推理的latency明显降低,本文对torch常用的量化方法进行总…