2023 IoTDB Summit:中核武汉核电运行技术股份有限公司主管工程师方华建《IoTDB在核电数字化转型过程的应用实践》...

12 月 3 日,2023 IoTDB 用户大会在北京成功举行,收获强烈反响。本次峰会汇集了超 20 位大咖嘉宾带来工业互联网行业、技术、应用方向的精彩议题,多位学术泰斗、企业代表、开发者,深度分享了工业物联网时序数据库 IoTDB 的技术创新、应用效果,与各行业标杆用户的落地实践、解决方案,并共同探讨时序数据管理领域的行业趋势。

我们邀请到中核武汉核电运行技术股份有限公司主管工程师方华建参加此次大会,并做主题报告——《IoTDB 在核电数字化转型过程中的应用实践》。以下为内容全文。

目录

核电数字化产品研发

核电数字化应用支撑

未来应用展望

各位领导、嘉宾、同仁们下午好,今天我分享的主题是《IoTDB 在核电数字化转型过程中的应用实践》。

今天我的分享分为三个部分,第一个部分是核电数字化产品的研发,第二部分是核电数字化应用的支撑,第三个是我们对 IoTDB 在核电数字化的未来进行一个应用展望。

01

核电数字化产品研发

首先,第一部分,核电数字化产品研发。在介绍核电数字化产品研发之前,不得不提一下我们重要的核电数字化产品 DHP 平台,什么是 DHP 平台?DHP 是新一代以信息技术为基础的数字化转型技术底座,是中国核电工业互联网平台,我们简称它为大核源平台。它是中核武汉基于 30 余年核电运维领域深耕积累,以需求为牵引,以先进技术为重要抓手,推进核能产业和新一代数字技术深度融合,自主研发的集团级工业互联网基础设施平台。

DHP 有以下两大特点:第一个是设备互联,数据互通。我们通过物联网、边缘计算等技术,有效集成了中国核电海量的工业设备与系统数据,打通各类生产要素数据通道,形成智能物联。我们开发了核电大数据平台,整合现有系统,解决了现有信息系统数据贯通的问题。我们提供大数据、人工智能分析的算法模型和物理、化学等各类仿真工具,结合数字孪生、工业智能等技术,对海量数据进行了挖掘分析,提升数据价值。

第二大特点是知识积累,快速创新。我们把大量的工业技术原理、行业知识、专家知识规则化、模型化、软件化,封装成一个个可重复使用的微服务组件,实现知识固化和积累、复用。最终我们将一个个的知识封装成适用于核电特定应用场景的工业 App,实现核电领域的应用创新。目前,我们的核电工业互联网平台 2.0 版本已经发布,2.0 版本采用工业互联网技术,支撑了 21 个核电领域特色应用系统的开发、运行和维护

第二个讲一下我们 DHP 平台的一个部署落地情况。目前我们的 DHP 平台已经在中核集团数据中心部署了中心侧的核电工业互联网平台(DHP)。另外,我们分别在秦山核电、江苏核电、福清核电、海南核电、三门核电、漳州能源六大核电基地部署了电厂侧的核电工业互联网平台,简称是 DHP-C,中国核电六大核电基地目前都已经实现关键业务和应用上平台。我们的平台基于云边协同、安全可靠的路线,实现了应用、数据、模型,运维等多维度的云边一体、互联互通,支撑了集团型企业“一总部多基地”的集中分布式管控

我们的核电工业互联网平台也汇聚了核电领域多种生产要素,沉淀了一系列的标准工具和软件。在工业数据数量方面,我们实时接入了数据测点有 50.3 万,日增 6000 多万条时序数据,然后我们导入了大概有 5 年的历史数据,低频测点有 50 多万,高频测点有 360 多个;我们也接入了设备信息,大概是 200 多万条,工单数据也有 300 多万条,此外还有各种类型的业务系统数据。

在平台标准数量方面:目前我们的平台对外正式发布的标准将近有 90 个标准,囊括了总体的标准 45 项,还有数据标准 15 项、应用与开发标准 8 项等等。总的来说,我们的标准体系涵盖了工业互联网的边缘接入、平台资源,平台层以及应用层的各个方面。

在工业设备数量方面,我们可连接的工业设备数量有 160 万套,工业协议兼容适配数量目前是 14 种,包括了通用的 OPC 协议、Modbus 协议,还有 MQTT 协议、UDP 和 TCP 协议等等。

在工业模型数量方面,我们目前主要集成的是我们核电领域的行业机理模型,总共是 21 大类,251 个,包括了反应堆物理、燃料性能、燃料管理、辐射屏蔽、热工水力、电气等等多个方面。

最后在平台开发者数量方面,我们的平台开发者主要聚焦在核电领域,我们的第三方开发者注册数量大概有 1500 多个,第三方活跃开发者目前是 800 多个。

接下来讲一下我们核电工业互联网平台的时序数据服务系统。我们的核电工业互联网平台是以核电厂实际业务应用需求为牵引,采用先进的一些互联网技术,主要是云技术、大数据技术和人工智能技术,开发的一套能够支撑中国核电工业信息化系统开发、运维和持续升级的平台,最终能够满足中国核电的业务应用需求。

我们的工业互联网平台主要由四个层次加上安全和标准组成,四层分别为边缘接入层、资源层、平台层和应用层。目前我们 DHP 数据平台中的时序数据服务系统使用的是 IoTDB 进行时序数据的存储、分析和处理。我们把各个核电基地的时序数据接入并存储到我们在数据平台的 IoTDB 中,并基于 IoTDB 开发了一系列通用的数据服务,为上层的一些应用提供服务,比方说应用层中的国产化安全生产管理系统、核电厂关键与敏感设备智慧管理系统、国产化设备可靠性管理系统、数字大修指挥中心、运行数字孪生、DCS 健康管理平台等等,这些都是我们核电领域非常关键、核心的一些大型系统。

接下来讲一下我们的时序数据服务系统目前的基本情况。自 2020 年 6 月起,我们陆续在三门、秦山、福清、江苏、海南、漳州六大核电基地部署了我们的 IoTDB 时序数据库,总共完成 50 余万个测点的实时数据接入、存储,采集了六大核电基地 2019 年 7 月至今的所有历史数据,目前最新的时序数据总量是 4000 多亿条,并且我们对六大核电基地每个电厂每个小时中接入的时序数据也进行了分时段的统计。另外,为了保证时序数据接入过程的稳定可靠,我们对时序数据的接入过程已进行了一系列的运维监控与报警信息采集,对各个机组的时序数据采集也实现了监控界面的实时反馈。

接下来讲一下核电工业互联网平台中,我们的时序数据服务系统的架构。目前我们的时序数据服务系统分为总分式架构,我们在 DHP 平台中心侧部署了一套时序数据服务系统,另外分别在六大核电基地各部署了一套电厂侧的时序数据服务系统,各个电厂的时序数据会实时地向 DHP 中心侧进行汇聚和同步

在了解完时序数据服务系统的架构之后,我再讲一下我们选择 IoTDB 的一个历程吧。大体来讲,我们经历了三个阶段:第一个阶段是在 2018 年,我们启动了核电工业互联网关键技术研究项目,其中就包含核电工业时序数据关键技术研究,而其中最重要的一环就是时序数据的存储。我们当时是选择了 HBase,但是由于核电时序数据量巨大,遇到了很大困难。打个很简单的比方,我们核电领域有低频时序数据和高频时序数据,高频时序数据这一块主要是振动数据。以振动数据为例,我见过频率最高的每秒大概是 25000 Hz,就是说有的测点每秒会产生 25000 条数据,所以数据量是巨大的。

对于这种高频和低频时序数据的存储场景,我们在使用 HBase 的时候发现,很多时候随着数据量的增大一些关键的查询并不能满足我们的需求。比方说,我们查询一个数据的快照值,也就是最新值,希望它在毫秒级完成,但是使用 HBase 的过程中,无论我们怎么优化,比如说通过增加一级索引、二级索引这种方式,我们发现快照值查询也只能做到秒级,并不能满足我们的业务需求,所以我们希望时序数据这块能够继续得到性能提升。另外一个方面就是 HBase 的数据压缩方面也不尽如人意,很快就会把我们的磁盘撑满。我们计算过,一个大概 10T 存储容量的 HBase 集群,不到半年的时间,差不多就可以把这个磁盘撑满。

因为以上限制,在 2020 年,由于我们中国核电下发的一个工业互联网平台的研发课题,我们进入了第二个阶段,就是我们需要去调研并制定专门的时序数据处理方案。我们当时选择了最火的 InfluxDB,对 tags、fields 等都进行了针对性的设计,并将它应用于 DHP 的生产环境中,但是到了后面还是发现了一些问题。比如说在高并发场景的时候,大量历史数据的获取也会让 InfluxDB 出现性能瓶颈;比如说查询某个测点一年的历史数据,InfluxDB 可能会出现分钟级的响应,这些都不能满足我们的性能需求。

工欲善其事,必先利其器。基于以上我们的应用实践,我们发现并不能依靠 HBase 和 InfluxDB 解决我们的问题。然后,我们通过某次学术交流会议了解到了 IoTDB,这时我们进入了第三个阶段。通过跟 IoTDB 核心研发人员的交流沟通,我们把 IoTDB 部署到开发测试环境,进行了全方位的性能验证,发现它跟我们中国核电的时序数据存储的特点非常匹配。我们制订了详细的时序数据的存储结构,也进行了针对高频时序数据的存储设计。在此过程中,清华大学的 IoTDB 团队,比如黄向东老师、乔嘉林博士也给予了很大的支持。我们已经将这套时序数据服务系统在中国核电六大核电基地上线,目前(性能)支撑非常好

上面是讲完了我们的时序数据服务系统,下面又是另外一个研发课题,就是我们的国产化时序数据处理系统。自 2013 年 1 月起,我们承担了中国核电的集中研发课题:国产化时序数据处理系统。这个系统主要就是提供我们核电领域时序数据的一整套国产化解决方案。该系统主要由边缘数据采集系统、历史时序数据库、实时数据库、运维管理工具、数据组态、画面组态等等一系列的配套工具组成。目前,我们使用 IoTDB 作为我们这个系统的历史数据库,计划在福清核电和漳州能源试点应用。

我们的国产化时序数据处理系统的数据源包括 DCS 系统、PHM 系统、传感器和其他的一些边缘设备。在采集这一块,我们在国产化时序数据处理系统中开发了一系列针对性的采集工具。在存储这一块,我们主要是依赖于 IoTDB。在数据服务这一块,我们有两种形式的数据服务,一种是 SDK,这块主要是针对我们的程序开发人员;另外一种就是 RESTful API,这种主要是面向物联网或者是工业互联网领域的应用。国产化时序数据处理系统的最上层,是我们基于这些 API 或者 SDK 开发的一系列厂级的核电时序数据工具集,比如有数据分析工具、资产管理工具、安全工具、报警工具等等,计划支撑一系列的核电应用。除此之外,我们还为国产化时序数据处理系统配备了一些配套工具,比方说边缘采集器配置管理工具、数据组态工具、画面组态工具以及数据迁移工具等等。

02

核电数字化应用支撑

讲完了核电的数字化产品研发,下面讲一下 IoTDB 对核电数字化应用的支撑情况。目前,我们以 IoTDB 作为基础存储底座,已经支撑了包括 ERMs,也就是设备可靠性管理系统、ASP-1(国产化安全生产管理系统)、ASP-2(核电厂关键与敏感设备智慧管理系统)、运行数字孪生系统在内的多个核电数字化应用,并为其提供多种时序数据服务,其中就包括:低频时序数据的接入、存储;高频时序数据的接入、存储;高频和低频时序数据的查询,包括快照值查询、历史值查询、插值查询、聚合值查询等等;还包括计算点数据写入、模型训练、数据样本制作数据提供等等。

下面讲一下具体支撑的应用情况。第一个是 ERMs,我们通过 DHP 平台获取了各个电厂 DCS 运行数据以及传感器数据,存储到 IoTDB 中。目前我们一共接入并存储超过 160 万台电厂设备的数据,为 ERMs 应用提供多种形式的数据存取服务。ERMs 系统基于我们提供的数据服务进行专用功能模块的开发,包括设备监督模块、系统监督模块,以及设备故障诊断、设备寿命预测等等。

第二个支撑的应用是 ASP-2(核电厂关键与敏感设备智慧管理系统)。这个应用主要是通过 DHP 平台,获取秦山、江苏、福清、三门、海南 5 家电厂部分测点的历年历史数据,存储到时序数据库 IoTDB 中。然后我们通过 IoTDB 提供的部分测点的历史数据,协助应用方进行全面的数据开发,并提供其他形式的数据服务。

第三个支撑的应用是汽辅泵故障诊断系统。这个系统是一个电厂侧的数字化应用,这个应用比较特殊的一点就是,在这个应用支撑的过程中,我们第一次部署并应用了 Windows 版本的 IoTDB 数据库,接入并存储了汽辅泵设备数据和计算数据。然后我们基于 IoTDB 的原生 API,开发了通用的时序数据接口,为汽辅泵的故障诊断系统提供历史数据、实时数据和插值数据的查询。目前该系统已经投入运行一年,数据存储和接口运行良好。

接下来要讲的一个应用是运行数字孪生系统。这个运行数字孪生系统是我们跟福清核电一起研发的一个大型系统,在这个系统里面,我们主要是通过 DHP 提供的 PI 系统数据采集工具,采集了福清核电 PI 系统中部分机组所有测点的历史数据和实时数据,供数字孪生应用开发,并存储至 IoTDB。我们基于 IoTDB 的原生 API 开发了一系列通用的时序数据接口,获取历史数据,应用方基于这些历史数据进行样本制作。此外,我们还为应用方提供了数据写入服务、存储计算数据等等。

最后一个支撑的应用是三门核电的化学数据管理系统。这个系统需要 IoTDB 支持的原因就是,第一他们需要使用电厂已有 PI 系统中的数据,但是他们的开发人员不熟悉 PI 系统,无法获取 PI 系统的数据。第二,他们需要获取测点的历史值、快照值以及插值,但没有类似接口设计和开发经验,接口开发难度非常大。我们提供的支持,就是我们打通了这个化学数据管理系统与我们 DHP 平台之间的网络端口,开通了我们通用的数据服务给应用。他们基于 IoTDB 提供的这些数据接口,可以获取历史值、快照值以及插值,进行业务计算和分析。这一套系统目前我们的支持已经有大概 8 个月,目前包括数据接入、存储、访问方面,支撑都比较良好,得到了三门核电的认可

03

未来应用展望

最后对 IoTDB 在中国核电未来的应用进行一个展望。

IoTDB 作为时序数据的存储基础底座,我们希望它能够助力中国核电的数字化转型。作为国产时序数据库的佼佼者,随着核电数字化转型的不断深入,IoTDB 能够在以下方面提供支持:第一个是与中国核电的数字化基础平台和应用进一步融合,比如 DHP 平台、ASP-1、ASP-2、运行数字卵生等等,为这些统建应用提供强大的时序数据服务支撑能力。

第二,我们希望 IoTDB 能够助力电厂本地数字化应用的时序数据相关模块的开发、测试和运行,比方说能够提供比较完善的开发、测试环境。

第三,我们希望 IoTDB 能够支撑核电国产化时序数据处理系统的研发,持续打造稳定、高效、安全的时序数据库内核,助力核电厂国产化时序数据服务系统的研发和推广应用。

我们中核武汉/核动力运行研究所将继续与清华大学、天谋科技 IoTDB 团队保持密切合作,为核电提供优异、安全、稳定的时序数据相关产品,加快核电数字化转型的步伐。

最后,我在此也一并感谢 IoTDB 团队这 3 年多以来对我们的支持,希望 IoTDB 的明天更加美好,谢谢大家!

可加欧欧获取大会相关PPT

微信号:apache_iotdb

e0bc990d6007c11cdcbf08f9377427ce.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/643717.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解决方案 | 基于SFTP协议的文件传输断点续传Java实现方案

背景 因项目需要,我们服务每天都需要通过SFTP协议来对接上下游进行文件传输,但是对于一些大文件,在与第三方公司的服务器对接过程中很可能会因为网络问题或上下游服务器性能问题导致文件上传或者下载被中断,每次重试都需要重新对…

LeetCode.2865. 美丽塔 I

题目 题目链接 分析 闲谈:每次读 LeetCode 的题目描述都要费老大劲,o(╥﹏╥)o 题意:这个其实意思就是以数组的每一位作为最高点,这个点(数字)左右两边的数字都不能大于这个数字(可以等于),…

前端JavaScript篇之找出数组中重复的数字、js中数组是如何在内存中存储的?原生遍历数组的方式有哪些?请对以下数组,根据 `born` 的值降序排列

目录 找出数组中重复的数字方法一:使用 Set 数据结构方法二:排序数组 js中数组是如何在内存中存储的?原生遍历数组的方式有哪些?请对以下数组,根据 born 的值降序排列 找出数组中重复的数字 找出数组中的重复数字是一…

【赠书第18期】人工智能B2B落地实战:基于云和Python的商用解决方案

文章目录 前言 1 方案概述 2 方案实施 2.1 云平台选择 2.2 Python环境搭建 2.3 应用开发与部署 2.4 应用管理 2.5 安全性与隐私保护 3 方案优势与效益 4 推荐图书 5 粉丝福利 前言 随着云计算技术的快速发展,越来越多的企业开始将业务迁移至云端&#x…

云原生离线工作流编排利器 -- 分布式工作流 Argo 集群

作者:庄宇 在现代的软件开发和数据处理领域,批处理作业(Batch)扮演着重要的角色。它们通常用于数据处理,仿真计算,科学计算等领域,往往需要大规模的计算资源。随着云计算的兴起,阿里…

鸿蒙开发入门

下载和安装DevEco Studio: 文档中心https://developer.harmonyos.com/cn/docs/documentation/doc-guides-V3/software_install-0000001053582415-V3 配置鸿蒙开发环境: 文档中心https://developer.harmonyos.com/cn/docs/documentation/doc-guides-V3…

MySQL之数据库DDL

文章目录 MySQL数据库基本操作数据定义DDL对数据库的常用操作创建表修改表格式结构 MySQL数据库基本操作 首先我们先了解SQL的语言组成,他分为四个部分 数据定义语言(DDL)数据操纵语言(DML)数据控制语言(…

亚马逊、eBay、TikTok等平台的综合运营实用工具分享!

亚马逊、eBay等电商平台为卖家提供了广阔的销售机会,但同时也带来了运营管理的挑战。为了提高运营效率和销售业绩,卖家需要借助一些实用工具。本文将介绍一些在亚马逊、eBay等平台上综合运营中非常有用的工具,帮助卖家更高效地管理店铺&#…

CC工具箱使用指南:【处理面要素空洞】

一、简介 面要素在经过一系列的处理后,可能会存在空洞。 有些小空洞面积过小,人工检查很容易遗漏,于是就做了这个工具。 目的就是获取面要素的空洞,或者去除空洞获取要素的边界。 二、工具参数介绍 右键点击面要素图层&#xf…

spring mvc 请求与响应

我是南城余!阿里云开发者平台专家博士证书获得者! 欢迎关注我的博客!一同成长! 一名从事运维开发的worker,记录分享学习。 专注于AI,运维开发,windows Linux 系统领域的分享! 知…

神经网络的学习(Neural Networks: Learning)

1.代价函数 案例:假设神经网络的训练样本有𝑚个,每个包含一组输入𝑥和一组输出信号𝑦,𝐿表示神经网络层数,𝑆𝐼表示每层的 neuron 个数(𝑆&#…

k8s 容器 java 应用内存限制不生效

一 k8s java 应用内存限制不生效 回顾:Linux杂谈之java命令 namespace负责资源隔离 cgroups负责资源限制 容器JVM最佳实践 Metaspace 是 非 Heap 内存 管理空间,那么 Heap 就是操作空间 JVM内存模型简介 隔离: 两个进程完全隔离感知&#xff1…

VM虚拟机忘记密码,ISO镜像修改

VM虚拟机忘记密码,ISO镜像修改 制作镜像: 镜像已制作,可在文末链接自行获取从镜像启动系统 1)添加IOS镜像文件: 2)开机进去固件: 进入后选择对应的驱动器启动 3. 修改密码 点击修改密码软件&a…

【极数系列】Flink环境搭建(02)

【极数系列】Flink环境搭建(02) 引言 1.linux 直接在linux上使用jdk11flink1.18.0版本部署 2.docker 使用容器部署比较方便,一键启动停止,方便参数调整 3.windows 搭建Flink 1.18.0版本需要使用Cygwin或wsl工具模拟unix环境…

每日一题——LeetCode1309.解码字母到整数映射

方法一 个人方法&#xff1a; 由题意可得&#xff1a; 1、1-26对应a-z&#xff0c;只不过从10开始&#xff0c;后面要加#才能表示字母 2、10# - 26# 都是三位数&#xff0c;开头<2&#xff0c;结尾都为# 3、某个数后面两位如果不为#那么该数为1-9对应a-i&#xff0c;如果…

华为设备配置简单流分类

实验需求&#xff1a;10.1.1.0/24网段的PC访问PC3&#xff0c;流量进入AR1时&#xff0c;DSCP字段优先级为0&#xff0c;在AR1进行配置&#xff0c;将10.1.1.0/24网段流量的优先级映射为内部优先级46。 实验步骤&#xff1a; 步骤1&#xff1a;配置IP地址 [AR1]interface g0/…

Pygame之纯Python实现你好2024效果

Pygame之纯Python实现你好2024效果 前言&#xff1a; 对于某些指JavaScript与前端实现为Python实现你好2024效果的营销号实在看不下去了。无底线营销&#xff0c;还要私信拿源码&#xff0c;hhh 于是就有了以下代码&#xff1a; 运行前安装pygame pip install pygame运行效果…

k8s-基础知识(Service,NodePort,CusterIP,NameSpace,资源限制)

Node Node 是 Pod 真正运行的主机&#xff0c;可以是物理机&#xff0c;也可以是虚拟机。 Annotations 原文链接 Annotations 是 key/value 形式附加于对象的注解。不同于 Labels 用于标志和选择对象&#xff0c;Annotations 则是用来记录一些附加信息&#xff0c;用来辅助应…

HTML 入门手册(一)

目录 HTML介绍 1-基础语法 单标签 双标签 整体结构 2-标题和水平线 标题 水平线 3-段落和换行 段落 换行 4-列表 无序列表 有序列表 嵌套列表 5-div和span div span 6-格式化标签 粗体 斜体 下划线中划线 上标和下标 7-超链接(a标签) 链接到URL 链接…

GitHub无法完成推送 的设置选项

GitHub无法完成推送 的设置选项 系统设置 VS中控制台设置【指令】 控制台调出方法 以下为VS控制台指令 git config --global --unset http.proxy git config --global --unset https.proxygit config --global http.proxy 127.0.0.1:7890 git config --global https.proxy …