EMQX Enterprise 5.5 发布:新增 Elasticsearch 数据集成

EMQX Enterprise 5.5.0 版本已正式发布!

在这个版本中,我们引入了一系列新的功能和改进,包括对 Elasticsearch 的集成、Apache IoTDB 和 OpenTSDB 数据集成优化、授权缓存支持排除主题等功能。此外,新版本还进行了多项改进以及 BUG 修复,进一步提升了整体性能和稳定性。

新增 Elasticsearch 数据集成

Elasticsearch 是一个分布式的搜索和数据分析引擎,能够提供多样化数据的全文搜索、结构化搜索以及分析等功能。在这个版本中,EMQX 新增了对 Elasticsearch 的数据集成,支持数据的插入、更新和删除操作,这意味着设备数据可以被写入到 Elasticsearch,用户可以灵活地使用 Elasticsearch 的搜索和分析能力对数据进行处理。

设备数据写入到 Elasticsearch 后,用户可以灵活的使用 Elasticsearch 的搜索和分析能力对数据进行处理。典型的使用场景包括物联网设备的事件和日志监测、地理位置数据(Maps)的处理以及终端安全监测。例如,物联网设备会生成大量的日志数据,这些数据可以被发送到 Elasticsearch 中进行存储和分析。通过连接到可视化工具,例如 Kibana,可以根据这些日志数据生成图表,实时展示设备状态、操作记录以及错误消息等信息。

EMQX MQTT Platform 与 Elasticsearch 数据集成

Apache IoTDB 与 OpenTSDB 数据集成优化

Apache IoTDB 与 OpenTSDB 数据集成在这个版本中得到了优化,现在支持配置数据写入模板,通过指定每个字段的时间戳、字段名称、数据类型,实现灵活的数据写入,使得数据集成开发更加快速和灵活。

InfluxDB, IoTDB 与 TDengine 数据集成支持批量设置写入字段

在工业、车联网等应用中,时序类数据集成开发中,存在一条消息包含数百乃至更多数据点位的场景。要配置将它们从消息中提取,并一一对应存储到数据库中是一个重复且复杂的工作。

为了解决这个问题,EMQX 提供了批量设置功能,用户可以通过 CSV 文件编辑要写入的字段名称以及从 Payload 中的取值方式,将其通过 Dashboard 进行导入,实现对应数据集成的快速配置。目前支持的数据集成有 InfluxDB、Apache IoTDB, 以及 TDengine。

消息桥接 SysKeeper 穿透支持

在电力生产系统的网络安全要求下,生产控制区、生产非控制区和生产管理区之间的网络通讯需要通过单向网闸设备保障网络安全。

EMQX 在数据集成中新增了正向网闸 SysKeeper 2000 穿透功能,通过配置可以启用此功能,进行 EMQX 消息在不同生产区之间的桥接传输。这一功能确保符合规章制度的情况下,实现了两个生产区之间数据通信,为电力行业物联网应用落地提供了定制化的支持,助力电力系统的安全、高效运营。

消息桥接 SysKeeper 穿透支持

授权缓存支持排除主题

EMQX 提供了开箱即用的客户端授权功能,为应用安全提供了强有力的保障。其中还支持授权缓存,能够大大减少后端压力,实现系统高性能稳定运行。

在启用缓存的基础上,对于一些安全敏感的业务,用户希望将其排除不生成缓存,以实现实时的权限更新保障通信安全。在这个版本中,EMQX 支持为授权缓存添加多个排除主题,客户可以灵活的定制不同安全级别要求,实现整个系统高效稳定运行。

可观测性提升

EMQX 为用户提供了丰富的指标和指标监控服务集成。此前用于指标集成的 Prometheus 只能获取集群运行和客户端、MQTT 相关的基础指标,对于认证授权、规则引擎和数据集成的运行指标没法实现监控管理。

在这个版本中,我们进一步增强了可观测性,暴露了更多的指标,包括:

  1. 认证与授权:每个认证与授权器的状态和允许/拒绝情况
  2. 规则:能够获取每个规则的执行情况,例如触发、通过与未通过、失败次数,以及执行的速度
  3. 数据集成:每个外部集成的连接状态,Sink 与 Source 的执行情况
  4. SSL/TLS 证书有效期,用以实现证书的轮换监控
  5. License 过期时间

通过这些更详细的指标,用户能够实现业务层面的监控,能够详细了解当前主要组件运行状态,更便捷地监测和排除系统问题。

性能提升

  1. 提高了 Kafka 生产者数据集成的性能,改善了 Kafka 服务侧的资源占用。这对于大量使用 Kafka 作为数据流通道的应用来说有非常大的帮助,因为它可以提高系统的整体性能和效率。
  2. 集群节点通信支持批量更新多个订阅操作,进一步提高了 Core - Replicant 架构在跨地域集群、高网络延迟场景下的订阅速度。实测在 220ms 的网络延迟中,能够提升 20% 的订阅速度。该设计还减轻了集群连接代理池的负载,从而最大限度地减少系统过载的风险。
  3. 提高了路由清理时的网络通信效率,在新的实现中,当一个节点宕机时,其余的存活节点只需要交换一个“匹配并删除”操作,这大大减少了所需的网络数据包数量,从而降低了集群间的网络负载。对于在网络延迟较高的跨地域环境中部署的 EMQX 集群,这种优化将会非常有益。
  4. GreptimeDB 数据集成支持异步写入操作,以提供更好的性能。
  5. 支持并发创建和更新数据集成,提高了例如导入备份文件时的操作速度。

其他功能更新

  1. JWT 认证中,Token 携带的 ACL 权限列表采用新的数据格式,使用上更加灵活。
  2. 保留消息支持搜索以及一键清除,此前已经支持了保留消息的列表查看和管理,现在我们对管理的用户体验进行了增强,支持在 Dashboard 上通过主题或者主题搜索管理保留消息列表,并实现保留消息的一键清除。
  3. 延迟消息支持指定主题进行批量删除,此项更新提高了操作效率并减少管理的复杂性。
  4. 调整 REST API 分页大小上限,将分页 REST API 的请求分页大小限制由 3000 调整为 10000,以支持更大数据量的 API 调用。
  5. 数据集成 MQTT 桥接重构,现在一组 MQTT 连接能够用于在多个消息订阅、消息发布配置中。这一改进将使得数据集成配置和管理更加灵活和高效。

BUG 修复

以下是主要 BUG 修复列表:

  • #12243 修复了一系列可能导致全局路由状态不一致的细微竞争条件,确保全局路由状态的正确性和一致性,提高系统的稳定性。
  • #12269 改进了 /clients 接口的错误处理方式。现在,如果查询字符串验证失败,EMQX 将返回 400 状态和更详细的错误信息,而不是通用的 500。这样可以让用户更清楚地知道出错的原因,提高了错误处理的透明度。
  • #12303 修复了保留消息索引的问题。此前如果客户端有通配符订阅,可能会收到与其订阅主题不匹配的无关保留消息。
  • #12404 修复了消息流量较大的情况下,重启数据集成可能导致指标停止收集的问题。现在可以确保在任何情况下都能正确收集数据集成指标,提高了系统的可靠性。
  • #12301 修复了 InfluxDB 中的行协议数值字面量被存储为字符串类型的问题。现在数值字面量将被正确地存储为数值类型,提高了数据的准确性。

更多功能变更和 BUG 修复请查看 EMQX Enterprise 5.5.0 更新日志。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/704807.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

设计模式(二)单例模式的七种写法

相关文章设计模式系列 面试的时候,问到许多年轻的Android开发他所会的设计模式是什么,基本上都会提到单例模式,但是对单例模式也是一知半解,在Android开发中我们经常会运用单例模式,所以我们还是要更了解单例模式才对…

vue3 使用qrcodejs2-fix生成二维码并可下载保存

直接上代码 <el-button click‘setEwm’>打开弹框二维码</el-button><el-dialog v-model"centerDialogVisible" align-center ><div class"code"><div class"content" id"qrCodeUrl" ref"qrCodeUrl&q…

【Vue】组件通信组件通信

&#x1f4dd;个人主页&#xff1a;五敷有你 &#x1f525;系列专栏&#xff1a;JVM ⛺️稳中求进&#xff0c;晒太阳 组件通信 组件通信&#xff0c;就是指组件与组件之间的数据传递 组件的数据是独立的&#xff0c;无法直接访问其他组件的数据想用其他组件的数据--&…

Qt5转Qt6笔记

背景 现在的主程序和扩展的dll库都是qt5环境下编译发布的。但是想以后用qt6。所以考虑是否能够在qt5中兼容qt6的动态链接库进行加载。于是...就开始吧 开始 2024-02-23 安装好qt6后&#xff0c;在vs2019中需要新增qt6版本的安装路径。目录在&#xff1a;扩展->QT VS Tools…

Linux笔记--硬链接与软链接

一、硬链接 1.inode和block 文件包含两部分数据&#xff1a;文件属性和实际内容&#xff0c;属性放在inode中&#xff0c;实际内容放在data block中。还有个超级区块&#xff08;superblock&#xff09;记录整个文件系统的整体信息&#xff0c;包括inode和block的总量&#x…

python 循环语句 while 循环

while循环 Python 编程中 while 语句用于循环执行程序&#xff0c;即在某条件下&#xff0c;循环执行某段程序&#xff0c;以处理需要重复处理的相同任务。其基本形式为&#xff1a; while 判断条件(condition)&#xff1a; 执行语句(statements)…… 执行语句可以是单个语句…

[Docker 教学] 常用的Docker 命令

Docker是一种流行的容器化技术。使用Docker可以将数据科学应用程序连同代码和所需的依赖关系打包成一个名为镜像的便携式工件。因此&#xff0c;Docker可以简化开发环境的复制&#xff0c;并使本地开发变得轻松。 以下是一些必备的Docker命令列表&#xff0c;这些命令将在你下一…

golang学习6,glang的web的restful接口传参

1.get传参 //get请求 返回json 接口传参r.GET("/getJson/:id", controller.GetUserInfo) 1.2.接收处理 package controllerimport "github.com/gin-gonic/gin"func GetUserInfo(c *gin.Context) {_ c.Param("id")ReturnSucess(c, 200, &quo…

基于雷达影像的洪水监测技术方法详解

洪水发生时候大多数是阴雨天气&#xff0c;光学影像基本上拍不到有效影像。雷达影像这时候就能发挥其不受天气影像的优点。现在星载的雷达卫星非常多&#xff0c;如高分三号、陆探一号、海丝一号&#xff08;巢湖一号&#xff09;、哨兵1号等。本文以哨兵1号L1地距(GRD)产品来介…

2018-02-14 新闻内容爬虫【上学时做论文自己爬新闻数据,原谅我自己懒发的图片】

2018-02-14新闻内容爬虫【上学时做论文自己爬新闻数据&#xff0c;原谅我自己懒发的图片】资源-CSDN文库https://download.csdn.net/download/liuzhuchen/88878591爬虫过的站点&#xff1a; 1QQ新闻 1&#xff0c;准备爬取滚动新闻页面 2 通过F12 开发工具查找发现&#xff…

高性能 Kafka 及常见面试题

Kafka 是一种分布式的&#xff0c;基于发布/订阅的消息系统&#xff0c;原本开发自 LinkedIn&#xff0c;用作 LinkedIn 的事件流&#xff08;Event Stream&#xff09;和运营数据处理管道&#xff08;Pipeline&#xff09;的基础。 基础原理详解可见 Kafka 基本架构及原理 基础…

嵌入式驱动学习第一周——git的使用

前言 本文主要介绍git的使用&#xff0c;包括介绍git&#xff0c;gitee&#xff0c;以及使用gitee创建仓库并托管代码 嵌入式驱动学习专栏将详细记录博主学习驱动的详细过程&#xff0c;未来预计四个月将高强度更新本专栏&#xff0c;喜欢的可以关注本博主并订阅本专栏&#xf…

【C进阶】顺序表详解

文章目录 &#x1f4dd;线性表的概念&#x1f320; 顺序表&#x1f309;顺序表的概念 &#x1f320;声明--接口&#x1f309;启动&#x1f320;初始化&#x1f309;扩容&#x1f320;尾插&#x1f309; 打印&#x1f320;销毁&#x1f309; 尾删&#x1f320;头插&#x1f309;…

探索便捷办公新选择:ONLYOFFICE 桌面编辑器

目录 引言 1. ONLYOFFICE 桌面编辑器简介 2. 功能特点 2.1 多格式支持 2.2 实时协作编辑 2.3 兼容性与格式保持 2.4 丰富的编辑功能 3. 使用方法 3.1 下载安装 3.2 打开文档 3.3 编辑文档 3.4 保存和共享 4. 注意事项 4.1 版本更新 4.2 网络连接 4.3 安全性 5.…

FL Studio Producer Edition2024中文进阶版Win/Mac

FL Studio Producer Edition&#xff0c;特别是其【中文进阶版 Win/Mac】&#xff0c;是数字音乐制作领域中的一款知名软件。它为广大音乐制作人、声音工程师以及音乐爱好者提供了一个从音乐构思到最终作品发布的完整解决方案。这个版本特别为中文用户优化&#xff0c;并兼容W…

【Android移动开发】Windows10平台安装Android Studio与人工智能算法模型部署案例

目录 一、Android Studio下载地址二、开发环境JDK三、开始安装Android Studio四、案例展示与搭建五、人工智能算法模型移动端部署案例参考 一、Android Studio下载地址 https://developer.android.google.cn/studio/install.html 电脑配置要求&#xff1a; 下载保存在指定文…

Java+SpringBoot+Vue+MySQL构建银行客户管理新平台

✍✍计算机毕业编程指导师 ⭐⭐个人介绍&#xff1a;自己非常喜欢研究技术问题&#xff01;专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目&#xff1a;有源码或者技术上的问题欢迎在评论区一起讨论交流&#xff01; ⚡⚡ Java、…

Linux按键输入实验-创建按键的设备节点

一. 简介 Linux内核针对 GPIO驱动开发,提供了 pinctrl子系统与gpio子系统,方便了 GPIO驱动程序的开发。 本文开始学习如何利用 Linux内核的 pinctrl子系统,与 gpio子系统提供的 API函数,开发按键驱动。 这里主要学习在设备树文件中创建按键的设备节点。 二. Linux按键…

C# 学习第三弹——表达式

表达式操作数运算符 &#xff08;一&#xff09;算数运算符 错误例子&#xff1a;这不是python&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01; 正确结果&a…

css transform 会影响position 定位

比如通过以下代码.实现导航条上的每个li栏目,以不同的时间间隔,从上向下移动进来并显示 .my-navbar ul li {position: relative;opacity: 0;transform: translateY(-30px);transition: transform .6s cubic-bezier(.165,.84,.44,1),opacity .6s cubic-bezier(.165,.84,.44,1);…