Debezium日常分享系列之:Debezium2.5稳定版本之Monitoring

Debezium日常分享系列之:Debezium2.5稳定版本之Monitoring

  • 一、Snapshot metrics
  • 二、Streaming metrics
  • 三、Schema history metrics

Debezium系列之:安装jmx导出器监控debezium指标

除了 Zookeeper、Kafka 和 Kafka Connect 提供的对 JMX 指标的内置支持之外,Debezium MySQL 连接器还提供三种类型的指标。

  • 快照指标提供有关执行快照时连接器操作的信息。
  • 当连接器读取二进制日志时,流指标提供有关连接器操作的信息。
  • 架构历史记录指标提供有关连接器架构历史记录状态的信息。

一、Snapshot metrics

MBean 为 debezium.mysql:type=connector-metrics,context=snapshot,server=<topic.prefix>。

除非快照操作处于活动状态,或者自上次连接器启动以来已发生快照,否则不会公开快照指标。

下表列出了可用的快照指标。

属性类型描述
LastEventstring连接器读取的最后一个快照事件。
MilliSecondsSinceLastEventlong自连接器读取并处理最近事件以来的毫秒数。
TotalNumberOfEventsSeenlong自上次启动或重置以来此连接器发生的事件总数。
NumberOfEventsFilteredlong已按连接器上配置的包含/排除列表过滤规则过滤的事件数。
CapturedTablesstring[]连接器捕获的表的列表。
QueueTotalCapacityint用于在快照器和主 Kafka Connect 循环之间传递事件的队列长度。
QueueRemainingCapacityint用于在快照器和主 Kafka Connect 循环之间传递事件的队列的可用容量。
TotalTableCountint快照中包含的表总数。
RemainingTableCountint快照尚未复制的表的数量。
SnapshotRunningboolean快照是否已启动。
SnapshotPausedboolean快照是否暂停。
SnapshotAbortedboolean快照是否被中止。
SnapshotCompletedboolean快照是否完成。
SnapshotDurationInSecondslong到目前为止快照所用的总秒数(即使尚未完成)。还包括快照暂停的时间。
SnapshotPausedDurationInSecondslong快照暂停的总秒数。如果快照暂停多次,则暂停时间会累加。
RowsScannedMap<String, Long>包含快照中每个表扫描的行数的映射。表在处理过程中逐渐添加到映射中。每扫描 10,000 行并完成表格后更新一次。
MaxQueueSizeInByteslong队列的最大缓冲区(以字节为单位)。如果 max.queue.size.in.bytes 设置为正 long 值,则此指标可用。
CurrentQueueSizeInByteslong队列中的当前记录量(以字节为单位)。

执行增量快照时,连接器还提供以下附加快照指标:

属性类型描述
ChunkIdstring当前快照块的标识符。
ChunkFromstring定义当前块的主键集的下界。
ChunkTostring定义当前块的主键集的上限。
TableFromstring当前快照表的主键集的下界。
TableTostring当前快照表的主键集的上限。

Debezium MySQL 连接器还提供 HoldingGlobalLock 自定义快照指标。该指标设置为一个布尔值,指示连接器当前是否持有全局或表写入锁定。

二、Streaming metrics

仅当启用 binlog 事件缓冲时,事务相关属性才可用。有关更多详细信息,请参阅高级连接器配置属性中的 binlog.buffer.size。 :水平偏移:+1

MBean 为 debezium.mysql:type=connector-metrics,context=streaming,server=<topic.prefix>。

下表列出了可用的流指标。

属性类型描述
LastEventstring连接器读取的最后一个流事件。
MilliSecondsSinceLastEventlong自连接器读取并处理最近事件以来的毫秒数。
TotalNumberOfEventsSeenlong自上次启动或指标重置以来,该连接器已经看到的事件总数。
TotalNumberOfCreateEventsSeenlong自上次启动或指标重置以来此连接器已看到的创建事件总数。
TotalNumberOfUpdateEventsSeenlong自上次启动或指标重置以来此连接器看到的更新事件总数。
TotalNumberOfDeleteEventsSeenlong自上次启动或指标重置以来此连接器看到的删除事件总数。
NumberOfEventsFilteredlong已按连接器上配置的包含/排除列表过滤规则过滤的事件数。
CapturedTablesstring[]连接器捕获的表的列表。
QueueTotalCapacityint用于在流送器和主 Kafka Connect 循环之间传递事件的队列长度。
QueueRemainingCapacityint用于在流处理器和主 Kafka Connect 循环之间传递事件的队列的可用容量。
Connectedboolean指示连接器当前是否连接到数据库服务器的标志。
MilliSecondsBehindSourcelong最后更改事件的时间戳与连接器处理该事件之间的毫秒数。这些值将包含运行数据库服务器和连接器的计算机上时钟之间的任何差异。
NumberOfCommittedTransactionslong已提交的已处理事务数。
SourceEventPositionMap<String, String>最后接收到的事件的坐标。
LastTransactionIdstring最后处理交易的交易标识符。
MaxQueueSizeInByteslong队列的最大缓冲区(以字节为单位)。如果 max.queue.size.in.bytes 设置为正 long 值,则此指标可用。
CurrentQueueSizeInByteslong队列中的当前记录量(以字节为单位)。

Debezium MySQL 连接器还提供以下附加流指标:

表 28. 其他流媒体指标的描述

属性类型描述
BinlogFilenamestring连接器最近读取的二进制日志文件的名称。
BinlogPositionlong连接器读取的二进制日志中的最新位置(以字节为单位)。
IsGtidModeEnabledboolean指示连接器当前是否正在跟踪来自 MySQL 服务器的 GTID 的标志。
GtidSetstring连接器在读取 binlog 时处理的最新 GTID 集的字符串表示形式。
NumberOfSkippedEventslongMySQL 连接器已跳过的事件数。通常,由于 MySQL binlog 中的事件格式错误或无法解析,事件会被跳过。
NumberOfDisconnectslongMySQL 连接器断开连接的次数。
NumberOfRolledBackTransactionslong已回滚且未流式传输的已处理事务的数量。
NumberOfNotWellFormedTransactionslong不符合 BEGIN + COMMIT/ROLLBACK 预期协议的事务数量。正常情况下该值应为 0。
NumberOfLargeTransactionslong未装入前瞻缓冲区的事务数。为了获得最佳性能,该值应明显小于 NumberOfCommitedTransactions 和 NumberOfRolledBackTransactions。

三、Schema history metrics

MBean 为 debezium.mysql:type=connector-metrics,context=schema-history,server=<topic.prefix>。

下表列出了可用的架构历史记录指标。

属性类型描述
StatusstringSTOPPED、RECOVERING(从存储中恢复历史记录)、RUNNING 之一描述数据库模式历史记录的状态。
RecoveryStartTimelong恢复开始的时间(以纪元秒为单位)。
ChangesRecoveredlong在恢复阶段读取的更改数。
ChangesAppliedlong恢复和运行时应用的架构更改总数。
MilliSecondsSinceLast​RecoveredChangelong从历史存储中恢复上次更改以来经过的毫秒数。
MilliSecondsSinceLast​AppliedChangelong自上次应用更改以来经过的毫秒数。
LastRecoveredChangestring从历史存储中恢复的最后更改的字符串表示形式。
LastAppliedChangestring最后应用的更改的字符串表示形式。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/766818.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

革新水库大坝监测:传统软件与云平台之比较

在水库大坝的监测管理领域&#xff0c;传统监测软件虽然曾发挥了重要作用&#xff0c;但在多方面显示出了其局限性。传统解决方案通常伴随着高昂的运维成本&#xff0c;需要大量的硬件支持和人员维护&#xff0c;且软件整合和升级困难&#xff0c;限制了其灵活性和扩展性。 点击…

Neo4j桌面版导入CVS文件

之后会出来一个提示框&#xff0c;而且会跳出相关文件夹&#xff1a; 然后我们将CSV文件放在此目录下&#xff1a; 我们的relation.csv是这样的 参见&#xff1a; NEO4J的基本使用以及桌面版NEO4J Desktop导入CSV文件_neo4j desktop使用-CSDN博客

C++11:左值与右值|移动构造|移动赋值

​ &#x1f3ac;慕斯主页&#xff1a;修仙—别有洞天 ♈️今日夜电波&#xff1a;マイノリティ脈絡—ずっと真夜中でいいのに。 0:24━━━━━━️&#x1f49f;──────── 4:02 &#x1f504; …

MySQL表内容的增删查改

在前面几章的内容中我们学习了数据库的增删查改&#xff0c;表的增删查改&#xff0c;这一篇我们来学习一下对表中的内容做增删查改。 CRUD : Create(创建), Retrieve(读取)&#xff0c;Update(更新)&#xff0c;Delete&#xff08;删除&#xff09; 1.创建Create 我们先创建…

Zabbix Web界面中文汉化

要想达到上图的效果&#xff0c;第一步先查看 /usr/share/zabbix/assets/fonts/ [rootservice yum.repos.d]# ll /usr/share/zabbix/assets/fonts/ 总用量 0 lrwxrwxrwx. 1 root root 33 3月 23 16:58 graphfont.ttf -> /etc/alternatives/zabbix-web-font 继续查看graph…

基于霍夫检测(hough变换)的人眼瞳孔定位,Matlab实现

博主简介&#xff1a; 专注、专一于Matlab图像处理学习、交流&#xff0c;matlab图像代码代做/项目合作可以联系&#xff08;QQ:3249726188&#xff09; 个人主页&#xff1a;Matlab_ImagePro-CSDN博客 原则&#xff1a;代码均由本人编写完成&#xff0c;非中介&#xff0c;提供…

es 集群开机自动启动

前面搭建了 es 集群&#xff0c;但是每次机器重启 都需要手动启动&#xff0c;很麻烦&#xff0c;所以这里介绍一下开机自动启动 首先使用 root 用户 es &#xff1a; 执行以下命令 vim /etc/init.d/elasticsearch 将以下内容 cv 进去 #!/bin/bash #chkconfig: 345 63 …

vue实现饼图渲染的步骤

1) 创建一个DOM对象,有自定义的高和宽. 2) 引入Echarts软件包并导入到对应文件内 npm i Echarts import 文件.js script src.../文件 3) 初始化一个对象 4) 对象的方法实现饼图渲染 data内的数据,且当一个对象已经渲染一遍,再执行这个,会对setOption的参数进行更新,其…

Linux的学习之路:2、基础指令(1)

一、ls指令 上篇文章已经说了一点点的ls指令&#xff0c;不过那还是不够的&#xff0c;这篇文章会介绍更多的指令&#xff0c;最起码能使用命令行进行一些简单的操作&#xff0c;下面开始介绍了 ls常用选项 -a 列出目录下的所有文件&#xff0c;包括以 . 开头的隐含文件。 -d…

02课程发布模块之部署Nginx

部署Nginx 部署网关 通过Nginx访问后台网关&#xff0c;然后由网关再将请求转发到具体的微服务,网关会把请求转发到具体的服务 upstream gatewayserver{server 127.0.0.1:63010 weight10; } # 网站首页对应的虚拟机 server {listen 80;server_name www.51xuecheng.cn…

Yoast插件:您的WordPress网站SEO优化利器

在之前的文章中我们介绍了如何低成本使用WordPress来搭建个人网站&#xff0c;相信很多朋友都希望自己的网站能够被搜索引擎所收录&#xff0c;并获得更高的排名&#xff0c;从而吸引更多的流量和用户。如果是的话&#xff0c;您需要了解SEO&#xff08;搜索引擎优化&#xff0…

使用git+ssh访问github,避免下载资源失败

一、创建github账户之后&#xff0c;记住注册邮箱和账户名 我的邮箱&#xff1a;yuanyan23mails.ucas.ac.cn 账户名&#xff1a;thekingofjumpshoot 下边的相关位置需要用自己的邮箱和用户名替代 二、输入本地生成秘钥和公钥命令&#xff0c;并且生成公私钥对 ssh-keygen …

初识进程的地址空间、页表

一、&#x1f31f;问题引入 &#x1f6a9;代码一&#xff1a; #include<stdio.h>#include<unistd.h>int g_val100;int main(){pid_t idfork();if(id0){//子进程while(1){printf("I am a child pid:%d ppid:%d g_val:%d\n",getpid(),getppid(),g_val);…

单元测试框架 Junit

目录 什么是Junit&#xff1f; Junit的基础注解有哪些&#xff1f; 什么是参数化&#xff1f;参数化通过哪几种方式传输数据&#xff1f; 单参数 多参数 CSV文件获取参数 方法获取参数 测试用例执行顺序如何控制&#xff1f; 什么是断言assert&#xff1f;Assertions类…

18、【qlib】【其他组件/特性/主题】序列化

序列化 简介 Qlib支持将DataHandler、DataSet、Processor、Model等组件的状态保存至磁盘并重新加载。 可序列化类 Qlib提供了一个基础类qlib.utils.serial.Serializable,其状态可以以pickle格式保存到磁盘或从磁盘加载。当用户将一个Serializable实例的状态dump至磁盘时,…

JVM面试专题

文章目录 JVM 内存模型及分区1. 堆区&#xff08;Heap&#xff09;2. 栈区&#xff08;Stack&#xff09;3. 方法区&#xff08;Method Area&#xff09;4. 本地方法栈&#xff08;Native Method Stack&#xff09;5. 程序计数器&#xff08;Program Counter&#xff09; 堆内存…

AOF 持久化是怎么实现的?

资料来源 : 小林coding 小林官方网站 : 小林coding (xiaolincoding.com) AOF 日志 试想一下&#xff0c;如果 Redis 每执行一条写操作命令&#xff0c;就把该命令以追加的方式写入到一个文件里&#xff0c;然后重启 Redis 的时候&#xff0c;先去读取这个文件里的命令&#xf…

说道说道JSP和HTTP吧

大家都知道的是JSP&#xff08;Java Server Pages&#xff09;&#xff0c;也知道有个传输协议为HTTP协议&#xff0c;那么他俩到底有啥关系&#xff1f;像是有关系但又有点说不清楚&#xff0c;这里咱们一块捋一捋。 我们说servlet处理客户端请求的方式有2种&#xff1a;get和…

使用Intellij idea编写Spark应用程序(Scala+Maven)

使用Intellij idea编写Spark应用程序(ScalaMaven) 对Scala代码进行打包编译时&#xff0c;可以采用Maven&#xff0c;也可以采用sbt&#xff0c;相对而言&#xff0c;业界更多使用sbt。这里介绍IntelliJ IDEA和Maven的组合使用方法。IntelliJ IDEA和SBT的组合使用方法&#xf…

FANUC机器人零点标定的基本步骤(出厂数据)

FANUC机器人零点标定的基本步骤(出厂数据) FANUC 零点数据存在问题的机器人通常会出现以下几种报警: (1)SRVO-062报警 - 脉冲编码器数据丢失,机器人完全不能动,具体消除方法可参考以下链接中的内容: FANUC机器人SRVO-062报警原因分析及处理对策 (2)SRVO-075报警 -…