亚信安慧AntDB MTK数据同步工具之数据稽核

数据稽核是一种用于确保表数据准确性和一致性的重要方法,它涉及到检查数据的完整性、一致性、有效性和合法性,以及与预期规范的匹配程度等多个方面。随着大数据时代的到来,通过有效的数据稽核,组织可以提高决策的准确性和效率,优化业务流程,并增强数据的可靠性和可用性。

数据稽核也可以帮助组织发现数据质量问题、识别潜在的数据错误,并为数据管理和决策提供可靠的基础。本文介绍了MTK数据稽核的功能以及操作步骤。

MTK支持数据稽核功能,数据稽核包含表记录数稽核、表数据稽核和表结构稽核,它不仅支持同构数据库之间的数据稽核,还支持异构数据库之间的数据稽核,同时也可以进行不同schema映射下的表数据稽核。在数据迁移后,对迁移库的表数据进行数据稽核,可以发现数据的一致性、完整性、准确性等问题。

表记录数稽核

表记录数稽核通过对源表和目标表分别执行:

select count(*) from schemaName.tableName

以获取表名对应的记录数,比较记录数是否一致,需要注意的是支持源端和目标端的schema名称不同。表记录数稽核可用于快速发现数据的完整性问题。

数据校验选中需要校验的所有表,校验范围选择行数。

图1:校验范围-行数

行数校验结果如下图2所示,可以看到源表和目标表在行数不一致时分别展示源表行数和目标表行数:

图2:行数校验结果

表数据稽核

表数据稽核通过select语句将表数据查询出来,再进行内容比对。若遇到大表,且有主键表,再根据主键拆分成多个select语句多线程处理;若是无主键表,则根据rowid或者ctid分段查询,需注意的是不同数据库采用的分段策略有所不同,通过分段查询可以提高数据校验的处理速度。表数据稽核可用于全方面的检查数据的一致性、完整性、准确性等问题。

图3:校验范围-模型和数据

表数据稽核比对结果如下图4所示,可以看到表内容比对的记录数,当表数据不一致时,可以点击详情按钮查看源表和目标表具体的内容差异明细:

图4:校验结果-模型和数据

表差异内容明细图如下图5所示:

图5:表内容差异明细

表结构稽核

表结构稽核可以查看源表和目标表的字段差异,包括对字段名称、字段类型、字段长度的校验。表结构稽核可以用于检查不同环境DDL(数据定义语言)的一致性问题。

图6:表结构差异明细

综上所述,MTK工具的数据校验是一项重要任务。通过使用MTK工具,可以对数据进行校验、验证和修复,以确保数据的准确性和完整性。

MTK工具提供不同的校验方法和规则,用于检查数据中的错误、不一致性和异常值,从而保证数据的质量和可靠性。MTK工具的数据校验也可以帮助我们优化数据流程、快速发现和解决潜在的数据问题,并为后续分析和决策提供可靠的数据基础。因此,在使用MTK工具进行数据校验时,应确保选择适当的校验方法和配置参数,以满足特定的数据质量要求。

关于亚信安慧AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近15年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/163384.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浅谈安科瑞直流电表在荷兰光伏充电桩系统中的应用

摘要:本文介绍了安科瑞直流电表在荷兰光伏充电桩系统中的应用。主要用于充电桩的电流电压电能的计量。 Abstract: This article introduces the application of Acrel DC meters in PV charging pile system in Netherlands.The device is measuring current,volt…

Modbus-RTU协议讲解与实战

1、背景 工作需要,需要使用Modbus-RTU实现RS485通信,于是简单学习并实践了一下。 2、参考资料 一文看懂Modbus协议 3、协议说明 3.1、协议类型 当前设备采用Modbus-RTU协议,采用CRC-16_Modbus校验算法,数据链路层使用用标准串口协议,物理层采用RS485进行数据传输。 …

python变量、常量、数据类型

一、变量 变量是存储在内存中的值,这就意味着在创建变量时会在内存中开辟一个空间。 基于变量的数据类型,解释器会分配指定内存,并决定什么数据可以被存储在内存中。 因此,变量可以指定不同的数据类型,这些变量可以…

开源Flutter on Desktop项目-极扩安卓开发者工具

极扩-安卓开发者工具 他能干嘛 这个Flutter on Desktop桌面项目可以辅助你开发APP,支持分析一些运行数据以及操作APK安装等功能,甚至我还加入了Window安卓子系统的功能。 在它的帮助下,你可以快速查看当前正在运行的Activity,给你…

ubuntu/windows/mac小问题记录

ubuntu删除snap,释放dev/mapper/ubuntu–vg-ubuntu–lv使用率100%问题。 当无法用常规方式卸载snapd。粗暴: 删除 Snap 的目录 rm -rf ~/snap sudo rm -rf /snap sudo rm -rf /var/snap sudo rm -rf /var/lib/snapd sudo rm -rf /var/cache/snapd删除 S…

Oracle时间排序字段

要用 TIMESTAMP(6) 不要用 date 因为 date只到秒 ,排序不准确

开发外卖霸王餐返利小程序的步骤有哪些?

外卖霸王餐返利小程序是一种基于社交电商模式的小程序,主要实现用户和商家的共赢。 开发外卖霸王餐返利小程序的方案可以包括以下几个步骤: 1、需求分析 明确外卖霸王餐返利小程序的功能和特点。确定用户可以参与的活动类型、返利规则、用户界面设计等…

Jmeter 分布式压测

为什么要分布式 jmeter是100%纯java开发的程序,虚拟用户是以线程实现的,在大量并发情况下,很容易出现CPU、内存消耗过大的问题,甚至会出现java内存溢出。一般一台电脑设置500-600线程数即可,如果超过1000线程&#xf…

vue - - - - - vue-qr插件生成二维码

vue-qr插件生成二维码 1. 安装插件2. 组件使用示例图&#xff1a;扫码结果 1. 安装插件 【vue-qr 官网地址】 npm install vue-qr --save // or yarn add vue-qr --save2. 组件使用 <template><vue-qr :logo-src"logoSrc":size"237":margin&qu…

php一句话木马免杀

php一句话木马免杀 针对于php一句话木马做免杀&#xff1a; 利用php动态函数的特性&#xff0c;将危险函数拆分成字符&#xff0c;最终使用字符串拼接的方式&#xff0c;然后重新拼接&#xff0c;后加括号执行代码&#xff0c;并且可以使用花指令进行包装&#xff0c;如无限i…

Pol8891 规格书 ——图像处理芯片/RGB转MIPI支持图像 90°/270°旋转处理

一、芯片简介 1、系统 高性能 MIPS 32bit CPU 内核&#xff1b; 高性能 DSP 内核图像处理单元&#xff1b; 8KB 指令 Cache&#xff1b; 8KB 数据 Cache&#xff1b; 64KB OnChip SRAM&#xff1b; 内嵌 DDR3 控制器&#xff1b; 2、RGB 输入 支持 RGB666、RGB888 输入…

中电金信:《保险业监管研究及数字化转型方向探索白皮书》

纵观近二十年保险业从信息化向数字化的演进过程&#xff0c;我们感受到了数字化转型阶段性成果渐成的喜悦&#xff0c;同时也深深的体会到数字化转型在“痛并快乐着”的历程中的种种艰辛。当今世界正处于百年未有之大变局&#xff0c;随着我国保险市场的供需格局演变和外部环境…

【Unity】EventSystem.current.IsPointerOverGameObject()对碰撞体起作用

本来我是用 EventSystem.current.IsPointerOverGameObject()来检测是否点击在UI上的&#xff0c;但是发现&#xff0c;他对我的碰撞体也是返回ture,研究半天。。。。找不出问题&#xff0c;然后发现我的相机上挂载了PhysicsRaycaster&#xff0c;去掉之后就好了&#xff0c;至于…

Mapbox中点图层和面图层点击事件重叠,禁止点击穿透方案

使用mapbox的小伙伴们可能都遇到过这个问题,就是当地图上有两个图层,一个面图层一个点图层,二者相重合的时候。假设我们想点击点位弹窗展示一些内容,也想点击面图层的时候弹窗展示一些内容,这时候一个有意思的问题就产生了,就是点击点位弹窗的时候面图层对应的弹窗也会弹…

计算二叉树双分支节点的个数(可运行)

如果对您有用&#xff0c;点个赞&#xff0c;关注一下哦&#xff01;毕竟像我这种不用付monyY的博主不多了&#xff0c;且行且珍惜吧&#xff01;俺只想要数据【偷笑】 运行环境.cpp 如果没有输出结果一定是建树错误&#xff01;&#xff01;&#xff01;&#xff01;&#x…

libbz2 for Mac OS makefile

git地址&#xff1a;git://sourceware.org/git/bzip2.git a文件Makefile # ------------------------------------------------------------------ # This file is part of bzip2/libbzip2, a program and library for # lossless, block-sorting data compression. # # bzip…

MySQL-01-MySQL基础架构

1-MySQL逻辑结构 如果能在头脑中构建一幅MySQL各组件之间如何协同工作的架构图&#xff0c;有助于深入理解MySQL服务器。下图展示了MySQL的逻辑架构图。 MySQL逻辑架构整体分为三层&#xff0c;最上层为客户端层&#xff0c;并非MySQL所独有&#xff0c;诸如&#xff1a;连接处…

jar包打进本地仓库

jar包打进本地仓库 <dependency><groupId>com.test</groupId><artifactId>test-api</artifactId><version>1.0.0</version> </dependency>mvn install:install-file -Dfiletest.jar -DgroupIdcom.test -DartifactIdtest-api …

数据结构:链表

目录 一.为什么要使用链表存储数据&#xff1f; 二.链表的分类 单向或者双向链表&#xff1a; 带头或者不带头&#xff1a; 循环或者非循环&#xff1a; 三.链表的实现 3.1无头单向非循环链表的实现&#xff1a; 3.1.1单向无头非循环链表的声明 3.1.2动态申请一个节点 …

kmalloc

kmalloc(size(结构体)*n)就是申请n个大小为结构体的空间&#xff0c;然后返回一个指向这个空间的首地址的指针。这个指针可以看作是一个数组&#xff0c;它的每个元素都是结构体&#xff0c;所以可以使用索引来访问这个空间的不同部分。例如&#xff0c;如果你有一个指针p&…