亚信安慧AntDB MTK数据同步工具之数据稽核

数据稽核是一种用于确保表数据准确性和一致性的重要方法,它涉及到检查数据的完整性、一致性、有效性和合法性,以及与预期规范的匹配程度等多个方面。随着大数据时代的到来,通过有效的数据稽核,组织可以提高决策的准确性和效率,优化业务流程,并增强数据的可靠性和可用性。

数据稽核也可以帮助组织发现数据质量问题、识别潜在的数据错误,并为数据管理和决策提供可靠的基础。本文介绍了MTK数据稽核的功能以及操作步骤。

MTK支持数据稽核功能,数据稽核包含表记录数稽核、表数据稽核和表结构稽核,它不仅支持同构数据库之间的数据稽核,还支持异构数据库之间的数据稽核,同时也可以进行不同schema映射下的表数据稽核。在数据迁移后,对迁移库的表数据进行数据稽核,可以发现数据的一致性、完整性、准确性等问题。

表记录数稽核

表记录数稽核通过对源表和目标表分别执行:

select count(*) from schemaName.tableName

以获取表名对应的记录数,比较记录数是否一致,需要注意的是支持源端和目标端的schema名称不同。表记录数稽核可用于快速发现数据的完整性问题。

数据校验选中需要校验的所有表,校验范围选择行数。

图1:校验范围-行数

行数校验结果如下图2所示,可以看到源表和目标表在行数不一致时分别展示源表行数和目标表行数:

图2:行数校验结果

表数据稽核

表数据稽核通过select语句将表数据查询出来,再进行内容比对。若遇到大表,且有主键表,再根据主键拆分成多个select语句多线程处理;若是无主键表,则根据rowid或者ctid分段查询,需注意的是不同数据库采用的分段策略有所不同,通过分段查询可以提高数据校验的处理速度。表数据稽核可用于全方面的检查数据的一致性、完整性、准确性等问题。

图3:校验范围-模型和数据

表数据稽核比对结果如下图4所示,可以看到表内容比对的记录数,当表数据不一致时,可以点击详情按钮查看源表和目标表具体的内容差异明细:

图4:校验结果-模型和数据

表差异内容明细图如下图5所示:

图5:表内容差异明细

表结构稽核

表结构稽核可以查看源表和目标表的字段差异,包括对字段名称、字段类型、字段长度的校验。表结构稽核可以用于检查不同环境DDL(数据定义语言)的一致性问题。

图6:表结构差异明细

综上所述,MTK工具的数据校验是一项重要任务。通过使用MTK工具,可以对数据进行校验、验证和修复,以确保数据的准确性和完整性。

MTK工具提供不同的校验方法和规则,用于检查数据中的错误、不一致性和异常值,从而保证数据的质量和可靠性。MTK工具的数据校验也可以帮助我们优化数据流程、快速发现和解决潜在的数据问题,并为后续分析和决策提供可靠的数据基础。因此,在使用MTK工具进行数据校验时,应确保选择适当的校验方法和配置参数,以满足特定的数据质量要求。

关于亚信安慧AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近15年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/163384.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浅谈安科瑞直流电表在荷兰光伏充电桩系统中的应用

摘要:本文介绍了安科瑞直流电表在荷兰光伏充电桩系统中的应用。主要用于充电桩的电流电压电能的计量。 Abstract: This article introduces the application of Acrel DC meters in PV charging pile system in Netherlands.The device is measuring current,volt…

python变量、常量、数据类型

一、变量 变量是存储在内存中的值,这就意味着在创建变量时会在内存中开辟一个空间。 基于变量的数据类型,解释器会分配指定内存,并决定什么数据可以被存储在内存中。 因此,变量可以指定不同的数据类型,这些变量可以…

开源Flutter on Desktop项目-极扩安卓开发者工具

极扩-安卓开发者工具 他能干嘛 这个Flutter on Desktop桌面项目可以辅助你开发APP,支持分析一些运行数据以及操作APK安装等功能,甚至我还加入了Window安卓子系统的功能。 在它的帮助下,你可以快速查看当前正在运行的Activity,给你…

Jmeter 分布式压测

为什么要分布式 jmeter是100%纯java开发的程序,虚拟用户是以线程实现的,在大量并发情况下,很容易出现CPU、内存消耗过大的问题,甚至会出现java内存溢出。一般一台电脑设置500-600线程数即可,如果超过1000线程&#xf…

vue - - - - - vue-qr插件生成二维码

vue-qr插件生成二维码 1. 安装插件2. 组件使用示例图&#xff1a;扫码结果 1. 安装插件 【vue-qr 官网地址】 npm install vue-qr --save // or yarn add vue-qr --save2. 组件使用 <template><vue-qr :logo-src"logoSrc":size"237":margin&qu…

php一句话木马免杀

php一句话木马免杀 针对于php一句话木马做免杀&#xff1a; 利用php动态函数的特性&#xff0c;将危险函数拆分成字符&#xff0c;最终使用字符串拼接的方式&#xff0c;然后重新拼接&#xff0c;后加括号执行代码&#xff0c;并且可以使用花指令进行包装&#xff0c;如无限i…

【Unity】EventSystem.current.IsPointerOverGameObject()对碰撞体起作用

本来我是用 EventSystem.current.IsPointerOverGameObject()来检测是否点击在UI上的&#xff0c;但是发现&#xff0c;他对我的碰撞体也是返回ture,研究半天。。。。找不出问题&#xff0c;然后发现我的相机上挂载了PhysicsRaycaster&#xff0c;去掉之后就好了&#xff0c;至于…

Mapbox中点图层和面图层点击事件重叠,禁止点击穿透方案

使用mapbox的小伙伴们可能都遇到过这个问题,就是当地图上有两个图层,一个面图层一个点图层,二者相重合的时候。假设我们想点击点位弹窗展示一些内容,也想点击面图层的时候弹窗展示一些内容,这时候一个有意思的问题就产生了,就是点击点位弹窗的时候面图层对应的弹窗也会弹…

计算二叉树双分支节点的个数(可运行)

如果对您有用&#xff0c;点个赞&#xff0c;关注一下哦&#xff01;毕竟像我这种不用付monyY的博主不多了&#xff0c;且行且珍惜吧&#xff01;俺只想要数据【偷笑】 运行环境.cpp 如果没有输出结果一定是建树错误&#xff01;&#xff01;&#xff01;&#xff01;&#x…

MySQL-01-MySQL基础架构

1-MySQL逻辑结构 如果能在头脑中构建一幅MySQL各组件之间如何协同工作的架构图&#xff0c;有助于深入理解MySQL服务器。下图展示了MySQL的逻辑架构图。 MySQL逻辑架构整体分为三层&#xff0c;最上层为客户端层&#xff0c;并非MySQL所独有&#xff0c;诸如&#xff1a;连接处…

数据结构:链表

目录 一.为什么要使用链表存储数据&#xff1f; 二.链表的分类 单向或者双向链表&#xff1a; 带头或者不带头&#xff1a; 循环或者非循环&#xff1a; 三.链表的实现 3.1无头单向非循环链表的实现&#xff1a; 3.1.1单向无头非循环链表的声明 3.1.2动态申请一个节点 …

亚马逊防关联要注意什么?看这一篇,防关联有技巧!

亚马逊账号关联的问题&#xff0c;对于跨境电商来说都不陌生&#xff0c;店铺的安全问题往往和账号关联有关&#xff0c;一旦亚马逊账号被关联就很可能导致我们的店铺被封&#xff0c;对于被亚马逊封店的卖家都会有申诉机会&#xff0c;如果无法成功申诉&#xff0c;那将永久被…

C语言——利用函数递归,编写函数不允许创建临时变量,求字符串长度

#define _CRT_SECURE_NO_WARNINGS 1#include<stdio.h>int my_strlen(char* str) {if(*str ! \0)return 1my_strlen(str1);elsereturn 0; }int main() {char arr[] "hello";int len my_strlen(arr); //arr是数组&#xff0c;数组传参&#xff0c;传过去的是第…

NB水表能承受最大的水压是多少?

NB水表&#xff0c;作为新一代智能水表&#xff0c;以小巧的体积、稳定的性能和强大的功能赢得了市场的认可。那么&#xff0c;它究竟能承受多大的水压呢&#xff1f;接下来&#xff0c;小编来为大家揭秘下&#xff0c;一起来看下吧&#xff01; 一、NB水表概述 NB水表&#xf…

安卓手机好用的清单软件有哪些?

生活中每个人都有丢三落四的习惯&#xff0c;伴随着生活节奏的加快&#xff0c;人们常忘事的情况会更加频繁的出现&#xff0c;这时候很多人就开始选择手机上记录清单类的软件&#xff0c;安卓手机在手机市场中占有很大的分量&#xff0c;在安卓手机上好用的记录清单的软件有哪…

SiP封装、合封芯片和芯片合封是一种技术吗?都是合封芯片技术?

合封芯片、芯片合封和SiP系统级封装经常被提及的概念。但它们是三种不同的技术&#xff0c;还是同一种技术的不同称呼&#xff1f;本文将帮助我们更好地理解它们的差异。 一、合封芯片与SiP系统级封装的定义 首先合封芯片和芯片合封都是一个意思 合封芯片是一种将多个芯片&a…

【Leetcode每日一题】mid——6. N 字形变换

题目描述 https://leetcode.cn/problems/zigzag-conversion/description/ 将一个给定字符串 s 根据给定的行数 numRows &#xff0c;以从上往下、从左到右进行 Z 字形排列。 比如输入字符串为 “PAYPALISHIRING” 行数为 3 时&#xff0c;排列如下&#xff1a; 之后&#xff0…

技术细分|推荐系统——推荐系统中的数据去偏方法

本篇的主要脉络同样依据中科大何向南教授、合工大汪萌教授联合在 TKDE 上的一篇综述文章展开&#xff1a;Bias and Debias in Recommender System: A Survey and Future Directions。 下面按照前导文章中介绍的数据偏差 Selection Bias、Conformity Bias、Exposure Bias、Posit…

找JPG格式图片的地址(持续更新中)

问题描述&#xff1a;找JPG格式图片的地址 解决办法&#xff1a; 第一个 谷歌的images 第二个&#xff0c;搜狗图片和百度图片 不过下载是WEBP格式&#xff0c;可以使用一个在线WEBP格式转JPG格式的在线网站即可。 转换的网址为&#xff1a; https://ezgif.com/webp-to-j…

【学历是敲门砖】如果你想有个好的起点,不妨冲一冲计算机考研,这本书将会助你一臂之力

目录 计算机考研难点 《计算机考研精炼1000题》揭秘问答 1. 为什么是1000题&#xff1f; 2. 有什么优势&#xff1f; 3. 编写团队水平如何&#xff1f; 4. 题目及解析品质如何&#xff1f;可以试读吗&#xff1f; 购买链接 高质量的学习提升圈子 京东热卖下单链接&…