vs xaml 语句完成 自动列出成员_数据传输 | mysqldiff/mysqldbcompare 实现 DTLE 自动化测试...

作者:张静文

爱可生上海研发中心成员,测试工程师,负责 DMP 以及 DTLE 自动化测试。

本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

任务:

测试开源产品 dtle(https://github.com/actiontech/dtle),对 mysql 字符类型,表结构的支持性。测试需求如下:

1. 测试 dtle 对 mysql 所有的字符类型支持性

2. 测试 dtle 对表结构的支持性

3. 等.......

测试步骤大致为:

1. 设计表结构,数据类型。

2. 使用 dtle 迁移表/数据。

3. 对比使用 dtle 迁移的源数据库和目标数据库的数据、表结构是否有差异。

起初,我开启了 2 个窗口一条条的对比,但是当我比对到第 100 条数据的时候,我发现眼花了,似乎有些数据“好像不一样”。我还有好几万条数据要这么对比呢,而且每次发新版本,我都要这么来一次......这不是人能完成的艰难任务!

所以我寻找是不是有什么工具能帮我做这部分工作,搜索后发现一部分私人写的小工具(具体的就不列举了),但是经过使用后,发现很多工具自身就带有一部分 BUG,如果我用这些工具做数据对比肯定会遗漏 BUG。

经过几天的搜索试用,发现 mysql 官方提供了一个非常不错工具mysqldiff/mysqldbcompare,所以想着分享给大家。

以下就直接说说使用方法:

 (系统:Ubuntu 18.04)

1. 软件下载,地址如下:
https://cdn.mysql.com/archives/mysql-utilities/mysql-utilities-1.6.5.tar.gz
2. 解压到当前目录 mysql-utilities-1.6.5 下:
tar -zxvf mysql-utilities-1.6.5.tar.gz
3. cd 到 mysql-utilities-1.6.5,执行安装:
apt install mysql-utilities

如下图:

45dc71ee933eac44b77d80c0344cd0a3.png

4. 演示 mysql-utilities 中的 mysqldiff 使用和效果:

首先我们可以通 过 mysqldiff --help 命令查看用法:

7376272393fe80e09dbbf7b7849bc27e.png

接下来我要测试通过 DTLE 数据迁移的 2 个数据库,然后验证:

1. 是否有表结构改变

2. DTLE 是否将源数据库的所有数据全部迁移到目标数据库

分别使用如下 2 条命令:

mysqldiff--server1=test:test@10.20.30.3:3306--server2=test1:test1@10.20.30.4:3307 testdb:testdb

执行效果如下:

ede76a4659edc679abd15539cfb1da04.png

结论:通过比对,发现源数据库中有 2 张表并不在目标数据库中,而且很详细的列出了迁移失败的表名。

mysqldiff--server1=test:test@10.20.30.3:3306--server2=test1:test1@10.20.30.4:3307 testdb.char_columns:testdb.char_columns

执行效果如下:

313dc89f03cbfeb40640f741d45cea0e.png

结论:通过比对,发现有源数据库中 char_columns 表的建表语句有差异。

5. 演示 mysql-utilities 中的 mysqldbcompare 使用和效果:

同上我们可以通过 mysqldbcompare --help 命令查看用法:

191bb0ff15330ba16eb9b37135b65fba.png

使用如下命令可以查看源库和目标库中的表数据是否有差异:

mysqldbcompare--server1=test:test@10.20.30.3:3306--server2=test1:test1@10.20.30.4:3307 testdb:testdb

执行效果如下:

5ef72e6f7d94efa85692a7f50f4c2cc5.png

结论:通过比对,发现源库和目标库中的数据一致。

本次分享几条简单的命令到此结束。

重点在于:

1. 作为测试,我们可以通过以上 2 个小工具减少我们重复性的工作,提高测试结果的准确性。

2. 如果我们有一定代码基础,可以集成以上小工具,完成一套 DTLE 的自动化测试脚本,方便以后每次版本发布的回归测试。


文章推荐:

数据传输 | dtle 使用初探数据传输 | dtle 之 job 实现简析
49d33ef921760843d6a98022b035f3d7.png

社区近期动态

da16885890b295ac92784406a23d71f4.png

fd70e049cc657ab2793c9848469efb6a.gif 点一下“阅读原文”了解更多资讯

207cb1cfc5db2fee05378820cbd7651d.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/503984.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

js去el的map_JS中也可以使用JSTL和EL标签

//往上滑是调用分页function Ajax(currPage, pageSize) { // ajax后台交互String currPage,String pageSizevar el, Plist, i;el document.getElementById(thelist);var cancle function(options) {var pattern ${pageContext.request.contextPath}/integralParadise/userIn…

python 局域网主机扫描_python扫描局域网主机名

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台&…

python 并发执行命令_python: 多线程实现的两种方式及让多条命令并发执行

一 概念介绍Thread 是threading模块中最重要的类之一,可以使用它来创建线程。有两种方式来创建线程:一种是通过继承Thread类,重写它的run方法;另一种是创建一个threading.Thread对象,在它的初始化函数(__init__)中将可…

python全系列之爬虫scrapy_python爬虫scrapy之登录知乎

下面我们看看用scrapy模拟登录的基本写法:注意:我们经常调试代码的时候基本都用chrome浏览器,但是我就因为用了谷歌浏览器(它总是登录的时候不提示我用验证码,误导我以为登录时不需要验证码,其实登录时候必须要验证码的…

python 类方法 函数_Python OOP类中的几种函数或方法总结

概述实例方法使用实例调用时,默认传递实例本身到实例方法的第一个参数self使用类调用时,必须传递一个实例对象到实例方法的第一个参数静态方法使用实例调用和类调用效果相同;类方法装饰器版:使用实例调用和类调用效果相同;classmethod(function)版:在类中,尽量不要使用classmet…

raft算法_Raft算法与实现

强一致性、高可用的存储组件是构建现代分布式系统的必要条件,广泛应用于注册中心、配置中心等平台设施中,分布式锁、协调器等等各类场景需求也有相关需求,在该领域有众多知名的开源组件,如etcd、zookeeper、Tikv等等。共识算法是实…

python桌面翻译_Python实现桌面翻译工具【新手必学】

Python 用了好长一段时间了,起初是基于对爬虫的兴趣而接触到的。随着不断的深入,慢慢的转了其它语言,毕竟工作机会真的太少了。很多技能长时间不去用,就会出现遗忘,也就有了整理一下,供初学者学习和讨论。相…

python 环境管理工具_再见 virtualenv!K神教你轻松管理多个Python环境

原标题:再见 virtualenv!K神教你轻松管理多个Python环境超级无敌干货第一时间推给你!!!小编电脑上有多个 Python 开发环境,每次都是用 virtualenv 创建一个 Python 虚拟环境,pip 安装第三方库&a…

mysql选取最小值_MySQL:选择x最小值

是否希望此工作(未测试):SELECT moname, MIN(updatetime) FROM amoreAgentTST01GROUP BY moname HAVING COUNT(moname)>1编辑-上面的意思只是作为现有代码的替换,所以它不会直接回答您的问题。我认为这样的事情应该适用于你的主要问题:SELECT moname, updatetime FROM amore…

python22起作业答案_python第22天作业

今日作业:1、检索文件夹大小的程序要求执行方式如下python3.8 run.py 文件夹import osimport sysfile_list os.listdir(sys.argv[1])def file_size(file_list,size 0):for file in file_list:if not os.path.isfile(file):file_list os.listdir(file)if not file…

python字典导入mongodb_Python语言生成内嵌式字典(dict)-案例从python提取内嵌json写入mongodb...

本文主要向大家介绍了Python语言生成内嵌式字典(dict)-案例从python提取内嵌json写入mongodb,通过具体的内容向大家展示,希望对大家学习Python语言有所帮助。从mongo查询利用python 读写如新的集合import traceback,from gaode_hotel.conn_mongodb impor…

python把浮点数转换成16进制_Python将colorsys RGB坐标转换为十六进制

从this answer开始,我在Python中生成一些均匀间隔的颜色,如下所示:>>> import colorsys>>> num_colors 22>>> hsv_tuples [(x*1.0/num_colors, 0.5, 0.5) for x in range(num_colors)]>>> rgb_tuples map(lambda x: colorsy…

静态ip ssh无法登录_识别动静态IP的技巧

动态IP,又称DHCP上网,即自动获取IP上网。动态IP这种上网方式,连接网络时即可自动获取IP地址来正常上网。在未使用路由器的情况下,只需要把宽带网线连接到电脑上,电脑上的IP地址设置为自动获得,电脑就可以实…

python集合数据结构_Python数据结构-集合

1.集合"""集合(set):没有重复元素且没有顺序的数据结构定义语法:s set({}) #空集合s set({1, 2, 3, 4, 5})增加:add() 往集合添加一条数据update() 合并,支持传入列表、字典、元组、集合,不支持传入单…

18awg线材最大电流_小米生态链拉车线:2.4A大电流,苹果MFi认证,高速充电不断裂...

对于经常使用苹果手机的用户来说,不随时准备几根充电线好像总感觉差点什么,苹果官方的电源线不耐用早已是公认的事实,其实最主要的还是因为苹果手机电池容量低,相对来说充电次数要比安卓手机多一些,电源线使用频率也就…

method java_解析Java中的Field类和Method类

Field类Field类中定义了一些方法,可以用来查询字段的类型以及设置或读取字段的值。将这些方法与继承而来的member方法结合在一起.就可以使我们能够找出有关字段声明的全部信息,并且能够操纵某个特定对象或类的字段。getGenericType方法返回表示字段的声明…

a股历史30年的大盘价_2020年7月30日大盘走势分析

2020年7月30日大盘走势分析严正声明:分析下面小程序炒股广告与本公众号zyh218642无关,纯属第三方平台自然生成,不要点开,谨防上当受骗。7月份大盘走势分析7月份大盘的多空压力与支撑位置:…第二压力:3139.0…

java 做ui_【原创】JavaApplication的UI也可以做的很美

最近在做Java Application的项目,对于ui的美观,做了一些尝试。有幸看到了JGoodIdes的LookAndFeel包。效果大家可以看看如下连接http://www.jgoodies.com经过试验,解决了中文乱码问题,下面将经验和大家共分享。LookAndFeel如同css一…

python低代码_几行代码搞定ML模型,低代码机器学习Python库正式开源

PyCaret 库支持在「低代码」环境中训练和部署有监督以及无监督的机器学习模型,提升机器学习实验的效率。想提高机器学习实验的效率,把更多精力放在解决业务问题而不是写代码上?低代码平台或许是个不错的选择。最近,机器之心发现了…

java if else重构_java – 如何重构这个有多个if / else语句的方法

我有一种感觉,这个if / else应该被重构,但我不确定我能做什么,或者我是否应该让它像它一样……private String someReportUrl(HttpServletRequest request, HttpServletResponse response) {String url;if (isBackToReportsSummary(request)) {url SUMMARY_PAGE;getReportsSum…