数据库迁移测试

数据库
数据源变更:数据库名称、数据库类型等,一般情况下在同类型的数据库之间迁移比较常见,但是也存在不同类型的数据库之间的迁移,例如:oracle到MySQL等等,非关系型数据库到关系型,关系型到非关系型。
数据表:
表名称变更
这个比较常见。
例如原来名称为a,迁移后为a1
表结构变更
这个也很常见,常见的变更如下:
字段新增:例如随着业务拓展,原来的定义的字段不能满足新业务需求,需要新增字段
字段减少:有些过时的字段新业务不再需要,例如邮编,现在几乎用不到了;还有就是有的字段迁移到其他表去了。
字段名称变更:之前有些字段命名不规范或者不贴合业务需求等原因。
字段数据类型变更:比较多的是unix时间变成YYYY-MM-DD HH:mm:ss或者反之,字符串转数字,数字转字符串 
字段映射关系变更:这种情况是表示某种事务的状态比较多。例如订单的状态:1、2、3,数据删除状态:0、1等,在迁移后可能有新的映射关系。映射值比较类型变更,例如之前等于某个值即可表示某种状态,后面迁移只后要对值进行位运算才能判断,或者进行集合运算才能判断,例如判断值是否在某个范围,或者包含某个值才表示某个状态;另外还有一种情况就是这个字段映射到那个字段去了不一定和之前的字段对应。
表数量变更:现在都流行分库分表,原来可能只一个表,迁移后可能存在三四个表;也可能存在多个表合并成一个表的情况。
表约束变更:比如之前有些字段不能为Null,后面迁移可以为NULL。
表索引变更:迁移后索引名称或者字段发生变更,索引变更后如果之前的一些关键字段没有索引可以通过中间表的索引进行转换,不然数据量大的情况下没索引寸步难行。
迁移关系:
一对一(或者单表分片)的数据迁移:
确定对比字段时一般以旧表字段为对比字段。
这种关系一般比较简单就是从一个表迁移到另外一个表,大部分字段也会保持一致,会有很少的字段发生变化,这个时候只需要根据相应的字段进行新旧表关联数据查询即可查询出旧表关联的新数据,进而进行数据对比。当然还有种情况是虽然是单表一对一迁移,但是迁移后可能进行了分表操作,这时候就需要将新表都联合起来进行查询,假设A为旧表,B为新表如:
SELECT 
A.对比字段1,
A.对比字段2

FROM oppo_cn.order_receipts AS A
JOIN   (
        SELECT * FROM a.t _0
        UNION ALL
        SELECT * FROM a.t __1
        UNION ALL
        SELECT * FROM a.t __2
        UNION ALL
        SELECT * FROM a.t __3
    ) AS  B ON A. id = B.id

B表以此类推。
这种情况一般都是以旧表字段为对比字段,因此如果B表字段有差异的话需要进行转换,例如时间格式不一致等。

一对多的数据迁移:
确定对比字段时大部分字段以旧表字段为准,有的会以新表字段为准。
有些时候也会存在旧表一张业务表在新表对应多个业务表,旧表中不同的字段分布在不同的表中。这种情况旧稍微复杂一点,需要从新表中分别查出旧表对应的字段。有的字段需要以旧表为对比标准,有的需要以新表字段为对比标准,这个要具体业务具体分析。这种情况下一般会存在数据拆分或者数据合并的问题。例如旧表中的一个字段之前是一个数组,在新表中对应多个分散的值,这个时候就需要巧妙的运用CASE WHEN 条件语句和聚合函数了。

多对多
这种关系一般极少几乎不存在这样的对应关系,确定对比字段要结合具体业务分析。

确定测试方案:
知道上述差异后我们就可以拟定测试方案了,因为一般在数据迁移的过程中表结构多多少少有些变更,我们再迁移关系中确定对比关系后就知道怎么展开测试了,当然一般数据库中的数据都不会少,所以如果肉眼去对比的话既耗时也不准确,很容易看错,所以最好的办法还是设计脚本进行数据对比。一般情况是将SQL单独分离出来,然后结合脚本来进行数据对比,可以用pandas的compare方法实现数据对比,小编是将查询出来的数据存进Excel然后使用pandas进行对比,不得不说pandas在处理批量数据时还是有一定优势的。

注意事项:
数据对比过程中有些缺省值需要做转换,如NULL,0,‘’,‘0’这些字段这个还是得结合具体业务来分析。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/760535.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

14 网络管理与网络安全(1)

1.网络管理 在网络管理中,一般采用网络管理者-网管代理模型。管理者实质上是运行在计算机操作系统之上的一组应用程序,代理位于被管理的设备内部。一个管理者可以和多个代理之间进行信息交换。网络管理一般采用集中式网络管理或者分布式网络管理。集中式…

基于Springboot+Vue3的大学生毕业作业设计之—招投标分析系统

有系统开发需求可私信我提供帮助哦 ~ 部分 import cn.hutool.core.bean.BeanUtil; import cn.hutool.core.collection.CollectionUtil; import cn.hutool.core.util.ObjectUtil; import cn.hutool.core.util.StrUtil; import com.baomidou.mybatisplus.core.conditions.query.L…

七、Java中SpringBoot组件集成接入【Minio文件服务器】

七、Java中SpringBoot组件集成接入【Minio文件服务器】 1.Minio介绍2.搭建Minio服务2.1Windows部署2.2Linux部署2.3docker部署 3.Minio可视化操作4.SpringBoot接入Minio1.添加maven依赖2.yaml配置文件3.配置类4.工具类5.控制类 5.常见问题6.其他参考文章 1.Minio介绍 对象存储…

解决vue3中刷新浏览器页面的axios请求状态变为canceled

最近在开发中要加一个悲观锁的功能,具体需求是:用户1和用户2不能同时打开一个模型进行编辑,用户1优先进入模型后,要对该模型进行上锁,关闭该模型或刷新页面时要进行解锁,此时在刷新页面时出现了问题。 刷新…

英伟达 GTC 2024大会不可错过的亮点!带你一窥AI和高性能计算的最新趋势!

会议之眼 快讯 2024年的英伟达GTC大会再次掀起了科技界的热潮,展示了该公司在人工智能、图形处理和高性能计算领域的最新突破。来自全球各地的科技领袖、工程师和创新者齐聚一堂,共同探讨未来技术的前沿。在这令人期待的盛会上,英伟达发布了一…

C#关键字 Event

作用: 事件(Event)基本上说是一个用户操作,如按键、点击、鼠标移动等等,或者是一些提示信息,如系统生成的通知。应用程序需要在事件发生时响应事件。例如,中断。C# 中使用事件机制实现线程间的…

vue前端下载文件,java后端

vue前端 <template><div><button click"downloadFile">Download File</button></div> </template><script> import axios from axios;export default {methods: {async downloadFile() {try {const response await axio…

Java多态性:灵活性与扩展性的杰作

多态 在Java编程世界中&#xff0c;多态性是一种重要的概念。它不仅是面向对象编程的核心原则之一&#xff0c;而且是Java语言中实现灵活性和扩展性的关键。本文将深入探讨Java中多态性的概念、原理以及使用多态性的好处&#xff0c;并提供相应的代码示例加以说明。 多态的概…

5611: 【J1】【搜索】网格寻路

题目描述 给你一个 n * m 的网格&#xff0c;其中每个单元格不是 0&#xff08;空&#xff09;就是 1&#xff08;障碍物&#xff09;。每一步&#xff0c;您都可以在空白单元格中上、下、左、右移动。 如果您最多可以消除 k 个障碍物&#xff0c;请找出从左上角 (1, 1) 到右下…

GraalVM详细安装及打包springboot、java、javafx使用教程(打包javafx项目篇)

前言 在当前多元化开发环境下&#xff0c;Java作为一种广泛应用的编程语言&#xff0c;其应用部署效率与灵活性的重要性日益凸显。Spring Boot框架以其简洁的配置和强大的功能深受开发者喜爱&#xff0c;而JavaFX则为开发者提供了构建丰富桌面客户端应用的能力。然而&#xff…

Windows东方通下载及使用

把安装包都拖到桌面来&#xff0c;可以拖一个解压包进去 下载东方通可以不用配环境变量 双击安装包 下一步 点击接受 选择版本&#xff0c;都可以 选择安装路径 下一步 点击安装 改端口号 移到桌面 把安装包里面的文件拖进去 过期了&#xff0c;记得改时间 点击时间面板&…

A4H124-24FX P0973JN FOXBORO 福克斯波罗交换机模块

堆栈连接 交换机具有前面板RJ45端口&#xff0c;用于堆叠配置中的连接。堆叠 用于连接的电缆必须是标准5类或更好的UTP电缆。 冗余电源能力 当连接到可选的外部设备时&#xff0c;A4具有电源冗余功能 冗余电源: STK‐RPS‐150PS&#xff0c;150瓦DC电源&#xff0c;为A4交换机提…

Google云计算原理与应用(四)

目录 七、海量数据的交互式分析工具Dremel&#xff08;一&#xff09;产生背景&#xff08;二&#xff09;数据模型&#xff08;三&#xff09;嵌套式的列存储&#xff08;四&#xff09;查询语言与执行&#xff08;五&#xff09;性能分析&#xff08;六&#xff09;小结 八、…

【考研数学】全年复习懒人包+资料分享

题主要真是能把这两样做透了&#xff0c;别说90&#xff0c;120都不是问题呀&#xff01;那么我们就先来说说你如何能把这1800做透吧。这可是人称考研数学路上最厚的一本习题册了。经常有人是做到一半就被劝退的&#xff01;假设你是挑题出来做&#xff0c;那也行&#xff0c;不…

三大排序(插入排序,选择排序,冒泡排序)

插入排序 原理&#xff1a;将第i个数通过不断与前面大于他的数交换&#xff0c;直到插入到前面合适的位置。 代码 void insert_sort(int arr[],int n){for(int i1;i<n;i){if(arr[i]<arr[i-1])for(int ji-1;j>0;j--){if(arr[j]>arr[j1])swap(arr[j],arr[j1]);els…

蓝桥杯刷题--python-23

2.危险系数 - 蓝桥云课 (lanqiao.cn) n, m map(int, input().split()) map_ [[] for i in range(n 1)] used [0 for i in range(n 1)] used_ [0 for i in range(n 1)] cnt 0 res [] for _ in range(m):u, v map(int, input().split())map_[u].append(v)map_[v].appen…

Yarn面试重点

文章目录 1. 简述Yarn集群的架构2. Yarn 的任务提交流程是怎样的&#xff1f;3. yarn的资源调度的三种模型 1. 简述Yarn集群的架构 YARN&#xff08;Yet Another Resource Negotiator&#xff09;是Hadoop 2.x引入的资源管理器&#xff0c;用于管理Hadoop集群中的资源和作业调…

Git Bash命令初始化本地仓库,提交到远程仓库

git init&#xff1a;初始化空仓库 // 初始化一个空仓库或者重新初始化一个存在的仓库 git init git remote // 为当前本地仓库添加一个远程仓库地址 git remote add origin https://gitee.com/xxx/demo.git git pull // 从设置好链接的远程仓库拉去已经存在的数据&#xff0c;…

centos7安装openGauss数据库

官网手册&#xff1a; https://opengauss.org/zh/download/ 操作系统选择centos&#xff0c;软件包类型选择极简版&#xff1a;https://opengauss.obs.cn-south-1.myhuaweicloud.com/5.0.1/x86/openGauss-5.0.1-CentOS-64bit.tar.bz2 硬件&#xff1a;2c4g 安装手册&#xf…

C++ map字典

C 中&#xff0c;map 是关联容器的一种&#xff0c;关联容器将值与键关联到一起&#xff0c;并使用键来查找值。这与 python 中的字典类型类似&#xff0c;也是用来存储键值对&#xff08;key-value&#xff09; 形式的数据&#xff0c;正如vector可以简单对应到列表。键不能有…