MySQL生产环境迁移至YashanDB数据库深度体验

前言

首届YashanDB「迁移体验官」开放后，陆续收到「体验官」们的投稿，小崖在此把优秀的投稿文章分享给大家~今天分享的用户文章是《MySQL生产环境迁移至YashanDB数据库深度体验》（作者：呆呆的私房菜），满满干货，不要错过！

号外！新的征文活动已开启，戳一戳下方图片即可跳转活动链接，最高可获千元大奖！

作为崖山数据库产品发布的第一批体验体验官，有幸被邀请参与崖山迁移平台（YashanDB Migration Platform，YMP）产品的体验活动，所以有了这篇文章。本次迁移计划将MySQL数据迁移到YashanDB数据库中，并在迁移过程中遇到的问题及其对产品的体验输出自己的使用感受和产品建议，也希望国产数据库能做得越来越棒！

01 产品相关

1.1 产品介绍

崖山迁移平台（YashanDB Migration Platform，下文以YMP代称）是YashanDB提供的数据库迁移产品，支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移、数据校验的能力。YMP提供可视化服务，用户只需通过简单的界面操作，即可完成从评估到迁移整个流程的执行与监控，实现低门槛、低成本、高效率的异构数据库迁移。

YMP是一款具备【精准评估】、【SQL自动转换】、【评估迁移无缝对接】、【对象一键迁移】、【数据高i性能迁移】、【数据校验】、【一站式服务】这7个核心特性的工具，能够解决迁移兼容性与工作量评估、异构数据库元数据迁移以及数据快速迁移的问题。

1.2 产品架构

YMP的总体架构如下：

1.3 产品规格

1.3.1 数据库版本支持

1.3.2 数据类型支持

02 YMP安装

YMP工具官方提供的部署文档如下：

https://doc.yashandb.com/ymp/23.2/zh/%E5%AE%89%E8%A3%85%E5%8D%87%E7%BA%A7/%E5%AE%89%E8%A3%85%E4%B8%8E%E5%8D%B8%E8%BD%BD.html

YMP工具部署的步骤简单，需要关注的是YMP工具的业务存储库选择问题。目前YMP支持默认内置库和自定义内置库两种接入方式：

1)默认内置库：安装YMP工具时默认安装YashanDB作为内置库；

2)自定义内置库：使用外部的YashanDB数据库作为YMP的业务库使用。

2.1 环境说明

2.2 执行安装

下载链接：https://download.yashandb.com/download

上传软件包Yashan Migration Platform 23.2.1（Linux X86）到/tmp下边

## 1. 创建安装用户
useradd ymp
echo "ymp" | passwd --stdin ymp## 2. 创建安装目录并解压安装包
$ mkdir -p /home/ymp/soft
$ unzip /tmp/yashan-migrate-platform-v23.2.1.2-linux-x86-64.zip -d /home/ymp/soft
$ cd /home/ymp/soft/yashan-migrate-platform## 3. 安装参数调整
### 3.1 配置内置库的密码和端口（注意不要与本机的其他端口重叠）
$ cat /home/ymp/soft/yashan-migrate-platform/conf/db.properties
YASDB_PASSWORD=ymppw602.
YASDB_PORT=8091
YASDB_CHARACTER_SET=UTF8### 3.2 配置YMP配置文件，注意服务端口不要重叠，内置库连接信息注意填写正确
### 注意：这里只列出YMP服务端口和内置库连接信息配置，其他优化项根据实际情况进行调整
$ cat /home/ymp/soft/yashan-migrate-platform/conf/application.properties
server.port=8080
spring.datasource.url=jdbc:yasdb://127.0.0.1:8091/yashan
spring.datasource.username=YMP_DEFAULT
spring.datasource.password=ymppw602.
spring.datasource.largePoolSize=64M
spring.datasource.cursorPoolSize=64M
...### 4. 执行安装
$ cd /home/ymp/soft/yashan-migrate-platform/
$ sh bin/ymp.sh installnodb --db /home/ymp/yashandb-23.2.1.0-linux-x86_64.tar.gz### 5. 检查安装情况
$ cd /home/ymp/soft/yashan-migrate-platform/
$ sh bin/ymp.sh status

2.3 访问YMP

浏览器访问：http://xx.xx.xx.xx/#/login，初始化用户名密码：admin/admin

2.3.1 YMP登录界面

2.3.2 YMP迁移流程

YMP迁移流程如下图所示，主要包含创建任务、迁移评估、迁移配置、离线迁移、数据初始化和一致性校验这6个流程。

03 YMP数据迁移

注：由于本次迁移采用的是正式环境数据，所以下列内容关于正式数据的用户名和表名等都做了打码和脱敏。

3.1 创建数据源

3.2 创建任务

3.3 迁移评估

3.4 迁移配置

3.5 离线迁移

3.6 校验初始化

3.7 一致性校验

04 YMP迁移问题记录

本章记录YMP实际迁移中遇到的问题，部分问题由于数据保密要求不做展示，故提供问题复现测试用例供参考。

4.1 YMP使用注意点

4.1.1 多个迁移任务中不能有同名的schema

问题现象：新建迁移任务提示被XX迁移任务评估占用。

原因分析：新建的迁移任务与YMP平台现有的迁移任务中存在同名的schema。

## 登录YMP内置库查询用户情况，发现新建的迁移任务中迁移的schema名与内置库中的schema重叠了
$ yasql sys/ymppw602.@xx.xx.xx.xx:8091
SQL> select username, created from dba_users order by 2;

解决方案：删除原有的已经完成的迁移任务，再新建新的迁移任务。

4.1.2 迁移评估需要完全兼容才能进行下一步

问题现象：【迁移评估】流程执行后，存在部分不兼容对象，无法进行下一步操作。

原因分析：YMP设定的逻辑是兼容达到100%，才能进行下一步操作。

解决方案：根据实际情况进行不兼容对象处理，可以在线改造SQL或者忽略该不兼容对象后，完成后执行【刷新报告】，兼容度达到100%后可以进行下一步操作。

4.1.3 迁移评估不兼容的对象仅支持在线修改

问题现象： 不兼容SQL提示表不存在，改造SQL后在YMP内置库执行创建表操作，【刷新报告】之后还是提示表不存在。

原因分析：【迁移评估】中不兼容的对象，不支持直接在内置库中进行直接修改后跳过不兼容错误。在“刷新报告”之后，手动新增的内置库内容会自动被删除掉。

解决方案：YMP平台上在线更新不兼容对象的SQL语句后，执行【验证并保存】操作。

4.1.5 YMP内置库版本必须大于或等于目标端数据库版本

4.1.6 数据迁移失败不支持手动修复状态

问题现象：【离线迁移】流程中针对部分数据迁移失败的数据，无法手动修复状态。

原因分析：YMP暂不支持手动修复数据迁移失败的状态。

解决方案：查看迁移失败问题详情后，在内置库处理对应失败问题，执行【迁移重试】后完成迁移。

4.2 YMP迁移兼容问题

4.2.1 auto_increment替换问题

问题现象：YashanDB建表语句中使用auto_increment关键字执行失败。

原因分析：YashanDB不支持auto_increment自增语法。

解决方案：YashanDB创建SEQUENCE的方式来兼容MySQL的auto_increment语法。

问题复现：

## Mysql源端建表：
mysql> CREATE TABLE `T1` (`id` bigint(20) NOT NULL AUTO_INCREMENT);## YashanDB目标端建表：
SQL> CREATE TABLE T1 ("ID" bigint NOT NULL AUTO_INCREMENT);
[1:39]YAS-04209 unexpected word AUTO_INCREMENT## YashanDB目标端改造兼容
SQL> CREATE SEQUENCE T1_ID_SEQ;
SQL> CREATE TABLE T1 ("ID" bigint NOT NULL DEFAULT T1_ID_SEQ.NEXTVAL);

4.2.2 varchar字符类型单位问题

问题现象：YMP工具迁移过程中出现字符长度超出。

原因分析：YashanDB的varchar数据类型单位默认是byte

解决方案：使用varchar(N char)的方式来兼容MySQL varchar语法。

问题复现：

## Mysql源端建表和插数据：
mysql> CREATE TABLE `T2`(`record` varchar(2));
Query OK, 0 rows affected (0.10 sec)
mysql> INSERT INTO T2 VALUES ('记录');
Query OK, 1 row affected (0.02 sec)## YashanDB目标端建表和插数据：
SQL> CREATE TABLE T2 (RECORD VARCHAR(2));
Succeed.
SQL> INSERT INTO T2 VALUES('记录');
YAS-04008 RECORD size exceeding limit 2## YashanDB目标端改造：
SQL> ALTER TABLE T2 MODIFY RECORD VARCHAR(2 CHAR);
SQL> INSERT INTO T3 VALUES('记录');
1 row affected.

4.2.3 数据库保留字问题

问题现象：不兼容SQL改造过程中，执行建表语句遇到关键字冲突问题。

原因分析：建表过程中有个字段名为LEVEL，是YashanDB的保留字，所以报错了。

解决方案：将该字段名用双引号引起来可以规避。

问题复现：

-- YashanDB目标端创建表：
SQL> create table t4 (LEVEL varchar(10));
[1:18]YAS-04110 invalid variant name-- YashanDB目标端改造：
SQL> create table t4 ("LEVEL" varchar(10));
Succeed.

4.2.4 字面量查询问题

问题现象：YMP迁移过程中不兼容语句提示“implict table"报错。

原因分析：MySQL数据库支持简写的字面量查询方式，YashanDB数据库需要使用DUAL伪表做查询。

解决方案：使用DUAL做伪表即可规避。

4.2.5 索引键长度超过上限

问题现象：YMP迁移评估不兼容对象提示索引字符长度超出。

原因分析：查看组合索引的3个字段长度，(500CHAR+500CHAR+500CHAR)*4=6000bytes，刚好等于6000bytes的上限。

解决方案：根据实际情况调整组合索引字段长度。

SQL> alter table table_name modify column_name varchar (N CHAR);

4.2.6 纯数字的字段名转换报错

问题现象： YMP元数据迁移过程中出现纯数字的字段名无法设置非空约束报错。

原因分析：YMP针对这种特殊字段名无法直接做转换。

解决方案：将纯数字的字段名加上双引号后，执行【验证并保存】可规避。

4.2.7 GIS数据类型暂不支持转换

问题现象：YMP元数据迁移过程中空间数据类型的表无法正常转换。

原因分析：YMP暂不支持自动转换空间数据类型。

解决方案：YashanDB具备GIS能力，可以用ST_GEOMETRY类型进行兼容。

4.2.8 空格字符迁移遇到NULL问题

问题现象：YashanDB数据库非空约束插入空字符会出现报错。

原因分析：MySQL非空约束允许插入空字符，但是YashanDB不支持，因此会出现报错。

解决方案：先删除表的非空约束，把数据导入完成。

4.2.9 字段重复索引问题

问题现象：YMP元数据迁移过程中提示字段重复索引问题。

原因分析：MySQL支持在主键索引列再创建普通索引。YashanDB不支持该功能。

解决方案：暂时先忽略该索引，观察迁移到YashanDB后的SQL执行计划和效率，再根据实际情况创建索引。

05 迁移小结

YMP迁移工具部署简单，操作界面简洁美观，操作流程清晰明了，小白也可以轻松上手；

迁移过程透明化，从评估到迁移整个流程都提供了详细的报告供下载；

产品功能上还存在优化空间，地理空间类型迁移能力也较薄弱；

YMP目前仅支持全量迁移，暂不支持在线迁移或实时同步等功能；

总体而言，YMP的迁移体验还是蛮不错的。优秀的产品总是在各式各样的应用场景不断迭代后诞生，希望YMP产品能够不断优化迭代，做的越来越好！YashanDB加油！国产数据库加油！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/47700.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Python简化命令行界面库之fire使用详解

Python简化命令行界面库之fire使用详解

概要 在开发命令行工具时，开发者通常需要编写大量代码来解析命令行参数，这既耗时又容易出错。Python Fire 是 Google 开源的一个库，旨在简化命令行界面的开发。它可以将任何 Python 对象自动生成一个命令行界面，从而大大减少了开发时间和代码复杂度。本文将详细介绍 Pytho…
阅读更多...
Elasticsearch基础（五）：使用Kibana Discover探索数据

Elasticsearch基础（五）：使用Kibana Discover探索数据

文章目录 使用Kibana Discover探索数据 一、添加样例数据 二、数据筛选 使用Kibana Discover探索数据 一、添加样例数据 登录Kibana。在Kibana主页的通过添加集成开始使用区域，单击试用样例数据。 在更多添加数据的方式页面下方，单击其他样例数据集…
阅读更多...
Vscode+Pyside6开发之虚拟环境配置以及错误解决

Vscode+Pyside6开发之虚拟环境配置以及错误解决

Pyside开发之虚拟环境配置以及错误解决 开发环境一、项目创建以及虚拟环境设置1.创建项目2. 新建py文件，新建虚拟环境3.激活虚拟环境二、项目位置改变pip命令报错1.删除原来的虚拟环境2. 产生包列表文件requirements.txt3.重新创建虚拟环境4.重新安装包文件5.其他错误开发环境…
阅读更多...
Notepad++换安装路径之后，右键打开方式报错：Windows无法访问指定设备、路径或文件。你可能没有适当的权限访问该项目。的处理方法

Notepad++换安装路径之后，右键打开方式报错：Windows无法访问指定设备、路径或文件。你可能没有适当的权限访问该项目。的处理方法

把Notepad添加到右键打开方式，可以参考下面的3篇文章添加： https://blog.csdn.net/xiaoerbuyu1233/article/details/88287747 https://blog.csdn.net/qq_44000337/article/details/120277317 https://www.cnblogs.com/zhrngM/p/12899026.html 这里主要是…
阅读更多...
谷歌浏览器自动填充密码时，el-input样式错乱

谷歌浏览器自动填充密码时，el-input样式错乱

使用到谷歌浏览器的记忆功能，选择的内容为浏览器保存的内容时 会导致element-plus的el-input样式改变 只需要增加一个css样式，就可以解决问题 :deep .el-input__inner {box-shadow: 0 0 0 1000px #fff inset; }修改后
阅读更多...
上位机图像处理和嵌入式模块部署（香橙派AI Pro开发板试用）

上位机图像处理和嵌入式模块部署（香橙派AI Pro开发板试用）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】 和工控机相比较，linux嵌入式开发板使用上面方便很多、也容易很多。很多的第三方库都可以通过yum、apt-get这样的方法直接下载到，不需要自己通过源代码重新进行编译、安装。因为自…
阅读更多...
Java基础知识之 使用 Cleaner 替代 finalize

Java基础知识之 使用 Cleaner 替代 finalize

Object.finalize 方法 在 Java 中，一个对象如果不再使用，那么它就会在 JVM 垃圾回收时，进行析构释放该对象占用的内存空间。但如果这个对象持有了一些其他需要进行额外处理的资源（非堆内存资源），那么就得考…
阅读更多...
SSR理解（vite与nuxt比较）

SSR理解（vite与nuxt比较）

一、SSR的概念与理解(什么是SSR？) 定义:SSR是指在服务器端完成页面的渲染工作，将最终生成的HTML内容发送给浏览器。 简单来说，就是在服务器端将网页内容渲染成HTML，然后将这个渲染好的HTML发送到客户端，也就是我们的…
阅读更多...
网络安全-等级保护制度介绍

网络安全-等级保护制度介绍

一、等保发展历程 （1）1994国务院147号令 第一次提出等级保护概念，要求对信息系统分等级进行保护 （2）1999年GB17859 国家强制标准发布，信息系统等级保护必须遵循的法规 （3）2005年公安…
阅读更多...
二、BIO、NIO、直接内存与零拷贝

二、BIO、NIO、直接内存与零拷贝

一、网络通信编程基础 1、Socket Socket是应用层与TCP/IP协议族通信的中间软件抽象层，是一组接口，由操作系统提供； Socket将复杂的TCP/IP协议处理和通信缓存管理都隐藏在接口后面，对用户来说就是使用简单的接口进行网络应用编程…
阅读更多...
OPC UA边缘计算耦合器BL205工业通信的最佳解决方案

OPC UA边缘计算耦合器BL205工业通信的最佳解决方案

OPC UA耦合器BL205是钡铼技术基于下一代工业互联网技术推出的分布式、可插拔、结构紧凑、可编程的IO系统，可直接接入SCADA、MES、MOM、ERP等IT系统，无缝链接OT与IT层，是工业互联网、工业4.0、智能制造、数字化转型解决方案中IO系统最佳方案。…
阅读更多...
Quartus II 13.1添加新的FPGA器件库

Quartus II 13.1添加新的FPGA器件库

最近需要用到Altera的一款MAX II 系列EPM240的FPGA芯片，所以需要给我的Quartus II 13.1添加新的器件库，在此记录一下过程。 1 下载所需的期间库 进入Inter官网，（Altera已经被Inter收购）https://www.intel.cn/content…
阅读更多...
web安全之SQL手工注入漏洞测试

web安全之SQL手工注入漏洞测试

一、目的 1.掌握SQL注入原理； Sql注入详解(原理篇)_sql注入攻击的原理-CSDN博客 2.了解手工注入的方法； 3.了解MySQL的数据结构； 4.了解字符串的MD5加解密 二、过程 1.进去后出现以下界面 找注入点 发现有注入点，即id被代入执…
阅读更多...
华清数据结构day3 24-7-18

华清数据结构day3 24-7-18

基于昨天代码增加增删改查功能 zy.h #ifndef ZY_H #define ZY_H #define MAX 100 //最大容量 //定义学生类型 struct Stu {char name[20];int age;double score; }; //定义班级类型 struct Class {struct Stu student[MAX]; //存放学生的容器int size; //实际…
阅读更多...
Mysql —— 事务

Mysql —— 事务

目录 什么是事务？ 两种方式实现事务： 方法一 方法二： 事务四大特性(简称ACID) 并发事务问题（面试题） 事务隔离级别 什么是事务？ 事务是一组操作的集合，它是一个不可分割的工作单位&#xff…
阅读更多...
Web开发：ASP.NET CORE前后端交互之AJAX（含基础Demo）

Web开发：ASP.NET CORE前后端交互之AJAX（含基础Demo）

目录 一、后端 二、前端 三、代码位置 四、实现效果 五、关键的点 1.后端传输给前端： 2.前端传输给后端 一、后端 using Microsoft.AspNetCore.Mvc; using Microsoft.AspNetCore.Mvc.RazorPages; using Microsoft.AspNetCore.Mvc.Rendering; using WebAppl…
阅读更多...
StarRocks on AWS Graviton3，实现 50% 以上性价比提升

StarRocks on AWS Graviton3，实现 50% 以上性价比提升

在数据时代，企业拥有前所未有的大量数据资产，但如何从海量数据中发掘价值成为挑战。数据分析凭借强大的分析能力，可从不同维度挖掘数据中蕴含的见解和规律，为企业战略决策提供依据。数据分析在营销、风险管控、产品优化等领域发挥…
阅读更多...
使用 spring MVC 简单的案例 （1）计算器

使用 spring MVC 简单的案例 （1）计算器

一、计算器 1.1前端代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> …
阅读更多...
签名优化：请求数据类型不是`application/json`,将只对随机数进行签名计算，例如文件上传接口。

签名优化：请求数据类型不是`application/json`,将只对随机数进行签名计算，例如文件上传接口。

文章目录 I 签名进行请求数据类型类型判断1.1 常见的ContentType1.2 签名切面处理1.3 文件上传案例1.4 处理接口信息背景： 文件上传接口的请求数据类型通常为multipart/form-data,方便携带文本域和使用接口文档进行调试。 如果携带JSON数据，不方便调试接口。 前端数据也要特…
阅读更多...
JAVA中的File类，文件流，字节流和字符流超级详解（1.8万字干货 ）

JAVA中的File类，文件流，字节流和字符流超级详解（1.8万字干货 ）

1.File类 在Java中&#xff0c;File 类是 java.io 包中的一个重要类&#xff0c;它提供了与文件或目录路径名相关的一系列操作。File 类可以用来创建、删除、重命名文件和目录&#xff0c;也可以用来获取文件或目录的属性&#xff0c;比如大小、最后修改时间等。 File类的常用方…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023