如何进行数据库的迁移与同步——【DBA 从入门到实践】第四期

在日常的数据库运维工作中,我们时常会面临数据库替换、机房搬迁、业务测试以及数据库升级等任务,这些任务都需要对数据进行迁移和同步操作。【DBA 从入门到实践】第4期,将引导大家深入了解数据库迁移的流程,并探讨在迁移过程中可用的各种工具,以及在不同场景下如何选择最合适的工具,并分享如何更有效地使用这些工具。

本期教程我们将了解到:

  • 社区版 OceanBase MySQL模式与 MySQL 数据库的兼容性差别;
  • 如何使用 SQL 命令导数;
  • 如何使用OceanBase迁移生态组件
    • OMS 进行数据的迁移同步和性能调优;
    • OBLogProxy 的 binlog 模式和 CDC 模式如何使用;
    • OBDUMPER/OBLOADER 使用方法;
  • 其他生态工具 DataX、Flink CDC、Canal、SeaTunnal使用和对比。

点击下方链接预约4月24日教程直播~

【DBA 从入门到实践】第四期

内容抢“鲜”知

(一)OceanBase 社区版 MySQL 模式与 MySQL 兼容性比对

OceanBase 数据库的 MySQL 模式兼容 MySQL 5.7/8.0 的绝大部分功能和语法,由于产品架构不同或功能需求度不高,有些功能并没有被支持。本期教程从数据类型、字符串、过程性语言、系统视图、字符集、字符序、索引、SQL_MODE、分区支持、备份恢复等方面,介绍 OceanBase 数据库的 MySQL 模式与原生 MySQL 数据库的不同,防止后续从 MySQL 迁移到 OceanBase,出现一些不必要的错误。

(二)使用 SQL 命令导数

常见且简便的数据迁移方式是SQL命令,数据导出到外部文件,可使用select into outfile的方式;数据从外部文件导入,可使用 load data 或者 source的方式,另外表与表之间的数据迁移,也可以使用 insert into 或者 merge into的方式。本期教程分别介绍使用这三种方式时的参数命令如何指定,并详细介绍特殊参数,通过简单的示例帮助大家在一些简单场景下快速做数据的导入和导出。

(三)使用OceanBase迁移生态组件

虽然集群内部、表与表之间数据归档、磁盘水位均衡、资源单元unit搬迁等操作在 OceanBase 数据库中可以通过简单命令快速发起,但是涉及异构数据源和集群间的数据同步等功能时就需要借助生态组件。

OceanBase 迁移服务(OceanBase Migration Service,OMS)社区版是 OceanBase 提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务,具备在线迁移存量数据和实时同步增量数据的能力。全方位了解 OMS有助于在后续配置 OMS 迁移同步任务和故障排查中更顺畅地使用。本教程除介绍 OMS 部署前的准备、资源配置要求、部署模式、参数详情外,还将以从 MySQL 数据库迁移到 OceanBase 数据库为例,介绍配置数据迁移任务的方法,以及配置完成后的任务管理、性能调优。

在使用 OceanBase 后,还想将所有变更数据同步到下游大数据平台,就需要用到OBLogProxy。OBLogProxy 是 OceanBase 的增量日志代理服务,它可以与 OceanBase 建立连接并进行增量日志读取,为下游服务提供了变更数据捕获(CDC)的能力。OBLogProxy 有 2 种模式,分别是 Binlog 模式和 CDC 模式。通过学 OBLogProxy 的使用方式、将增量数据转换成 binlog,以及参数的配置,大家基本就可以掌握使用OBLogProxy同步增量数据到其他 CDC 生态工具或者 binlog 生态工具。

除了使用 OMS 和 OBLogProxy 进行数据的迁移同步和增量获取,官方还提供了命令行的数据导入导出工具 OBDUMPER和OBLOADER,通过命令行将数据库表数据和存储上的数据文件以及表定义文件进行互相导入导出。本期教程介绍如何安装使用 OBDUMPER/OBLOADER、如何通过控制文件在导入导出时处理数据,以及在导入导出过程中遇到性能问题时的调优方式,

(四)开源工具介绍和对比

目前OceanBase也支持很多第三方工具,如开源的Flink CDC、DataX、Canal等。这些工具的功能都略有不同,因此适用场景也不太一样,本期教程将详细介绍这些工具的适用场景、使用方法、功能对比等,方便大家后期在做数据迁移同步时,选择合适的工具。

迁移方案结构迁移全量数据迁移增量数据迁移数据校验支持的数据源
OMS支持支持支持支持OceanBase、MySQL、MariaDB、PostgreSQL、GreenPlum、Hbase、TiDB、Kafka、RocketMQ
OBLogProxy支持不支持支持不支持OceanBase、MySQL Binlog生态工具、CDC生态工具、OBLogClient
OBLOADER & OBDUMPER支持支持不支持不支持OceanBase
SQL 命令迁移支持支持不支持不支持主流数据库、SQL文本、CSV文件等
DataX不支持支持不支持不支持较多,具体范围查看官方文档
Canal支持支持支持不支持较多,具体范围查看官方文档
Flink cdc支持支持支持不支持较多,具体范围查看官方文档
SeaTunnel支持支持支持不支持较多,具体范围查看官方文档

更多精彩内容请锁定4月24日《DBA从入门到实践》第四期~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/1192.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AJAX——图书管理案例

1.渲染列表 自己的图书数据:给自己起个外号,并告诉服务器,默认会有三本书,基于这三本书做数据的增删改查。 // 目标1:渲染图书列表 // 1.1 获取数据 // 1.2 渲染数据const creator 哈哈 // 封装-获取并渲染图书列表函…

《QT实用小工具·二十八》基于qt开发的各种曲线

1、概述 源码放在文章末尾 该项目实现了各种曲线的绘制,下面是项目的demo演示: 项目部分代码如下: #include "frmsmoothcurve.h" #include "ui_frmsmoothcurve.h" #include "smoothcurve.h" #include "…

cocos creator 3.6 发布web手机端 加载进度条添加

cocos creator 升级到3.x之后加载进度条取消了,测试了多个3.x版本最终以creator 3.6.3版本,构建了简单的进度加载 参考链接: https://forum.cocos.org/t/topic/137113 打包web-mobile后,没有进度条。加载的时候只显示一个黑屏。…

【小程序】IOS wx小程序解压获取源文件

根据自己手机的系统,获取wx小程序的缓存目录 一、微信小程序文件存放路径 安卓: /data/data/com.tencent.mm/MicroMsg/{{user哈希值}}/appbrand/pkg/iOS越狱: /User/Containers/Data/Application/{{系统UUID}}/Library/WechatPrivate/{{user…

1.为什么选择Vue框架

参考:百战程序员 为什么选择Vue框架 Vue是什么? 渐进式 JavaScript 框架,易学易用,性能出色,适用场景丰富的 Web 前端框架 为什么要学习Vue Vue是目前前端最火的框架之一Vue是目前企业技术栈中要求的知识点Vue可以…

HarmonyOS 状态管理

在声明式 UI 框架中,数据的改变触发 UI 的重新渲染。在 ArkUI 中不是所有数据的变化都会触发 UI 重新渲染,只有 状态变量 才会引起 UI 重新渲染。 状态变量 状态变量: 指被状态装饰器装饰的变量,只有这种变量的改变才会引起 UI …

【leetcode面试经典150题】63. 删除链表的倒数第 N 个结点(C++)

【leetcode面试经典150题】专栏系列将为准备暑期实习生以及秋招的同学们提高在面试时的经典面试算法题的思路和想法。本专栏将以一题多解和精简算法思路为主,题解使用C语言。(若有使用其他语言的同学也可了解题解思路,本质上语法内容一致&…

软考141-上午题-【软件工程】-杂题+小结

一、杂题 真题1: 真题2: 真题3: 真题4: 真题5: 真题6: 真题7: 真题8: 真题9: 真题10: 真题11: 真题12: 真题13: 真题14&a…

paddlepaddle-gpu安装

背景 之前安装paddlepaddle-gpu遇到各种问题,安装不成功,之前使用了wsldocker的方式,可查看我之前博客:记录paddlepaddle-gpu安装,这要会导致我整个开发流程比较割裂 cuda版本 强烈推荐cuda11.8,paddlep…

SpringBoot项目错误:找不到主类(解决办法)

清理和重新编译项目即可,在项目中点击右键Maven-Reload project,之后再重新运行就行了

蓝桥杯第十五界软件测试线下省赛题目分析及解决

PS 需要第十五界蓝桥杯被测系统或者功能测试模板、单元测试被测代码、自动化测试被测代码请加🐧:1940787338 备注:15界蓝桥杯省赛软件测试 题目1:功能测试 题目描述 ​ 某物流公司的货运收费标准根据重量、距离和节假日三个因素来确定。如…

聊聊应用商城评分4.9的Apipost IDEA插件

Apipost Helper,作为IDEA插件,可以快速生成和查询API文档,直观友好地在IDE中调试接口。它简化了开发流程并提升效率,即使新手也能够迅速掌握。Apipost Helper提供了诸多便捷功能,如通过代码查找接口或者通过接口查找代…

UE5、CesiumForUnreal实现建筑白模生成及白模美化功能

1.实现目标 在专栏上篇文章基于GeoJson文件生成城市级白模(本文建筑白模数量12w+)的基础上修改,计算法线和纹理坐标,并基于特定材质进行美化,美化后的白模GIF动图如下所示: 文章目录 1.实现目标2.实现过程2.1 基于Cesium材质美化2.1.1实现原理2.1.2 C++代码2.1.3 蓝图应…

(自学用)正演理论

基于波动方程如何解决数值频散问题——快速正演方法 NAD方法: 怎样离散/逼近高阶偏导数(如何采样): 传统方法是用某一点及其周围点的函数f的线性组合来逼近导数。只有函数值,要想提高精度,压制数值频散就必…

【Django】学习笔记

文章目录 [toc]MVC与MTVMVC设计模式MTV设计模式 Django下载Django工程创建与运行创建工程运行工程 子应用创建与注册安装创建子应用注册安装子应用 数据模型ORM框架模型迁移 Admin站点修改语言和时区设置管理员账号密码模型注册显示对象名称模型显示中文App显示中文 视图函数与…

分布式锁实现方案-基于zookeeper的分布式锁实现(原理与代码)

目录 一、基于zookeeper的分布式锁 1.1 基于Zookeeper实现分布式锁的原理 1.1.1 分布式锁特性说明 1.1.1.1 特点分析 1.1.1.2 本质 1.1.2 Zookeeper 分布式锁实现原理 1.1.2.1 Zookeeper临时顺序节点特性 1.1.2.2 Zookeeper满足分布式锁基本要求 1.1.2.3 Watcher机制 …

UE5增强输入系统 Enhanced Input

关键字: Enhanced Input 、 输入、映射、事件、鼠标、键盘、键鼠、动作、Trigger、触发器、 疑问: 新输入系统怎么做一个基础的案例?Trigger修改器中每个项都是什么功能?功能边界问题:如时刻、时段、单次事件、持续事…

Linux驱动开发——(一)设备树的基本属性及其应用

目录 一、常见基本属性 1.1 compatible属性 1.2 status属性 1.3 reg属性 1.4 #address-cells属性和#size-cells属性 二、基本属性在设备树的表现 三、基本属性在驱动代码的表现 3.1 驱动代码 3.2 驱动代码中的OF函数 3.2.1 of_find_node_by_path 3.2.2 of_find_prope…

Unity类银河恶魔城学习记录13-5,6 p146 Delete save file,p147 Encryption of saved data源代码

Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释,可供学习Alex教程的人参考 此代码仅为较上一P有所改变的代码 【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibili FileDataHandler.cs using System; using System.IO; using UnityEngine; p…

Spring Boot + Thymeleaf 实现的任务发布网站

角色: 管理员雇主雇员 功能 雇主:登录、注册、发布任务、选择中标雇员、评价雇员雇员:登录、注册、查看任务列表、投标任务、收藏任务、完成任务管理员、登录、任务管理、雇主管理、雇员管理 部分功能截图 部署 导入数据库…