kettle实时增量同步mysql数据

**

本文主要介绍运用kettle实时增量同步mysql数据

**

  • Debezium介绍

  • 官网地址:https://debezium.io/documentation/

  • Debezium是一个开源项目,为捕获数据更改(Capture Data Change,CDC)提供了一个低延迟的流式处理平台,通过安装配置Debezium监控数据库,可以实时消费行级别row-level))的更改。作为一个分布式系统,Debezium也拥有良好的容错性

  • Debezium支持数据源:MySQL,MongoDB,PostgreSQL,Oracle,SQL Server等

  • Debezium插件准备
    Debezium下载地址

  • 解压 kettle-step-debezium-plugin.zip

  • 拷贝kettle-step-debezium-plugin到data-integration\plugins下
    在这里插入图片描述

  • Debezium插件使用
    在这里插入图片描述

在这里插入图片描述

  • Debezium配置说明
    connector.class: io.debezium.connector.mysql.MySqlConnector //引用的连接器类
    //使用文件来存储已处理的binlog偏移量
    offset.storage: org.apache.kafka.connect.storage.FileOffsetBackingStore
    offset.storage.file.filename: C:\Users\42077\Desktop\mysql_offsets2.dat
    database.history: io.debezium.relational.history.FileDatabaseHistory
    database.history.file.filename: C:\Users\42077\Desktop\mysql_dbhistory1.txt
    offset.flush.interval.ms: 6000

    name: Debezium_CDC //连接器名字
    database.hostname: 47.100.172.180 //mysql服务器地址
    database.port: 3306 //端口号
    database.user: root //用户名
    database.password: Dragonline //密码
    database.connectionTimeZone Asia/Shanghai
    database.server.id: 1 //mysql安装配置时的服务ID(需要与MySQL的server-id不同)
    database.include.list: biplatform //要捕获的数据库名
    database.server.name: mysql-connector //数据库服务名
    table.include.list: biplatform.dim_date ///要捕获的数据表

更多信息可参考官网:https://debezium.io/documentation/reference/2.6/connectors/mysql.html

  • Debezium运行
    在这里插入图片描述

在这里插入图片描述
查看文件捕获到插入数据
在这里插入图片描述
CREATE:新增
DElETE:删除
UPDATE:修改
DDL:DDL语句

  • Demo下载 test_debezium

由于时间仓促,本文只作为一个demo开头,后续有机会再更新,如内容有错欢迎大家指正!!!作者个人qq:420773639

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/27460.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Aigtek高压功率放大器在超声电机中的应用

超声电机是一种先进的电机技术,常用于各种应用,如医疗成像、工业自动化和汽车技术。这些电机在高速、高精度和低噪音要求的领域中表现出色。在驱动这些超声电机时,高压功率放大器发挥着关键作用。本文将介绍高压功率放大器如何驱动超声电机&a…

腾讯元宝APP:AIGC大模型的新篇章

随着科技的飞速发展,人工智能(AI)技术已经渗透到我们生活的方方面面。腾讯作为国内科技巨头,近期推出的元宝APP更是为AIGC(人工智能生成内容)市场注入了新的活力。这款大模型产品的上线,不仅丰富…

【kyuubi-spark】从0-1部署kyuubi集成spark执行spark sql到k8s读取iceberg的minio数据

一、背景 团队在升级大数据架构 前端使用trino查询,对trino也进行了很多优化,目前测试来看,运行还算稳定,但是不可避免的trino的任务总会出现失败的情况。原来的架构是trino失败后去跑hive,而hive是跑mapreduce依赖于…

PostgreSQL:在CASE WHEN语句中使用SELECT语句

CASE WHEN语句是一种条件语句,用于多条件查询,相当于java的if/else。它允许我们根据不同的条件执行不同的操作。你甚至能在条件里面写子查询。而在一些情况下,我们可能需要在CASE WHEN语句中使用SELECT语句来检索数据或计算结果。下面是一些示…

c->c++(一):部分KeyWord

本文主要探讨c相关关键字的使用。 char char默认是unsigned/signed取决平台,wchar_t宽字符:用于Unicode编码(超过一个字节),用wcin和wcout输入输出,字符串为wstring char8_t(20),char16_t(11起),char32_t(11):指定占用字节数且是无符号,字符串类u8string,u16s…

Debian 安装 kubernets

Docker环境 添加 Docker 的官方 GPG 密钥 安装 apt 依赖包,用于通过 HTTPS 来获取仓库 sudo apt-get install \apt-transport-https \ca-certificates \curl \gnupg2 \software-properties-common -y添加秘钥 curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/li…

python之面向对象(一)

一.类与对象 1.1类和对象的创建 类提供了创建对象的蓝图。对象是类的实例,拥有类中定义的属性和方法。self 参数是对类实例自身的引用,用于访问类的属性和方法。 案例: 下面举一个“长方形”类的例子,包含长,宽属性…

关于对pagination.js源代码进行修改且引入项目使用

实现效果 使用定时器对组件进行每秒请求&#xff0c;每过固定时间之后&#xff0c;进行下一页项目请求&#xff0c;进行到最后一页请求的时候返回第一页。 首先引入js插件 <script src"./js/pagination.js" type"text/javascript"></script>…

Python 中国象棋游戏【含Python源码 MX_011期】

简介&#xff1a; 中国象棋是一种古老而深受喜爱的策略棋类游戏&#xff0c;也被称为中国的国粹之一。它在中国有着悠久的历史&#xff0c;起源可以追溯到几个世纪以前。Python 中国象棋游戏是一个用Python编程语言编写的软件程序&#xff0c;旨在模拟和提供中国象棋的游戏体验…

CVE-2024-23692:Rejetto HFS 2.x 远程代码执行漏洞[附POC]

文章目录 CVE-2024-23692&#xff1a;Rejetto HFS 2.x 远程代码执行漏洞[附POC]0x01 前言0x02 漏洞描述0x03 影响版本0x04 漏洞环境0x05 漏洞复现1.访问漏洞环境2.构造POC3.复现 0x06 修复建议 CVE-2024-23692&#xff1a;Rejetto HFS 2.x 远程代码执行漏洞[附POC] 0x01 前言 …

Elasticsearch:简化数据流的数据生命周期管理

作者&#xff1a;来自 Elastic Andrei Dan 今天&#xff0c;我们将探索 Elasticsearch 针对数据流的新数据管理系统&#xff1a;数据流生命周期&#xff0c;从版本 8.14 开始提供。凭借其简单而强大的执行模型&#xff0c;数据流生命周期可让n 你专注于数据生命周期的业务相关方…

干货!电脑如何录屏?6款win10录屏大师软件深度测评

电脑如何录屏&#xff1f;在2024年&#xff0c;截图或屏幕录制可以说是一种无价的工具。它是捕捉重要信息、与朋友和同事分享说明&#xff0c;或者只是存储您最喜爱的游戏和应用程序中的记忆的好方法。在 Windows 上录制屏幕非常简单。在本篇文章中&#xff0c;我们将讨论在win…

113.网络游戏逆向分析与漏洞攻防-邮件系统数据分析-结构体数据更新思路分析

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 如果看不懂、不知道现在做的什么&#xff0c;那就跟着做完看效果&#xff0c;代码看不懂是正常的&#xff0c;只要会抄就行&#xff0c;抄着抄着就能懂了 内容…

绘唐科技官网

绘唐科技AI工具是一系列经过训练的人工智能工具&#xff0c;旨在提供各种智能化的解决方案。这些工具可以应用于多个领域&#xff0c;包括自然语言处理、图像识别、语音识别、机器学习等。 其中&#xff0c;自然语言处理工具可以帮助用户处理和理解文本数据。它可以实现文本分类…

Spring 内置BeanFactoryPostProcessor的子孙们

同样的Spring 也 内置了 一些实现 BeanFactoryPostProcessor的类&#xff0c;各有各的用处。 spring-context AspectJWeavingEnabler 用来把ClassPreProcessorAgentAdapter注册到LoadTimeWeaver中ConfigurationClassPostProcessor 一个重要的类&#xff0c;用来处理Configurat…

3、matlab单目相机标定原理、流程及实验

1、单目相机标定流程及步骤 单目相机标定是通过确定相机的内部和外部参数&#xff0c;以便准确地在图像空间和物体空间之间建立映射关系。下面是单目相机标定的流程及步骤&#xff1a; 搜集标定图像&#xff1a;使用不同角度、距离和姿态拍摄一组标定图像&#xff0c;并确保标…

树莓派 sudo apt-get install python-smbus 报错

sudo apt-get install python-smbus 报错 sudo apt-get install python-smbus 报错 python-smbus : Depends: python (< 2.8)Depends: python (> 2.7~)Depends: python:any (< 2.8)Depends: python:any (> 2.7~) E: Unable to correct problems, you have held b…

泉州职业技术大学2024Java期末题库【基础题】

1.根据输入的表示星期几的数字&#xff0c;对应输出它的英文名称。 考察内容:Switch语句的掌握 public class test1 {public static void main(String[] args) {//switch语句复习//创建对象java.util.Scanner input new java.util.Scanner(System.in);//提示输入语句System.ou…

TF-IDF算法详细解析与应用

一、前言 在信息的海洋中&#xff0c;如何快速准确地找到我们需要的知识&#xff1f;搜索引擎给出了答案。而在搜索引擎背后&#xff0c;有一个核心算法无声地发挥着巨大作用——TF-IDF。本篇博客将为你揭开TF-IDF的神秘面纱&#xff0c;让你深入理解它的原理&#xff0c;并掌…

【递归、搜索与回溯】DFS解决FloodFill算法

一、经验总结 之前我们已经研究过了BFS解决FloodFill算法&#xff1a;【优选算法】BFS解决FloodFill算法-CSDN博客 DFS只是遍历顺序发生了变化&#xff0c;其他需要注意的点大差不差。 二、相关编程题 2.1 图像渲染 题目链接 733. 图像渲染 - 力扣&#xff08;LeetCode&am…