数据库同步服务-DatalinkX

数据库同步服务-DatalinkX

项目特性

  • 简单易用:通过Web页面快速创建数据源、同步任务,操作简单,一分钟上手
  • 定时触发:对接xxl-job定时,设置cron表达式触发同步任务
  • 配置化任务对接:将数据库信息、任务详情界面化配置
  • 高性能同步:使用高性能流式flink计算引擎
  • 容器化部署:支持docker部署

项目技术栈

依赖

版本

描述

Spring Boot

3.2.1

项目脚手架

SpringData JPA

3.2.1

持久层框架

MySQL

8.0

DB数据库

ElasticSearch

7.x

支持流转的数据库

Redis

5.0 ↑

缓存数据库

ChunJun(原FlinkX)

1.10_release

袋鼠云开源数据同步框架

Flink

1.10.3

分布式大数据计算引擎

Xxl-job

2.3.0

分布式调度框架

Retrofit2

2.9.0

RPC通信服务

Jackson

2.11.4

反序列化框架

Maven

3.6.X

Java包管理

Vue.js

2.X

前端框架

AntDesignUI

3.0.4

前端UI

Docker

容器化部署

启动姿势

中间件

执行 docker compose -p datalinkx up -d 命令将各组件启动

手动搭建组件(linux):

xxl-job: https://github.com/xuxueli/xxl-job/archive/refs/tags/2.3.0.zip 纯Java项目,可clone代码后打包成jar包启动,xxl-job依赖mysql,需要修改对应数据库地址配置,表结构在/xxl-job-2.3.0/doc/db/tables_xxl_job.sql,导入mysql即可。

flink:https://archive.apache.org/dist/flink/flink-1.10.3/ 选择flink-1.10.3-bin-scala_2.12.tgz下载,解压进入bin目录执行./start-cluster.sh,首次运行默认只有一个任务slot,访问http://localhost:8081 进去flink后台页面。

DB层

执行 /datalinkx-server/src/main/resources/db.sql

后端

  1. 运行datalinkx-server与datalinkx-job模块datalinkx-server与front交互,依赖mysql、redisdatalinkx-job负责提交、维护任务的生命周期,依赖xxl-job、flink服务启动后会默认使用netty启动${xxl.job.executor.port} 负责监听xxl-job的任务事件任务执行详细信息通过datalinkx-client的rpc能力访问${client.dataserver}如果更改了datalinkx-server端口需要同步更改datalinkx-job配置项${client.dataserver}。${flinkx.path}配置flinkx模块的路径遇到依赖问题执行 mvn clean -U
  2. flinkx模块为单独的项目需要手动执行mvn clean install -U -Dmaven.test.skip=true -Dcheckstyle.skip=true将插件打包打包后配置好flinkx/flinkconf中flink的地址jobmanager.rpc.address:和端口rest.port即可

前端

yarn install && export NODE_OPTIONS=--openssl-legacy-provider && yarn run serve

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/817537.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从零开始学习Linux(1)---基本命令(1)

1.学习准备 我学习Linux是使用xshell远程登录自己的云服务器来进行。 xshell是一个远程终端管理软件,下载官网: https://www.netsarang.com/products/xsh_overview.htm 下载安装的时候选择 "home/school"…

简单逆向案例,某留言板载荷参数逆向

网址:aHR0cHM6Ly9saXV5YW4ucGVvcGxlLmNvbS5jbi90aHJlYWRzL2xpc3Q/Y2hlY2tTdGF0dXM9MCZmaWQ9NTYzJmZvcm1OYW1lPSVFNyVBNiU4RiVFNSVCQiVCQSVFNyU5QyU4MSVFNSVBNyU5NCVFNCVCOSVBNiVFOCVBRSVCMCVFNSU5MSVBOCVFNyVBNSU5NiVFNyVCRiVCQyZwb3NpdGlvbj0wJnByb3ZpbmNlPTIwJmNp…

理解计算中的随机性与伪随机性:Avi Wigderson的理论计算科学贡献

目录 前言1 随机性和伪随机性在计算中的角色2 随机性的动态理解3 伪随机性的应用4 理论到实践的应用结语 前言 近期,普林斯顿大学数学教授Avi Wigderson荣获了2023年图灵奖,以表彰他在理论计算机科学领域的杰出贡献。他的研究聚焦于计算复杂性理论&…

HuggingFists-如何复用流程(二)

上一篇文章中,我们介绍了如何在HuggingFists系统中复用流程。如何定义流程,接收外部数据流以及写出数据流。通过接收和写出数据流实现流程的嵌套引用。在实际的应用场景中,被引用的子流程除了需要与主流程的数据流进行交互外,有时其流程内部的…

鸿蒙端云一体化开发--调用云函数--适合小白体制

如何实现在端侧调用云函数? 观看前,友情提示: 不知道《如何一键创建端云一体化模板》的小白同学,请看: 鸿蒙端云一体化开发--开发云函数--适合小白体制-CSDN博客 实现方法: 第一步:添加依赖 …

Elasticsearch课程介绍

1.核心知识篇 一、简介 1.为何要学习es 二、环境安装 1.安装Elasticsearch、Kibana、Head 三、核心概念 1.Elasticsearch简介 2.倒排索引、3.Lucene简介、4.cluster、5.index、6.shard、7.doc 四、mapping 1.dynamic mapping、2.数据类型、3.映射参数 五、搜索 1.Que…

什么是人力资源成本?人力资源成本有哪些?

人力资源成本是企业运营成本的重要组成部分,对企业的财务状况和经营效率有着直接影响,如今企业面临着持续的成本压力和效率挑战。人力资源成本不仅直接关联企业的运营效率,还影响着企业的长期战略发展。因此,如何优化人力资源成本…

【Linux】 OpenSSH_7.4p1 升级到 OpenSSH_9.6p1(亲测无问题,建议收藏)

👨‍🎓博主简介 🏅CSDN博客专家   🏅云计算领域优质创作者   🏅华为云开发者社区专家博主   🏅阿里云开发者社区专家博主 💊交流社区:运维交流社区 欢迎大家的加入&#xff01…

判断IQ水平-第12届蓝桥杯选拔赛Python真题精选

[导读]:超平老师的Scratch蓝桥杯真题解读系列在推出之后,受到了广大老师和家长的好评,非常感谢各位的认可和厚爱。作为回馈,超平老师计划推出《Python蓝桥杯真题解析100讲》,这是解读系列的第50讲。 判断IQ水平&#…

【投稿优惠-EI稳定检索】2024年设计、数字化技术与新闻传播国际学术会议(ICDDTJ 2024)

2024 International Conference on Design, Digital Technology and Journalism 网址:www.icddtj.com 邮箱: icddtjsub-conf.com(备注于老师推荐享投稿优惠) 投稿主题请注明:ICDDTJ 2024通讯作者姓名(否则无法确认您的稿件&…

大厂Java笔试题之判断一个数是否自守数

题目:自守数是指一个数的平方的尾数等于该数自身的自然数。例如:25^2 625,76^2 5776,9376^2 87909376。 请求出n(包括n)以内的自守数的个数 数据范围: 1≤n≤10000 输入描述: int型整数 输出描述&…

Linux安装及管理程序

目录 一.Linux应用程序基础 1.应用程序与系统命令的关系 2.典型应用程序的目录结构 3.常见的Linux软件包封装类型 二.RPM 软件包管理工具 1.RPM 软件包管理器 Red-Hat Package Manger 2.RPM软件包 3.RPM命令 三.源代码编译安装 1. yum 软件包管理器: 配…

dremio作业概括

1. Summary 属性 描述 Status 表示一个或多个作业状态。作业和状态 Total Memory 提供有关查询操作的实际成本(以内存为单位)的统计信息。 CPU Used 提供有关查询操作的实际成本(CPU 处理)的统计信息。 Query Type 表示五…

好数(蓝桥杯)

文章目录 好数题目描述暴力方法一暴力方法二(超时) 好数 题目描述 【问题描述】 一个整数如果按从低位到高位的顺序,奇数位(个位、百位、万位 )上的数字是奇数,偶数位(十位、千位、十万位 …

Jmeter安装教程

介绍 : Jmeter主要是用来测接口的; 优缺点 : 下载 : 地址 : https://jmeter.apache.org/download_jmeter.cgi 这里提供网盘链接 : https://pan.baidu.com/s/1RbDIDhJcgE 验证码 : 968v 安装 解决中文乱码问题 : 在bin目录瞎找到jmeter.properties : 然…

【嵌入式】嵌入式系统常见文件系统大盘点

🧑 作者简介:阿里巴巴嵌入式技术专家,深耕嵌入式人工智能领域,具备多年的嵌入式硬件产品研发管理经验。 📒 博客介绍:分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向的学习指导…

mysql 查询实战3-题目

看了mysql 查询实战2-解答,里面有个新知识,异或的解决交换座位的处理,接着看实战3的题目 11、查询每⽉产品交易与退款情况 目标: 查询每⽉产品交易(交易总额,交易数)与退款情况(退款…

this详解

浏览器 指向window node js 指向global var a 10; function foo (){console.log(this.a)} foo(); 在严格模式下,this指向undefined. "use strict";var a 10;function foo() {console.log(this1,this);console.log(window.a);console.log(this.a) };console.log(win…

强大的系统监测工具 iStat Menus for mac最新中文激活版

iStat Menus for Mac是一款功能强大的系统监控工具,专为Mac用户设计,旨在帮助用户全面了解电脑的运行状态,提高电脑的性能和稳定性。 iStat Menus for mac最新中文激活版下载 该软件可以实时监测CPU使用率、内存占用、网络速度、硬盘活动等各…

React状态管理比较原理

一、React状态管理库 按照23年下载使用顺序依次是: ReduxZustandMobXRecoilJotaiValtio 二、各状态管理库简要概述 Redux:Redux 是一个行业标准的状态管理库,它利用 flux 架构来创建不可变的数据存储。 优点 提供可预测的、一致的状态…