巧用 TiCDC Syncpiont 构建银行实时交易和准实时计算一体化架构

本文阐述了某商业银行如何利用 TiCDC Syncpoint 功能,在 TiDB 平台上构建一个既能处理实时交易又能进行准实时计算的一体化架构,用以优化其零售资格业务系统的实践。通过迁移到 TiDB 并巧妙应用 Syncpoint,该银行成功解决了原有多个 MySQL 集群所面临的数据分布复杂性和跨库关联查询的挑战,实现了数据处理效率和应用性能的显著提升,确保了实时交易的快速响应和数据分析处理的计算资源需求。


场景概述

某商业银行的零售资格业务系统专门设计用于计算和管理客户的消费积分及优惠。每当用户完成一笔交易,系统内的关键模块便会自动整合用户的历史消费数据,迅速进行积分计算,并将当前可用的优惠信息及时推送给用户,例如通知当前能够兑换的优惠或赠品,提示额外消费达到一定额度后能够获得的特定奖励等。该系统旨在通过提供实时的优惠信息和激励措施,增强客户的消费体验。

用户的消费信息按照用户 ID 进行分组,存储在 30 多个 MySQL 集群。随着业务的增长,以及需要开放第三方应用使用数据,完成资格的计算。分库分表的 MySQL 就不满足业务需求了。一方面,分库分表后数据分布复杂;另外,分库分表难以实现跨 MySQL 库的关联查询。 如果把这些 MySQL 库的数据汇聚到 HBase 等大数据平台,即不能保障用户交易以事务的粒度同步到大数据平台,也很难保证数据的时效性(大数据通常都只做 T+1 的计算)。

为了优化应用性能和数据处理效率,行方决定将应用迁移到 TiDB 平台,并采取策略将实时交易和准实时计算分配到两个不同的 TiDB 数据库集群中。资格落地模块用来完成准实时资格的计算。因为落地数据计算量大,并且有准实时性的要求,为了不影响实时业务,落地计算是通过 TiDB 备集群 2 进行计算,该集群的数据来自 TiCDC 从实时集群同步过来的准实时数据。

这样的架构设计旨在平衡交易的即时性和数据处理的计算需求,确保实时交易的快速响应,同时为数据分析和处理提供足够的计算资源。

TiCDC 和 Syncpoint 特性简介

本文以商业银行零售资格业务系统为例,向大家介绍怎样通过 TiCDC 的 Syncpiont 功能,来确定目标端的同步进度,并且以此为依据,计算每笔业务对用户资格数据的贡献。

图 1:实时交易和准实时计算一体化架构

“TiDB 主集群”为实时集群;“TiDB 备集群 2”是专门为资格落地准备的准实时集群;“TiDB 备集群 1”是容灾集群

众所周知,在业界,几乎所有的变更数据捕获(CDC)产品都通过异步方式进行数据同步,这导致主集群与备集群之间不可避免地会出现数据延迟。TiCDC 采用分布式架构设计,也会受到主备之间延迟的影响,不能保证目标端的事务提交顺序和源端的事务提交顺序完全一致,无法动态地获取主备集群的一致性关系。

行方原先考虑在源端提交以后,等待一分钟左右时间,再去备集群计算,但是,如果遇到大的事务,或者集群因为某些原因提交缓慢,即使等待 N 分钟,也不能保证备集群能完成同步。

图 2:TiCDC 分布式同步架构

在使用 TiCDC 构建 TiDB 主从集群的过程中,有时需要在不中断数据同步的情况下,进行数据的一致性快照读取或验证。由于 TiCDC 采用的是分布式架构,其标准同步模式仅确保数据的最终一致性,而不能保证在同步过程中的数据一致性。这就使得对实时变化的数据进行一致性读取变得具有挑战性。为了解决这个问题,TiCDC 引入了 Syncpoint 功能,它允许用户在特定时间点获取数据的一致性视图,从而进行一致性读取和数据验证,满足了对数据一致性有严格要求的业务场景。

Syncpoint 通过利用 TiDB 提供的 snapshot 特性,让 TiCDC 在同步过程中维护了一个上下游具有一致性 snapshot 的 ts-map。把校验动态数据的一致性问题转化为了校验静态 snapshot 数据的一致性问题,达到了接近数据一致性实时校验的效果。当启用 Syncpoint 功能后,就可以使用一致性快照读和数据一致性校验。

巧用 Syncpoint

要开启 Syncpoint 功能,只需在创建同步任务时把 TiCDC 的配置项 enable-sync-point 设置为 true。开启 Syncpoint 功能后,TiCDC 会向下游 TiDB 集群写入如下信息:

在数据的同步过程中,TiCDC 会定期(使用 sync-point-interval 参数配置)对齐上下游的快照,并将上下游的 TSO 的对应关系保存在下游的 tidb_cdc.syncpoint_v1 表中。

同步过程中,TiCDC 还会定期(使用 sync-point-interval 参数配置)通过执行 SET GLOBAL tidb_external_ts = @@tidb_current_ts ,在备用集群中设置已复制完成的一致性快照点。

Syncpoint 表结构如下:

select * from tidb_cdc.syncpoint_v1;
+------------------+-------------+--------------------+--------------------+--------------------+
| ticdc_cluster_id |  changefeed | primary_ts         | secondary_ts       | created_at         | 
+------------------+-------------+--------------------+--------------------+--------------------+ 
|  default         | test-2      | 435953225454059520 | 435953235516456963 | 2022-09-1308:40:15 | 
+------------------+-------------+--------------------+--------------------+--------------------+

ticdc_cluster_id:插入该条记录的 TiCDC 集群的 ID。

changefeed:插入该条记录的 Changefeed 的 ID。通过 ticdc_cluster_id 和 Changefeed 的 ID 来确 认一个 Changefeed 所插入的 ts-map。

primary_ts:上游数据库 snapshot 的时间戳。

secondary_ts:下游数据库 snapshot 的时间戳。

created_at:插入该条记录的时间。

通过查询 ts-map 的方式选取之前的时间点进行快照读。syncpoint_v1 中的 primary_ts,就代表备集群,当前已经完成的事务,对应到主集群的时间戳。

资格应用在实时集群完成一笔业务后,只需要记下业务完成时的时间戳,然后在备集群中去查询 tidb_cdc.syncpoint_v1 中 max(primary_ts),如果获取到的 primary_ts 大于当时业务记录的完成时间戳,就代表该业务已经在备集群完成,应用就可以针对该笔业务,计算用户当前的资格。

因为资格下游集成了很多子系统,并且 syncpoint_v1 是按照一定的时间间隔更新的,所以没有必要每笔交易、下游子系统都查询一次 tidb_cdc.syncpoint_v1,这样会对数据库造成性能影响,所以根据业务需求,资格系统将以一定时间间隔读取 tidb_cdc.syncpoint_v1,缓存 primary_ts,通过缓存提供给下游业务使用。具体流程如下图所示:

图 3:启用 Syncpoint 后的资格落地计算流程

通过以上的流程 ,资格下游的应用就可以准确的得到每笔业务产生的资格更新。Syncpoint 的启用步骤如下:

  1. 编辑 changefeed.toml,增加如下内容
# 开启 SyncPoint
enable-sync-point = true
# 每隔 30s对齐一次上下游的 snapshot
sync-point-interval = "30s"
# 每隔 1 小时清理一次下游 tidb_cdc.syncpoint_v1 表中的 ts-map 数据
sync-point-retention = "1h"
  1. 动态启用配置文件

TiCDC 支持非动态修改同步任务配置,修改 changefeed 配置需要按照 :暂停任务 -> 修改配置 -> 恢复任务的流程

cdc cli changefeed pause -c test-cf --server=http://10.0.10.25:8300
cdc cli changefeed update -c test-cf --server=http://10.0.10.25:8300 --sink-uri="mysql://127.0.0.1:3306/?max-txn-row=20&worker-number=8" --config=changefeed.toml
cdc cli changefeed resume -c test-cf --server=http://10.0.10.25:8300
  1. 获取 ts-map

在下游 TiDB 中执行以下 SQL 语句,从结果中可以获取上游 TSO (primary_ts) 和下游 TSO (secondary_ts) 信息。

select  *  from tidb_cdc.syncpoint_v1  limit 1;
+------------------+------------+--------------------+--------------------+--------------------+
| ticdc_cluster_id | changefeed | primary_ts         | secondary_ts       | created_at         | 
+------------------+------------+--------------------+--------------------+--------------------+ 
| default          | test-2     | 435953225454059520 | 435953235516456963 | 2022-09-1308:40:15 | 
+------------------+------------+--------------------+--------------------+--------------------+

获取当前最后一个一致性的时间戳。

 select max(primary_ts) from  tidb_cdc.syncpoint_v1

注意事项

同个数据库的多张表,可以通过不同的 changefeed 来进行同步,这样可以分摊一些 workload,但是由于 syncpoint 一致性是以 changefeed 为最小粒度的,所以要求,有事务关联性的所 有表, 必须在同一个 changefeed 里面同步 。如果涉及多个 changefeed 的情况下 ,取 primary_ts 要带上 changefeed 字段,如果 TiCDC 还涉及多个 TiDB Cluster 同步数据,那还应该带上 ticdc_cluster_id,如:

select max(primary_ts ) from tidb_cdc.syncpoint_v1 where changefeed=’test-2’
select max(primary_ts ) from tidb_cdc.syncpoint_v1 where changefeed=‘test-2’and ticdc_cluster_id=‘default’

关于 TiCDC 使用的优化点:

  1. 首先,应用端应该尽量避免使用大事务,TiCDC 只有在源端事务已经提交后,才会在目标端开始执行事务(源端 pre-write 阶段,数据会缓存在 TiCDC,并不会在目标端也 pre-write,只有等到源端提交后,目标端才开始执行),所以如果源端的事务执行时间比较久,目标端并不一定会比源端执行时间短。
  2. 因为是分布式系统,可以通过增加 changefeed 的 worker 的数量,来加快下游同步的速度,具体需要根据业务的实际情况来设定,worker-num 默认为 16。

关于使用 syncpoint 取到的数据,最大延时计算参考:

tidb_cdc.syncpoint_v1 表中的数据,刷新间隔是按照 sync-point-interval 设置的时间间隔刷新的,所以从该表中获取的最新快照的时间,最大的延时近似于 sync-point-interval+实际延时。

总结

在需要对 TiCDC 上下游动态变更的数据执行一致性读取的应用场景中,启用 Syncpoint 功能是一种有效的解决方案。通过查询下游 tidb_cdc.syncpoint_v1 表中的 primary_ts 字段,用户能够获取到下游事务的确切完成时间点。这一机制显著提升了计算的准实时性,确保了数据读取的时效性,为用户提供了可靠的准实时数据处理方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/5814.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

图搜索算法详解与示例代码

在计算机科学领域,图搜索算法是一类用于在图数据结构中查找特定节点或路径的算法。图搜索算法在许多领域都有着广泛的应用,包括网络路由、社交网络分析、游戏开发等。本文将详细介绍几种常见的图搜索算法,包括深度优先搜索(DFS&am…

模方试用版水面修整,调整水岸线功能进程缓慢该怎么解决?

答:水面修整,第一个点选取准确的高程位置和水边,其他点就可以包含整个水面范围就行,可以绘制大一些。上图绘制区域没有包含到所有的水面,可以尝试下图的红线绘制区域。 模方是一款针对实景三维模型的冗余碎片、水面残缺…

【Spring 】Spring MVC 入门Ⅱ

Spring MVC 入门Ⅱ 一、接收Cookie / Session 这两者都是用来保存用户信息的,但不同的是: Cookie存在客户端 Session存在服务器 Session产生时会生成一个唯一性的SessionID,这个SessionID可以用于匹配Session和Cookie SessionID可以在Cooki…

模型训练中的过拟合和欠拟合

基本概念 我们知道,所谓的神经网络其实就是一个复杂的非线性函数,网络越深,这个函数就越复杂,相应的表达能力也就越强,神经网络的训练则是一个拟合的过程。   当模型的复杂度小于真实数据的复杂度,模型表…

python中的进程线程和协程

目录 进程(Process)多进程代码实例 线程(Thread)多线程存在原因及其缺点多线程代码实例 协程(Coroutine)协程的优点协程代码实例 进程、线程和协程适合的任务性质和环境多进程更适合的场景多线程更适合的场…

在Android中,如何通过Kotlin协程处理多个API调用

在Android中,如何通过Kotlin协程处理多个API调用 在Android开发中,如何使用Kotlin协程处理多个API调用的示例呢?假设我们已经对Kotlin协程有了一定的了解,包括定义、简单用例和示例等。现在,让我们来看一些真实的Andr…

Tokitsukaze and Average of Substring

原题链接:登录—专业IT笔试面试备考平台_牛客网 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 前缀和。 开一个int类型的前缀和数组pre[30][N](pre[i][j]表示某字符转成的数字 i 在一段区间的前缀个数。因为字母表有‘a’~z…

带你学C语言:结构体及其内存

目录 🍺0.前言 ✍1.结构体 👀1.1为何结构体 👀1.2结构体怎么声明 👀1.3结构体怎么创建 👀1.4结构体初始化与访问 ✋1.5匿名结构体问题 🙆1.6结构体的自我调用 🚝 2.结构体的内存对齐 &a…

【数据结构】时间复杂度和空间复杂度解析

数据结构前言: 1. 什么是数据结构 打个比方来说不同的数据就相当于不同的书籍,我们经常在图书馆可以看到不同类别的书籍会被整理放在书架上方便查看存放,数据结构就是一种计算机存储管理数据的方式。 2. 什么是算法 算法就是一系列的计算…

UDP和TCP(传输层)

这里写目录标题 UDPUDP的基本特点UDP协议报文格式 TCPTCP协议报文格式TCP特点可靠传输实现机制确认应答超时重传数据丢了应答报文丢了 小结 UDP UDP的基本特点 无连接不可靠传输面向数据报全双工 UDP协议报文格式 2个字节有效范围(无符号): 0 ~ 65535(2^16 - 1). 2个字节有效范…

安装 AngularJS

安装 AngularJS 文章目录 安装 AngularJS1. 使用在线 cdn2. 使用依赖管理工具 npm 1. 使用在线 cdn <!-- 1. 引入在线地址 --> <script src"http://code.angularjs.org/1.2.25/angular.min.js"></script><!-- 2. 下载到本地&#xff0c;引入文…

【Python】常用数据结构

1、熟悉字典和列表 2、使用条件判断语句 3、list列表中计算 1、从键盘输人一个正整数列表,以-1结束,分别计算列表中奇数和偶数的和。 &#xff08;1&#xff09;源代码&#xff1a; # 初始化奇数和偶数的和为0 odd_sum 0 even_sum 0 #输入 while True:num int(input(&qu…

ubuntu下安装配置python3.11

方案1 添加仓库&#xff1a; $ sudo add-apt-repository ppa:deadsnakes/ppa $ sudo apt update $ sudo apt install python3.11然后查看有多少个python版本已经安装了&#xff1a; ls -l /usr/bin/python*python2.7,python 3.8 ,python 3.11. 然后&#xff0c;设置系统默认…

智能车入门——‘教程引导’ <新手从零做车>

目录 前言 本系列文章是为了帮助第一次接触智能车或者学校没有传承&#xff0c;不知道如何上手做智能车的同学。 通过阅读完整个系列&#xff0c;你应该能够制作一辆正常参赛的智能车。 我写这一系列博客的初衷主要是为了方便新手快速入门智能车。 如果追求高级算法以及提速&a…

Q1季度家用健身器械行业线上市场销售数据分析

自疫情开始&#xff0c;全民健身的浪潮就持续至今。然而&#xff0c;水能载舟亦能覆舟&#xff0c;一边是不断释放的健身需求&#xff0c;另一边却是无数健身房的闭店潮。 越来越多人倾向于选择家用健身器械来运动或是直接选择无器械的健身运动&#xff0c;比如各类健身操。而…

AngularJS 的生命周期和基础语法

AngularJS 的生命周期和基础语法 文章目录 AngularJS 的生命周期和基础语法1. 使用步骤2. 生命周期钩子函数3. 点击事件4. if 语句1. if 形式2. if else 形式 5. for 语句6. switch 语句7. 双向数据绑定 1. 使用步骤 // 1. 要使用哪个钩子函数&#xff0c;就先引入 import { O…

Windows下载MingGW

因为要配置vscode的c/c环境&#xff0c;需要下载一个编译器&#xff0c;gcc官方推荐开源的MingGW-W64&#xff0c;看了几个下载方法&#xff0c;决定用最简单的离线安装。 niXman/mingw-builds-binaries/releases 32位的操作系统&#xff1a;i686&#xff0c;64位的操作系统&a…

linux的常见命令

&#x1f4dd;个人主页&#xff1a;五敷有你 &#x1f525;系列专栏&#xff1a;Linux ⛺️稳中求进&#xff0c;晒太阳 Linux中检查进程是否存在&#xff1a; ps -ef | grep [进程名或进程ID] pgrep -f [进程名|进程ID] pidof [进程名] Linux中检查某个端口是否被…

外包干了3天,技术就明显退步了。。。。。

先说一下自己的情况&#xff0c;本科生&#xff0c;19年通过校招进入广州某软件公司&#xff0c;干了接近4年的功能测试&#xff0c;今年年初&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试…

rabbitMq 0 到1

前言 工作中MQ的使用场景是数不胜数&#xff0c;每个公司的技术选型又不太一样&#xff0c;用的哪个MQ&#xff0c;我们必须要先玩起来&#xff0c;RabbitMQ在windows安装遇到很多问题&#xff0c;博客也是五花八门&#xff0c;算了还是自己搞吧&#xff0c;记录一下&#xff…