分布式事务与解决方案

一、什么是分布式事务

首先我们知道本地事务是指事务方法中的操作只依赖本地数据库,可保证事务的ACID特性。而在分布式系统中,一个应用系统被拆分为多个可独立部署的微服务,在一个微服务的事务方法中,除了依赖本地数据库外,还可能会调用一个或多个远程服务操作远程数据库,这种就叫做分布式事务。

在分布式事务中,如果由于网络波动导致远程调用执行成功了,但是没有及时返回结果,导致事务回滚,本地数据库回滚了,但是远程数据库已经执行成功持久化了,这就出现了不一致的情况。

二、Base理论

在CAP理论中的一致性强调的是强一致性。
BASE 是 Basically Available(基本可用)、Soft state(软状态)和 Eventually consistent (最终一致性)三个短语的缩
写。BASE理论是对CAP中AP的一个扩展,通过牺牲强一致性来获得可用性,当出现故障允许部分不可用但要保证
核心功能可用,允许数据在一段时间内是不一致的,但最终达到一致状态。满足BASE理论的事务,我们称之为“柔
性事务”。

  • 基本可用:分布式系统在出现故障时,允许损失部分可用功能,保证核心功能可用。如,电商网站交易付款出
    现问题了,商品依然可以正常浏览。
  • 软状态:由于不要求强一致性,所以BASE允许系统中存在中间状态(也叫软状态),这个状态不影响系统可用
    性,如订单的"支付中"、“数据同步中”等状态,待数据最终一致后状态改为“成功”状态。
  • 最终一致性:最终一致是指经过一段时间后,所有节点数据都将会达到一致。如订单的"支付中"状态,最终会变
    为“支付成功”或者"支付失败",使订单状态与实际交易结果达成一致,但需要一定时间的延迟、等待。

前面已经学习了分布式事务的基础理论,以理论为基础,针对不同的分布式场景业界常见的解决方案有2PC、可靠消息最终一致性、最大努力通知这几种。

三、2PC —— 两阶段提交

  • P 准备阶段:事务管理器给每个参与者发送Prepare消息,每个数据库参与者在本地执行事务,并写本地的Undo/Redo日志,但是先不提交事务,然后给事务管理器回复一个OK,表示准备好了。(Undo日志是记录修改前的数据,用于数据库回滚,Redo日志是记录修改后的数据,用于提交事务后写入数据文件)

  • C 提交阶段:如果所有参与者都准备好了,事务管理器就会发送一个commit消息,所有参与者再执行事务提交。如果事务管理器收到了参与者的执行失败或者超时消息时,直接给每个参与者发送回滚(Rollback)消息,所有参与者就都执行回滚。

成功情况:
在这里插入图片描述

失败情况:
在这里插入图片描述

1. XA模式 —— 强一致性

XA模式流程就如上所说,第一阶段参与者只执行不提交事务,第二阶段收到Commit信号后再进行提交。这种模式可以基于数据库的XA协议来实现。也可以基于一些第三方框架实现,比如Seata,Seata是由阿里中间件团队做的一个是开源的分布式事务框架。它是工作在应用层,不需要数据库支持XA协议,因此兼容性更好。它由事务协调器、事务管理器、资源管理器三部分组成:

  • Transaction Coordinator (TC): 事务协调器,它是独立的中间件,需要独立部署运行,它维护全局事务的运行状态,接收TM指令发起全局事务的提交与回滚,负责与RM通信协调各各分支事务的提交或回滚。
  • Transaction Manager(TM): 事务管理器,TM需要嵌入应用程序中工作,它负责开启一个全局事务,并最终向TC发起全局提交或全局回滚的指令。
  • Resource Manager (RM): 资源管理器,控制分支事务,负责分支注册、状态汇报,并接收事务协调器TC的指令,驱动分支(本地)事务的提交和回滚。

Seata的XA模式流程如下:

  • 一阶段:TM开启全局事务注册到TC 、TM调用分支RM、RM将分支事务注册到TC、RM执行SQL(但不提交!)、RM将执行状态报告给TC

  • 二阶段:TM通知提交全局事务、TC检查各分支事务状态,如果都成功,则通知RM提交。如果失败,则通知RM回滚。

XA模式优缺点:XA模式保证了强一致性,但是资源锁需要等到两个阶段结束才释放,性能较差。

2. AT模式 —— 弱一致性

AT模式是Seata中的默认模式

  • 一阶段:TM开启全局事务注册到TC、TM调用分支RM、RM将分支事务注册到TC、RM记录undolog日志、RM提交事务、TCC记录各分支状态

  • 二阶段:TM通知提交全局事务、TC检查各分支事务状态,都成功则删除undolog日志,有失败则通知所有RM根据undolog日志执行反向补偿操作回滚。

AT模式优缺点:AT模式在第一阶段就提交了事务释放了资源锁,性能较高。但是由于提前提交了事务,如果在回滚之前,有其它事务修改了数据,那么再根据undolog日志回滚后就会覆盖掉了这个修改,出现脏写问题。需要引入全局锁解决。

3. TCC模式 —— 弱一致性

TCC模式分为Try、Confirm和Cancel三个操作

  • 一阶段:通过Try操作判断是否有可用数据,有则锁住需要的资源。
  • 二阶段:如果全部try成功则执行confirm操作,完成资源的操作业务,且try成功confirm一定要成功,无论是通过重试还是人工介入。如果有try失败的,则所有try成功的节点执行Cancel操作释放预留资源。

TCC模式优缺点: try、confirm、canel需要人工手写,而且需要考虑幂等性、空回滚、悬挂判断,较为复杂、性能最好,但成本太高。

幂等性: try、confirm、canel这三个接口,要保证重试操作具有幂等性
空回滚:没有执行try操作的节点回滚时执行了cancel。解决方案:用一张“分支事务记录”记录是否执行过try操作,执行cancel时要进行查询,执行过try操作才需要回滚。
悬挂:try操作由于网络波动超时了,导致触发回滚cancel操作,在执行完cancel后try操作请求到达了,这种先cancel再try的现象就称为悬挂。解决方案:在执行一阶段事务时判断在该全局事务下,“分支事务记录”表中是否已经有二阶段事务记录,如果有则不执行Try。

在这里插入图片描述

参考:

  1. https://blog.csdn.net/m0_58600248/article/details/126271252
  2. https://blog.csdn.net/O_Dentist/article/details/130966668

四、可靠消息最终一致性

可靠消息最终一致性方案是通过消息中间件完成的,指当事务发起方执行完成本地事务后并发出一条消息,事务参与方(消息消费者)一定能
够接收消息并处理事务成功,使得所有事务参与方最终事务达到一致。

要达成这种效果需要解决以下问题:

  1. 原子性:本地事务和消息发送必须同时成功或者同时失败,具有原子性。
  2. 可靠性:事务参与方必须能够在消息队列接收到消息,接收失败可以重复接收。
  3. 幂等性: 事务参与方不能重复消费消息。

1. 本地消息表

本地数据库增加一个消息表,将本地事务操作和添加消息记录放在同一个事务中,然后后台定时任务去循环扫描这个消息表,检测到未发送的消息时就交给MQ发送,消费端收到这个消息后通过MQ回复ACK确认,发送端收到MQ反馈后再删除对应的消息记录,消费端要对收到的消息进行幂等性检查避免重复消费(发送端可能会重复发送),非重复消费则消费执行事务。
在这里插入图片描述

2. RocketMQ事务消息方案

  1. 在执行事务前会先发消息给MQ服务端,但是这个消息是不可消费状态。
  2. 然后发送方再执行本地事务,执行成功/失败后再给MQ服务端发送一个commit或者rollback事务确认消息,如果执行成功了MQ服务端再把消息投递给订阅方,如果执行失败了则直接丢弃原来的消息。
  3. 如果确认消息在中间丢失了,MQ服务端没有收到 则会定期回查事务的状态。
    在这里插入图片描述

在RocketMQ 4.3后实现了完整的事务消息,实际上其实是对本地消息表的一个封装,将本地消息表移动到了MQ 内部,解决 Producer 端的消息发送与本地事务执行的原子性问题。

五、最大努力通知

发起通知方通过一定的机制最大努力将业务处理结果通知到接收方,比如重复通知,并且发送方要提供消息校对接口,若尽最大努力仍没有通知到,此时可由接收方主动向通知方查询消息信息来满足需求。

1. MQ最大努力通知实现方案

  • 发送方通过MQ将消息发送出去。接收方收到后会回复一个ack,发送方收到ack则通知成功了。
  • 若发送方没有收到ack,则进行重传,直到超过一定次数。
  • 接收方可主动通过发送方提供的接口进行消息校对,获取需要的消息。
    在这里插入图片描述

参考:https://www.bilibili.com/video/BV1Q4411y7ip

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/40921.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【深入理解ES6】块级作用域绑定

1. var声明及变量提升机制 提升(Hoisting)机制:通过关键字var声明的变量,都会被当成在当前作用域顶部生命的变量。 function getValue(condition){if(condition){var value "blue";console.log(value);}else{// 此处…

代码随想录算法训练营第三十六天 | 435. 无重叠区间,763.划分字母区间,56. 合并区间

代码随想录算法训练营第三十六天 | 435. 无重叠区间,763.划分字母区间,56. 合并区间 435. 无重叠区间:eyes:题目总结:eyes: 763.划分字母区间:eyes:题目总结:eyes: 56. 合并区间:eyes:题目总结:eyes: 435. 无重叠区间 题目链接 视频讲解 给定一个区间的…

并发编程系列-Semaphore

Semaphore,如今通常被翻译为"信号量",过去也曾被翻译为"信号灯",因为类似于现实生活中的红绿灯,车辆是否能通行取决于是否是绿灯。同样,在编程世界中,线程是否能执行取决于信号量是否允…

8.10 用redis实现缓存功能和Spring Cache

什么是缓存? 缓存(Cache), 就是数据交换的缓冲区,俗称的缓存就是缓冲区内的数据,一般从数据库中获取,存储于本地代码。 通过Redis来缓存数据,减少数据库查询操作; 逻辑 每个分类的菜品保存一份缓存数据 数据库菜品数据有变更时清理缓存数据 如何将商品数据缓存起…

p-级数的上界(Upper bound of p-series)

积分判别法-The Integral Test https://math.stackexchange.com/questions/2858067/upper-bound-of-p-series https://courses.lumenlearning.com/calculus2/chapter/the-p-series-and-estimating-series-value/ 两个重要级数(p级数和几何级数) ht…

WPF显示初始界面--SplashScreen

WPF显示初始界面–SplashScreen 前言 WPF应用程序的运行速度快,但并不能在瞬间启动。当第一次启动应用程序时,会有一些延迟,因为公共语言运行时(CLR)首先需要初始化.NET环境,然后启动应用程序。 对于WPF中…

高忆管理:股票T+0交易是什么意思?t+0交易有什么好处?

股票的买卖准则有很多种,T0买卖便是其中之一。那么股票T0买卖是什么意思?t0买卖有什么优点?高忆管理也为大家预备了相关内容,以供参考。 股票T0买卖是什么意思? T0买卖准则是指出资者当天买入的股票能够在当天卖出&am…

SpringBoot 异步、邮件任务

异步任务 创建一个Hello项目 创建一个类AsyncService 异步处理还是非常常用的,比如我们在网站上发送邮件,后台会去发送邮件,此时前台会造成响应不动,直到邮件发送完毕,响应才会成功,所以我们一般会采用多线…

神经网络基础-神经网络补充概念-03-逻辑回归损失函数

概念 逻辑回归使用的损失函数通常是"对数损失"(也称为"交叉熵损失")或"逻辑损失"。这些损失函数在训练过程中用于衡量模型预测与实际标签之间的差异,从而帮助模型逐步调整权重参数,以更好地拟合数…

c++--SLT六大组件之间的关系

1.SLT六大组件: 容器,迭代器,算法,仿函数,适配器,空间配置器 2.六大组件之间的关系 容器:容器是STL最基础的组件,没有容器,就没有数据,容器的作用就是用来存…

IO流 详细介绍

一、IO流概述 1.IO:输入(Input读取数据)/输出(Output写数据) 2.流:是一种抽象概念,是对数据传输的总称,也就是说数据在设备间的传输称为流,流的本质是数据传输IO流就是用来处理设备间数据传输问题的。 3.常见的应用&#xff1a…

JVM - 垃圾回收机制

JVM的垃圾回收机制(简称GC) JVM的垃圾回收机制非常强大,是JVM的一个很重要的功能,而且这也是跟对象实例息息相关的,如果对象实例不用了要怎么清除呢? 如何判断对象已经没用了 当JVM认为一个对像已经没用了,就会把这个…

初识Sentinel

目录 1.解决雪崩的方式有4种: 1.1.2超时处理: 1.1.3仓壁模式 1.1.4.断路器 1.1.5.限流 1.1.6.总结 1.2.服务保护技术对比 1.3.Sentinel介绍和安装 1.3.1.初识Sentinel 1.3.2.安装Sentinel 1.4.微服务整合Sentinel 2.流量控制 2.1.簇点链路 …

== 和 equals 的对比 [面试题]

和 equals 的对比[面试题] 文章目录 和 equals 的对比[面试题]1. 和 equals 简介2. Object 类中 equals() 源码3. String 类中 equals() 源码4. Integer 类中 equals() 源码5. 如何重写 equals 方法 1. 和 equals 简介 是一个比较运算符 :既可以判断基本数据类型…

【数据结构OJ题】链表的回文结构

原题链接:https://www.nowcoder.com/practice/d281619e4b3e4a60a2cc66ea32855bfa?tpId49&&tqId29370&rp1&ru/activity/oj&qru/ta/2016test/question-ranking 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 在做这道…

老师如何制作二维码分班查询系统?技术老师分享的创建框架值得借鉴

作为一名班主任,开学前需要搞定分班问题,可以通过制作一个分班二维码查询系统,让学生和家长可以通过扫描二维码快速查到自己的分班信息,分享一下我制作的过程,希望对老师们有帮助(结尾有惊喜)&a…

内网穿透——使用Windows自带的网站程序建立网站

文章目录 1.前言2.Windows网页设置2.1 Windows IIS功能设置2.2 IIS网页访问测试 3. Cpolar内网穿透3.1 下载安装Cpolar3.2 Cpolar云端设置3.3 Cpolar本地设置 4.公网访问测试5.结语 1.前言 在网上各种教程和介绍中,搭建网页都会借助各种软件的帮助,比如…

RP2040开发板自制树莓派逻辑分析仪

目录 前言 1 准备工作和前提条件 1.1 Raspberry Pi Pico RP2040板子一个 1.2 Firmware-LogicAnalyzer-5.0.0.0-PICO.uf2固件 1.3 LogicAnalyzer-5.0.0.0-win-x64软件 2 操作指南 2.1 按住Raspberry Pi Pico开发板的BOOTSEL按键,再接上USB接口到电脑 2.2 刷入…

End-to-End Object Detection with Transformers

DERT 目标检测 基于卷积神经网络的目标检测回顾DETR对比Swin Transformer摘要检测网络流程DERT网络架构编码器概述解码器概述整体结构object queries的初始化Decoder中的Muiti-Head Self-AttentionDecoder中的Muiti-Head Attention 损失函数解决的问题 基于卷积神经网络的目标检…

内网穿透实战应用——【通过cpolar分享本地电脑上有趣的照片:发布piwigo网页】

通过cpolar分享本地电脑上有趣的照片:发布piwigo网页 文章目录 通过cpolar分享本地电脑上有趣的照片:发布piwigo网页前言1. 设定一条内网穿透数据隧道2. 与piwigo网站绑定3. 在创建隧道界面填写关键信息4. 隧道创建完成 总结 前言 首先在本地电脑上部署…