分布式事务的理解和解决方法

  1. 什么是分布式事务?

  • 什么是分布式系统?

       部署在不同结点上的系统通过网络交互来完成协同工作的系统。 比如:充值加积分的业务,用户在充值系统向自己的账户充钱,在积分系统中自己积分相应的增加。充值系统和积分系统是两个不同的系统,一次充值加积分的业务就需要这两个系统协同工作来完成。

  • 什么是事务?

       是指由一组操作的工作单元,这个工作单元具有ACID(原子性(atomicity)、一致性(consistency)、隔离性(isolation)和持久性(durability

原子性:执行单元中的操作要么全部执行成功,要么全部失败。如果有一部分成功一部分失败那么成功的操作要全部回滚到执行前的状态。

一致性:执行一次事务会使用数据从一个正确的状态转换到另一个正确的状态,执行前后数据都是完整的。

隔离性:在该事务执行的过程中,任何数据的改变只存在于该事务之中,对外界没有影响,事务与事务之间是完全的隔离的。只有事务提交后其它事务才可以查询到最新的数据。

持久性:事务完成后对数据的改变会永久性的存储起来,即使发生断电宕机数据依然在。

  • 什么是本地事务?

本地事务就是用关系数据库来控制事务,关系数据库通常都具有ACID特性,传统的单体应用通常会将数据全部存储在一个数据库中,会借助关系数据库来完成事务控制。

  • 什么是分布式事务?

在分布式系统中一次操作由多个系统协同完成,这种一次事务操作涉及多个系统通过网络协同完成的过程称为分布式事务。这里强调的是多个系统通过网络协同完成一个事务的过程,并不强调多个系统访问了不同的数据库,即使多个系统访问的是同一个数据库也是分布式事务,另外一种分布式事务的表现是,一个应用程序使用了多个数据源连接了不同的数据库,当一次事务需要操作多个数据源,此时也属于分布式事务,当系统作了数据库拆分后会出现此种情况。

  • 分布式事务有哪些场景?

 

  1. 电商系统中的下单扣库存 --->   电商系统中,订单系统和库存系统是两个系统,一次下单的操作由两个系统协同完成
  2. 金融系统中的银行卡充值 ---> 在金融系统中通过银行卡向平台充值需要通过银行系统和金融系统协同完成。
  3. 教育系统中下单选课业务 --->  在线教育系统中,用户购买课程,下单支付成功后学生选课成功,此事务由订单系统和选课系统协同完成。
  4. SNS系统的消息发送 --->  在社交系统中发送站内消息同时发送手机短信,一次消息发送由站内消息系统和手机通信系统协同完成。
  • 如何进行分布式事务控制?

  • CAP理论

CAP理论是分布式事务处理的理论基础,了解了CAP理论有助于我们研究分布式事务的处理方案。

CAP理论是:分布式系统在设计时只能在一致性(Consistency)、可用性(Availability)、分区容忍性(Partition Tolerance)中满足两种,无法兼顾三种。

  • 一致性(Consistency):服务ABC三个结点都存储了用户数据,三个结点的数据需要保持同一时刻数据一致 性。
  • 可用性(Availability):服务ABC三个结点,其中一个结点宕机不影响整个集群对外提供服务,如果只有服务A结点,当服务A宕机整个系统将无法提供服务,增加服务BC是为了保证系统的可用性。
  • 分区容忍性(PartitionTolerance):分区容忍性就是允许系统通过网络协同工作,分区容忍性要解决由于网络分区导致数据的不完整及无法访问等问题。

分布式系统不可避免的出现了多个系统通过网络协同工作的场景,结点之间难免会出现网络中断、网延延迟等现象,这种现象一旦出现就导致数据被分散在不同的结点上,这就是网络分区。 

在分布式系统设计中AP的应用较多,即保证分区容忍性和可用性,牺牲数据的强一致性(写操作后立刻读取到最新数据),保证数据最终一致性。比如:订单退款,今日退款成功,明日账户到账,只要在预定的用户可以接受的时间内退款事务走完即可。

 

  • 分布式事务的解决办法

  • 两阶段提交协议(2PC)

为解决分布式系统的数据一致性问题出现了两阶段提交协议(2PhaseCommitmentProtocol),两阶段提交由协调者和参与者组成,共经过两个阶段和三个操作

1)第一阶段:准备阶段(prepare) 协调者通知参与者准备提交订单,参与者开始投票。协调者完成准备工作向协调者回应Yes

2)第二阶段:提交(commit)/回滚(rollback)阶段 协调者根据参与者的投票结果发起最终的提交指令。如果有参与者没有准备好则发起回滚指令。 一个下单减库存的例子:

  • 三阶段提交协议(3PC)

2PC的优点:实现强一致性,部分关系数据库支持(OracleMySQL等)。 缺点:整个事务的执行需要由协调者在多个节点之间去协调,增加了事务的执行时间,性能低下。

解决方案有:springboot+AtomikosorBitronix

3PC主要是解决协调者与参与者通信阻塞问题而产生的,它比2PC传递的消息还要多,性能不高。

  • 事务补偿(TCC)

TCC事务补偿是基于2PC实现的业务层事务控制方案,它是TryConfirmCancel三个单词的首字母,含义如下:

1Try检查及预留业务资源 完成提交事务前的检查,并预留好资源。

2Con?rm确定执行业务操作 对try阶段预留的资源正式执行。

3Cancel取消执行业务操作 对try阶段预留的资源释放。 下边用一个下单减库存的业务为例来说明:

1Try 下单业务由订单服务和库存服务协同完成,在try阶段订单服务和库存服务完成检查和预留资源。 订单服务检查当前是否满足提交订单的条件(比如:当前存在未完成订单的不允许提交新订单)。 库存服务检查当前是否有充足的库存,并锁定资源。 2Confirm 订单服务和库存服务成功完成Try后开始正式执行资源操作。 订单服务向订单写一条订单信息。 库存服务减去库存。 3Cancel 如果订单服务和库存服务有一方出现失败则全部取消操作。 订单服务需要删除新增的订单信息。 库存服务将减去的库存再还原。

优点:最终保证数据的一致性,在业务层实现事务控制,灵活性好。

缺点:开发成本高,每个事务操作每个参与者都需要实现try/confirm/cancel三个接口。

注意:TCCtry/confirm/cancel接口都要实现幂等性,在为在tryconfirmcancel失败后要不断重试。

什么是幂等性?

幂等性是指同一个操作无论请求多少次,其结果都相同。 幂等操作实现方式有: 1、操作之前在业务方法进行判断如果执行过了就不再执行。 2、缓存所有请求和处理的结果,已经处理的请求则直接返回结果。3、在数据库表中加一个状态字段(未处理,已处理),数据操作时判断未处理时再处理。

 

  • 消息队列实现最终一致性

本方案是将分布式事务拆分成多个本地事务来完成,并且由消息队列异步协调完成,如下图:

下边以下单减少库存为例来说明:

1、订单服务和库存服务完成检查和预留资源。

2、订单服务在本地事务中完成添加订单表记录和添加减少库存任务消息

3、由定时任务根据消息表的记录发送给MQ通知库存服务执行减库存操作。

4、库存服务执行减少库存,并且记录执行消息状态(为避免重复执行消息,在执行减库存之前查询是否执行过此消息)。

5、库存服务向MQ发送完成减少库存的消息。

6、订单服务接收到完成库存减少的消息后删除原来添加的减少库存任务消息。 实现最终事务一致要求:预留资源成功理论上要求正式执行成功,如果执行失败会进行重试,要求业务执行方法实现幂等。

优点: 由MQ按异步的方式协调完成事务,性能较高。 不用实现try/confirm/cancel接口,开发成本比TCC低。

缺点: 此方式基于关系数据库本地事务来实现,会出现频繁读写数据库记录,浪费数据库资源,另外对于高并发操作不是

最佳方案。

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/570968.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

delphi 搭建安卓开发环境

delphi 搭建安卓开发环境 DELPHI安装成功以后,怀着激动的心情,使用IDE向导生成安卓DEMO程序,BUILD,想马上看到编译成功的提示,结果报错,不由得傻眼了。DELPHI怎么这么差? 原来DELPHI安装成功以后…

关于Centos7启动,ens33无IP问题解决

今天启动虚拟机xshell6一直连不上,之前一直好好的,怎么突然连不上了,很奇怪,上去看看连接方式也没问题。 然后ip addr 一看ens33下无ip,然后就查资料解决,看到很多解决办法试了都没解决。 最后的解决办法…

Xshell6突然连不上K8S所在的虚拟机

哎,最近一直出现部署运维问题,就很头疼,很影响进度。 今天早上xshell6突然就连不上虚拟机了,在虚拟机内部Ping百度也是没问题的。 但是xshell就是不给连,看xm的dhcp也在。 如果是VMnetDhcp服务关闭,重启…

Kubernetes 创建pod一直处于ContainerCreating 状态解决过程

。 遇到问题了又,创建的pods一直出于ContainerCreating状态。 说一下自己这次的解决流程。 首先去网上搜一搜这种类似问题的解决办法,然后结合自己的情况进行解决。 首先遇到的我遇到这个问题和网上一哥们的问题很相似,所以借鉴一下https:…

SpringCloud项目接入华为云Paas平台CES一些注意事项

1.注册华为云账号获取个人中心-》管理我的凭证-》访问密钥-》下载ak&#xff0c;sk密钥。 2.本地项目maven需要配置华为云私服 <profile> <id>nexusProfile</id> <repositories> <repository> <id>cse1</id><url>http://mave…

springcloud不使用数据库微服务启动异常解决

项目在文件处理微服务不使用数据库时&#xff0c;项目启动异常。 解决办法如下&#xff1a;

fastDFS页面浏览器缓存解决

在使用fastDFS做文件系统时&#xff0c;图片浏览器缓存影响删除结果显示。 解决办法如下: 在fastDFS的容器中的nginx配置禁止浏览器缓存:

字符串用法

count()方法 描述 count() 方法用于统计字符串里某个字符出现的次数。可选参数为在字符串搜索的开始与结束位置。 str.count(sub, start 0,endlen(string)) 参数 sub -- 搜索的子字符串start -- 字符串开始搜索的位置。默认为第一个字符,第一个字符索引值为0。end -- 字符串中结…

OpenResty+Lua+redis+mysql实现高性能高可用限流缓存

OpenResty(又称&#xff1a;ngx_openresty) 是一个基于 NGINX 的可伸缩的 Web 平台.并发性能可在10k-1000k OpenResty安装 1.添加仓库执行命令 yum install yum-utils yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo 2.执行安装 yum …

OpenResty(nginx)限流配置实现

一般情况下&#xff0c;首页的并发量是比较大的&#xff0c;即使有了多级缓存&#xff0c;如果有大量恶意的请求&#xff0c;也会对系统造成影响。而限流就是保护措施之一。 nginx提供两种限流的方式&#xff1a; 一是控制速率 二是控制并发连接数 控制速率 控制速率的方式…

数据同步的解决方案Canal

Canal实现数据同步的原理&#xff1a; 1.是根据模拟mysql slave的主从交互协议&#xff0c;伪装自己是mysql slave&#xff0c;向mysql master发送dump请求。 2.mysql master收到dump请求后,开始推送 binary log给canal 3.canal解析binary log对象&#xff08;原始byte流&am…

复习……方法的重载

Lesson Six                         2018-04-20  00:48:57 1.一个项目或工程&#xff0c;一定是由一个一个类构成的。2.类是抽象的&#xff0c;比如建筑图纸。而具体的建筑&#xff0c;是根据图纸建设成的&#xff0c;实际上就是类的实例化3.完成一…

对Kafka的总结

定位&#xff1a;kafka是一款分布式&#xff0c;高吞吐量&#xff0c;基于发布/订阅的消息中间件。 核心组件&#xff1a; broker&#xff1a;kafka服务器&#xff0c;负责消息的存储和转发。 topic&#xff1a;主题&#xff0c;消息的类别&#xff0c;kafka按照topic分类消…

Ribbon中的负载均衡算法实现

Ribbon响应时间权重负载均衡算法&#xff0c;假设有3台服务器A,B&#xff0c;C响应时间为10&#xff0c;40&#xff0c;80ms。 算法公式&#xff1a;weighsofar 总响应时长- 本服务器平均响应时长 A&#xff1a;0130-10120 B:120130-40210 C:210130-80260 将3个轮询数值放…

maven私服配置

环境&#xff1a; eclipse 、maven、nexus。 1、配置setting.xml文件 1.1、配置本地仓库位置&#xff1a;文件中&#xff0c;存在节点 “localRepository”&#xff0c;默认是注释&#xff0c;也就是本地仓库使用默认地址“Default: ~/.m2/repository”&#xff0c;一般为系统…

NAT模式下虚拟机与主机网络关系配置

哎&#xff0c;又是烦人的网络关系耽误了好长时间。 当前情况是使用NAT模式使得主机与虚拟机与外网连通 具体配置如下&#xff1a; 这是VM上配置 如下是虚拟机ip配置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 vi /etc/resolv.conf service network restart

python学习笔记-day6-函数的延续【汉字转拼音模块,函数返回多个值,匿名函数,列表生成式,generator生成器,三元运算符】...

继续来说函数的后续知识点&#xff0c;主要是函数返回多个值&#xff0c;匿名函数&#xff0c;三元运算符&#xff0c;算是比较小的知识点。 一、汉字转拼音模的使用 1、安装模块 #install xpinyin 2、如果使用 结果&#xff1a; 二、函数返回多个值 1、python的函数可以同时返…

EasyExcel项目使用

2.0.5版本做了很大改变&#xff0c;记录2.1.6的所使用的工具类及方法 其实持续对easyexcel的git进行关注是最方便的&#xff0c;上面也有完整的demo以及工具类等等 1.easyExcel的pom坐标 <!-- easyexcel --><dependency><groupId>com.alibaba</groupId&g…

c# vs2010 excel 上传oracle数据

excel 数据表上传到oracle数据库。过程例如以下&#xff1a; 1、打开本地excel文件 2、用OleDb连接excel文件 3、将来excel的数据读取到dataset中 4、把dataset 中数据insert到oracle中对应的表中 以下截图说明&#xff1a; 建立项目文件。非常easy。就是建立普通的winform项目…