架构杂谈《四》

分布式一致性协议

一、引言

  在分布式系统中,为了保证数据的高可用,通常会将数据保留多个副本(replica),这些个副本会放在不同的物理机上,为了对用户提供正确的数据,我们需要保证这些放在不同物理机上的副本是一致的。为了解决这种分布式一致性问题,提出了很多经典的协议和算法,比较著名的是 两阶段提交协议和三阶段提交协议。

二、两阶段提交协议

  两阶段提交协议把分布式事务分为两个阶段,一个是准备阶段,一个是提交阶段。准备阶段和提交阶段都是由事务管理器发起的,两阶段提交协议的流程如下:

  1、准备阶段:事务管理器向资源管理器发起指令,资源管理器评估自己的状态,如果资源管理器评估指令可以完成。则会写redo或者undo日志,然后锁定资源,执行操作,但是并不会提交

  2、提交阶段:如果每个资源管理器明确返回准备成功,事务管理器向资源管理器发起提交指令,资源管理器提交资源变更的事务,释放锁定的资源;如果任何一个资源管理明确返回准备失败,则事务管理器向资源管理器发起中止指令,资源管理器取消已经变更的事务,执行undo日志。释放锁定的资源。

  640?wx_fmt=png

两阶段提交协议的成功场景图

  我们从上图中可以看到,两阶段提交协议在准备阶段锁定资源,这是一个重量级的操作,能保证强一致性,但是实现起来复杂、成本大、不够灵活。还有以下缺点:

     (1)、阻塞:对于任何一次指令都必须收到明确的响应,才会继续进行下一步,否则处于阻塞状态,占用的资源一直被锁定,不会释放

     (2)、单点故障:如果事务管理器(协调者)挂了(宕机),资源管理器(参与者)没有事务管理器(协调者)指挥,则会一直阻塞,尽管可以通过选举新的协调者替代原有的协调者,但是参与者接收后也宕机,则新上任的协调者无法处理这种情况

     (3)、脑裂:协调者发送提交指令,有的参与者接收到并执行了事务,有的参与者没有接收到事务就没有执行事务,多个参与者之间是不一致的。

  上面的问题虽然很少发生,但每次发生都需要人工参与,没有自动化解决方案,因此两阶段提交协议在正常情况下能保证系统的强一致性,但在出现异常的情况下,需要人工干预解决,因此可用性不够好,其实这也符合CAP协议的一致性和可用性不能兼得的原理。

三、三阶段提交协议

  三阶段提交协议是两阶段提交协议的改进版本,它通过超时机制解决了阻塞的问题,并且把两个阶段增加为三个阶段。

  1、询问阶段:事务管理器(协调者)询问参与者(资源管理器)是否可以完成指令,参与者只需要回答是或者否,而不需要做真正的操作,这个阶段超时会导致中止。

  2、准备阶段:如果在询问阶段所有参与者都返回可以执行操作,则协调者向参与者发送预执行请求,然后参与者写 redo 和 undo 日志,执行操作但不提交操作;如果在询问阶段任何一个参与者返回不能执行操作的结果,则协调者向参与者发送中止请求,这里的逻辑和两阶段提交协议的准备阶段是相似的。

  3、提交阶段:如果每个参与者在准备阶段返回准备成功,则协调者向参与者发送提交指令,参与者提交资源变更的事务,释放锁定的资源;如果任何一个参与者返回准备失败,则协调者向参与者发送中止指令,参与者自己取消已经变更的事务,执行 undo 日志,释放锁定的资源。这里的逻辑和两阶段提交协议的提交阶段一致。

    640?wx_fmt=png

 (三阶段提交协议的成功场景图)

  三阶段提交协议与两阶段提交协议主要有以下不同点:

    (1)、增加了一个询问阶段,询问阶段可以确保尽可能早地发现无法执行操作而需要中止的行为,但是它并不能发现所有的这种行为,只会减少这种情况的发生。

    (2)、在准备阶段以后,协调者和参与者执行的任务中都增加了超时,一旦超时,则协调者和参与者都会继续提交事务,默认为成功。

  三阶段提交协议与两阶段提交协议相比,具有以上的优点,但是一旦发生超时,系统仍然会发生不一致,只不过这种情况很少见。好处是不会阻塞和永远锁定资源。  

四、TCC

  两阶段和三阶段提交协议,在遇到极端情况时,系统会产生阻塞或者不一致的问题,需要人干预解决。两阶段及三阶段方案中都包含多个参与者、多个阶段实现一个事务。实现事务,性能也是一个很大的问题。因此在互联网的高并发系统中,很少有使用两阶段提交和三阶段提交协议的场景。

  后来有人提出了TCC协议,TCC协议将一个任务分成 Try、Confirm、Cancel 三个步骤。正常的流程会先执行 Try,如果执行没有问题,则再执行 Confirm,如果执行过程中出现了异常。则执行操作的逆操作 Cancel。从正常的流程上讲。这还是一个两阶段提交协议,但在执行出现异常后有一定的自我修复能力,如果任何参与者出现了问题,则协调者通过执行操作的逆操作来 Cancel 之前的操作。达到最终一致性状态。

  可以看出,从时序上讲,如果遇到机端情况,则TCC会有很多问题,如:如果在取消时一些参与者收到指令,而另一些参与者没有收到指令,则整个系统任然是不一致的,对于这种复杂的情况,系统首先会通过补偿的方式尝试自我修复,如果系统无法修复。还是需要人工干预解决。

  从 TCC 的逻辑上来看,它是简化版的三阶段提交协议,解决了两阶段提交协议的阻塞问题,但还是没有解决极端情况下出现的问题(不一致和脑裂问题)。然而,TCC 通过自动化补偿手段,将需要人工处理的不一致问题降到最低,也是一种很有用的解决方案。

                                  640?wx_fmt=png

(TCC 协议的使用场景)

说明:

  1、参考书籍:《分布式服务架构:原理、设计与实战》

  2、如有不合适的地方请反馈。综合后更改。

640?wx_fmt=jpeg


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/314873.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【十二省联考2019】希望【点边容斥】【换根dp】【长链剖分】【线性数据结构】【回退数据结构】【离线逆元】

题意:给一棵树,两个参数 k,Lk,Lk,L,需要选择 kkk 个连通块,使得这 kkk 个连通块存在一个公共点,且该公共点到 kkk 个连通块内的任意一点的距离不超过 LLL,求方案数 模 998244353998244353998244353。两种方案不同当且仅…

Codeforces Round #246 (Div. 2) D. Prefixes and Suffixes kmp + dp

传送门 文章目录题意:思路:题意: 思路: 通过完美子串的定义,我们不难发现满足条件的子串就是kmpkmpkmp中ne[n]ne[n]ne[n]不断向前跳得到的串,现在问题就是如何求这些前缀串在串中出现的次数了。 考虑一个前…

译 | 宣布ML.NET 1.2 及模型生成器更新(用于 .NET 的机器学习)

原文:Cesar De la Torre翻译:Edi Wang我们很高兴地宣布ML.NET 1.2 和模型生成器和 CLI 的更新。ML.NET是 .NET 开发人员的开源和跨平台机器学习框架。ML.NET还包括模型生成器(Visual Studio 的简单 UI 工具)和ML.NET CLI(命令行界面),以便使用自动机器学…

【十二省联考2019】皮配【分部dp】

题意:有 nnn 个学校隶属于 ccc 个城市,每个学校有 sis_isi​ 个人。把它们放入一个 222\times 222 的格子中,要求同一学校的必须放在同一个格子,同一城市的必须放在同一行,并给出两行两列分别最多能放的人数C0,C1,D0,D…

Codeforces Round #590 (Div. 3) F. Yet Another Substring Reverse 子集dp

传送门 文章目录题意:思路:题意: 思路: 之前做过类似的题,翻转一个字串相当于将任意两个不相交的串连在一起。再一看字符集≤20\le20≤20,那就是铁子集dpdpdp了。 定义f[i]f[i]f[i]表示状态为iii的串的长度…

一个超轻量级工作流引擎:Workflow-Core

近期工作上有一个工作流的开发需求,自己基于面向对象和职责链模式捣鼓了一套小框架,后来在github上发现一个轻量级的工作流引擎轮子:Workflow-Core,看完其wiki之后决定放弃之前自己造的轮子,使用这个开源项目来改造&am…

Codeforces Round #590 (Div. 3) E. Special Permutations 差分 + 思维

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 思路&#xff1a; 直接考虑比较难想&#xff0c;这种公式题基本都是将部分答案看成一个整体&#xff0c;考虑xi,xi1x_i,x_{i1}xi​,xi1​的贡献的。 假设当前的xix,xi1y,x<yx_ix,x_{i1}y,x<yxi​x,xi1…

【THUSC 2017】如果奇迹有颜色【polya引理】【矩阵】【计数dp】【BM打表+线性递推】

题意&#xff1a;长度为 nnn 的环染 mmm 种颜色&#xff0c;要求任意相邻 mmm 个元素不能包含全部的颜色。求方案数 模 109710^971097&#xff0c;循环同构。 n≤109,m≤7n\leq 10^9,m\leq7n≤109,m≤7 为啥我现在天天都在打表啊 先上 polya&#xff0c;对于移动 iii 位的置换…

ASP.NET Core 3.0中支持AI的生物识别安全

本文共两个部分&#xff0c;这是第一部分&#xff0c;其中介绍了 ASP.NET Core 3 中旨在将授权逻辑与基本的用户角色相分离的基于策略的授权模型。此部分提供了此授权进程的基于生物识别信息&#xff08;如人脸识别或语音识别&#xff09;的具体示例。在此示例中&#xff0c;检…

Codeforces Round #588 (Div. 2) D. Marcin and Training Camp 思维

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 有nnn个人&#xff0c;每个人都有一个能力值bib_ibi​以及他会的技能aia_iai​&#xff0c;当他会第xxx个技能的时候&#xff0c;aia_iai​的第xxx位是111。定义当xxx不会某个技能但是yyy会的时候&#xff0…

架构杂谈《五》

保证最终一致性的模式在大规模、高并发服务化系统中&#xff0c;一个功能被拆分成多个具有功能单一的子功能&#xff0c;一个流程会有多个系统的多个单一功能的服务组合实现&#xff0c;如果使用两阶段提交协议和三阶段提交协议&#xff0c;确实能解决系统间的一致性问题。其实…

【ROI 2019 Day2】课桌【贪心】【决策单调性】【分治】

题意&#xff1a;有 mmm 个班&#xff0c;每个班有 2n2n2n 个人&#xff0c;他们的身高给定。有 kkk 种双人桌&#xff0c;每张桌子有两个属性值 Li,RiL_i,R_iLi​,Ri​,一个身高为 hhh 的人坐第 iii 种桌子的不舒适度为 hhh 到区间 [Li,Ri][L_i,R_i][Li​,Ri​] 的最小距离。你…

Codeforces Round #588 (Div. 2) E. Kamil and Making a Stream 数学 + 暴力

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 给你一颗树&#xff0c;其中根是111&#xff0c;每个点有一个点权&#xff0c;求每个点到根的所有路径的gcdgcdgcd之和。 n≤1e5n\le1e5n≤1e5 思路&#xff1a; 一看到以为是个点分治&#xff0c;让后发现…

【NOIP模拟】彩色树【树形dp】【树链剖分性质】【复杂度分析】

题意&#xff1a;一棵初始时为空的树&#xff0c;依次加入 nnn 个叶结点&#xff0c;每次加入后询问 用若干不同颜色的路径将树边染色后 每个点到根经过的颜色数 的最大值 的最小值。 n≤106n\leq 10^6n≤106 首先发现这个路径没啥用&#xff0c;其实就是个剖分方案。 然后我…

在Linux的Windows子系统上(WSL)使用Docker(Ubuntu)

背景平时开发大部人都是在提供了高效GUI的window下工作&#xff0c;但是真正部署环境普遍都是在Linux中&#xff0c;所以为了让开发环境和部署环境统一&#xff0c;我们需要在windows模拟LInux环境&#xff0c;以前我们可能通过虚拟机的方式实现&#xff0c;不过自从微软拥抱开…

NOIP2020 赛前总结

没有一眼秒的题都必须对拍&#xff0c;这里对拍包括疯狂造小数据人工检查。所以不会的话放心打暴力吧&#xff0c;反正写出来了也要对拍。码农题最后码。预估可能会失误&#xff0c;不要认为写一半就丢了很可惜&#xff0c;其他更可做的题没碰更可惜。想起了就把文件夹复制一遍…

.net持续集成cake篇之cake介绍及简单示例

cake介绍Cake 是.net平台下的一款自动化构建工具,可以完成对.net项目的编译,打包,运行单元测试,集成测试甚至发布项目等等.如果有些特征Cake没有实现,我们还可以很容易地通过扩展Cake来实现我们想要的功能.Cake有以下特点1) 使用c#语言编写,可以在Cake脚本里使用C#语言来实现我…

Educational Codeforces Round 73 (Rated for Div. 2) Make The Fence Great Again dp + 结论

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 思路&#xff1a; 首先证明一个结论&#xff1a;一个数最多被加两次。 首先假设a[i]a[i−1]a[i]a[i-1]a[i]a[i−1]或a[i]a[i1]a[i]a[i1]a[i]a[i1]&#xff0c;那么此时可以将a[i]a[i]1a[i]a[i]1a[i]a[i]1&am…

.NET Core 3.0 发布小尺寸 self-contained 单体可执行程序

.NET Core 提供的发布应用程序选项 self-contained 是共享应用程序的好方法&#xff0c;因为应用程序的发布目录包含所有组件、运行时和框架。您只需要告诉使用者应用程序的入口 exe 文件&#xff0c;就可以使程序运行起来&#xff0c;而不必担心目标计算机上是否存在.NET Core…

NOIP 2020 游记

Day -1 校内考试出阴间题&#xff0c;体验极差。 晚上写了发压位高精&#xff0c;一发 AC&#xff0c;感觉很飘&#xff08;flag&#xff09; Day 1 8:00 进考场 8:10 分发压缩包&#xff0c;随便点开看看&#xff0c;看题目名字感觉很友好。然后就在一个叫 ball 的文件夹…