信息如何实现病毒式传播?一文看懂Gossip协议

来源 | 架构之美

责编 | 寇雪芹

头图 | 下载于视觉中国

起源

Gossip protocol 也叫 Epidemic Protocol (流行病协议)。Gossip protocol在1987年8月由施乐-帕洛阿尔托研究中心发表ACM上的论文《Epidemic Algorithms for Replicated Database Maintenance》中被提出。原本用于分布式数据库中节点同步数据使用,后被广泛用于数据库复制、信息扩散、集群成员身份确认、故障探测等。

Gossip协议是基于六度分隔理论(Six Degrees of Separation)哲学的体现,简单的来说,一个人通过6个中间人可以认识世界任何人。数学公式是:n表示复杂度,N表示人的总数,W表示每个人的联系宽度。依据邓巴数,即每个人认识150人,其六度就是1506 =11,390,625,000,000(约11.4万亿)。

基于六度分隔理论,任何信息的传播其实非常迅速,而且网络交互次数不会很多。比如Facebook在2016年2月4号做了一个实验:研究了当时已注册的15.9亿使用者资料,发现这个神奇数字的“网络直径”是4.57,翻成白话文意味着每个人与其他人间隔为4.57人。

原理 

Gossip协议执行过程:

  • 种子节点周期性的散播消息 【假定把周期限定为 1 秒】。

  • 被感染节点随机选择N个邻接节点散播消息【假定fan-out(扇出)设置为6,每次最多往6个节点散播】。

  • 节点只接收消息不反馈结果。

  • 每次散播消息都选择尚未发送过的节点进行散播。

  • 收到消息的节点不再往发送节点散播:A -> B,那么B进行散播的时候,不再发给 A。

Goosip 协议的信息传播和扩散通常需要由种子节点发起。整个传播过程可能需要一定的时间,由于不能保证某个时刻所有节点都收到消息,但是理论上最终所有节点都会收到消息,因此它是一个最终一致性协议。

Gossip协议是一个多主协议,所有写操作可以由不同节点发起,并且同步给其他副本。Gossip内组成的网络节点都是对等节点,是非结构化网络。

消息类型

Gossip 协议的消息传播方式有两种:Anti-Entropy(反熵传播)和Rumor-Mongering(谣言传播)。

反熵传播是以固定的概率传播所有的数据。所有参与节点只有两种状态:Suspective(病原)、Infective(感染)。这种节点状态又叫做simple epidemics(SI model)。过程是种子节点会把所有的数据都跟其他节点共享,以便消除节点之间数据的任何不一致,它可以保证最终、完全的一致。缺点是消息数量非常庞大,且无限制;通常只用于新加入节点的数据初始化。

谣言传播是以固定的概率仅传播新到达的数据。所有参与节点有三种状态:Suspective(病原)、Infective(感染)、Removed(愈除)。这种节点状态又叫做complex epidemics(SIR model)。过程是消息只包含最新 update,谣言消息在某个时间点之后会被标记为 removed,并且不再被传播。缺点是系统有一定的概率会不一致,通常用于节点间数据增量同步。

通信方式

Gossip 协议最终目的是将数据分发到网络中的每一个节点。根据不同的具体应用场景,网络中两个节点之间存在三种通信方式:推送模式、拉取模式、Push/Pull。

  • Push: 节点 A 将数据 (key,value,version) 及对应的版本号推送给 B 节点,B 节点更新 A 中比自己新的数据

  • Pull:A 仅将数据 key, version 推送给 B,B 将本地比 A 新的数据(Key, value, version)推送给 A,A 更新本地

  • Push/Pull:与 Pull 类似,只是多了一步,A 再将本地比 B 新的数据推送给 B,B 则更新本地

如果把两个节点数据同步一次定义为一个周期,则在一个周期内,Push 需通信 1 次,Pull 需 2 次,Push/Pull 则需 3 次。虽然消息数增加了,但从效果上来讲,Push/Pull 最好,理论上一个周期内可以使两个节点完全一致。直观上,Push/Pull 的收敛速度也是最快的。

总结

Gossip作为一种去中心化的分布式协议,数据通过节点像病毒一样逐个传播。因为是指数级传播,整体传播速度非常快,很像现在美国失控的2019-nCoV(新冠)一样。它具备以下优势:

  • 扩展性:允许节点的任意增加和减少,新增节点的状态 最终会与其他节点一致。

  • 容错:任意节点的宕机和重启都不会影响 Gossip 消息的传播,具有天然的分布式系统容错特性。

  • 去中心化:无需中心节点,所有节点都是对等的,任意节点无需知道整个网络状况,只要网络连通,任意节点可把消息散播到全网。

  • 一致性收敛:消息会以“一传十的指数级速度”在网络中传播,因此系统状态的不一致可以在很快的时间内收敛到一致。消息传播速度达到了 logN。

  • 简单。

同样也存在以下缺点:

  • 消息延迟:节点随机向少数几个节点发送消息,消息最终是通过多个轮次的散播而到达全网;不可避免的造成消息延迟。

  • 消息冗余:节点定期随机选择周围节点发送消息,而收到消息的节点也会重复该步骤;不可避免的引起同一节点消息多次接收,增加消息处理压力。

综上所述,Gossip协议可以用于AP场景的数据一致性处理,常见应用有:P2P网络通信、Apache Cassandra、Redis Cluster、Consul等。

更多阅读推荐

  • 看穿容器的外表,Linux容器实现原理演示

  • 用三国杀讲分布式算法,舒适了吧?

  • 云原生体系下的技海浮沉

  • 如何通过 Serverless 轻松识别验证码?

  • 5G与金融行业融合应用的场景探索

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/515711.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

勇于尝鲜,感受世界——对话阿里云 MVP黄坤

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 简介: 阿里云 MVP黄坤是个言简意赅的实干家,言谈中显示出的知识广度和技术深度令我钦佩折服&#xff…

Vue中时间日期格式化

封装格式化时间方法 创建一个js文件formatDate.js,内容如下: //方法一 export function formatDate(val) {var date new Date(Number(val)); //时间戳为10位需*1000,时间戳为13位的话不需乘1000var Y date.getFullYear() "-";v…

分布式应用,response导出error on submit request on future invoke、java.lang.OutOfMemoryError: Java heap space

背景 HSF 分布式框架 ,基于EasyExcel 实现excel导出 。 控制层, GET请求 , 传递 HttpServletRequest 和 HttpServletRespose 到,业务中台时,异常 原因 分布式应用下,控制层传递response到中台时&#xf…

阿里云混合云管理平台发布帮您管好云

6月9日, 在2020阿里云线上峰会上阿里云混合云战略正式发布:全栈建云、智能管云、极致用云。同步发布专有云敏捷版(Apsara Stack Agility)、 混合云管理平台(Apsara Uni-manager)以及下一代企业级一站式DevO…

ApiPost6/Postman发送POST请求及日期格式的参数

Postman在发送POST请求的时候,所有参数写在Request Body(请求体)中,如果需要的参数类型的日期格式的,只需要将日期格式写为2000/01/01即可,Postman会自动识别为日期格式的数据。 如果是2000-01-01格式&…

Mendix入局中国低代码,开发者们你准备好了吗

作者 | 宋慧 出品 | CSDN云计算 头图 | 付费下载于视觉中国 在企业级软件与技术领域鼎鼎大名的Gartner魔力象限,几乎是全球公认的IT厂商实力的重要背书,进入魔力象限右上部分的领导者(leaders)更是能力全面的最优质厂商。 2021年…

OpenYurt开箱测评|一键让原生K8s集群具备边缘计算能力

作者| 郑超 阿里云高级开发工程师 随着物联网技术以及 5G 技术的高速发展,将云计算的能力延伸至边缘设备端,并通过中心进行统一交付、管控,已成为云计算的重要发展趋势。为服务更多开发者把握这一趋势,5 月 29 日,阿里…

系统架构设计师 - 主观题总结

文章目录2015软件架构评估系统建模嵌入式可靠性文件系统、关系型数据库、内存型数据库WEB应用持久层设计2017软件架构评估软件系统架构设计流行技术数据库访问层WEB系统架构设计2015 软件架构评估 质量属性效用树: 软件架构风险: 敏感点: 权…

pagehelper版本升级导致pageSize为0时无法查询全部数据

前言 pageSize为0无效,修改配置 springboot版本升级后&#xff0c;pagehelper插件由1.2.3版本升级到1.4.1版本&#xff1b;发现升级之后pageSize为0时无法查询全部数据 maven依赖引入 旧版本pom.xml配置1.2.3 <dependency><groupId>com.github.pagehelper</g…

技术运维的经营大法——对话阿里云MVP熊昌伟

云栖号资讯&#xff1a;【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯&#xff0c;还在等什么&#xff0c;快来&#xff01; 简介&#xff1a; 不同于其他技术人的进阶经历&#xff0c;熊昌伟毕业后从未跳槽&#xff0c;在用友网络潜心修炼14年至今。从…

我同事狠心用 Python 3 ,刚开始就直接崩溃!你们试试......

Python 近两年一直霸占编程语言排行榜 Top3&#xff0c;火热程度有目共睹。这也让刚入行的程序员&#xff0c;甚至 BATJ 的技术大牛&#xff0c;都意识到 Python 对于一个程序员职业发展的重要性&#xff0c;将其作为第一/第二开发语言去学习。我同事前些日子说要学Python&…

阿里宜搭助力服务中枢升级,提升10倍开发效率

“真没想到&#xff0c;我在小程序上申请了‘要一双拖鞋’&#xff0c;不到半分钟功夫&#xff0c;机器人就把拖鞋送来了&#xff01;”住在菲住布渴的王女士感叹到。在酒店管理和服务能力的建设中&#xff0c;菲住布渴始终致力于通过数字化、智能化手段&#xff0c;让每一位入…

系统架构设计师 - 第三方认证服务

文章目录1.基于非对称密钥体系的 KPI/CA2.基于对称密钥体系的 Kerberos1.基于非对称密钥体系的 KPI/CA PKI&#xff1a;公钥基础设施 CA&#xff1a;认证中心 加密相关&#xff08;对称加密、非对称加密、信息摘要、数字签名、CA数字证书&#xff09; 2.基于对称密钥体系的 K…

MyBatisplus分页插件

文章目录一、后台分页配置1. 配置分页插件2. 编写分页代码3. 测试二、自定义查询2.1. 自定义接口2.2. 自定义查询2.3. 测试自定义分页一、后台分页配置 MyBatis Plus自带分页插件&#xff08;即BaseMapper接口中的selectPage()方法&#xff09;&#xff0c;只要简单的配置即可…

一个半月快速、低成本上云,云数据库专属集群解决方案看过来

在6月9日的“全速重构”2020阿里云线上峰会&#xff08;点击可查看数据库专场亮点&#xff09;中&#xff0c;阿里云智能数据库事业部的资深产品专家斗佛开启了全球首发4款云数据库新产品——云数据库专属集群、图数据库GDB、云数据库Cassandra版、云数据库ClickHouse。今天小编…

以容器为代表的云原生技术,正成为释放云价值最短路径

作者 | 丁宇&#xff08;叔同&#xff09; 阿里云智能容器平台负责人 云计算、大数据、人工智能等新技术正迅速的改变着我们所处的时代&#xff0c;其巨大的影响力已经从量变到质变&#xff0c;数字化转型成为企业发展的必然选择。 据IDC报告&#xff0c;全球前1000的大企业中…

搭载敏捷飞天底座,阿里云专有云敏捷版全面升级

6月9日&#xff0c; 在2020阿里云线上峰会上阿里云混合云重磅发布三款新品&#xff1a;专有云敏捷版&#xff08;Apsara Stack Agility&#xff09;、 混合云管理平台&#xff08;Apsara Uni-manager&#xff09;以及下一代企业级一站式DevOps平台“云效”。阿里云智能资深技术…

云·越2021 | 移动云开发者社区网站焕新升级

云上磨一剑&#xff0c;砥砺自生辉移动云开发者社区挥手2020&#xff0c;焕新2021迎来社区功能全新升级现已正式上线移动云开发者社区自2020年11月对外发布以来&#xff0c;依托移动云全面的云能力、丰富的产品体系、专业领域能力培训认证、优质双创服务体系等核心资源&#xf…

系统架构设计师 - 软件架构设计 - 软件架构风格

文章目录软件架构风格描述数据流风格批处理风格管道过滤器风格调用返回风格主子程序风格面向对象&#xff08;显式调用风格&#xff09;层次结构风格独立构件风格调用返回风格(隐式调用)虚拟机风格基于规则风格解释器风格仓库风格数据库风格黑板系统浏览器风格两层CS架构三层CS…