Amazon云计算AWS之[1]基础存储架构Dynamo

文章目录

  • Dynamo概况
  • Dynamo架构的主要技术
    • 主要问题及解决方案
    • Dynamo的存储节点
    • 数据均衡分布的问题
      • 一致性哈希算法
      • 改进一致性哈希算法
    • 数据备份
    • 数据冲突问题
    • 成员资格及错误检测
    • 容错机制
      • 临时故障处理机制
      • 永久性故障处理机制

Dynamo概况

  • 面向服务的Amazon平台基本架构
  • 为了保证其稳定性,Amazon的系统采用完全的分布式、去中心化的架构
  • 作为底层存储架构的Dynamo也同样采用无中心的模式
  • Dynamo只支持简单的键/值(key/value)方式的数据存储,不支持复杂的查询
  • Dynamo中存储的是数据值的原始形式,即按位存储,并不解析数据的具体内容,使得Dynamo几乎可以存储所有类型的数据
    在这里插入图片描述

Dynamo架构的主要技术

主要问题及解决方案

  • Dynamo在设计时被定位为一个基于分布式存储架构的,高可靠、高可用且具有良好容错性的系统。
  • Dynamo设计时面临的主要问题及所采取的解决方案
问题采取的相关技术
数据均衡分布改进的一致性哈希算法
数据备份参数可调的弱quorum机制
数据冲突处理向量时钟 (Vector Clock)
成员资格及错误检测基于Gossip协议的成员资格和错误检测
临时故障处理Hintedhandoff(数据回传机制)
永久故障处理Merkle哈希树

Dynamo的存储节点

  • Dynamo中的存储节点呈无中心的环状分布。
    在这里插入图片描述
    在这里插入图片描述
  • 通常,coordinator 是 preference list 上的第一个节点

数据均衡分布的问题

在这里插入图片描述

  • Dynamo采用分布式的数据存储架构,均衡的数据分布可以保证负载平衡和系统良好的扩展性。 所以,如何在各个节点上数据的均衡性是影响Dynamo性能的关键问题。

  • Dynamo中使用改进后的一致性哈希算法,并在此基础上进行数据备份,以提高系统的可用性。

一致性哈希算法

在这里插入图片描述

  • 一致性哈希算法是目前主流的分布式哈希表(Distributed Hash Table,DHT)协议之一,于1997年由麻省理工学院提出。
  • 一致性哈希算法通过修正简单哈希算法,解决了网络中的热点问题,使得DHT(分布式哈希表)可以真正地应用于P2P环境中。
  • 对于系统中的每个设备节点,为其分配一个随机的标记,这些标记可以构成一个哈希环。
  • 在存储数据时,计算出数据中键的哈希值,将其存放到哈希环顺时针方向上第一个标记大于或等于键的哈希值的设备节点上。
  • 一致性哈希算法除了能够保证哈希运算结果充分分散到整个环上外,还能保证在添加或删除设备节点时只会影响到其在哈希环中的后继设备节点,而不会对其他设备节点产生影响。
    在这里插入图片描述
    在这里插入图片描述
  • 一致性哈希算法可以大大降低在添加或删除节点时引起的节点间的数据传输开销

改进一致性哈希算法

  • 一致性哈希算法在设备节点数量较少的情况下,有可能造成环上节点分布的不均匀;并且没有考虑哈希环上不同设备节点的性能差异。
  • Dynamo中引入虚拟节点的概念。
    在这里插入图片描述
  • Dynamo中引入了虚拟节点的概念。每个虚拟节点都隶属于某一个实际的物理节点,一个物理节点根据其性能的差异被分为一个或多个虚拟节点。 各个虚拟节点的能力基本相当,并随机分布在哈希环上。
  • 数据对象先按照其键的哈希值被分配到某个虚拟节点上,并存储在该虚拟节点所对应的物理节点中。

  • 为进一步提高数据分布的均衡性。Dynamo将整个哈希环划分成Q等份,每个等份称为一个数据分区(Partition)。
  • 在存储数据时,每个数据会被先分配到某个数据分区,再根据负责该数据分区的虚拟节点,最终确定其所存储的物理节点。
  • 假设系统中有 S S S个虚拟节点,且 Q > > S Q>>S Q>>S,则每个虚拟节点负责的数据分区数为 V = Q / S V=Q/S V=Q/S

在这里插入图片描述

  • 数据分区的好处
  1. 减小数据分布不均衡的可能性
  2. 添加或删除设备节点时引起较小的数据传输

数据备份

  • 为提高数据的可用性,Dynamo中在存储每个数据对象时,保存其多个副本作为冗余备份。假设每个数据对象保存在系统中的副本数为N(通常为3),考虑到存在节点失效的情况,preference list中节点的个数大于N,并且为实际的物理节点。
  • 在Dynamo中,每个数据的副本备份存储在哈希环顺时针方向上该数据所在虚拟节点的后继节点中。 某个数据对象的键为k,其数据存储在虚拟节点A中,则其数据副本将按顺时针方向存储在虚拟节点B、C上。

在这里插入图片描述

  • 数据备份在存储数据的同时进行,会使每次写操作的延时变长。Dynamo中对写操作进行了优化,保证一个副本必须写入硬盘,其他副本只要写入节点的内存即返回写成功。
  • 每个虚拟节点上实际存储了分配给它以及分配它的前N-1个前驱虚拟节点的数据。

数据冲突问题

在这里插入图片描述

  • Dynamo选择通过牺牲一致性来保证系统的可靠性和可用性,没有采用强一致性模型而采用最终一致性模型。
  • 由于Dynamo中可能出现同一个数据被多个节点同时更新的情况,且无法保证数据副本的更新顺序,这有可能会导致数据冲突。
  • Dynamo中采用向量时钟技术(Vector Clock)解决数据冲突问题。
  • Dynamo中的向量时钟通过 [ n o d e , c o u n t e r ] [node, counter] [node,counter]来表示,node表示操作节点;counter是其对应的计数器,初始值为 0 0 0节点每进行一次更新操作则计数器加 1 1 1

常用的解决冲突的方案有两种:

  1. 通过客户端由用户来解决;
  2. 系统自动选择时间戳最近的版本
  • 由于集群内的各个节点并不能严格保证时钟同步,所以不能完全保证最终版本的准确性。
  • 向量时钟的数量是有限制的,当超过限制时将会根据时间戳删除最早的向量时钟
    在这里插入图片描述
  1. 客户端请求写入一个新对象。节点 S x S_x Sx处理对 k e y key key的写:序列号递增,并创建数据的向量时钟,在该节点上生成对象D1和向量时钟 [ ( S x , 1 ) ] [(S_x, 1)] [(Sx,1)]

  2. 客户端更新该对象。假设由同样的节点即 S x S_x Sx处理这个请求,由于该节点有 D 1 D_1 D1和向量时钟 [ ( S x , 1 ) ] [(S_x, 1)] [(Sx,1)],则更新该对象后在该节点上生成对象 D 2 D_2 D2和向量时钟 [ ( S x , 2 ) ] [(S_x, 2)] [(Sx,2)] D 2 D_2 D2继承自 D 1 D_1 D1,即 D 2 D_2 D2覆写 D 1 D_1 D1,计数器增 1 1 1,但其它节点此时可能是 D 1 D_1 D1,也可能是 D 2 D_2 D2(取决于网络和节点状态)

  3. 假设同一客户端更新该对象但被不同的服务器处理。节点 S y S_y Sy处理这个请求,则更新该对象后在该节点上生成对象 D 3 D_3 D3和向量时钟 [ ( S x , 2 ) , ( S y , 1 ) ] [(S_x, 2), (S_y, 1)] [(Sx,2),(Sy,1)]

  4. 假设另一客户端读取到 D 2 D_2 D2并尝试更新它但被另一个不同的服务器处理。节点 S z S_z Sz处理了这个请求,则更新该对象后在该节点上生成对象 D 4 D_4 D4和向量时钟 [ ( S x , 2 ) , ( S z , 1 ) ] [(S_x, 2), (S_z, 1)] [(Sx,2),(Sz,1)]

  5. 节点数据版本回收。现在有4个版本的数据存在并在各个节点之间传递了,当节点收到 D 3 D_3 D3 D 4 D_4 D4时,会根据向量时钟将#D_1#和#D_2#回收掉,因为其是 D 3 D_3 D3 D 4 D_4 D4的祖先。但是收到 D 3 D_3 D3 D 4 D_4 D4的节点,根据向量时钟发现它们之间是并行关系,则保留二者,并在客户端get时将二者都提交给客户端由其来协调并合并版本。

    • 假设客户端读取数据,则会获取到 D 3 D_3 D3 D 4 D_4 D4,根据两者的向量时钟,会合并为 D 5 D_5 D5和向量时钟 [ ( S x , 2 ) , ( S y , 1 ) , ( S z , 1 ) ] [(S_x, 2), (S_y, 1), (S_z, 1)] [(Sx,2),(Sy,1),(Sz,1)],节点 S x S_x Sx协调写操作,并更新对象和向量时钟。

成员资格及错误检测

  • 由于Dynamo采用了无中心的架构,每个成员节点都需要保存其他节点的路由信息。为保证每个节点都能拥有最新的成员节点信息,Dynamo中采用了一种类似于Gossip(闲聊)协议的技术,每个节点间隔固定时间(1秒)从其他节点中任意选择一个与之通信。
  • 通信连接成功后,双方交换各自保存的系统中节点的负载、路由等信息。
    在这里插入图片描述
  • Dynamo中还通过Gossip来实现错误检测。任何节点向其他节点发起通信后,如果对方没有回应,则认为对方节点失效,并选择别的节点进行通信。发起通信的节点定期向失效节点发出消息,如果对方有回应,则可以重新建立通信。

  • 为避免新加入的节点之间不能及时发现其他节点的存在,Dynamo中设置一些种子节点(Seed Node)。种子节点和所有的节点都有联系。当新节点加入时,它扮演一个中介的角色,使新加入节点之间互相感知。
    在这里插入图片描述
  • 假如一新节点加入节点总数为 N N N的系统,并以最优的方式进行传播(即每次通信的两个节点都是第一次交换新节点信息),那么将新节点信息传遍整个系统需要的时间复杂度为 l o g n logn logn
  • 自底向上每一层代表一次随机通信。第一层节点1将信息交换给节点2;第二层节点1和2同时开始随机选择其他节点交换信息,比如节点1向节点3发送信息,节点2向节点4发送信息;以此类推,直到N个节点全部传遍。
  • 整个过程形成一个倒的二叉树,树高为 l o g n logn logn。显然,当N的值很大时,传播时间会变长,因此,Dynamo中的节点数不能太多。
  • 根据Amazon的实际经验,当节点数N在数千时,Dynamo的效率是非常高的;但当节点数 N N N增加到数万后,效率就会急剧下降。为此,Amazon采用了分层Dynamo结构来解决该问题 [ 1 , 40 ] [1,40] [140]
    在这里插入图片描述

容错机制

临时故障处理机制

  • 为处理机器假死等临时失效的节点,Dynamo中采用了一种带有监听的数据回传机制。
  • 当虚拟节点A失效后,会将数据临时存放在节点D的临时空间中,并在节点A重新可用后,由节点D将数据回传给节点A。
  • 节点D是preference list里的最后一个节点。
  • 每个节点对应的都有一个自己作为coordinator的preference list
    在这里插入图片描述

永久性故障处理机制

  • 节点失效超过设定时间仍不能重用,认定为永久性故障。此时,Dynamo需要从其他数据副本进行数据同步
  • Dynamo采用Merkle哈希树技术来加快检测和减少数据传输量。
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/764.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言学习/复习24---

一、指针的进阶 1.指针的类型 2.字符指针 注意事项1:数组名是首元素地址,指针变量存储地址 3.指针数组 4.数组指针 注意事项1:&数组名与数组名 案例1:数组地址与数组首元素地址 数组地址的使用: ​​​…

理解字符串常量池(JVM)

大纲 思考 如何查看字符串常量池(StringTable)? 使用 jclasslib 插件打开字节码,选择 常量池 -> 显示所选 -> CONSTANT_String_info,左侧过滤后的内容即为字符串常量池 字符串常量池、方法区、永久代和元空间的…

如何将你的iOS应用成功上架App Store(图文详解)

上架基本需求资料 1、苹果开发者账号(如还没账号先申请- 苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestFlight测试然后提交审核的完整流程! …

草稿 | word格式的网址索引

参考文献引用 参考文献上标设置:(改为上标的快捷键为ctrlshift“”) https://jingyan.baidu.com/article/cbcede07d786c743f50b4d47.html 多个参考文献一起引用: https://blog.csdn.net/neptune4751/article/details/119921187 交…

社交媒体数据恢复:与你科技

在数字时代,数据是我们生活中的重要组成部分。无论是个人照片、文档,还是企业的重要资料,数据在我们的生活中扮演着举足轻重的角色。然而,数据丢失的问题时常发生,给我们带来了很多麻烦。幸运的是,当下众多…

UE4 拍摄、保存并浏览相册

效果: 1.新建CameraActor类 2.修改截图保存路径 3.编写BP_Camera蓝图 注意路径 Save Image函数要在执行拍照和BeginPlay事件执行一次 按钮执行拍摄事件 3.编写UMG蓝图 技巧:让Index加1、减1循环赋值 4.把BP_Camera挂在玩家上

步步精科技获得发明型专利,提升Type-C连接器行业竞争力

在电子科技日新月异的时代,连接器作为电子设备中不可或缺的一部分,其安全性、稳定性和性能水平直接关系到设备的使用效果和用户体验。深圳市步步精科技有限公司(以下简称“步步精科技”)一直致力于连接器领域的技术创新和产品研发…

Ubuntu上阅读Android源码工具

由于Android源码过于庞杂,里面有多种语言源文件,想只用一IDE统一索引是不现实的。我个人便使用AS阅读JAVA代码,VS看C/C代码,在Ubuntu上不能使用SI,所以直接放弃。在framework开发这个层面上来讲,因为大部分…

vue中使用水印

1. 在utils下创建watermark.js const watermark {}/**** param {要设置的水印的内容} str* param {需要设置水印的容器} container* param {需要设置水印的每一块的宽度} canWidth* param {需要设置水印的每一块的高度} canHeight* param {需要设置水印的字体} canFont* para…

Qt - 窗口

目录 1. 前言 2. 菜单栏(QMenuBar) 2.1. 创建菜单栏 2.1.1. 方式一 2.1.2. 方式二 2.2. 在菜单栏中添加菜单和创建菜单项 2.3. 在菜单项之间添加分割线 2.4. 综合示例 3. 工具栏(QToolBar) 3.1. 创建工具栏 3.2. 设置停靠位置 3.2.1. 方式一 3.2.2. 方式二 3.3. 设…

桥接模式【结构型模式C++】

1.概述 桥接模式是一种结构型设计模式,是用于把抽象化与实现化解耦,使得二者可以独立变化。这种类型的设计模式属于结构型模式,它通过提供抽象化和实现化之间的桥接结构,来实现二者的解耦。 这种模式涉及到一个作为桥接的接口&am…

go语言并发实战——日志收集系统(四) 利用tail包实现对日志文件的实时监控

Linux中的tail命令 tail 命令是一个在 Unix/Linux 操作系统上用来显示文件末尾内容的命令。它可以显示文件的最后几行内容,默认情况下显示文件的最后 10 行。tail 命令 非常有用,特别是在我们查看日志文件或者监视文件变化时。 基本用法如下&#xff1a…

Flume在大数据集群下的配置以及监控工具Ganglia的部署安装

前提:需要有三台虚拟机(hadoop102,103,104)配置好相关基础环境 安装 将安装包上传到/opt/software中 tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/修改 apache-flume-1.9.0-bin 的名称为 flume mv /opt/module/…

element table加减列

// 有个特别注意的地方,下面这行代码,key一定绑的是item,千万不要绑定index,不然就会出现异常 //<el-table-column v-for"(item,index) in titleList" :key"item" min-width"150" align"center"><el-table fit :data"d…

从智能家居到智能城市:物联网中的隐私和安全风险

随着科技的不断进步&#xff0c;智能设备和物联网&#xff08;IoT&#xff09;技术已经逐渐渗透到我们的生活中。从智能家居设备到智能城市的实现&#xff0c;这些设备和技术可以让我们的生活变得更加便捷和高效。但是&#xff0c;这些设备也带来了不可忽视的隐私和安全风险。 …

【QT进阶】Qt Web混合编程之html、 js的简单交互

往期回顾 【QT进阶】Qt Web混合编程之VS2019 CEF的编译与使用&#xff08;图文并茂超详细介绍&#xff09;-CSDN博客【QT进阶】Qt Web混合编程之QWebEngineView基本用法-CSDN博客【QT进阶】Qt Web混合编程之CMake VS2019编译并使用QCefView&#xff08;图文并茂超详细版本&…

奇怪的 NRST 管脚异常复位问题

1. 引言 本文探讨一个奇怪的 MCU NRST 管脚异常复位现象。 2. 复位问题及排查 这个问题是客户对开发的平台做 EMS 浪涌测试的时候发生的&#xff0c; 平台上使用了一个STM32G474 RCT6 MCU 。在某个等级的 EMS 测试中&#xff0c; 客户发现 MCU 有时候会异常复位而影响平台的…

Linux驱动开发笔记(一)字符驱动

文章目录 前言一、字符设备驱动程序框架二、基本原理1. 设备号的申请与归还2. 保存file_operations接口3. 设备节点的创建和销毁4. 创建文件设备4.1 mknod4.2 init_special_incode( )函数 5. 查找file_operation接口函数速查表 三、程序编写1. 模块初始化及关闭2. 文件操作方式…

Pytorch 学习路程

目录 下载Pytorch 入门尝试 几种常见的Tensor Scalar Vector Matrix AutoGrad机制 线性回归尝试 使用hub模块 Pytorch是重要的人工智能深度学习框架。既然已经点进来&#xff0c;我们就详细的介绍一下啥是Pytorch PyTorch 希望将其代替 Numpy 来利用 GPUs 的威力&…

Python --- 在python中安装NumPy,SciPy,Matplotlib以及scikit-learn(Windows平台)

在python中安装NumPy&#xff0c;SciPy&#xff0c;Matplotlib以及scikit-learn(Windows平台) 本文是针对(像我一样的)python新用户所写的&#xff0c;刚刚在电脑上装好python之后&#xff0c;所需的一些常见/常用的python第三方库/软件包的快速安装指引。包括了这些常用安装包…