Hadoop3:HDFS副本节点选择逻辑讲解

一、副本节点选择(机架感知)

在这里插入图片描述
说明
第一个副本,因为我们的client可能是web页,也可能是shell终端
如果是web页,则随机选取一个节点,如果是shell终端,则选择当前shell终端所在的节点。
节点距离最近,保证了性能。

第二个副本,选择机架2n0节点,为了保证数据的可靠性

第三个副本,为什么不选择机架3上的节点呢?
因为,第二个副本已经保证了可靠性,所以,第三副本,更注重性能,所以,根据节点距离最近原则,选择机架2n1节点

二、两个节点间距离计算

1、什么是机架式服务器?

每个机架式服务器,独立配备一个交换机,机架里面,是一台台独立的服务器。
类似下图
在这里插入图片描述

2、节点距离计算

节点距离:两个节点到达最近的共同祖先节点的距离总和。
在这里插入图片描述
情况1:
集群中,任何一个节点,到自身的距离,是0
在这里插入图片描述
情况2
同一个机架上的服务器,共同的祖先节点,就是这台机架
n1到机架的距离为1,n2到机架的距离为1,所以,距离为2
在这里插入图片描述
依次类推,应该明白后面两个的计算逻辑了。

当然,不一定所有的集群节点分布都是上图这种树形结构。
例如下图
在这里插入图片描述
此时
节点5到节点9的距离就是3
节点10到节点2的距离就是3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/838382.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring编程使用DDD的小把戏

场景 现在流行充血领域层,在原本只存储对象的java类中,增加一些方法去替代原本写在service层的crud, 但是例如service这种一般都是托管给spring的,我们使用的ORM也都托管给spring,这样方便在service层调用mybatis的m…

2009上半年

1.所有访问存储的方式有两种 一种按地址 另一种按照内容 地址 有三种 第一种是内存 RAM 访问任何一个存储单元都是相同的 第二种是顺序访问 SAM 就是磁盘 存储顺序与地址有关 第三种 是DAM Direct 是磁盘 对磁道寻址是随机的 而在一个磁道内则是顺序寻址 相联存储器 是内容存储…

计网面试干货---带你梳理常考的面试题

顾得泉:个人主页 个人专栏:《Linux操作系统》 《C从入门到精通》 《LeedCode刷题》 键盘敲烂,年薪百万! 一、HTTP和HTTPS的区别 1.安全性:HTTPS通过SSL/TLS协议对数据进行加密处理,有效防止数据在传输过…

函数栈帧的创建和销毁(详细理解)

🎁个人主页:我们的五年 🔍系列专栏:c语言课程学习 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 问题: 1.ebp,esp两个寄存器用来维护函数栈帧 2.main函数也一个函数&#…

Darknet+ros+realsenseD435i+yolo(ubuntu20.04)

一、下载Darknet_ros mkidr -p yolo_ws/src cd yolo_ws/src git clone --recursive https://github.com/leggedrobotics/darknet_ros.git #因为这样克隆的darknet文件夹是空的,将darknet_ros中的darknet的文件替换成如下 cd darknet_ros git clone https://github.…

2024年湖北省安全员-B证证模拟考试题库及湖北省安全员-B证理论考试试题

题库来源:安全生产模拟考试一点通公众号小程序 2024年湖北省安全员-B证证模拟考试题库及湖北省安全员-B证理论考试试题是由安全生产模拟考试一点通提供,湖北省安全员-B证证模拟考试题库是根据湖北省安全员-B证最新版教材,湖北省安全员-B证大…

错误: 找不到或无法加载主类问题(已解决)

今天在虚拟机中安装了idea2023.2的版本,运行代码时发现错误找不到主类! 直接说结论: 我先clean了一下target,然后重新build,发现maven报错了,idea2023.2默认使用了内置的maven,然后我切换了一下…

Linux基础之僵尸进程与孤儿进程

目录 一、僵尸进程 1.1 什么是僵尸进程 1.2 为什么要有僵尸状态 1.3 观察我们的僵尸状态 1.4 关于僵尸进程的小Tip 二、孤儿进程 2.1 什么是孤儿进程 一、僵尸进程 1.1 什么是僵尸进程 在上一篇文章中,我们有提到过进程的死亡状态的概念,而我们的…

Transformer 模型

文章目录 前言一、模型结构 前言 Transformer 模型是由谷歌在 2017 年提出并首先应用于机器翻译的神经网络模型结构。机器翻译的目标是从源语言(Source Language)转换到目标语言(Target Language)。Transformer 结构完全通过注意力…

IDC:2023年中国IT安全软件市场同比增长4.7%

IDC最新发布的《中国IT安全软件市场跟踪报告,2023H2》显示,2023年下半年中国IT安全软件市场厂商整体收入约为169.8亿人民币(约合23.5亿元美元),同比上升2.7%。结合全年数据,2023全年中国IT安全软件市场规模…

Linux命令使用

一、ls tree clear 1.1 ls ls:查看当前目录下的文件名ls 目录名:查看指定目录下的文件名ls /:查看根目录下的文件名ls -a:查看当前目录下的所有文件名,包括隐藏文件ls -l:查看当前目录下文件的详细信息…

python EEL + vue3.js 项目中如何把组件中的函数提升为全局函数

eel官方示例中暴露的js函数是全局函数,vue中的自定义函数作用域通常都是组件范围内。要让eel.js调用,需要将其升为全局可用。 一般方法有 app.config.globalProperties 或 mixin等。 main.js //main.jsimport { createApp } from vue import App from…

Java中Set不同实现类的对比

Java中Set不同实现类的对比 在Java的集合框架中,Set接口表示一个不包含重复元素的集合。与List接口不同,Set不保证元素的顺序(除非使用它的某个特定实现,如LinkedHashSet),且不支持索引访问。Java提供了几…

Java中的数组、Set、List、Map类型的互相转换总结

序言 数组、Set、List、Map是Java语言非常常用的几种数据类型,他们之间存在着千丝万缕的联系。关于底层的数据结构我这里就不再多说啦,直接从应用出发,总结他们之间的转换方法,并给出推荐方法。 大家可以点赞收藏等到需要的时候…

【JAVA】嵌入式软件工程师-2025校招必备-详细整理

一、Java 基础 1.JDK 和 JRE 有什么区别? jdk:java development kit jre:java runtime Environment jdk是面向开发人员的,是开发工具包,包括开发人员需要用到的一些类。 jre是java运行时环境,包括java虚拟机…

SVDD(Singing Voice Deepfake Detection,歌声深度伪造检测)挑战2024

随着AI生成的歌声快速进步,现在能够逼真地模仿自然人类的歌声并与乐谱无缝对接,这引起了艺术家和音乐产业的高度关注。歌声与说话声不同,由于其音乐性质和强烈的背景音乐存在,检测伪造的歌声成为了一个特殊的领域。 SVDD挑战是首个…

惠州在线教育系统公司,K12数学受资本关注?麦斯数学获数千万人民币Pre-A轮融资

K12赛道一直是很火热的,大家也非常关注细分领域中的数学。近日麦斯数学宣布完成数千万人民币Pre-A轮融资,投资方为联想之星。 麦斯数学由51Talk联合创始人舒婷创立,目标定位于9-15岁的青少儿群体。据了解,麦斯数学以在线12-16人小…

电脑常用的PDF阅读器-嗨动PDF编辑器!带你详细了解它

电脑常用的PDF阅读器-嗨动PDF编辑器!在数字化信息爆炸的时代,PDF格式的文件因其易于打印和保留原始格式等优点,成为了人们日常工作和学习的常用格式。而对于PDF文件的处理,一款功能强大、操作简便的PDF阅读器是必不可少的。今天&a…

小白学dubbo傻冒连问-长连接篇

dubbo长连接有多长? dubbo的长连接并没有一个固定的时间长度,因为它是相对于通常的短连接而言的,主要特点是长时间保持客户端与服务端的连接状态。 在dubbo中,缺省协议采用单一长连接和NIO异步通讯,适合于小数据量大并…

SprintBoot案例-增删改查

黑马程序员JavaWeb开发教程 文章目录 一、准备工作1. 准备数据库表1.1 新建数据库mytlias1.2 新建部门表dept1.3 新建员工表emp 2. 准备一个Springboot工程2.1 新建一个项目 3. 配置文件application.properties中引入mybatis的配置信息,准备对应的实体类3.1 引入myb…