Hadoop的组成

一、Hadoop 1.x 和 2.x 的区别

在这里插入图片描述

二、HDFS架构

1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。(笔者把它简单理解为书的目录)

2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。(笔者把它简单理解为书中真正的内容)

3)Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

三、YARN架构

在这里插入图片描述
1)ResourceManager(RM)

  • 处理客户端请求
  • 监控NodeManager
  • 启动或监控ApplicationMaster
  • 资源的分配与调度

2)NodeManager(NM)

  • 管理单个节点上的资源
  • 处理来自ResourceManager的命令
  • 处理来自ApplicationMaster的命令

3)ApplicationMaster(AM)

  • 负责数据的切分
  • 为应用程序申请资源并分配给内部的任务
  • 任务的监控与容错

4)Container
yarn中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘等

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484025.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习与工业互联网安全:应用与挑战

来源:中国工程院院刊一、前言工业互联网是新一代信息技术与制造业深度融合的新兴工业生态与应用模式,通过“人、机、物”的泛在可靠互联,连接生产全要素、全产业链、全价值链,推动制造业生产方式和企业形态变革。工业互联网安全是…

Oracle 学习(1)

Oracle简介 Oracle是殷墟(yīn Xu)出土的甲骨文(oracle bone inscriptions)的英文翻译的第一个单词,在英语里是“神谕”的意思。Oracle公司成立于1977年,总部位于美国加州,是世界领先的信息管…

未来教育 · 软件破解

1、点击右侧链接,下载百度网盘 未来教育压缩包 [未来教育(提取码:hwx8)] 2、解压压缩包,安装软件 计算机等级考试模拟软件.exe (安装前务必打开网络)。 3、安装完成后,点击添加课程,选择自己需要的课程等级&#xff0…

网络攻防技术

1.网络攻防 2.DDos具体攻击过程:拒绝服务攻击; 3.防护体系 防火墙:是位于两个(或多个)网络间,实施网间访问控制的一组组件的集合;IDS/IPS:VDS/VPS: 网络病毒检测系统VDS 是用于实时监测网络环境中病毒疫…

科普:不要对移动机器人有误解

来源:Allians联汇智造 作者:CSDN博主一、移动机器人介绍区别于AGV(AutomaticGuided Vehicle,自动导引车,指装备有电磁或光学等自动引导设备,能按规定路径行走的自动运输车)等自动化运输车&#…

Linux命令整理 —— 目录结构

二 、vi 和 vim 编辑器 【写在前面】 云计算与分布式这门课程的实验都是在Linux下完成的,虽然之前也一直也学习过Linux,但是一直没有系统的过一遍。这周花了两天的时间看完了尚硅谷的Linux教程,在这里记录一下学习过程,也方便自己…

这应该是史上最强的物理学科普(雄文)

图文来源:微信公众号:财经小报告本文素材主要摘录自加来道雄的《Hypersapce》和丘成桐的《The Shape of Inner Space》。作者希望凭籍本文,回顾一下两百年来的科学史,看看那些代表着人类最高心智的数学家、物理学家们前仆后继探究…

《动手学深度学习》第一天 (2.1+2.2)

2.1 获取和运行本书的代码 2.1.1获取代码并安装运行环境 第一步: 安装Miniconda ,由于我的电脑已经安装过Anaconda,所以就没有再安装Miniconda了。 第二步:下载代码,地址 https://zh.d2l.ai/d2l-zh-1.0.zip 第三步…

从技术到科学,中国AI向何处去?

来源: 科学网编辑:宗华排版:华园作者:金榕(阿里巴巴达摩院副院长、原密歇根州立大学终身教授)● AI时代序幕刚拉开,AI目前还处于初级阶段,犹如法拉第刚刚发现了交流电,还…

QT高级编程之基本函数用法

1.QString类函数介绍 toInt()函数,可以将整型按照不同进制转换为QString对象;number()函数,可以将QString对象转换为不同进制的数字; 2.文档查询方法:通过Qt Creator编辑器通过帮助->索引->QString查看QString…

Linux命令整理 —— vi 和 vim 编辑器

一、目录结构 二 、vim 和 vim 编辑器 2.1【基本介绍】 所有的 Linux 系统都会内建 vi 文本编辑器。 vim 具有程序编辑的能力,可以看做是 vi 的增强版本,可以主动的以字体颜色辨别语法的正确性,方便程序设计。代码补完、编译及错误跳转等方…

网络版ATM项目的实现——客户端

网络版的ATM实现思路 客户端 1 #include "customer.h"2 3 static int sockfd;4 5 /*int create_msg_queue_c(int key)6 {7 //创建消息队列8 int msgid msgget(key,IPC_CREAT|0644);9 if(0 > msgid)10 {11 perror("msgget");12…

为什么航空发动机那么难造?看看3D工作原理

来源:网络目前大部分航空发动机都是属于燃气涡轮型,民用客机的发动机突出的安全性和可靠性,而军用发动机在这个基础上还追求更大的推力,以及开加力时的最大推力。由此可见,航空发动机领域中最强者必然是军用航发&#…

OSGB格式解析

主要介绍倾斜摄影数据OSGB二进制数据的解析,首先简单介绍一下OpenSceneGraph相关技术,并介绍倾斜摄影数据的组织结构,着重分析OSGB格式的相关字段,最后逐字节对OSGB数据进行解析并通过OpenSceneGraph对数据进行可视化,…

《动手学深度学习》 第二天 (自动求梯度)

2.3、自动求梯度 MXNet提供的autograd模块可以用来自动求梯度。 2.3.1 一个简单的栗子 这里我们要求对函数 y 2xTx (2乘以x的转秩乘以X)求关于列向量 x 的梯度。(使用jupyter notebook) 1、 创建变量x,并赋初值 x nd.arange(4).reshape((4,1)) #…

Gartner发布2021年新兴技术成熟度曲线

来源:Gartner中国8月24日,Gartner 公司最新发布了“2021年新兴技术成熟度曲线”(Hype Cycle for Emerging Technologies,2021)。其中,建立信任,加速增长以及塑造变革将是三大主要趋势&#xff0…

Vue语法学习第一课——插值

学习关于Vue的插值语法 ① 文本值 &#xff1a; "Mustache"语法&#xff0c;即双大括号 1 <span>Message:{{msg}}</span> 注&#xff1a;双大括号中的msg值改变&#xff0c;插入的内容也会随之改变&#xff0c;可通过v-once指令限制&#xff0c;但会影响…

人工智能“上位”会让程序员消失吗?

大脑以及二进制代码&#xff08;图&#xff1a;Canva&#xff09;来源&#xff1a;Forbes作者&#xff1a;Nisha Talagala编译整理&#xff1a;科技行者写代码已经成了许多工作的一项关键技能。一些国家和学校甚至认为&#xff0c;编程语言是一种可以接受的外语。而在各种熙熙攘…

分类的IP地址

现有物理地址再有IP地址IP地址的表示方法为点分十进制法IP地址的设计思想&#xff1a;网络部分 主机部分 分类的IP地址 特征&#xff1a;根据不同特征的IP地址&#xff0c;事先约定好网络号所占的位数和主机号所占的位数。 A类地址 全球一共有27-2 个A类网络&#xff0c;每…