Hadoop的组成

一、Hadoop 1.x 和 2.x 的区别

在这里插入图片描述

二、HDFS架构

1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。(笔者把它简单理解为书的目录)

2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。(笔者把它简单理解为书中真正的内容)

3)Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

三、YARN架构

在这里插入图片描述
1)ResourceManager(RM)

  • 处理客户端请求
  • 监控NodeManager
  • 启动或监控ApplicationMaster
  • 资源的分配与调度

2)NodeManager(NM)

  • 管理单个节点上的资源
  • 处理来自ResourceManager的命令
  • 处理来自ApplicationMaster的命令

3)ApplicationMaster(AM)

  • 负责数据的切分
  • 为应用程序申请资源并分配给内部的任务
  • 任务的监控与容错

4)Container
yarn中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘等

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484025.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习与工业互联网安全:应用与挑战

来源:中国工程院院刊一、前言工业互联网是新一代信息技术与制造业深度融合的新兴工业生态与应用模式,通过“人、机、物”的泛在可靠互联,连接生产全要素、全产业链、全价值链,推动制造业生产方式和企业形态变革。工业互联网安全是…

Oracle 学习(1)

Oracle简介 Oracle是殷墟(yīn Xu)出土的甲骨文(oracle bone inscriptions)的英文翻译的第一个单词,在英语里是“神谕”的意思。Oracle公司成立于1977年,总部位于美国加州,是世界领先的信息管…

未来教育 · 软件破解

1、点击右侧链接,下载百度网盘 未来教育压缩包 [未来教育(提取码:hwx8)] 2、解压压缩包,安装软件 计算机等级考试模拟软件.exe (安装前务必打开网络)。 3、安装完成后,点击添加课程,选择自己需要的课程等级&#xff0…

网络攻防技术

1.网络攻防 2.DDos具体攻击过程:拒绝服务攻击; 3.防护体系 防火墙:是位于两个(或多个)网络间,实施网间访问控制的一组组件的集合;IDS/IPS:VDS/VPS: 网络病毒检测系统VDS 是用于实时监测网络环境中病毒疫…

契约测试:解决微服务测试的问题

为什么是契约测试契约测试(ContractTest)第一次看到我是在Martin Fowler的文章里。(原文在这里感兴趣的可以去看看https://martinfowler.com/bliki/ContractTest.html) 在他的这篇文章了,首先说了一下TestDouble的劣势…

科普:不要对移动机器人有误解

来源:Allians联汇智造 作者:CSDN博主一、移动机器人介绍区别于AGV(AutomaticGuided Vehicle,自动导引车,指装备有电磁或光学等自动引导设备,能按规定路径行走的自动运输车)等自动化运输车&#…

Windows终止进程

进程终止的4种方法: 主线程从入口函数返回;进程中有个 线程调用ExitProcess函数;进程中所有线程结束;其他进程中的线程调用了TerminateProcess函数。 在此,通过TerminateProcess函数来终止一个个其他进程,我…

Linux命令整理 —— 目录结构

二 、vi 和 vim 编辑器 【写在前面】 云计算与分布式这门课程的实验都是在Linux下完成的,虽然之前也一直也学习过Linux,但是一直没有系统的过一遍。这周花了两天的时间看完了尚硅谷的Linux教程,在这里记录一下学习过程,也方便自己…

人工智能-机器学习之Selenium(chrome驱动,火狐驱动)

selenium是一个用于web应用程序测试的工具,Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够…

这应该是史上最强的物理学科普(雄文)

图文来源:微信公众号:财经小报告本文素材主要摘录自加来道雄的《Hypersapce》和丘成桐的《The Shape of Inner Space》。作者希望凭籍本文,回顾一下两百年来的科学史,看看那些代表着人类最高心智的数学家、物理学家们前仆后继探究…

3D模型格式解析(OBJ)

文章目录OBJ格式解析一、OBJ格式二、vtkOBJReader源码解析1.主要部分总结OBJ格式解析 通过解读vtk源码中对OBJ文件的读取代码,讲解如何获取obj模型的顶点(vertex)信息,法线信息,纹理信息以及点(Point)、线、面等主要元素的提取。 一、OBJ格式…

《动手学深度学习》第一天 (2.1+2.2)

2.1 获取和运行本书的代码 2.1.1获取代码并安装运行环境 第一步: 安装Miniconda ,由于我的电脑已经安装过Anaconda,所以就没有再安装Miniconda了。 第二步:下载代码,地址 https://zh.d2l.ai/d2l-zh-1.0.zip 第三步…

从技术到科学,中国AI向何处去?

来源: 科学网编辑:宗华排版:华园作者:金榕(阿里巴巴达摩院副院长、原密歇根州立大学终身教授)● AI时代序幕刚拉开,AI目前还处于初级阶段,犹如法拉第刚刚发现了交流电,还…

QT高级编程之基本函数用法

1.QString类函数介绍 toInt()函数,可以将整型按照不同进制转换为QString对象;number()函数,可以将QString对象转换为不同进制的数字; 2.文档查询方法:通过Qt Creator编辑器通过帮助->索引->QString查看QString…

Linux命令整理 —— vi 和 vim 编辑器

一、目录结构 二 、vim 和 vim 编辑器 2.1【基本介绍】 所有的 Linux 系统都会内建 vi 文本编辑器。 vim 具有程序编辑的能力,可以看做是 vi 的增强版本,可以主动的以字体颜色辨别语法的正确性,方便程序设计。代码补完、编译及错误跳转等方…

网络版ATM项目的实现——客户端

网络版的ATM实现思路 客户端 1 #include "customer.h"2 3 static int sockfd;4 5 /*int create_msg_queue_c(int key)6 {7 //创建消息队列8 int msgid msgget(key,IPC_CREAT|0644);9 if(0 > msgid)10 {11 perror("msgget");12…

为什么航空发动机那么难造?看看3D工作原理

来源:网络目前大部分航空发动机都是属于燃气涡轮型,民用客机的发动机突出的安全性和可靠性,而军用发动机在这个基础上还追求更大的推力,以及开加力时的最大推力。由此可见,航空发动机领域中最强者必然是军用航发&#…

OSGB格式解析

主要介绍倾斜摄影数据OSGB二进制数据的解析,首先简单介绍一下OpenSceneGraph相关技术,并介绍倾斜摄影数据的组织结构,着重分析OSGB格式的相关字段,最后逐字节对OSGB数据进行解析并通过OpenSceneGraph对数据进行可视化,…

《动手学深度学习》 第二天 (自动求梯度)

2.3、自动求梯度 MXNet提供的autograd模块可以用来自动求梯度。 2.3.1 一个简单的栗子 这里我们要求对函数 y 2xTx (2乘以x的转秩乘以X)求关于列向量 x 的梯度。(使用jupyter notebook) 1、 创建变量x,并赋初值 x nd.arange(4).reshape((4,1)) #…