yarn系统架构与安装

1.1 YARN系统架构

YARN的基本思想是将资源管理和作业调度/监视功能划分为单独的守护进程。其思想是拥有一个全局ResourceManager (RM),以及每个应用程序拥有一个ApplicationMaster (AM)。应用程序可以是单个作业,也可以是一组作业。

一个ResourceManager和多个NodeManager构成了YARN资源管理框架。他们是YARN启动后长期运行的守护进程,来提供核心服务。

  • ResourceManager

  • NodeManager

  • container

  • ApplicationMaster(简称AM)

YARN的角色MapReduce 1.x的角色
ResourceManager、Application Master、Timeline ServerJobTracker
NodeManagerTaskTracker
ContainerSlot
是在系统中的所有应用程序之间仲裁资源的最终权威,即管理整个集群上的所有资源分配,内部含有一个Scheduler(资源调度器)
是每台机器的资源管理器,也就是单个节点的管理者,负责启动和监视容器(container)资源使用情况,并向ResourceManager及其 Scheduler报告使用情况
即集群上的可使用资源,包含cpu、内存、磁盘、网络等
实际上是框架的特定的库,每启动一个应用程序,都会启动一个AM,它的任务是与ResourceManager协商资源,并与NodeManager一起执行和监视任务

1.2. YARN的配置

YARN属于Hadoop的核心组件,不需要单独安装,只需要修改一些配置文件即可。

1.2.1. mapred-site.xml

[root@qianfeng01 hadoop-3.3.1]# vi /usr/local/hadoop-3.3.1/etc/hadoop/mapred-site.xml

<configuration><!-- 指定MapReduce作业执行时,使用YARN进行资源调度 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
1.2.2. yarn-site.xml

[root@qianfeng01 hadoop-3.3.1]# vim /usr/local/hadoop-3.3.1/etc/hadoop/yarn-site.xml

<configuration><!-- 设置ResourceManager --><property><name>yarn.resourcemanager.hostname</name><value>qianfeng01</value></property>
​<!--配置yarn的shuffle服务--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property>
</configuration>
1.2.3. hadoop-env.sh

[root@qianfeng01 hadoop-3.3.1]# vim /usr/local/hadoop-3.3.1/etc/hadoop/hadoop-env.sh

# 添加如下:
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
1.2.4. 分发到其他节点
[root@qianfeng01 hadoop-3.3.1]# scp -r /usr/local/hadoop-3.3.1/etc/hadoop/* qianfeng02:/usr/local/hadoop-3.3.1/etc/hadoop/
[root@qianfeng01 hadoop-3.3.1]# scp -r /usr/local/hadoop-3.3.1/etc/hadoop/* qianfeng03:/usr/local/hadoop-3.3.1/etc/hadoop/
1.2.5. YARN的服务启停
描述命令
开启YARN全部服务,在RM所在服务器上操作start-yarn.sh
停止YARN全部服务,在RM所在服务器上操作stop-yarn.sh

| 单点开启YARN相关进程,在对应所在服务器上操作 | yarn --daemon start resourcemanager yarn --daemon start nodemanager | | 单点停止YARN相关进程,在对应所在服务器上操作 | yarn --daemon stop resourcemanager yarn --daemon stop nodemanager |

当YARN的进程开启之后,我们可以在WebUI上查看到集群的资源信息、任务的运行状态等

http://192.168.10.101:8088

服务名称web UI端口url备注
NameNode9870http://qianfeng01:9870/所有注意服务启动的主机名或者ip
SecondaryNameNode50090http://qianfeng02:9868
historyServer19888http://qianfeng01:19888默认历史服务
DataNode50075http://qianfeng01:9864/
ResouceManager8088http://qianfeng01:8088默认8088
NodeManager8042http://qianfeng01:8042默认8042

Guff_hys_python数据结构,大数据开发学习,python实训项目-CSDN博客 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/215635.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ai智能机器人外呼系统怎么操作?

什么是ai智能机器人外呼&#xff1f;ai智能机器人外呼怎么操作&#xff1f;当下&#xff0c;很多企业主已经认识到&#xff0c;AI外呼是一种高效的拉新引流手段。但具体到实际应用中&#xff0c;实现的效果好像并没有那么理想。从企业外呼的结果来看&#xff0c;接通率是可以达…

【信息安全】-ISO/IEC 27001-2022(翻译)

文章目录 范围规范性引用文件3 术语和定义4 组织环境&#xff08;P&#xff09;4.1 理解组织及其环境4.2 理解相关方的需求和期望组织应确定:a) 信息安全管理体系相关方;b) 这些相关方的相关要求;c) 哪些要求可以通过信息安全管理体系得到解决。注:相关方的要求可包括法律、法规…

Ceph入门到精通-ceph二次开发开源协议考虑

Ceph 是一个开源的分布式存储系统&#xff0c;它由多个组件组成&#xff0c;包括分布式对象存储&#xff08;RADOS&#xff09;、分布式块存储&#xff08;RBD&#xff09;和分布式文件系统&#xff08;CephFS&#xff09;等。Ceph 采用了 GNU Lesser General Public License&a…

kuboard如何部署nacos?

​ kuboard如何部署nacos&#xff1f; 这个快速开始手册是帮忙您快速在您的电脑上&#xff0c;下载、安装并使用 Nacos。 项目包含一个可构建的Nacos Docker Image&#xff0c;旨在利用StatefulSets在Kubernetes上部署Nacos。 在高级使用中,Nacos在K8S拥有自动扩容缩容和数据…

“华为杯”研究生数学建模竞赛2019年-【华为杯】B题:天文导航中的星图识别

目录 摘 要: 一、问题重述 二、模型假设 三、符号说明 四、问题分析

nginx 前端服务调用后端服务报426

nginx 前端服务调用后端服务报426 在配置文件中加上一句配置 2&#xff1a;外挂出来

三(三)ts非基础类型(接口)

说明 在面向对象语言中&#xff0c;接口是一个很重要的概念&#xff0c;它是对行为的抽象&#xff0c;而具体如何行动需要由类去实现。 TypeScript 中的接口是一个非常灵活的概念&#xff0c;除了可用于对类的一部分行为进行抽象以外&#xff0c;也常用于对「对象的形状&…

屏幕分辨率修改工具SwitchResX mac功能特点

SwitchResX mac是可用于修改和管理显示器的分辨率和刷新率。 SwitchResX mac功能和特点 支持多种分辨率和刷新率&#xff1a;SwitchResX可以添加和管理多种分辨率和刷新率&#xff0c;包括自定义分辨率和刷新率。 自动切换分辨率&#xff1a;SwitchResX可以根据应用程序和窗口…

绝地求生:追寻枪王之路,为什么PUBG老玩家要进行训练?

作为一款全球热门的射击游戏&#xff0c;《绝地求生&#xff1a;大逃杀》&#xff08;PUBG&#xff09;吸引了大批热衷于挑战极限的玩家。在这个枪战沙盒中&#xff0c;角逐者们需要不断提升自己的战术、枪法和反应速度&#xff0c;才能在百人对战中脱颖而出。那么为什么PUBG老…

1274:【例9.18】合并石子

【算法分析】 【算法分析】 首先我们要先读懂题意&#xff0c;可能有部分同学在读题的时候就有点难以理解。 我们首先来分析一个比较简单的问题&#xff0c;现在一共有三堆石头&#xff0c;每堆石子的数量分别是3&#xff0c;4&#xff0c;11。求合并成一堆石头的最小得分。…

Hanlp自然语言处理如何再Spring Boot中使用

一、HanLP HanLP (Hankcs NLP) 是一个自然语言处理工具包&#xff0c;具有功能强大、性能高效、易于使用的特点。HanLP 主要支持中文文本处理&#xff0c;包括分词、词性标注、命名实体识别、依存句法分析、关键词提取、文本分类、情感分析等多种功能。 HanLP 可以在 Java、Py…

【LeetCode每日一题】2270.分割数组的方案数

https://leetcode.cn/problems/number-of-ways-to-split-array/description/ 题目&#xff1a; 给定一个数组&#xff0c;从 下标为 index 的地方切开&#xff0c;左边的数大于右边&#xff0c;保证右边至少有一个数。 思路一&#xff1a; 遍历数组&#xff0c;用prefixArr …

运用企业微信构建内部外部沟通桥梁的策略

随着互联网技术的普及和移动设备的广泛使用&#xff0c;企业微信作为企业内部协作和沟通的重要工具&#xff0c;发挥着越来越重要的作用。其中&#xff0c;企业微信的社群功能为信息的传播和交流提供了新的途径。通过建立活跃的企业微信社群&#xff0c;不仅可以加强员工之间的…

部署Nextcloud详细步骤及优化方法

一、安装PHP8.0以上 我这里使用PHP8.0.30 [rootlocalhost ~]# php -v PHP 8.0.30 (cli) (built: Aug 3 2023 17:13:08) ( NTS gcc x86_64 ) Copyright (c) The PHP Group Zend Engine v4.0.30, Copyright (c) Zend Technologies [rootlocalhost ~]# 安装方法参考 二、安装MY…

[算法基础 ~排序] Golang 实现

文章目录 排序什么是排序排序的分类1. 冒泡1.1 冒泡排序1.2. 快速排序 2. 选择2.1 简单选择排序2.2 堆排序 3. 插入3.1 直接插入3.2 折半插入3.3 希尔排序 4. 归并排序代码实现 5. 基数排序 排序图片就不贴了吧 排序 什么是排序 以下部分动图来自CSDN ::: tip 稳定性的概念 …

linux创建新用户

在Linux中&#xff0c;可以使用useradd命令来创建新用户。以下是创建新用户的基本步骤&#xff1a; 打开终端或命令行界面。输入以下命令并按下回车键创建新用户&#xff1a; sudo useradd -m -s /bin/bash username 其中&#xff0c;-m选项表示同时创建用户主目录&#xff…

【Kubernetes】存储类StorageClass

存储类StorageClass 一、StorageClass介绍二、安装nfs provisioner&#xff0c;用于配合存储类动态生成pv2.1、创建运行nfs-provisioner需要的sa账号2.2、对sa授权2.3、安装nfs-provisioner程序 三、创建storageclass&#xff0c;动态供给pv四、创建pvc&#xff0c;通过storage…

mysql:用SHOW COLUMNS FROM显示一个表的列信息

可以使用命令SHOW COLUMNS FROM table_name;显示一个表的列信息&#xff0c;例如&#xff1a;

Java se的语言特征之多态

目录 满足多态的条件动态绑定第一步动态绑定第二步动态绑定第三步参数列表,返回类型,访问修饰限定符区别有动态绑定,那是不是有静态绑定向下转型抽象类接口实现多个接口(先继承再接口,接口用",") 满足多态的条件 定义:去完成某个状态的时候,当不同的对象去完成的时候…

MTK Android13 user版本进入engineermode的Bluetooth测试项时闪退

平台&#xff1a;MT6771 android13 问题描述&#xff1a;进入到工模&#xff0c;点击进入Bluetooth测试项直接闪退 Log如下&#xff1a; 07-31 10:15:51.480 3605 3605 D EM/EmUtils: getEmAidlService ... 07-31 10:15:51.481 398 398 I servicemanager: Could not fin…