启动yarn后,其他节点没有NodeManager

写在前面:

        这个问题虽然折磨了我两天,但是原因特别蠢,可能与各位不一定一样,我是因为ResourceManager的节点的"/etc/hadoop/workers"文件没有配置好(没有配hadoop102和hadoop104),但排查过程可以作参考。

背景:

      我是跟着b站的尚硅谷hadoop3.X视频做的,部署了hadoop102,hadoop103,hadoop104后,按照集群部署规划,应该是:
hadoop102hadoop103hadoop104
HDFS

NameNode

DataNode

DateNode

SecondaryNameNode

DataNode

YARNNodeManager

ResourceManager

NodeManager

NodeManager

问题:

配置了 /etc/hadoop 下的core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml文件后,在hadoop102节点上先格式化NameNode,然后启动HDFS,jps查看也是正常的,然后在hadoop103(配置了ResourceManager的节点)启动YARN,无报错信息,jps查看,nodemanager在hadoop103正常启动,但是hadoop102和hadoop104都没有nodemanager

排查:

1. 百度yarn部分节点没有nodemanager,发现问题大概率是yarn-site.xml配置文件没有配好,Hadoop集群搭建部分结点没有出现NodeManager问题解决方法icon-default.png?t=N7T8https://blog.csdn.net/weixin_45960843/article/details/119780208,比如内存溢出、cpu核数默认是8,需要自己配置成1或者2,按照文章内容配置之后,未能解决。也有说是需要给节点设置免密的,我之前也已经设置,未能解决。

2. 在尝试了很多方法之后,转换思路,需要根据自己报错信息来排查,问题就变成了查看yarn 的运行日志了,然而我没有找到这个路径,不过这是提供了web端的:在浏览器中输入http://hadoop103:8088,可以查看在Tools下面看local logs,去看hadoop103的nodemanager日志,发现竟然是没有error的,也就是说是正常的,至此,我几乎没有别的办法了,不管如何修改配置文件,其他节点就是没有nodemanager。

3.灵光一闪下,想到了workers,因为我的hdfs启动是正常的,也就是hadoop102可以正常交互hadoop103和hadoop104,但是hadoop103只能管到自己,去看了一下103的workers文件,果然问题出在这里。将102的workers分发到103和104,更一下缓存,source /etc/profile,重启集群,(记得先关掉yarn和hdfs,删掉每个节点下的data/和logs/,再格式化102->如果data里有重要数据,不要这么搞)问题终于得到解决。

思考:

出问题,应该先去看日志的报错信息,再根据报错去排查对应的问题,而不是直接百度,效率太低。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/45022.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数字图像处理(实践篇)四十八 PCA主成分分析降维与图像重建

目录 一 PCA 二 实践 实践① 实践② 一 PCA 主成分分析(PCA)是一种常见的数据分析技术,它可以用于降维和特征提取。 PCA 的作用包括以下几个方面: ①数据降维:PCA 可以将高维数据降维到低维空间中,从而方便后续的数据分析和可视化。可以将具有多个变量的数据集降维…

循环结构(二)——while语句【互三互三】

文章目录 🍁引言 🍁一、语句格式 🍁二、语句执行过程 🍁三、格式举例 🍁四、例题 👉【例1】 💎【示例代码】 👉【例2】 🚀【方法1】: &#x1f48e…

【Java伴学笔记】Day-02 变量|计算机的存储方式|数据类型|标识符|键盘输入流

一、变量 在Java中,变量用于存储数据值,可以是数字、文本或其他类型的信息。Java中的变量必须声明后才能使用,并且每个变量都有特定的类型。下面是一些基本的变量使用示例: 声明一个整型变量并赋值: int myNumber; …

企业如何选择渲染农场?渲染100邀请码1a12

渲染农场能降低企业成本,帮助企业更好的服务客户,那么如何选择渲染农场呢?又有什么标准?这次我们就来看下。 1、渲染性能 渲染性能是衡量农场优劣的重要指标,性能越好农场越优质,性能主要包括渲染速度、稳…

一文快速接入银行卡识别API

银行卡识别API 能通过机器学习和图像识别技术来解析银行卡相关信息,根据用户上传卡片自动识别内容,返回该卡的卡号、所属银行及银行类型等信息。可以在用户需要输入银行卡等相关信息时使用该功能,帮助用户快速输入正确信息,简化用…

VPX3U架构+GPU景嘉微:基于飞腾处理器的全国产化刀片式板卡

近期承接了客户一个全国产的VPX3U的项目。搭载的飞腾FT2000系列处理器的VPX3U板卡。服务于某某部门。这款产品拥有全国产化及自主可控的硬件技术。以下是基于飞腾FT2000处理器的VPX3U主板的一些特点: ①飞腾FT2000系列处理器 处理器:板卡兼容飞腾FT2000…

【触摸屏】【红十字会学习系统】功能模块:视频 + AI拍照合成

项目背景 提升公众急救能力:确保每个人都能在紧急情况下采取正确的急救措施,减少伤害,挽救生命。培养人道主义价值观:通过教育和培训,传播红十字精神,促进社会对弱势群体的关注与支持。建立社区响应网络&a…

【Linux】进程间通信(IPC)——匿名管道

目录 为什么要进行进程间通信? 匿名管道的具体实现 pipe创建内存级文件形成管道 pipe的简单使用 匿名管道的四种情况和五种特性 四种情况 五种特性 PIPE_BUF 命令行管道 | 功能代码:创建进程池 为什么要进行进程间通信? 1.数据传输&…

第五天安全笔记(持续更新)

第五天防御笔记 NAT种类: 静态NAT动态NATNapt 特点: 一对多----easy ip 多对多的napt 服务器的映射关系: 1.源NAT----基于IP地址进行转换,包括静态NAT,动态NAT,以及NAPT 2.目标NAT---基于目标IP地址进行转换&a…

[笔记.AI]AI Agent理解(LLM AI Agent)

前几天看到一个图,感觉能帮助理解 AI Agent 的基本思想和原理,特摘过来备忘。顺道加上自己目前对相关部分的理解,不一定对,权当做个记录。 另外,专门查了下图的来源,应该是源自 Lilian Weng 的博客文章《…

Android Studio启动报错:The emulator process for AVD Pixel_5_API_30 has terminated

Android Studio启动AVD报错: The emulator process for AVD Pixel_5_API_30 has terminated. 原因:安装时使用自定义安装后,修改了默认安装目录。 而avd文件默认在 C:\Users\用户名\.android 目录下。所以导致打开AVD时报错。 解决方法&am…

SadTalker数字人服务器部署

一、单独SadTalker部署 git clone https://github.com/OpenTalker/SadTalker.gitcd SadTalker conda create -n sadtalker python3.8conda activate sadtalkerpip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pyto…

快速上手绿联私有云UGOS Pro系统Docker | 安装/部署/管理/docker-compose一网打尽

快速上手绿联私有云UGOS Pro系统Docker | 安装/部署/管理/docker-compose一网打尽 哈喽小伙伴们好,我是Stark-C~ 因为众所周知的原因,关于最新发布的绿联私有云UGOS Pro系统咱这里也不过多说,不过有一点不可否认:新系统专业性更…

代码随想录第51天|单调栈

42. 接雨水 参考 思路1: 暴力解法 找每个柱子的左右高度超时 O(N^2) 思路2: 双指针优化 class Solution { public:int trap(vector<int>& height) {vector<int> lheight(height.size(), 0);vector<int> rheight(height.size(), 0);lheight[0] hei…

nginx的正向与反向代理

正向代理与反向代理的区别 虽然正向代理和反向代理都涉及代理服务器接收客户端请求并向服务端转发请求&#xff0c;但它们之间存在一些关键的区别&#xff1a; 正向代理&#xff1a; 在正向代理中&#xff0c;代理服务器代表客户端向服务器发送请求&#xff0c;并将服务…

ctfshow-web入门-php特性(web104-web108)

目录 1、web104 2、web105 3、web106 4、web107 5、web108 1、web104 需要传入的 v1 和 v2 进行 sha1 加密后相等。 解法1&#xff1a; 这里都没有判断 v1 和 v2 是否相等&#xff0c;我们直接传入同样的内容加密后肯定也一样。 ?v21 post&#xff1a; v11 拿到 flag…

SQL 多变关联使用子查询去重

不去重状态 select a.*,b.recon_amt from free_settlement_first aleft join free_settlement_second b on a.settlement_first_id b.settlement_first_id 有2条数据出现了重复 使用子查询去重 select a.*,b.recon_amt from free_settlement_first aleft join free_settlem…

Vue 最新动态!!!

大家好,我是CodeQi! 一位热衷于技术分享的码仔。 当Vue 3.4在六个月前发布时,整个前端开发社区都为之振奋。这次更新不仅带来了许多新特性,还解决了许多开发过程中遇到的痛点。 然而,时间飞逝,随着我在项目中不断应用这些新特性,逐渐积累了很多宝贵的经验和心得。 今…

一篇学通Axios

Axios 是一个基于 Promise 的 HTTP 客户端&#xff0c;用于浏览器和 node.js 环境。它提供了一种简单易用的方式来发送 HTTP 请求&#xff0c;并支持诸如请求和响应拦截、转换数据、取消请求以及自动转换 JSON 数据等功能。 Axios 名字的由来 Axios 的名字来源于希腊神话中的…

Linux操作系统入门(适用java软件开发)

1.什么是操作系统? 操作系统&#xff08;Operating System&#xff0c;简称 OS&#xff09;是一种系统软件&#xff0c;它管理和控制计算机硬件与软件资源&#xff0c;为用户和应用程序提供一个接口和环境来访问计算机系统的服务和功能。操作系统的主要目标是提供一个方便、有…