Hadoop 启动,发现 namenode、secondary namenodes,这两个没有启动,报错超时。

        今天在启动 hadoop 的时候,发现本应该同时启动的 namenode、secondary namenodes 却都没有启动。我还以为是坏了又重新装了虚拟机,重新下载 Hadoop 重新配置结果还是同样的问题,那没办法只能去解决问题了。

        首先先再次尝试启动看他报错是什么。

        好这个 namenode 是启动失败的了,那么报错信息翻译过来就算连接超时嘛。

        其实这个应该还是很好解决的,我上网一搜还是很多效果教程的,但结果出乎意料的网上的就没有一个是我实用的,因为我花了一个下午的时间去一个个方法试过了都不起作用🤦‍。那来我这手把手教你如何排查如何解决此问题:

        首先我这边错误的情况是:运行start-all.sh脚本后,尝试连接到主机xxx的22端口时超时,namenodes和secondary namenodes启动失败,而datanodes、resourcemanager和nodemanagers可能启动成功。

可能的根本原因包括:SSH服务未运行、防火墙设置阻止了连接、网络配置问题(如IP或主机名解析错误)、SSH密钥认证问题,或者主机名配置不正确。

首先检查SSH服务是否在 主机上运行,使用 systemctl status sshd 或 service ssh status 命令。如果服务未启动,需要启动它。接着查看防火墙状态,确认22端口是否开放,可能需要临时关闭防火墙或添加规则。

然后检查网络连通性,尝试 ping xxx 是否正常,还有SSH密钥配置是否正确,用户是否设置了无密码登录,尤其是在Hadoop集群中,各节点之间通常需要配置免密SSH。需要确认公钥是否添加到 authorized_keys 文件中,权限是否正确。

检查SSH服务状态

systemctl status sshd  # 查看SSH服务状态
sudo systemctl start sshd  # 如果未运行,启动SSH服务

验证本地SSH连接

ssh xxx

如果连接失败,可能原因包括:

  • SSH服务未运行。

  • 防火墙阻止了SSH端口(默认22)。

  • /etc/hosts 或 DNS 解析错误。

检查防火墙设置

确保防火墙允许SSH端口(22)的通信:

sudo ufw status  # 查看防火墙状态(Ubuntu)
sudo firewall-cmd --list-ports  # CentOS/RHEL

如果防火墙启用且未开放22端口:

sudo ufw allow 22  # Ubuntu
sudo firewall-cmd --permanent --add-port=22/tcp && sudo firewall-cmd --reload  # CentOS

好经过上面的检查如果一切正常,再次尝试启动看看能不能启动了,好如果还不行也可以看看尝试单独启动:

单独启动的命令可以看:https://blog.csdn.net/m0_74132943/article/details/142152157?spm=1001.2014.3001.5501

如果你尝试了上面的内容后还是无法启动:那么继续:

检查主机名解析

确保 /etc/hosts 文件中 xxx 正确映射到本机IP(非127.0.0.1127.0.1.1):

vi /etc/hosts

修改完后记得:wq 保存文件;红色部分是你的 ip 地址,还有你的主机名。再重试启动Hadoop

【来到这里,我的问题就解决了,因为我打错了,如图所示,我打成了 192.169.xxx.xxx ,实际上应该是 192.168.xxx.xxx 】

如果你的尝试了还是不行,别急后面还有几个通用招:

 验证SSH密钥认证

Hadoop需要无密码SSH登录到本机和其他节点。生成密钥并添加到授权列表:

ssh-keygen -t rsa  # 生成密钥(如果不存在)
ssh-copy-id xxx  # 将公钥复制到本机

检查 ~/.ssh/authorized_keys 是否包含你的公钥。

检查Hadoop配置文件

确认Hadoop配置文件中没有错误的主机名引用:

  • core-site.xml: 检查 fs.defaultFS 配置。

  • hdfs-site.xml: 检查 dfs.namenode.rpc-address

  • workers 或 slaves 文件:确认列出的主机名正确。

调试SSH连接

添加 -v 参数查看详细的SSH连接日志:

ssh -v xxx

观察日志中哪一步失败(例如密钥认证、网络超时)。

临时关闭SELinux(仅限测试环境):

如果SELinux阻止SSH,临时关闭它:

sudo setenforce 0  # 临时禁用
sudo vi /etc/selinux/config  # 永久禁用需修改为SELINUX=disabled

验证网络接口

确保网络接口(如 eth0 或 ens33)处于活动状态:

ip a  # 查看IP地址分配

总结

根据你的错误信息,最可能的原因是:

  1. SSH服务未启动。

  2. 防火墙阻止了SSH端口。

  3. /etc/hosts 中 xxx 解析到了错误的IP地址。

  4. 未正确配置无密码SSH登录。

请按上述步骤逐一排查,并在完成每步后尝试重启Hadoop:

stop-all.sh
start-all.sh

如果问题仍然存在,请提供以下信息:

  • cat /etc/hosts

  • ssh -v xxx 的输出片段

  • systemctl status sshd 的结果

如果你进行了这些操作还是失败,或是还有其它问题,欢迎私信或评论区讨论

希望文章的内容可以帮到你   : )

        如果文章对你有帮助,记得 点赞、收藏、关注👍⭐🧧

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/73884.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ranger 鉴权

Apache Ranger 是一个用来在 Hadoop 平台上进行监控,启用服务,以及全方位数据安全访问管理的安全框架。 使用 ranger 后,会通过在 Ranger 侧配置权限代替在 Doris 中执行 Grant 语句授权。 Ranger 的安装和配置见下文:安装和配置 …

Sqlserver安全篇之_启用和禁用Named Pipes的案列介绍

https://learn.microsoft.com/zh-cn/sql/tools/configuration-manager/named-pipes-properties?viewsql-server-ver16 https://learn.microsoft.com/zh-cn/sql/tools/configuration-manager/client-protocols-named-pipes-properties-protocol-tab?viewsql-server-ver16 默认…

深入解析过滤器模式(Filter Pattern):一种灵活高效的设计模式

过滤器模式(Filter Pattern),也被称为标准模式,是一种常见的结构型设计模式。它通过将对象分为不同的标准或条件,使得对对象集合的操作变得更加灵活和高效。特别适用于处理复杂查询和条件过滤的场景。过滤器模式不仅能…

Spring Boot 整合 Elasticsearch 实践:从入门到上手

引言 Elasticsearch 是一个开源的分布式搜索引擎,广泛用于日志分析、搜索引擎、数据分析等场景。本文将带你通过一步步的教程,在 Spring Boot 项目中整合 Elasticsearch,轻松实现数据存储与查询。 1. 创建 Spring Boot 项目 首先&#xff…

2025年Postman的五大替代工具

虽然Postman是一个广泛使用的API测试工具,但许多用户在使用过程中会遇到各种限制和不便。因此,可能需要探索替代解决方案。本文介绍了10款强大的替代工具,它们能够有效替代Postman,成为你API测试工具箱的一部分。 什么是Postman&…

Redis之单线程与多线程

redis 单线程与多线程 Redis是单线程,主要是指Redis的网络IO和键值对读写是由一个线程来完成的,Redis在处理客户端的请求时包含获取(socket读)、解析、执行、内容返回(socket写)等都由一个顺序串行的主线程处理,这就是…

C#的简单工厂模式、工厂方法模式、抽象工厂模式

工厂模式是一种创建型设计模式,主要将对象的创建和使用分离,使得系统更加灵活和可维护。常见的工厂模式有简单工厂模式、工厂方法模式和抽象工厂模式,以下是 C# 实现的三个案例: 简单工厂模式 简单工厂模式通过一个工厂类来创建…

python基础8 单元测试

通过前面的7个章节,作者学习了python的各项基础知识,也学习了python的编译和执行。但在实际环境上,我们需要验证我们的代码功能符合我们的设计预期,所以需要结合python的单元测试类,编写单元测试代码。 Python有一个内…

算法刷题力扣

先把大写的字母变成小写的&#xff0c;用大写字母32即可变为小写字母。 写循环跳过字符。 然后判断是否相等即可。具体代码如下&#xff1a; class Solution { public: bool isPalindrome(string s) { int sizes.size(); int begin0; int ends.size()-1; for(int i0;i<s…

allure下载安装及配置

这里写目录标题 一、JDK下载安装及配置二、allure下载三、allure安装四、allure环境变量配置五、allure验证是否安装成功 一、JDK下载安装及配置 allure 是一个java测试报告框架。所以要基于JDK环境。 JDK下载与安装及配置&#xff1a;https://blog.csdn.net/qq_24741027/arti…

linux之 内存管理(1)-armv8 内核启动页表建立过程

一、内核启动时&#xff0c;页表映射有哪些&#xff1f; Linux初始化过程&#xff0c;会依次建立如下页表映射&#xff1a; 1.恒等映射&#xff1a;页表基地址idmap_pg_dir; 2.粗粒度内核镜像映射&#xff1a;页表基地址init_pg_dir; 3.fixmap映射&#xff1a;页表基地址为…

【面试问题】Java 接口与抽象类的区别

引言 在 Java 面向对象编程中&#xff0c;接口&#xff08;Interface&#xff09;和抽象类&#xff08;Abstract Class&#xff09;是两个重要的抽象工具。它们都能定义未实现的方法&#xff0c;但设计目标和使用场景截然不同。本文将通过语法、特性和实际案例&#xff0c;深入…

【资料分享】全志科技T113-i全国产(1.2GHz双核A7 RISC-V)工业核心板规格书

核心板简介 创龙科技SOM-TLT113 是一款基于全志科技T113-i 双核ARM Cortex-A7 玄铁C906 RISC-V HiFi4 DSP 异构多核处理器设计的全国产工业核心板&#xff0c;ARM Cortex-A7 处理单元主频高达1.2GHz。核心板 CPU、ROM、RAM、电源、晶振等所有元器件均采用国产工业级方案&…

R语言高效数据处理-自定义格式EXCEL数据输出

注&#xff1a;以下代码均为实际数据处理中的笔记摘录&#xff0c;所以很零散&#xff0c; 将就看吧&#xff0c;这一篇只是代表着我还在&#xff0c;所以可能用处不大&#xff0c;这一段时间都很煎熬&#xff01; 在实际数据处理中为了提升效率&#xff0c;将Excel报表交付给…

LeetCode 30 —— 30.串联所有单词的子串

题目&#xff1a; 给定一个字符串 s 和一些长度相同的单词 words。找出 s 中恰好可以由 words 中所有单词串联形成的子串的起始位置。 注意子串要与 words 中的单词完全匹配&#xff0c;中间不能有其他字符&#xff0c;但不需要考虑 words 中单词串联的顺序。 示例 1&#xff…

《算法笔记》9.2小节——数据结构专题(2)->二叉树的遍历 问题 A: 复原二叉树(同问题 C: 二叉树遍历)

题目描述 小明在做数据结构的作业&#xff0c;其中一题是给你一棵二叉树的前序遍历和中序遍历结果&#xff0c;要求你写出这棵二叉树的后序遍历结果。 输入 输入包含多组测试数据。每组输入包含两个字符串&#xff0c;分别表示二叉树的前序遍历和中序遍历结果。每个字符串由…

SpringBoot-2整合MyBatis以及基本的使用方法

目录 1.引入依赖 2.数据库表的创建 3.数据源的配置 4.编写pojo类 5.编写controller类 6.编写接口 7.编写接口的实现类 8.编写mapper 1.引入依赖 在pom.xml引入依赖 <!-- mysql--><dependency><groupId>com.mysql</groupId><artifac…

Unity Shader Graph高级节点逻辑设计:程序化噪声生成技术详解

一、程序化噪声的核心价值 程序化噪声生成是Shader开发中的关键核心技术&#xff0c;通过数学算法直接生成纹理信息&#xff0c;相较于传统位图纹理具有以下优势&#xff1a; 无限分辨率&#xff1a;可动态适应任意显示精度 参数化控制&#xff1a;实时调整噪声频率、振幅等属…

[蓝桥杯 2023 省 B] 飞机降落(不会dfs的看过来)

[蓝桥杯 2023 省 B] 飞机降落 题目描述 N N N 架飞机准备降落到某个只有一条跑道的机场。其中第 i i i 架飞机在 T i T_{i} Ti​ 时刻到达机场上空&#xff0c;到达时它的剩余油料还可以继续盘旋 D i D_{i} Di​ 个单位时间&#xff0c;即它最早可以于 T i T_{i} Ti​ 时刻…

英伟达GTC 2025大会产品全景剖析与未来路线深度洞察分析

【完整版】3月19日&#xff0c;黄仁勋Nvidia GTC 2025 主题演讲&#xff5c;英伟达 英伟达GTC 2025大会产品全景剖析与未来路线深度洞察分析 一、引言 1.1 分析内容 本研究主要采用了文献研究法、数据分析以及专家观点引用相结合的方法。在文献研究方面&#xff0c;广泛收集了…