Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整

目录

前言

一、问题重现

1、查询Hadoop版本

 2、集群启动Hadoop

二、问题分析

三、Hadoop3.x的集群配置

1、停止Hadoop服务

2、配置workers

3、从节点检测

4、WebUI监控

总结


前言

        在大数据的世界里,Hadoop绝对是一个值得学习的框架。关于Hadoop的知识,有很多博主和视频博主都做了很详细的教程,感兴趣的朋友甚至可以去官网看看。比如其分布式架构的实现,在这里都不在赘述,大家可以通过多种途径进行学习。

        这篇博客出现得场景缘由是最近基于Hbase2.4.11搭建完全分布式集群,集群的节点是3。至于为什么是3,主要是机器有限,而且是同一台物理主机上进行虚拟搭建的。Hbase的底层存储是存放在Hdfs中的,由此必须要安装Hadoop。

        众所周知,在完全分布式环境下,我们可以只在Master节点上直接运行start-all.sh命令,整个集群都会自动启动。本文描述的是在Hadoop3.1.3的完全分布式环境下,slave节点的DataNode节点未能成功启动的问题以及通过修改配置来解决的办法,希望能帮助到遇到这个问题的朋友。请注意,由于不同的版本,可能解决办法不一致,请谨慎参考。博主就遇到过,在Hadoop2.x的配置和Hadoop3.x的配置不一致的问题。博文的参考仅限于Hadoop3.x,如果您使用的不是这个系列的版本,那么您可以去别的地方寻找答案。

一、问题重现

1、查询Hadoop版本

        使用管理账号登录到系统,使用hadoop version可以查看版本。

[root@master bin]# hadoop version

         可以看到输出如下:

Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /software/hadoop/share/hadoop/common/hadoop-common-3.1.3.jar

 2、集群启动Hadoop

         登录master节点,进入hadoop的sbin目录,启动集群,参考命令如下:

[root@master bin]# cd /software/hadoop/sbin
[root@master sbin]# ./start-all.sh

        这里请注意,hadoop的安装目录,请根据实际目录进行修改,否则会影响运行。通常以上命令后会有以下输出。输出以下姓名就表示已经完成了hadoop的启动。

Starting namenodes on [master]
上一次登录:三 12月 13 11:31:20 CST 2023pts/0 上
Starting datanodes
上一次登录:三 12月 13 11:31:39 CST 2023pts/0 上
Starting secondary namenodes [master]
上一次登录:三 12月 13 11:31:41 CST 2023pts/0 上
Starting resourcemanager
上一次登录:三 12月 13 11:31:44 CST 2023pts/0 上
Starting nodemanagers
上一次登录:三 12月 13 11:31:48 CST 2023pts/0 上

        如果是正常的集群启动,那么master、slave1、slave2三台机器上都会有DataNode进程。可以分别在三台机器上进行进程查询,这里使用jps命令。

        Master进程如下:

[root@master sbin]# jps
9351 NameNode
1608 QuorumPeerMain
10537 Jps
9755 SecondaryNameNode
10027 ResourceManager
10365 NodeManager
9535 DataNode

        我们可以发现,Master上,NodeManager、NameNode、DataNode服务都是正常的。然后登录到slave1和slave2两台服务器上,同样使用jps命令查看机器进程。

slave1上进程
[root@slave1 hadoop]# jps
4113 Jps
1605 QuorumPeerMain

        同样的,在slave2上也是一样的问题,从节点的DataNode并没有启动,这样子相当于集群启动失败。此时只有master一个节点进行对外提供服务,显然这不是很妙。

二、问题分析

        其实出现这个问题的原因也比较简单,还是集群设置的问题。在进行大数据各个组件的学习时,一定要注意版本,不同的版本配置的方式不一样,有可能配置目录或者配置文件修改修改了。因此最好是按照官网的说明进行配置最好。本文描述的问题,是因为在Hadoop3.x版本中,集群配置的设置文件是workers而不是slaves,slaves应该是之前的版本的集群配置。

三、Hadoop3.x的集群配置

1、停止Hadoop服务

        执行以下命令,停止Hadoop服务。

[root@master sbin]# ./stop-all.sh
Stopping namenodes on [master]
上一次登录:三 12月 13 11:08:17 CST 2023pts/0 上
Stopping datanodes
上一次登录:三 12月 13 11:31:13 CST 2023pts/0 上
Stopping secondary namenodes [master]
上一次登录:三 12月 13 11:31:14 CST 2023pts/0 上
Stopping nodemanagers
上一次登录:三 12月 13 11:31:16 CST 2023pts/0 上
Stopping resourcemanager
上一次登录:三 12月 13 11:31:18 CST 2023pts/0 上

2、配置workers

capacity-scheduler.xml  hadoop-env.cmd              hadoop-user-functions.sh.example  httpfs-signature.secret  kms-log4j.properties  mapred-env.sh               slaves                         workers                       yarn-site.xml
configuration.xsl       hadoop-env.sh               hdfs-site.xml                     httpfs-site.xml          kms-site.xml          mapred-queues.xml.template  ssl-client.xml.example         yarn-env.cmd
container-executor.cfg  hadoop-metrics2.properties  httpfs-env.sh                     kms-acls.xml             log4j.properties      mapred-site.xml             ssl-server.xml.example         yarn-env.sh
core-site.xml           hadoop-policy.xml           httpfs-log4j.properties           kms-env.sh               mapred-env.cmd        shellprofile.d              user_ec_policies.xml.template  yarnservice-log4j.properties

        首先使用cat命令查看默认的配置,

cat workers

        可以看到workers的内容如下:

localhost

        即默认的情况下,Hadoop在本机启动,不加入分布式集群,因此无法随着集群的启动而启动。所以我们要把机器加入到集群环境中,在workers文件中,将master、slave1、slave2追加进去。

Vi workers
master
slave1
slave2

        配置完成后,可以使用scp命令复制到slave1和slave2节点,也可以使用同样的方式进行修改。修改完成后保存相应配置。最后到master的机器上,重启集群。

[root@master sbin]# ./start-all.sh
Starting namenodes on [master]
上一次登录:三 12月 13 11:31:20 CST 2023pts/0 上
Starting datanodes
上一次登录:三 12月 13 11:31:39 CST 2023pts/0 上
Starting secondary namenodes [master]
上一次登录:三 12月 13 11:31:41 CST 2023pts/0 上
Starting resourcemanager
上一次登录:三 12月 13 11:31:44 CST 2023pts/0 上
Starting nodemanagers
上一次登录:三 12月 13 11:31:48 CST 2023pts/0 上

3、从节点检测

        在master节点上运行start-all.sh后,分别在slave1、slave2两台机器上进行进程检测。执行命令如下:

[root@slave1 hadoop]# jps
3841 DataNode
4145 Jps
1605 QuorumPeerMain
3960 NodeManager

        我们发现,DataNode和NodeManager进程都已经正常启动,slave2也是一样的。由此,Hadoop3.x集群服务完全启动。

4、WebUI监控

        除了使用命令行的方式监控hadoop,其内部也提供了webui的监控方式。

总结

         以上就是本文的主要内容,本文描述的是在Hadoop3.1.3的完全分布式环境下,slave节点的DataNode节点未能成功启动的问题以及通过修改配置来解决的办法,希望能帮助到遇到这个问题的朋友。行文仓促,有很多不当之处,请朋友们批评指正。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/233284.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

git修改远程commit信息

git 修改远程commit信息 如果你已经把本地commit的信息push到远程了,此时需要修改远程中的commit信息 第一步:git log 查看提交的信息,看下提交的commit日志 如下入所示 第二步:然后确定你需要修改的那一次commit,比如&#xf…

运营Instagram的实用必备工具分享!

Instagram作为目前全球最受欢迎的社交媒体平台之一,已经成为品牌推广和营销的重要渠道。然而,要在Instagram上成功运营并吸引更多的关注者和用户参与,需要借助一些实用的工具来提升效率和效果。在本篇博客文章中,我们将分享10个运…

简单的绑定发布事件

在绑定事情之前,我们需要对我们的需求进行分析;判断我们是否需要同时存在条件。 发布动态的时候,分为以下三种情况: ① 输入了标题,没有图片,可以发布动态 ②输入了图片,没有标题,…

清空缓存区的方法

fflush(文件指针) fflush()用于刷新相应文件的缓存区。 使用getchar()函数来清空标准输入缓存区 上面的fflush是一个函数,有些编译器不一定支持,这时候我们可以自己实现清空标准输入缓存区的操作。 代码示例: 使用scanf()的高级特性来清空标准输入缓存区 上面代码的意思是: …

GO 的 socks5代理 编写

这里学习一下 socks5 代理的编写 网上有很多 学习一下 go 语言实战入门案例之实现Socks5 - 知乎 滑动验证页面 socks5协议原理学习-腾讯云开发者社区-腾讯云 (tencent.com) 首先我们要了解一下socks5的代理方式 socks5 是基于 认证建立连接转发数据 所形成的代理 我们只…

Wireshark统计和可视化

第一章:Wireshark基础及捕获技巧 1.1 Wireshark基础知识回顾 1.2 高级捕获技巧:过滤器和捕获选项 1.3 Wireshark与其他抓包工具的比较 第二章:网络协议分析 2.1 网络协议分析:TCP、UDP、ICMP等 2.2 高级协议分析:HTTP…

LLMs推理框架总结

总结一下这些框架的特点,如下表所示: LLM推理有很多框架,各有其特点,下面分别介绍一下表中七个框架的关键点: vLLM:适用于大批量Prompt输入,并对推理速度要求高的场景;Text generat…

P1011 [NOIP1998 提高组] 车站 ---Java

主打一个枚举找规律... 站台123456...上车ababa2b2a3b3a5b下车bbaba2b2a3b人数aa2a2ab3a2b4a4b 上车这一行: 观察a的系数(假设是dx[i])可知: dx[i] dx[i-1] dx[i-2] b的系数(假设是dy[i])可知: dy[i] dy[i-1] dy[i-2] 人数…

黑豹程序员-vue3获取拖动div后的坐标

<script lang"ts" setup> import {ref, reactive, onMounted} from vuelet startclientX ref(0) // 元素拖拽前距离浏览器的X轴位置 let startclientY ref(0) //元素拖拽前距离浏览器的Y轴位置 let elLeft ref(770) // 元素的左偏移量 let elTop ref(220) …

android的bundle的常用函数(ChatGPT)

在 Android 中&#xff0c;Bundle 是一个用于保存和传递数据的容器类&#xff0c;它被广泛用于在不同组件&#xff08;如 Activity、Fragment&#xff09;之间传递数据。以下是一些 Bundle 中常用的函数&#xff1a; putXXX 系列方法&#xff1a; 用于将各种类型的数据放入 Bun…

C语言-> 文件操作(函数满屏)

系列文章目录 前言 ✅作者简介&#xff1a;大家好&#xff0c;我是橘橙黄又青&#xff0c;一个想要与大家共同进步的男人&#x1f609;&#x1f609; &#x1f34e;个人主页&#xff1a;橘橙黄又青_C语言,数据结构,函数-CSDN博客 目的&#xff1a;学习文件操作&#xff0c;即…

林杰:程序员依然是草根跨越阶级的最佳途径之一 | 程客有话说

《程客有话说》是我们最新推出的一个访谈栏目&#xff0c;邀请一些国内外有趣的程序员来分享他们的经验、观点与成长故事&#xff0c;尝试建立一个程序员交流与学习的平台&#xff0c;也欢迎大家推荐朋友或自己来参加我们的节目&#xff0c;一起加油。 本期我们邀请的程序员林…

2023-12-19 二叉搜索树的最小绝对差和二叉搜索树的众数和二叉树的最近公共祖先

二叉搜索树的最小绝对差 关键信息&#xff1a;二叉搜索树表明了树有序的&#xff01;遇到在二叉搜索树上求什么最值啊&#xff0c;差值之类的&#xff0c;就把它想成在一个有序数组上求最值&#xff0c;求差值 # Definition for a binary tree node. # class TreeNode: # …

微信私域管理工具如何帮助企业提升销售业绩?

现如今&#xff0c;微信已经从社交通讯软件&#xff0c;慢慢被默认为常规办公软件&#xff0c;工作沟通、业务洽谈、网络会议等都在微信上进行&#xff0c;完全变成职场首选的社交工具。 但受限于微信平台&#xff0c;许多公司在微信私域营销方面面临诸多挑战。 微信私域管理工…

调用第三方http接口 hutool工具类

1、引入依赖 <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.8.0.M2</version> </dependency>2、请求组装 String params"<BSXml>" " <MsgHeader>&…

Leetcode—16.最接近的三数之和【中等】

2023每日刷题&#xff08;六十四&#xff09; Leetcode—16.最接近的三数之和 实现代码 class Solution { public:int threeSumClosest(vector<int>& nums, int target) {sort(nums.begin(), nums.end());int s 0;int diff INT_MAX / 2;int n nums.size();int a…

四级作文考前积累(个人蒟蒻向)

观点类 With the giant leap of the economy,nowdays the youngsters have different opinions upon gratuation Some think that....,while others think that.... Personally ,i perfer the former,the letter. The following reasons can account for my preference. Fi…

计算机试题

选择题 在计算机中&#xff0c;RAM代表什么&#xff1f; A) Random Access MemoryB) Read-Only MemoryC) Real-time Access MemoryD) Remote Access Memory答案&#xff1a;A) Random Access Memory TCP和UDP之间的主要区别是什么&#xff1f; A) TCP是面向连接的&#xff0c;U…

光伏收益计算工具:助力可再生能源发展的关键

随着全球对可再生能源需求的不断增加&#xff0c;光伏发电作为清洁、可再生的能源形式&#xff0c;越来越受到人们的关注。然而&#xff0c;要评估光伏系统的经济效益和投资回报&#xff0c;需要一个准确的光伏收益计算工具。 光伏收益计算工具是一种专门用于计算光伏系统发电量…

Ridge Lasso Regression解决线性回归的过拟合(Overfitting)(基于波士顿房价预测)

目录 介绍&#xff1a; 1、过拟合 2、Lasso regression 3、 Ridge regression 4、 Lasso regression 和 Ridge regression一定优于LinearRegression吗 一、 Linear Regression 二、Ridge Regression 三、Lasso Regression 四、Ridge Regression和Lasso Regression 五、…