【Hadoop】高可用集群搭建

知识目录

  • 一、写在前面💕
  • 二、Zookeeper安装✨
  • 三、Hadoop配置✨
  • 四、Hadoop HA自动模式✨
  • 五、HA脚本分享✨
  • 七、结语💕

一、写在前面💕

大家好！这篇文章是我在搭建Hdfs的HA(高可用)时写下的详细笔记与感想，希望能帮助到大家！本篇文章收录于 初心 的 大数据 专栏。

🏠 个人主页：初心%个人主页
🧑 个人简介：大家好，我是初心，和大家共同努力
💕 座右铭：理想主义的花，终究会盛开在浪漫主义的土壤里！🍺🍺🍺
💕欢迎大家：这里是CSDN，我记录知识的地方，喜欢的话请三连，有问题请私信😘

二、Zookeeper安装✨

  • 1.将Zookeeper压缩包上传到 Hadoop102的/opt/software 目录下

这里我们还是使用Xshell+Xftp进行文件上传，将Zookeeper上传。

  • 2.解压到 /opt/module/HA 目录下
tar -xzvf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/HA/
  • 3.将Zookeeper重命名
mv /opt/module/HA/apache-zookeeper-3.5.7-bin/ zookeeper
  • 4.重命名Zookeeper的zoo_sample.cfg为zoo.cfg文件
mv zoo_sample.cfg zoo.cfg
  • 5.修改zoo.cfg文件
vim /opt/module/HA/zookeeper/conf/zoo.cfg

按下G，按下o，直接插入到最后一行，插入以下内容，其中hadoop102,hadoop103,hadoop104分别是三个节点的主机名。

server.1=hadoop102:2888:3888
server.2=hadoop103:2888:3888
server.3=hadoop104:2888:3888
  • 6.新建myid文件

进入到zookeeper目录下:

cd /opt/module/HA/zookeeper/

新建zkData目录:

mkdir zkData

进入到zkData目录,并新建myid文件:

cd zkData

vim myid

只需分别在Hadoop102,Hadoop103,Hadoop104的myid文件添加数字 1,2,3 即可,保存退出:



  • 7.配置环境变量
vim /etc/profile.d/my_env.sh

插入以下内容：

# ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/HA/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
  • 8.刷新环境变量
source /etc/profile.d/my_env.sh
  • 9.分发

这里需要分发的有Zookeeper，my_env.sh文件，以及都要刷新环境变量。前面两个命令在hadoop102执行即可，第三个命令在hadoop103，hadoop104上都要执行一次。

xsync /opt/module/HA/zookeeper/

xsync /etc/profile.d/my_env.sh

source /etc/profile.d/my_env.sh

三、Hadoop配置✨

  • 1.保留原来的Hadoop集群

为什么要保留原来的集群？ 在搭建Hadoop高可用之前，我们的集群是有Hdfs，Yarn，JobHistory，这些我们日后还需要继续学习使用，因此我选择保留下来，换句话说，**即使我们高可用（HA）搭建失败了，我们还能回到开始的状态。**保留方式就是我们搭建的时候不要直接使用Hadoop目录，而是复制一份。

  • 2.复制Hadoop目录
cp -r /opt/module/hadoop-3.1.3/ /opt/module/HA/
  • 3.删除data和logs目录
cd /opt/module/HA/hadoop-3.1.3/

rm -rf data

rm -rf logs
  • 4.新建Zookeeper相关目录
cd /opt/module/HA/

mkdir logs

mkdir tmp
  • 5.修改两个配置文件

这里的两个配置文件是 core-site.xml 文件和 hdfs-site.xml 文件,这是Hadoop目录中仅需要修改的两个文件.这里以注释形式给出需要修改的地方,不用修改这两个文件,直接覆盖即可.

hdfs-site.xml:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><!-- 集群名称，此值在接下来的配置中将多次出现务必注意同步修改 -->
<property><name>dfs.nameservices</name><value>mycluster</value>
</property>
<!-- 所有的namenode列表，此处也只是逻辑名称，非namenode所在的主机名称 -->
<property><name>dfs.ha.namenodes.mycluster</name><value>nn1,nn2</value>
</property><!-- namenode之间用于RPC通信的地址，value填写namenode所在的主机地址 -->
<!-- 默认端口8020，注意mycluster1与nn1要和上文的配置一致 -->
<property><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>hadoop102:8020</value>
</property>
<property><name>dfs.namenode.rpc-address.mycluster.nn2</name><value>hadoop103:8020</value>
</property><!-- namenode的web访问地址，默认端口9870 -->
<property><name>dfs.namenode.http-address.mycluster.nn1</name><value>hadoop102:9870</value>
</property>
<property><name>dfs.namenode.http-address.mycluster.nn2</name><value>hadoop103:9870</value>
</property><!-- journalnode主机地址，最少三台，默认端口8485 -->
<!-- 格式为 qjournal://jn1:port;jn2:port;jn3:port/${nameservices} -->
<!-- a shared edits dir must not be specified if HA is not enabled -->
<!-- 伪分布式时,取消该配置 -->
<property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property><!-- 故障时自动切换的实现类，照抄即可 -->
<property><name>dfs.client.failover.proxy.provider.mycluster</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property><!-- 故障时相互操作方式(namenode要切换active和standby)，这里我们选ssh方式 -->
<property><name>dfs.ha.fencing.methods</name><value>sshfence</value>
</property>
<!-- 修改为自己用户的ssh key存放地址 -->
<property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/home/sky/.ssh/id_rsa</value>
</property><!-- namenode日志文件输出路径，即journalnode读取变更的位置 -->
<property><name>dfs.journalnode.edits.dir</name><value>/opt/module/HA/logs/</value>
</property><!-- 启用自动故障转移 -->
<property><name>dfs.ha.automatic-failover.enabled</name><value>true</value>
</property><property><name>dfs.webhdfs.enabled</name><value>true</value>
</property><!-- 解决 DataXceiver error processing WRITE_BLOCK operation src -->
<property><name>dfs.datanode.max.transfer.threads</name><value>8192</value><description> Specifies the maximum number of threads to use for transferring datain and out of the DN. </description>
</property>
</configuration>

core-site.xml:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><!-- HDFS主入口，mycluster仅是作为集群的逻辑名称，可随意更改但务必与hdfs-site.xml中dfs.nameservices值保持一致 -->
<property><name>fs.defaultFS</name><value>hdfs://mycluster</value>
</property><!-- 默认的hadoop.tmp.dir指向的是/tmp目录，将导致namenode与datanode数据全都保存在易失目录中，此处进行修改 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/HA/tmp/</value><!-- <value>/opt/bigdata/hadoopha</value> -->
</property><!-- 用户角色配置，不配置此项会导致web页面报错（不能操作数据） -->
<property><name>hadoop.http.staticuser.user</name><value>sky</value>
</property><!-- zookeeper集群地址，这里只配置了单台，如是集群以逗号进行分隔 -->
<property><name>ha.zookeeper.quorum</name><value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property><!-- 权限配置 hadoop.proxyuser.{填写自己的用户名}.hosts-->
<property><name>hadoop.proxyuser.sky.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.sky.groups</name><value>*</value>
</property><!-- 解决journalnode连接不上，导致namenode启动问题 -->
<!-- 也有可能是网络的问题，参考该文章:https://blog.csdn.net/tototuzuoquan/article/details/89644127 -->
<!-- 在dev环境中出现连不上journalnode问题，添加该配置，以增加重试次数和间隔 -->
<property><name>ipc.client.connect.max.retries</name><value>100</value><description>Indicates the number of retries a client will make to establish a server connection.</description>
</property><property><name>ipc.client.connect.retry.interval</name><value>10000</value><description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.</description>
</property>
</configuration>
  • 6.修改环境变量
vim /etc/profile.d/my_env.sh

将HADOOP_HOME改为新的Hadoop目录所在路径:

# HADOOP_HOME
export HADOOP_HOME=/opt/module/HA/hadoop-3.1.3
  • 7.分发Hadoop目录和my_env.sh文件
xsync /opt/module/HA/hadoop-3.1.3/

xsync /etc/profile.d/my_env.sh
  • 8.刷新环境变量

分别在三个节点上刷新环境变量:

source /etc/profile.d/my_env.sh

四、Hadoop HA自动模式✨

  • 1.修改hadoop/etc/hadoop/hadoop-env.sh文件
vim /opt/module/HA/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

在末尾插入以下内容,sky是用户名,因为我至始至终都没使用root账号.

export HDFS_ZKFC_USER=sky
export HDFS_JOURNALNODE_USER=sky
  • 2.分发
xsync /opt/module/HA/hadoop-3.1.3/
  • 2.启动与初始化集群

启动Zookeeper:

zkServer.sh start

刷新环境变量:

source /etc/profile.d/my_env.sh

启动Hdfs:

myhadoop start

myhadoop是我另外一个Hadoop集群启停脚本,具体的脚本内容和使用请参考:Hadoop集群启停脚本

  • 3.查看namenode的活跃状态
zkServer.sh status

五、HA脚本分享✨

脚本名字是myHA.sh,功能是实现一键启动和停止Zookeeper和Hdfs,查看zookeeper状态.

#! /bin/bash
if [ $# -lt 1 ]
thenecho "No Args Input..."exit;
ficase $1 in
"start"){echo "----------启动zookeeper----------"for i in hadoop102 hadoop103 hadoop104doecho ---------- zookeeper $i 启动 ------------ssh $i "/opt/module/HA/zookeeper/bin/zkServer.sh start"doneecho "---------- 启动hdfs------------"ssh hadoop102 "/opt/module/HA/hadoop-3.1.3/sbin/start-dfs.sh"echo "---------- hadoop HA启动成功------------"
};;
"stop"){echo "----------关闭hdfs----------"ssh hadoop102 "/opt/module/HA/hadoop-3.1.3/sbin/stop-dfs.sh"echo "----------关闭zookeeper----------"for i in hadoop102 hadoop103 hadoop104doecho ---------- zookeeper $i 停止 ------------ssh $i "/opt/module/HA/zookeeper/bin/zkServer.sh stop"doneecho "---------- hadoop HA停止成功------------"
};;
"status"){for i in hadoop102 hadoop103 hadoop104doecho ---------- zookeeper $i 状态 ------------    ssh $i "/opt/module/HA/zookeeper/bin/zkServer.sh status"done
};;
*)echo "Input Args Error"
;;
esac

七、结语💕

😎 本文主要讲解了如何搭建Hdfs的高可用(HA),后期还会出加上Yarn的高可用教程,大家可以期待一下哦!😊

✨ 这就是今天要分享给大家的全部内容了，我们下期再见！😊

🍻 世间所有的相遇,都是久别重逢~ 😍

🏠 我在CSDN等你哦！😍

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/211218.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Notes数据直接在Excel中统计

Notes数据直接在Excel中统计

大家好&#xff0c;才是真的好。 我希望你看过前面两篇内容《Domino REST API安装和运行》和《Domino REST API安装和运行》&#xff0c;因为今天我们正是使用REST API方式在Excel中查询和统计Notes数据。 不过首先你得知道一个OData协议&#xff0c;全名Open Data Protocol(…
阅读更多...
布隆过滤器，Redis之 bitmap，场景题【如果微博某个大V发了一条消息，怎么统计有多少人看过了】

布隆过滤器，Redis之 bitmap，场景题【如果微博某个大V发了一条消息，怎么统计有多少人看过了】

文章目录 一、什么是 bitmap1-1、Bitmap 相关命令二、bitmap 和 set 对比2-1、数据准备2-2、内存对比2-3、性能对比三、布隆过滤器3-1、理论主要作用如何将数据放到过滤器内呢？注意事项布隆过滤器 有两个重要的参数3-2、代码实现3-3、Java中的hash函数最近面试，面试官问了一个…
阅读更多...
Windows系统Java开发环境安装

Windows系统Java开发环境安装

总结一下Java软件开发工程师常见的环境的安装&#xff0c;仅限Windows环境。 以下下载链接均来自官网&#xff0c;网络条件自己克服。 目录 1. JDKJDK Oracle 官网下载地址配置系统环境变量 2. Mavenapache maven 官网地址本地仓库和中央仓库配置配置系统环境变量 3. GitGit 官…
阅读更多...
springboot3 liquibase SQL执行失败自动回滚，及自动打tag

springboot3 liquibase SQL执行失败自动回滚，及自动打tag

一&#xff1a; 自动执行回滚&#xff0c; 已执行成功的忽略&#xff0c;新sql执行失败则执行新sql文件中的回滚sql pom.xml <dependency> <groupId>org.liquibase</groupId> <artifactId>liquibase-core</artifactId> <version>4.25.0&…
阅读更多...
【工厂方法】设计模式项目实践

【工厂方法】设计模式项目实践

前言 以采集数据处理逻辑为例&#xff0c;数据采集分为不同种类如&#xff1a;MQTT、MODBUS、HTTP等&#xff0c;不同的采集数据有不同的解析处理逻辑。但总体解析处理步骤是固定的。可以使用工厂方法设计模式简化代码&#xff0c;让代码变得更加优雅。 代码实践 抽象类 总体…
阅读更多...
分布式环境下的session 共享-基于spring-session组件和Redis实现

分布式环境下的session 共享-基于spring-session组件和Redis实现

1、问题概述 不是所有的项目都是单机模式的&#xff0c;当一个项目服务的局域比较广&#xff0c;用户体量比较大&#xff0c;数据量较大的时候&#xff0c;我们都会将项目部署到多台服务器上&#xff0c;这些个服务器都是分布在不同的区域&#xff0c;这样实现了项目的负载和并…
阅读更多...
Redis有序集合对象

Redis有序集合对象

一.编码 有序集合的编码可以是ziplist或者skiplist。 ziplist编码的有序集合对象使用压缩列表作为底层实现&#xff0c;每一个集合元素使用紧挨在一起的两个压缩列表节点来保存。第一个节点保存元素的成员(member)&#xff0c;而第二个元素则保存元素的分值(score)。 127.0.0.…
阅读更多...
鸿蒙app获取文本控件按钮控件_修改控件名称_按钮触发事件_提示信息显示

鸿蒙app获取文本控件按钮控件_修改控件名称_按钮触发事件_提示信息显示

鸿蒙app获取文本控件按钮控件_修改控件名称_按钮触发事件_ 点击启动&#xff1a;提示信息显示 package com.example.myapplication.slice;import com.example.myapplication.ResourceTable; import ohos.aafwk.ability.AbilitySlice; import ohos.aafwk.content.Intent; impor…
阅读更多...
12.1电梯控制器——文档记录

12.1电梯控制器——文档记录

《数字逻辑》实验报告 实验名称 项目三 电梯控制器设计 一、实验目的 设计一个多楼层的电梯控制器系统&#xff0c;并能在开发板上模拟电梯运行状态。可以利用按键作为呼叫按键&#xff0c;数码管显示电梯运行时电梯所在楼层&#xff0c;led灯显示楼层叫梯状态。 二、实…
阅读更多...
太良心了！微软面向初学者，开源机器学习、数据科学、AI、LLM

太良心了！微软面向初学者，开源机器学习、数据科学、AI、LLM

大家好&#xff0c;推荐几个质量上乘且完全免费的微软开源课程&#xff0c;由粉丝小伙伴梳理&#xff0c;分享给大家。 文末可以加我们粉丝群 面向初学者的机器学习课程 ML for beginners banner 地址&#xff1a;https://microsoft.github.io/ML-For-Beginners/#/ 学习经典…
阅读更多...
讲解把一个文件夹里面的内容复制到另一个文件夹中的操作

讲解把一个文件夹里面的内容复制到另一个文件夹中的操作

&#x1f38a;专栏【Java小练习】 &#x1f354;喜欢的诗句&#xff1a;天行健&#xff0c;君子以自强不息。 &#x1f386;音乐分享【如愿】 &#x1f384;欢迎并且感谢大家指出小吉的问题&#x1f970; 文章目录 &#x1f354;需求⭐思路✨代码✨效果 &#x1f384;如果要复制…
阅读更多...
Vue3：表格单元格内容由：图标+具体内容 构成

Vue3：表格单元格内容由：图标+具体内容 构成

一、背景 在Vue3项目中&#xff0c;想让单元格的内容是由 &#xff1a;图标具体内容组成的&#xff0c;类似以下效果&#xff1a; 二、图标 Element-Plus 可以在Element-Plus里面找是否有符合需求的图标iconfont 如果Element-Plus里面没有符合需求的&#xff0c;也可以在这…
阅读更多...
Proteus仿真--基于NM24C08的EEPROM仿真设计

Proteus仿真--基于NM24C08的EEPROM仿真设计

本文介绍基于NM24C08的EEPROM仿真设计&#xff08;完整仿真源文件及代码见文末链接&#xff09; 其中NM24C08是标准的2线总线接口的串行EEPROM&#xff0c;开机画面在LCD12864上显示 仿真图如下 仿真运行视频 Proteus仿真--基于NM24C08的EEPROM仿真设计 附完整Proteus仿真资料…
阅读更多...
零一万物模型折腾笔记：官方 Yi-34B 模型基础使用

零一万物模型折腾笔记：官方 Yi-34B 模型基础使用

当争议和流量都消失后&#xff0c;或许现在是个合适的时间点&#xff0c;来抛开情绪、客观的聊聊这个 34B 模型本身&#xff0c;尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场景中的真实表现和对硬件的性能要求。 或许&#xff0c;这会对也想在本地私有…
阅读更多...
Docker本地部署Drupal内容管理框架并实现公网远程访问

Docker本地部署Drupal内容管理框架并实现公网远程访问

文章目录 前言1. Docker安装Drupal2. 本地局域网访问3 . Linux 安装cpolar4. 配置Drupal公网访问地址5. 公网远程访问Drupal6. 固定Drupal 公网地址7. 结语 前言 Dupal是一个强大的CMS&#xff0c;适用于各种不同的网站项目&#xff0c;从小型个人博客到大型企业级门户网站。它…
阅读更多...
使用条件格式突出显示单元格数据-sdk

使用条件格式突出显示单元格数据-sdk

使用条件格式突出显示单元格数据 2023 年 12 月 6 日 根据数据值将视觉提示应用于特定单元格、行或列&#xff0c;从而更轻松地识别模式和趋势。 网格中的条件格式允许用户根据单元格或范围包含的数据将视觉样式应用于单元格或范围。它通过以数据驱动的方式突出显示关键值、异常…
阅读更多...
【基于Python的二手车数据可视化平台的设计与实现】

【基于Python的二手车数据可视化平台的设计与实现】

基于Python的二手车数据可视化平台的设计与实现 前言数据获取与处理网络爬虫数据存储 可视化平台的设计与实现Flask框架数据可视化 创新点结语 前言 随着社会的不断发展&#xff0c;二手车市场也逐渐成为一个备受关注的领域。为了更好地为二手车的买家和卖家提供信息&#xff…
阅读更多...
计算和传输背后的时空观

计算和传输背后的时空观

吞吐和速度(率)经常被混淆&#xff0c;当提到 100Gbps 网卡时&#xff0c;“它很快” 的意义可能只是 “它很多” 100Gbps 指 1s 内发送的比特数为 100G&#xff0c;如果在这 1s 内塞入更多比特&#xff0c;以下是两种方式&#xff1a; 显然&#xff0c;上面是更多&#xff…
阅读更多...
iOS分段控件UISegmentedControl使用

iOS分段控件UISegmentedControl使用

在故事板中添加UISegmentedControl 具体添加步聚如下: 选择Xcode的View菜单下的Show Library (或者Shift+Common+L) 打开控件库如下 在控件库中输入seg搜索控件,在出现Segmented Control后,将其拖到View Controller Scene中 到这里,添加分段控件UI已完成, 接下来将控件与变量…
阅读更多...
基于JavaWeb+SSM+Vue马拉松报名系统微信小程序的设计和实现

基于JavaWeb+SSM+Vue马拉松报名系统微信小程序的设计和实现

基于JavaWebSSMVue马拉松报名系统微信小程序的设计和实现 源码获取入口Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 源码获取入口 Lun文目录 1系统概述 1 1.1 研究背景 1 1.2研究目的 1 1.3系统设计思想 1 2相关技术 2 2.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023