目录标题
- **什么是高可用?**
- **⭐搭建的步骤**
- 一.`jdk`**安装配置**
- - **要点**:
- 二.`zookeeper`**集群配置**
- - **要点**
- 三.`Hadoop`高可用的搭建
- - **要点**
- ①环境变量的配置
- ②配置文件的修改
- ③内容分发
- ④集群任务的初次启动
什么是高可用?
通过冗余设计 + 自动恢复机制,显著降低因单点故障导致的服务中断概率(如NameNode停机从小时级恢复缩短至分钟级),使系统具备“高持续服务能力”
⭐搭建的步骤
①安装好jdk
并配置好环境变量
②安装好zookeeper
并完成zookeeper
的集群设置,且成功启动
(成功启动的意思为,可以显示出哪台机子为leader
,哪台机子为follower
)
③安装好Hadoop
,配置好环境变量,完成Hadoop
的高可用配置
一.jdk
安装配置
- 要点:
解压命令
tar -rf … …
配置环境变量并启用
配置内容为
启用为
source /etc/profile
二.zookeeper
集群配置
且看前文《zookeeper----初步了解与安装》
- 要点
①关闭集群虚拟机的防火墙
②myid
的配置与zoo.cfg
内的编号要完全对应
③zoo.cfg
内的编号配置的符号
防火墙的关闭
三.Hadoop
高可用的搭建
- 要点
①环境变量的配置
(配置好后,记得source
)
②配置文件的修改
- 文件的位置
Hadoop中的etc/hadoop/
内
⭐四个文件+workers
+hadoop-env.sh
⭐workers为虚拟机名字根据自身名字加入
文件一
core-site.xml
文件二
hdfs-site.xml
文件三
mapred-site.xml
文件四
yarn-site.xml
③内容分发
将一台机子配置好的hadoop
分发给集群其他虚拟机
scp -r 文件 虚拟机名:位置
以及环境变量分发
(先确保集群内每台机子的jdk
都拥有,且设置好了环境变量)
④集群任务的初次启动
⭐注:除了zookeeper
打开关闭命令,在zookeeper
中执行,其他都在hadoop
内执行
-
启动初期,先将虚拟机的zookeeper集群打开
bin/zkServer.sh start
-
将集群每一台的
journalnode
初始化开启
bin/hdfs --daemon start journalnode
-
只在任意一台机子进行
namenode
初始化且开启(查看是否初始化正确)
初始化命令
bin/hdfs namenode - format
开启命令
bin/hdfs --daemon start namenode
-
将
namenode
信息同步给另外两台机
命令如上图(两种方式) -
将所有启动的进程关闭以及
zookeeper
集群 -
重启
zookeeper
集群 -
在任意一台虚拟机初始化
zkfc
bin/hdfs zkfc -formatZK
-
启动
hdfs
以及yarn
进程
(最好在初始化namenode的虚拟机上执行)
命令如上图
⭐注意
要想关闭某个进程或zookeeper集群
将start
换成stop
即可