hadoop完全分布式搭建

文章目录

  • 集群部署规划
  • 服务器准备
  • Mobaxterm 远程登录
  • 实验前准备
    • 安装软件工具
    • 关闭防火墙
  • 安装 JDK 和 Hadoop
    • 创建软件包目录
    • 解压软件包
    • 配置环境变量
  • 集群搭建
    • 先创建 HDFS 工作目录和 LOG 目录
    • 配置集群
      • 配置环境
      • 配置 HDFS 主节点信息、持久化和数据文件的主目录
      • 配置 HDFS 默认的数据存放策略
      • 配置 Mapreduce 任务调度策略
      • 配置 YARN 资源管理角色的信息
      • 配置 DataNode 节点信息
      • 配置主机名对应 IP
    • SSH无密登录配置
      • 无密钥配置
      • .ssh文件夹下（~/.ssh）的文件功能解释
  • 集群启停方式
  • 编写集群常用脚本
    • 集群启停脚本
    • 查看集群所有服务器进程脚本 jpsall
    • 集群分发脚本 xsync
  • 脚本使用
  • 搭建Hadoop集群过程中常见错误的解决方案

集群部署规划

服务hadoop102hadoop103hadoop104
NameNode√
DataNode√√√
Secondary NameNode√
ResourceManager√
NodeManager√√√
JobHistoryServer√
IPv4192.168.88.102192.168.88.103192.168.88.104
NodeObjectmasterworker1worker2

服务器准备

可以是自己创建虚拟机，也可以用阿里云的云服务等。

Mobaxterm 远程登录

Mobaxterm 可以使用 MultiExec 功能开启多执行模式，让三台机器同时执行，如果是自己创建的虚拟机可以在一个机器上配置完集群，再进行完全克隆，之后只需要修改IP和主机名就可以了，可以减少很多不必要的重复操作。

实验前准备

安装软件工具

yum install net-tools
yum install vim

关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

安装 JDK 和 Hadoop


JDK 下载地址：编程宝库、华为镜像

Hadoop 下载地址：清华镜像源、所有历史版本、官方网址

这里用的是Hadoop3.3.1，如果用Hadoop2.x的遇到问题可以看下 搭建部署Hadoop2.x和3.x的区别

创建软件包目录

创建 software 目录，把 JDK 的 rpm包和 Hadoop 的 tar 包拷贝进去

mkdir software
cd software

在左侧打开 software 文件，直接将软件包拖拽至文件夹下即可

解压软件包

使用 rpm 安装 jdk，默认位置为 /usr/java/default，方便后面环境变量的配置（有的软件没配置 jdk 就会到这个路径下找）

rpm -ivh jdk-8u221-linux-x64.rpm

查看 Java 版本：

java -version

# output
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)

解压hadoop软件包到/opt/目录下

tar -zxvf hadoop-3.3.1.tar.gz -C /opt/

配置环境变量

添加 hadoop 环境变量（不建议直接在 /etc/profile 文件内直接添加）

vim /etc/profile.d/hadoop.sh# 或者（不建议）
vim /etc/profile/

添加内容：

export HADOOP_HOME=/opt/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在/etc/profile文件内有这样一段代码，可见他是遍历整个文件夹下 shell 文件只需要加一个hadoop.sh文件，里面配置所需要的属性，不用了之后方便删除。

for i in /etc/profile.d/*.sh /etc/profile.d/sh.local ; doif [ -r "$i" ]; thenif [ "${-#*i}" != "$-" ]; then. "$i"else. "$i" >/dev/nullfifi
done

配置完 source 命令执行一下/etc/profile文件，让新的环境变量 PATH 生效

source /etc/profile

集群搭建

先创建 HDFS 工作目录和 LOG 目录

创建 HDFS 的 NN 和 DN 工作主目录，创建 Hadoop 的 log 日志文件目录（建议将文件放在/var目录下）

mkdir -p /var/big_data /var/log_hadoop

配置集群

首先，进入$HADOOP_HOME/etc/hadoop目录

cd $HADOOP_HOME/etc/hadoop

配置环境

1）为 Hadoop 提供 JAVA 解释器路径信息，主要目的是解决远程访问 hadoop 时候JAVA_HOME无法继承的问题，同时将 Hadoop 的日志存储路径修改/var/log_hadoop路径下，其默认在$HADOOP_HOME/etc/hadoop/logs下，一般情况下建议重新指定路径。

vim hadoop-env.sh

添加内容如下：（找到对应位置，没有就加在最后；命令模式下，输入 😒 回车，光标就会定位到最后一行，按 O 在下一行输入内容）

export JAVA_HOME=/usr/java/default
export HADOOP_LOG_DIR=/var/log_hadoop

2）为 Yarn 任务、资源管理器提供 Java 运行环境

vim yarn-env.sh

添加内容如下：

export JAVA_HOME=/usr/java/default

配置 HDFS 主节点信息、持久化和数据文件的主目录

vim core-site.xml

添加如下内容：

	<property><!-- 指定NameNode的地址 --><name>fs.defaultFS</name><value>hdfs://hadoop102:9000</value></property><property><!-- 指定hadoop数据的存储目录 --><name>hadoop.tmp.dir</name><value>/var/big_data</value></property>

配置 HDFS 默认的数据存放策略

vim hdfs-site.xml

添加如下内容：

    <property><!-- DataNode存储block的副本量,不大于DataNode的个数--><name>dfs.replication</name><value>3</value></property><property><!-- 2nn web端访问地址--><name>dfs.namenode.secondary.http-address</name><value>hadoop104:9868</value></property><property><!-- 禁用 HDFS ACL（简单权限）--><name>dfs.permissions</name><value>false</value></property>

配置 Mapreduce 任务调度策略

vim mapred-site.xml

添加如下内容：

    <property><!-- 指定MapReduce程序运行在Yarn上 --><name>mapreduce.framework.name</name><value>yarn</value></property><property><!-- 历史服务器端地址 --><name>mapreduce.jobhistory.address</name><value>hadoop103:10020</value></property><property><!-- 历史服务器web端地址 --><name>mapreduce.jobhistory.webapp.address</name><value>hadoop103:19888</value></property>

配置 YARN 资源管理角色的信息

vim yarn-site.xml

添加如下内容：

	<property><!-- 指定MR走shuffle --><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><!-- 指定ResourceManager的地址--><name>yarn.resourcemanager.hostname</name><value>hadoop102</value></property>

配置 DataNode 节点信息

vim worker

添加如下内容（不要留任何空格）：

hadoop102
hadoop103
hadoop104

配置主机名对应 IP

vim /etc/hosts

添加如下内容：

192.168.88.102  hadoop102
192.168.88.103  hadoop103
192.168.88.104  hadoop104

注意屏蔽或删除上面的127.0.0.1的信息

SSH无密登录配置

无密钥配置

1）免密登录原理，如下图所示

2）生成公钥和私钥，注意下面的指令要求3台机器都要执行，Mobaxterm可以使用MultiExec功能开启多执行模式，让三台机器同时执行。

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

3）将公钥拷贝到要免密登录的目标机器上，各自文件下

ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

.ssh文件夹下（~/.ssh）的文件功能解释

文件名含义
known_hosts记录ssh访问过计算机的公钥(public key)
id_rsa生成的私钥
id_rsa.pub生成的公钥
authorized_keys存放授权过得无密登录服务器公钥

集群启停方式

1）各个模块分开启停（配置ssh是前提）

（1）如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode

hdfs namenode -format

（2）整体启停 HDFS/YARN

start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh

或者

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/etc/hadoop/sbin/start-yarn.sh
$HADOOP_HOME/etc/hadoop/sbin/stop-yarn.sh

如果使用的 hadoop 版本为 3.x 应该会出现在下述类型报错，显然是参数没有被定义

Starting namenodes on [hadoop102]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [hadoop104]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operati

下面我们需要在定义这些参数

方法一： 在 /etc/profile.d/hadoop.sh 文件内添加

vim /etc/profile.d/hadoop.sh

内容如下：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

方法二： 修改 start-dfs.sh、stop-dfs.sh、start-yarn.sh、stop-yarn.sh 四个文件

修改 HDFS 文件

vim $HADOOP_HOME/sbin/start-dfs.sh
vim $HADOOP_HOME/sbin/stop-dfs.sh

在顶部添加以下参数

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改 YARN 文件

vim $HADOOP_HOME/sbin/start-yarn.sh
vim $HADOOP_HOME/sbin/stop-yarn.sh

在顶部添加以下参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

2）各个服务组件逐一启动/停止

（1）启停 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启停 YARN

yarn --daemon start/stop resourcemanager/nodemanager

（3）启停 JobHistory

mr-jobhistory-daemon.sh start historyserver
mr-jobhistory-daemon.sh stop historyserver

3.x 版本的应该会出现下述警告

WARNING: Use of this script to start the MR JobHistory daemon is deprecated.
WARNING: Attempting to execute replacement "mapred --daemon start" instead.

不想看到的话，可以改为使用下述命令

mapred --daemon start historyserver
mapred --daemon stop historyserver

编写集群常用脚本

集群启停脚本

vim myhadoop.sh

添加内容如下：

#!/bin/bashif [ $# -lt 1 ]
thenecho "No Args Input..."exit ;
ficase $1 in
"start")echo "=========== 启动 hadoop 集群 ==========="echo "----------- 启动 hdfs -----------------"ssh hadoop102 "$HADOOP_HOME/sbin/start-dfs.sh"echo "----------- 启动 yarn -----------------"ssh hadoop102 "$HADOOP_HOME/sbin/start-yarn.sh"echo "----------- 启动 historyserver --------"ssh hadoop103 "$HADOOP_HOME/bin/mapred --daemon start historyserver"
;;
"stop")echo "=========== 关闭 hadoop 集群 ==========="echo "----------- 关闭 historyserver --------"ssh hadoop103 "$HADOOP_HOME/bin/mapred --daemon stop historyserver"echo "----------- 关闭 yarn -----------------"ssh hadoop102 "$HADOOP_HOME/sbin/stop-yarn.sh"echo "----------- 关闭 hdfs -----------------"ssh hadoop102 "$HADOOP_HOME/sbin/stop-dfs.sh"
;;
*)echo "Input Args Error..."
;;
esac

修改脚本执行权限

chmod 777 myhadoop.sh

查看集群所有服务器进程脚本 jpsall

vim jpsall

添加内容如下：

#!/bin/bashfor host in hadoop102 hadoop103 hadoop104
doecho =============== $host ===============ssh $host jps 
done

修改脚本执行权限

chmod 777 jpsall

集群分发脚本 xsync

在 /usr/local/bin 目录下创建 xsync 文件

cd /usr/local/bin
vim xsync

添加内容如下：

#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); thenecho no args;exit;
fi#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir#4 获取当前用户名称
user=`whoami`#5 循环
for i in hadoop102 hadoop103 hadoop104
doecho ------------------- $i --------------rsync -rvl $pdir/$fname $user@$i:$pdir
done

修改脚本执行权限

chmod 777 xsync

脚本使用

1）启停 Hadoop 集群全部模块

./myhadoop.sh start
./myhadoop.sh stop

2）查看 Hadoop 集群所有进程

./jpsall

运行代码可以看到 hdfs，yarm，historyserver 三个模块全部启动

查看三台机器所有进程：

hadoop102：NameNode，DataNode，ResourceManager，NodeManager，Jps

hadoop103：DataNode，NodeManager，JobHistoryServer，Jps

hadoop104：DataNode，SecondaryNameNode，NodeManager，Jps

3）分发文件

退回根目录，准备一个 test.txt 文件，

xsync test.txt

在另外两个服务器的根目录下存在 test.txt 即分发成功。

搭建Hadoop集群过程中常见错误的解决方案

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/187512.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

技巧-GPU显存和利用率如何提高和batch_size/num_works等参数的实验测试

技巧-GPU显存和利用率如何提高和batch_size/num_works等参数的实验测试

目录 简介实验测试显存占用问题GPU占用率波动问题num_work不是越大越好 总结 本专栏为深度学习的一些技巧,方法和实验测试,偏向于实际应用,后续不断更新,感兴趣童鞋可关,方便后续推送 简介 在PyTorch中使用多个GPU进行模型训练时&#xff0c;各个参数和指标之间存在一定的关系…
阅读更多...
three.js结合vue

three.js结合vue

作者&#xff1a;baekpcyyy&#x1f41f; 1.搭建环境 ps&#xff1a;这里要按照node.js在之前有关vue搭建中有介绍 新建文件夹并在vsc终端中打开 1.输入vite创建指令 npm init vitelatest然后我们cd进入刚才创建的目录下 npm install安装所需依赖 npm run dev启动该项目 …
阅读更多...
前端笔记：React的form表单全部置空或者某个操作框置空的做法

前端笔记：React的form表单全部置空或者某个操作框置空的做法

原创/朱季谦 在React框架前端开发中&#xff0c;经常会有弹出框的开发&#xff0c;涉及到弹出框&#xff0c;难免就会有表单。一般在关闭弹出框或者对表单联动时&#xff0c;往往都需要考虑对表单进行置空操作了。 我以前在工作就遇到过这类问题&#xff0c;正好顺便对表单置空…
阅读更多...
【UE】中文字体 发光描边材质

【UE】中文字体 发光描边材质

效果 步骤 1. 先将我们电脑中存放在“C:\Windows\Fonts”路径下的字体导入UE 点击“全部选是” 导入成功后如下 2. 打开导入的“SIMSUN_Font”&#xff0c;将字体缓存类型设置为“离线” 点击“是” 这里我选择&#xff1a;宋体-常规-20 展开细节面板中的导入选项 勾选“使用距…
阅读更多...
【投稿优惠、可EI检索】2024年机器人学习与自动化算法国际学术会议(IACRLAA 2024)

【投稿优惠、可EI检索】2024年机器人学习与自动化算法国际学术会议(IACRLAA 2024)

2024年机器人学习与自动化算法国际学术会议(IACRLAA 2024) 2024 International Academic Conference on Intelligent Control Systems and Robot Learning 一、【会议简介】 本届机器人学习与自动化算法国际学术会议(IACRLAA 2024)将于2024年1月23日在北京盛大开幕。这次会议将…
阅读更多...
深信服技术认证“SCSA-S”划重点：SQL注入漏洞

深信服技术认证“SCSA-S”划重点：SQL注入漏洞

为帮助大家更加系统化地学习网络安全知识&#xff0c;以及更高效地通过深信服安全服务认证工程师考核&#xff0c;深信服特别推出“SCSA-S认证备考秘笈”共十期内容&#xff0c;“考试重点”内容框架&#xff0c;帮助大家快速get重点知识~ 划重点来啦 深信服安全服务认证工程师…
阅读更多...
软件设计之原型模式

软件设计之原型模式

原型模式是从一个对象再创建另一个可定制的对象&#xff0c;而且不需要知道任何创建的细节。拷贝分浅拷贝和深拷贝。浅拷贝无法拷贝引用对象。在面试的时候&#xff0c;我们会投多家公司&#xff0c;根据岗位的不同我们会适当调整。使用原型模式可以快速达到需求&#xff0c;下…
阅读更多...
推荐几款python在线学习和电子书网站

推荐几款python在线学习和电子书网站

学习python的过程中&#xff0c;虽然下载了很多的电子书&#xff0c;但是在学习过程中基本上都是通过一些在线网站或者在线电子书进行的。 下面给大家推荐几个在线学习教程网站和电子书网站。 《菜鸟教程》 一句话介绍&#xff1a;很多初学者的选择 网址&#xff1a;https:…
阅读更多...
plt创建指定色系

plt创建指定色系

1、创建不连续色系 import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap# 定义颜色的RGB值 colors [(0.2, 0.4, 0.6), # 蓝色(0.8, 0.1, 0.3), # 红色(0.5, 0.7, 0.2),(0.3,0.5,0.8)] # 绿色# 创建色系 cmap ListedColormap(colors)# 绘制…
阅读更多...
【复位与释放（亚稳态）模为60的BCD码计数器_2023.11.22】

【复位与释放（亚稳态）模为60的BCD码计数器_2023.11.22】

复位与释放&#xff08;异步复位&#xff0c;同步释放&#xff09; 同步复位rst、同步置数load&#xff08;置数信号只有在时钟上升沿到来时才能生效&#xff09;、同步清零clr 同步复位&#xff1a; always(posedge clk) if(!rst_n) b<1’b0; else b<a; 同步复位信号rs…
阅读更多...
Linux--系统结构与操作系统

Linux--系统结构与操作系统

文章目录 冯诺依曼体系结构为什么要有内存&#xff1f;场景一 操作系统何为管理&#xff1f; 冯诺依曼体系结构 冯诺依曼体系结构是计算机体系结构的基本原理之一。它将程序和数据都以二进制形式存储&#xff0c;以相同的方式处理和存取。 上图是冯诺依曼体系结构的五大组成部…
阅读更多...
SpringBoot 整合 Neo4j 实战（头歌）

SpringBoot 整合 Neo4j 实战（头歌）

文章目录 第1关&#xff1a;认识 Spring DATA Neo4J任务描述相关知识Spring DATA Neo4J - 简介Spring JDBC / Spring ORM 模块的缺点&#xff1a;Spring 数据模块的优点&#xff1a;Spring 数据模块功能&#xff1a;Spring DATA Neo4j 模块的附加功能&#xff1a; Spring DATA …
阅读更多...
gromacs学习及使用(2)

gromacs学习及使用(2)

命令解释参考GROMACS基本教程 整个流程参考分子动力学模拟Gromacs一般使用步骤&#xff08;空蛋白&#xff09; 从gromacs 5.0版本开始&#xff0c;所有的工具都是“gmx”的子模块。可以通过下面的命令获得任何一个模块的帮助信息&#xff1a; gmx help (module) 或者 gmx (mo…
阅读更多...
视频剪辑合并：批量处理视频，高效快捷，添加背景音乐更添魅力

视频剪辑合并：批量处理视频，高效快捷，添加背景音乐更添魅力

随着数字媒体的普及&#xff0c;视频已成为生活中不可或缺的一部分。无论是记录生活、分享经验&#xff0c;还是传递信息&#xff0c;视频都以其独特的魅力占据了重要的地位。而在这个快节奏的时代&#xff0c;如何高效地处理视频&#xff0c;以及如何通过添加背景音乐来提升视…
阅读更多...
服务器安装JDK17 版本显示JDK8

服务器安装JDK17 版本显示JDK8

服务器之前安装的是JDK8&#xff0c;后面升级JDK17后&#xff0c;发现执行 java -vsrsion 显示的是此时我的环境变量已经换成了JAVA17的路径 输入&#xff1a; vim /etc/profile 解决办法&#xff1a; 1.更新自己环境变量 bash export JAVA_HOME/usr/local/jdk-17.0.7 …
阅读更多...
Anemone库的爬虫程序代码示例

Anemone库的爬虫程序代码示例

以下是代码&#xff1a; ruby require anemone # 设置代理服务器 Anemone.proxies { http > "", https > "" } # 定义爬取的URL url # 使用Anemone进行爬取 Anemone.crawl(url) do |page| # 使用正则表达式找出所有的视频链接 video_…
阅读更多...
windows 查看mysql的错误日志

windows 查看mysql的错误日志

查找错误日志文件存储路径 用到的软件&#xff1a;everything 官网 voidtools 下载路径 https://www.voidtools.com/Everything-1.4.1.1024.x64-Setup.exe 直接点击下载即可 运行效果如下 我们知道mysql有个配置文件是my.ini&#xff0c;里面配置了相关信息 我们需要先…
阅读更多...
elasticsearch操作

elasticsearch操作

目录 一、mapping映射属性二、索引库的CRUD2.1 创建索引库和映射2.2 查询索引库2.3 修改索引库2.4 删除索引库2.5 总结 三、文档操作3.1 新增文档3.2 查询文档3.3 删除文档3.4 修改文档3.5 总结 四、RestClient操作索引库4.1 初始化RestClient4.2 创建索引库4.3 删除索引库4.4 …
阅读更多...
Vue3-数据交互请求工具设计

Vue3-数据交互请求工具设计

1.安装axios pnpm add axios 2.利用axios.create创建一个自定义的axios来使用 参考官网&#xff1a;axios中文文档|axios中文网 | axios 在src/utils文件夹下新建request.js&#xff0c;封装axios模块 import axios from axios const baseURL const instance axios.creat…
阅读更多...
如何查看电脑内存？Windows 和 Mac 方法不同

如何查看电脑内存？Windows 和 Mac 方法不同

Windows 系统查看内存方法 在 Windows 操作系统中我们查看电脑内存在哪里查呢&#xff1f;下面总结的 3 种查看电脑内存的方法都可以使用&#xff1a;使用任务管理器&#xff1a;任务管理器是 Windows 中一个强大的工具&#xff0c;可用于监视和管理计算机的性能和资源使用。使…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023