Hadoop增加新节点环境配置（自用）

完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤

1.在VMware中安装CentOS 7

  • 新建虚拟机

1.⾸先我们创建⼀个新的虚拟机，也可以点⽂件-新建虚拟机。

2.选择⾃定义，可以根据要求来定义，如果没有什么特殊要求，可以选择“典型”。

3.硬件兼容性可以选择向下兼容。

4.这⾥我们选择稍后安装操作系统。

5.随后选择要安装的系统类型。

6.建议给虚拟机起个名字，hadoop106，更改存放路径（默认在C盘）。

7.设置虚拟机的内存，根据⾃⼰电脑性能调整，这⾥设置2048MB。

8.⽹络类型选 使⽤⽹络地址转换(NAT) 。

9. I/0类型默认（LSI Logic）

10. 磁盘类型，默认（SCSI）

11. 由于是新虚拟机，所以我们创建新的虚拟磁盘。磁盘的容量由于是动态增长，将虚拟磁盘拆分成多个⽂件，并为将来

安装做准备，根据⾃⼰电脑的性能，建议改成40G。

12. 指定磁盘⽂件，默认。

13. 最后将配置清单列出来，确认，点击完成。

  • 安装centos7

  1. 打开我们上⼀个⽂档建⽴的虚拟机，并双击CD/DVD(IDE)配置光驱，加载CentOS 7系统镜像。

 2.开启“hadoop106”虚拟机。

3. 系统会⾃动启动光驱，进⼊CentOS 7的安装界⾯，此界⾯有1分钟的停留时间，请快速将⿏标点击黑⾊部分。

4. 移动键盘上的上下键，选择图中的 Install CentOS 7 选项。

5. 进⼊系统安装界⾯。

6. 选择安装过程中⽤到的语⾔，必然选简体中⽂

  1. 点击安装位置，选⾃动。或者⼿动（/boot 1g ext4、swap 4g xfs、/ 35g xfs）

8. ⽹络和主机名，我们做如下的更改：

打开以太⽹，这样在启动时就使⽹卡处于激活状态。

主机名改成hadoop106，点应用

IP:192.168.100.106，子网掩码：255.255.255.0，网关：192.168.100.2，DNS：192.168.100.2。

9.然后就点开始安装，在这个期间创建root密码123123，由于我们的密码不符合系统安全要求，所以需要点击两次完成。等进度条⾛完，就可以点重启了。此时CentOS7安装完成并启动，等待我们输⼊账户，密码。

 此时可打开 mobaxterm 新建session 输⼊192.168.100.106 连接

  1. 安装 rsync yum -y install rsync
  2. 安装 nano yum -y install nano
  3. 安装 ntpd yum -y install ntp

  • 配置centos7

1. 关闭防⽕墙，集群⼀般搭建在局域⽹内，公司在外部建⽴专业的防⽕墙，为了⽅便集群之间通信，请关闭集群中各节点的防⽕墙。

·在root⽤户下直接关闭防⽕墙 systemctl stop firewalld.service

· 禁⽌firewall开机启动 systemctl disable firewalld.service

· 关闭SELinux命令（永久关闭） nano /etc/selinux/config 注释掉下面两行：

 #SELINUX=enforcingSELINUX=disabled#SELINUXTYPE=targeted

重启

  • 查看防⽕墙状态 systemctl status firewalld

2. 在/opt ⽬录下创建 module（程序⽂件夹）、software（安装包） ⽂件夹

 [root@hadoop100 ~]# mkdir /opt/module

 [root@hadoop100 ~]# mkdir /opt/software

2.在Hadoop106节点安装JDK、Hadoop

·安装JDK

1. 将jdk-8u341-linux-x64.tar.gz 利⽤xftp上传到/opt/software

2. 解压jdk到/opt/module⽂件夹

[root@hadoop100 ~]# tar -zxvf /opt/software/jdk-8u341-linux-x64.tar.gz -C /opt/module/

3. nano /etc/profile.d/my_path.sh ⽂件，输⼊

#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_341export PATH=$PATH:$JAVA_HOME/bin

4. source ⼀下 /etc/profile ⽂件，让新的环境变量 PATH ⽣效

[root@hadoop100 ~]# source /etc/profile

5. 检验⼀下成功不

[root@hadoop100 ~]# java -version

·安装Hadoop

1. 将hadoop-3.3.3.tar.gz利⽤xftp上传到/opt/software

2. 解压hadoop到/opt/module⽂件夹

[root@hadoop100 ~]# tar -zxvf /opt/software/hadoop-3.3.3.tar.gz -C /opt/module/

3. 在 /etc/profile.d/my_path.sh ⽂件，加⼊下⾯内容

#HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop-3.3.3export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin

4. source ⼀下 /etc/profile ⽂件，让新的环境变量 PATH ⽣效

[root@hadoop100 ~]# source /etc/profile

5. 测试

[root@hadoop100 ~]# hadoop version

·新增ens37网卡

1. 关闭 hadoop106

2. 右击虚拟机选项卡 -> 配置 -> 添加 -> ⽹络适配器 -> 改成桥接

3. 启动 hadoop106

4. nmcli connection add type ethernet con-name ens37 ifname ens37 autoconnect yes

5. nano /etc/sysconfig/network-scripts/ifcfg-ens37

6. 更改 ifcfg-ens37 ⽂件

TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens37UUID=59021522-3de9-492b-9308-b6ab7596acebDEVICE=ens37ONBOOT=yesIPADDR=10.227.x.1y6NETMASK=255.255.254.0

注：

x：班级号，7班是2或8班是3

y：组号，1-10

service network start

·Hadoop101配置

1. 打开 hadoop101完全分布式新增hadoop106节点.md 2023-12-18

2. nano /etc/hosts 加⼊

10.227.x.1y6 hadoop106

注：x：班级号，7班是2或8班是3；y：组号，1-10

3. nano $HADOOP_HOME/etc/hadoop/workers 加⼊ hadoop106

4. ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop106

5. rsync -av

$HADOOP_HOME/etc/hadoop root@hadoop106:/opt/module/hadoop-3.3.3/etc/

6. rsync -av /etc/hosts root@hadoop106:/etc

7. 远程到 hadoop106 ssh hadoop106

8. nano /opt/module/hadoop-3.3.3/etc/hadoop/hadoop-env.sh 修改 JAVA_HOME export

JAVA_HOME=/opt/module/jdk1.8.0_341

3.启动集群

1. jpsall.sh 中加⼊ hadoop106 nano ~/bin/jpsall.sh

2.shutdown_all.sh 中加⼊ hadoop106 nano ~/bin/shutdown_all.sh

3. 启动集群 myhadoop.sh start

4. 观察各节点进程的启动情况

4.个人配置中遇到的问题

  • 电脑没有vmnet8虚拟网卡

编辑--->虚拟网络编辑器--->VMnet8--->还原默认设置--->NAT设置--->更改网关IP--->应用确定

设置 ---> 网络和Internet ---> 更改适配器选项 ---> 查看VMnet8，出现并显示已启用

  • Hadoop104、105DataNodeID缺失

通过查找日志，在记录中找到了对应的节点的DataNode，然后我们进入到了103节点的$HADOOP_HOME/data/dfs/data/current/VERSION目录下，复制了103节点的VERSION文件，然后分别进入到了104和105节点的$HADOOP_HOME/data/dfs/data/current下，创建了VERSION文件，将从103中复制的内容粘贴到了新创建的文件中，并根据在日志中查找到的将其对应的DataNodeID，其内容如下(示例)：

storageID=DS-5c72e6f4-c180-44b4-9f26-6abc84327f43clusterID=CID-fd0aa33f-424c-4212-a725-dd33a3ff126ccTime=0datanodeUuid=75809195-27bf-4c87-bb4d-8fb81642e7aestorageType=DATA_NODElayoutVersion=-57

其中，storageID会由系统自动生成，更改以后重新启动集群，集群数据接收正常

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/655615.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

三维模型设计新纪元：3D开发工具HOOPS在机械加工行业的应用与优势

三维模型设计新纪元：3D开发工具HOOPS在机械加工行业的应用与优势

在当今快速发展的科技时代，机械加工行业正经历着巨大的变革，而HOOPS技术正是其中一项重要的创新。HOOPS技术不仅仅是一种用于处理和可视化计算机辅助设计（CAD）数据的工具，更是机械加工领域中提升效率、优化设计的利器。…
阅读更多...
Mac安装及配置MySql及图形化工具MySQLworkbench安装

Mac安装及配置MySql及图形化工具MySQLworkbench安装

Mac下载配置MySql mysql下载及安装 下载地址：https://dev.mysql.com/downloads/mysql/ 根据自己电脑确定下载x86还是ARM版本的 如果不确定，可以查看自己电脑版本，终端输入命令 uname -a 点击Download下载，可跳过登录注册&…
阅读更多...
js 项目中我们会先创建一个空对象 然后到了后面可能需要再对空对象进行判断 略显复杂

js 项目中我们会先创建一个空对象 然后到了后面可能需要再对空对象进行判断 略显复杂

//判断是不是空对象isEmptyObject(obj) {return Object.keys(obj).length 0;}, 假如 我们把 let observeParams 设置为null呢 就可以直接通过判断 if(observeParams){...} 来做判断 而不是判断空对象
阅读更多...
[GXYCTF2019]禁止套娃(特详解)

[GXYCTF2019]禁止套娃(特详解)

刚打开页面什么都没有，抓包也什么都没有 那就dirsaerch扫一下，发现状态码都是429，访问太快了（这里很多师傅都没有说明或者说清楚） 这里改了一下线程（kali自带的，如果用的脚本要加前面要加python…
阅读更多...
关于如何将Win幻兽帕鲁服务端存档转化为单人本地存档的一种方法(无损转移)

关于如何将Win幻兽帕鲁服务端存档转化为单人本地存档的一种方法(无损转移)

本文转自博主的个人博客：https://blog.zhumengmeng.work,欢迎大家前往查看。 原文链接：点我访问 **起因：**最近大火的开放世界缝合体游戏幻兽帕鲁的大火也是引起了博主的注意，然后博主和周边小伙伴纷纷入手，博主也是利…
阅读更多...
java中Filter的使用

java中Filter的使用

1.1 Filter概述 Filter 表示过滤器，是 JavaWeb 三大组件(Servlet、Filter、Listener)之一。Servlet 我们之前都已经学习过了，Filter和Listener 我们今天都会进行学习。 过滤器可以把对资源的请求拦截下来，从而实现一些特殊的功能。 如下图…
阅读更多...
Python入门到精通(六)——Python函数进阶

Python入门到精通(六)——Python函数进阶

Python函数进阶 一、函数的多返回值 二、函数多种传参方式 1、位置参数 2、关键字参数 3、缺省参数 4、不定长参数 （1）位置传递 （2）关键字传递 三、匿名函数 （1）函数作为参数传递 （2&…
阅读更多...
通过Demo学WPF—数据绑定（一）✨

通过Demo学WPF—数据绑定（一）✨

前言✨ 想学习WPF，但是看视频教程觉得太耗时间，直接看文档又觉得似懂非懂，因此想通过看Demo代码文档的方式进行学习。 准备✨ 微软官方其实提供了WPF的一些Demo，地址为：microsoft/WPF-Samples: Repository for WPF …
阅读更多...
day25 日期对象

day25 日期对象

日期对象 日期对象：用来表示时间的对象作用：可以得到当前系统时间 实例化 在代码中发现了new关键字时，一般将这个操作称为实例化创建一个时间对象并获取时间（可以用于计算倒计时） 获得当前时间const date new Date…
阅读更多...
QT 使用XML保存操作记录

QT 使用XML保存操作记录

文章目录 1 实现程序保存操作记录的思路2 XML文档基本结构3 QDomDocument实现XML读写3.1 QDomDocument实现生成XML文件3.2 QDomDocument实现读取XML文件 4 QXmlStreamWriter实现读写4.1 QXmlStreamWriter实现生成XML4.2 QXmlStreamWriter实现读取XML 1 实现程序保存操作记录的思…
阅读更多...
【linux】-centos7版本前后-变化篇

【linux】-centos7版本前后-变化篇

1.centos7版本前后区别 首先文件系统变化，由EXT4，变为XFS格式。可支持容量500TB的文件，而6代仅能支持16TB。首个进程变为systemd, 替换了熟悉的init进程。它的特点是功能强大，体积也很强大。 systemd给我们带来了一个全家桶命令&…
阅读更多...
【linux】磁盘空间不足-常用排查和处理命令

【linux】磁盘空间不足-常用排查和处理命令

【linux】磁盘空间不足-常用排查和处理命令 1.通查一下 df -h #查看服务器磁盘空间情况 du -hs * 2>/dev/null #列出各目录所占空间大小 或 du -h -d 1 2>/dev/null #列出各目录所占空间大小 1.1情况一 df 磁盘空间和du 目录空间占用相等&#xff0c…
阅读更多...
C# 二分搜索（Binary Search）

C# 二分搜索（Binary Search）

二分搜索概念 二分查找也称折半查找（Binary Search）它是一种效率较高的查找方法。但是，折半查找要求线性表必须采用顺序存储结构，而且表中元素按关键字有序排列。 二分搜索的背景 二分搜索法的概念和思想可以追溯到古代的中国和…
阅读更多...
【python】求矩阵的特征值和特征向量

【python】求矩阵的特征值和特征向量

使用np.linalg.eig同时求特征值和特征向量 import numpy as np#输入矩阵 A np.array([[1, 1/2, 1/6, 1/9],[2, 1, 1/3, 1/5],[6, 3,1,1/2],[9, 5,2,1]])#求解特征值和其对应的特征向量 eigval,eigvec np.linalg.eig(A) for i in range(len(eigval)):print(f特征值&#xff1a…
阅读更多...
STM32学习笔记一——初识STM32

STM32学习笔记一——初识STM32

目录 一、什么是ARM 二. Cortex 内核 三.什么是STM32 四.STM32核心板原理图： 五.STM32的内部结构： 六.stm32系统结构简化图 STM32基本原理分析： 七.典型型号——STM32F103ZET6 stm32——32位单片机（数据总线是32位的&am…
阅读更多...
文献速递：人工智能医学影像分割--- 深度学习分割骨盆骨骼：大规模CT数据集和基线模型

文献速递：人工智能医学影像分割--- 深度学习分割骨盆骨骼：大规模CT数据集和基线模型

文献速递：人工智能医学影像分割— 深度学习分割骨盆骨骼：大规模CT数据集和基线模型 我们为大家带来人工智能技术在医学影像分割上的应用文献。 人工智能在医学影像分析中发挥着至关重要的作用，尤其体现在图像分割技术上。这项技术的目的是准…
阅读更多...
Golang 流媒体服务器lalserver使用指南

Golang 流媒体服务器lalserver使用指南

目录 安装 使用 1.推流 2.播放 官方地址 安装 1.下载源码 wget https://github.com/q191201771/lal/releases/download/v0.36.7/lal_v0.36.7_linux.zipunzip lal_v0.36.7_linux.zip cd lal_v0.36.7_linux 2.启动 ./bin/lalserver -c ./conf/lalserver.conf.json 使用 …
阅读更多...
浅谈直流电表在韩国充电桩生产厂家的应用

浅谈直流电表在韩国充电桩生产厂家的应用

I.背景： 近几年为应对温室气体的排放导致的全球变暖、气候变化等问题,各大国纷纷对焦推进电动汽车，从而减少传统燃油汽车带来的大量温室气体排放。而推进新能源汽车的各项举措之中，充电桩的基础建设，又是其中的重中之重&#xff…
阅读更多...
AR眼镜_ar智能眼镜显示方案|光学方案

AR眼镜_ar智能眼镜显示方案|光学方案

AR眼镜是一种智能眼镜，能够将虚拟现实和现实世界相结合，使人们能够在日常生活中体验和参与虚拟现实。然而，AR智能眼镜的制造成本高，开发周期长。要实现AR眼镜的各项功能，需要良好的硬件条件，而AR智能眼镜的…
阅读更多...
ssl证书更换步骤及更换后有效期没有更新问题

ssl证书更换步骤及更换后有效期没有更新问题

因公司ssl证书到期，在阿里云申请免费证书更换后，查看证书有效期，发现有效期没有更新。 ssl证书更换步骤： 1.下载nginx证书文件 2.服务器上替换原有ssl证书（操作前记得备份） 3.更改nginx.conf文件中证书路径…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023