hadoop-3.3.5安装过程

准备资源三台虚拟机:

1)准备3台服务器(关闭防火墙、静态IP、主机名称

2)安装JDK

3)配置环境变量

4)安装Hadoop

5)配置环境变量

安装虚拟机(略)--1台即可,执行完毕下述内容,再克隆2台。

虚拟机准备完毕,开始安装——

1-通过yum安装epel-release

[root@kk ~]# yum install -y epel-release

注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作

Ø net-tool:工具包集合,包含ifconfig等命令,vim:编辑器

[root@kk ~]# yum install -y net-tools

[root@kk ~]#yum install -y vim 

2-关闭防火墙,关闭防火墙开机自启

 [root@kk ~]# systemctl stop firewalld

[root@kk ~]# systemctl disable firewalld.service

3-创建other用户,并修改other用户的密码

 [root@kk ~]# useradd others

[root@kk ~]# passwd others

4-配置others用户具有root权限,方便后期加sudo执行root权限的命令

[root@kk ~]# vim /etc/sudoers

修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:

%wheel  ALL=(ALL)       ALL

others   ALL=(ALL)     NOPASSWD:ALL

5-在/opt目录下创建文件夹,并修改所属主和所属组

(1)在/opt目录下创建modulesoftware文件夹

[root@kk ~]# mkdir /opt/{module,sofeware}

(2)修改modulesoftware文件夹的所有者和所属组均为others用户

[root@kk ~]# chown others:others /opt/module

[root@kk ~]# chown others:others /opt/software

(3)查看modulesoftware文件夹的所有者和所属组

[root@kk ~]# cd /opt/

[root@kk opt]# ll

 6-卸载虚拟机自带的JDK 

注意:如果你的虚拟机是最小化安装不需要执行这一步。

[root@kk ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

Ø rpm -qa查询所安装的所有rpm软件包

Ø grep -i:忽略大小写

Ø xargs -n1:表示每次只传递一个参数

Ø rpm -e –nodeps:强制卸载软件

7-重启虚拟机

[root@kk ~]# reboot

 8-使用固定IP

1)查看自己主机的IP地址网段和DNS--这一步在自己电脑的网络属性中查看即可

2)修改静态的IP地址

[root@kk ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

BOOTPROTO=static

IPADDR=192.168.193.170

GATEWAY=192.168.193.2

DNS1=192.168.193.2

DNS2=8.8.8.8

另外两台的IP地址也如此修改 分别为:192.168.193.176192.168.193.177

每个人的都不同,自己设置即可。

9-修改主机名,以下以kk 为例子

[root@kk ~]# vim /etc/hostname

hadoop1

配置Linux主机名称映射hosts文件,打开/etc/hosts

[root@hadoop1 ~]# vim /etc/hosts

192.168.193.170 hadoop1

192.168.193.176 hadoop2

192.168.193.177 hadoop3

重启 hadoop1

[root@kk ~]# reboot

10-JDK和hadoop 3.3.5 导入到opt目录下面的software文件夹下面

JDK需要到oracle 官方下载-

Java Downloads | Oracle

这里本人下载了 (jdk-8u391-linux-x64.tar.gz)

hadoop3.3.5 版本比较稳定,也到官方下载

https://dlcdn.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

查看软件包下面已经上传好的软件包

[root@hadoop1 software]$ ls
hadoop-3.3.5.tar.gz  jdk-8u391-linux-x64.tar.gz

11-切换为配置的others 用户来做其他的操作

[root@hadoop1 software]$ su others

[others@hadoop1 software]$ tar -zxvf jdk-8u391-linux-x64.tar.gz  -C /opt/module

[others@hadoop1 software]$ tar -zxvf hadoop-3.3.5.tar.gz  -C /opt/module

12-配置环境变量

[others@hadoop1 hadoop-3.3.5]$ sudo vim /etc/profile.d/my_env.sh

#JAVA_HOME

  export JAVA_HOME=/opt/module/jdk1.8.0_371

  export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.3.5

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

配置完毕,需要进行source ,之后配置文件才会生效

[others@hadoop1 hadoop-3.3.5]$ source /etc/profile

若还有问题,直接进行下重启-[others@hadoop1 hadoop-3.3.5]$ sudo reboot

之后进入系统查询 java -version  和  hadoop version

可用后表示已经成功配置。

13-hadoop 文件夹重要目录说明 

[others@hadoop2 hadoop-3.3.5]$ ll
total 116
drwxr-xr-x. 2 others others 4096 Mar 16  2023 bin
drwxr-xr-x. 3 others others4096 Mar 15  2023 etc
drwxr-xr-x. 2  others others 4096 Mar 16  2023 include
drwxr-xr-x. 3 others others 4096 Mar 16  2023 lib
drwxr-xr-x. 4 others others   4096 Mar 16  2023 libexec
-rw-rw-r--. 1 others others 24496 Feb 25  2023 LICENSE-binary
drwxr-xr-x. 2 others others   4096 Mar 16  2023 licenses-binary
-rw-rw-r--. 1 others others 15217 Jul 17  2022 LICENSE.txt
-rw-rw-r--. 1 others others 29473 Jul 17  2022 NOTICE-binary
-rw-rw-r--. 1 others  others 1541 Apr 22  2022 NOTICE.txt
-rw-rw-r--. 1 others  others 175 Apr 22  2022 README.txt
drwxr-xr-x. 3 others others 4096 Mar 15  2023 sbin
drwxr-xr-x. 4 others others 4096 Mar 16  2023 share
drwxrwxr-x. 2 others  others 4096 Dec  1 14:24 wcinput

1bin目录:存放对Hadoop相关服务(hdfsyarnmapred)进行操作的脚本

2etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

3lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

4sbin目录:存放启动或停止Hadoop相关服务的脚本

5share目录:存放Hadoop的依赖jar文档和官方案例

 Hadoop官方网站:https://hadoop.apache.org/

https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/SingleCluster.html

2Hadoop运行模式包括:本地模式伪分布式模式以及完全分布式模式

Ø 本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。

Ø 伪分布式模式:也是单机运行,但是具备Hadoop集群的所有功能一台服务器模拟一个分布式的环境个别缺钱的公司用来测试,生产环境不用。

Ø 完全分布式模式:多台服务器组成分布式环境。生产环境使用。

 14-克隆已经部署好的这台资源,修改克隆机的hostname即可。

[root@hadoop1 ~]# vim /etc/hostname

hadoop2

另外一台修改为 hadoop3 即可。

以上就是hadoop 的部署。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/189184.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何删除mac苹果电脑上面的流氓软件?

在使用苹果电脑的过程中,有时候我们也会遇到一些不需要的软件。无论是因为不再需要,或者是为了释放磁盘空间,删除这些软件是很重要的。本文将为大家介绍怎样删除苹果电脑上的软件! CleanMyMac X全新版下载如下: https://wm.make…

elementUI实现根据屏幕大小自适应换行,栅格化布局

需求: 默认一行展示4个卡片;当屏幕小于某个大小的时候,一行展示3个卡片;再小就展示2个;以此类推,最小就展示1个。 效果卡片样式如下图: 默认一行4个 屏幕缩小到某个阈值,一行展示…

Linux:vim的简单使用

个人主页 : 个人主页 个人专栏 : 《数据结构》 《C语言》《C》《Linux》 文章目录 前言一、vim的基本概念二、vim的基本操作三、vim正常模式命令集四、vim底行模式命令集五、.xxx.swp的解决总结 前言 本文是对Linux中vim使用的总结 一、vim的基本概念 …

iOS Class Guard 成功了,但无法区分差异

iOS Class Guard 成功了,但无法区分差异 我正在开发一个静态库,并使用 Polidea 的 iOS Class Guard 来混淆我的静态库。我按照步骤在项目的根路径中下载 obfuscate_project,更改其中所需的名称,最后在终端中运行 bash obfuscate_p…

算法通关村第六关—二叉树的层次遍历经典问题(白银)

二叉树的层次遍历经典问题 一、层次遍历简介 广度优先遍历又称层次遍历,过程如下:  层次遍历就是从根节点开始,先访问根节点下面一层全部元素,再访问之后的层次,图里就是从左到右一层一层的去遍历二叉树&#xff0c…

学习笔记8——JUC入门基础知识

学习笔记系列开头惯例发布一些寻亲消息 链接:https://baobeihuijia.com/bbhj/contents/3/199561.html 进程和线程:进程是资源分配的最小单位,线程是CPU调度的最小单位 进程和线程的主要区别(总结)_进程和线程的区别-CSDN博客进程…

Flink的部署模式和运行模式

集群角色 Flink提交作业和执行任务,需要几个关键组件: 客户端:代码由客户端获取并作转换,之后提交给Jobmanager Jobmanager就是Flink集群的管事人,对作业进行中央调度管理;当从客户端获取到转换过的作业后…

NRF24L01 无线收发模块与 Arduino 的应用

NRF24L01 是一款常用的无线收发模块,与 Arduino 兼容性良好,可以用于实现无线通信和数据传输。本文将介绍如何将 NRF24L01 模块与 Arduino 配合使用,包括硬件的连接和配置,以及相应的代码示例。 一、引言 NRF24L01 是一款基于 2.…

CentOS或RHEL安装vscode

下载rpm安装包 网络下载或者下载到本地再上传到服务器,点击访问国内下载地址,不需要积分curl -fOL https://github.com/coder/code-server/releases/download/v4.19.1/code-server-4.19.1-amd64.rpm安装 rpm -i code-server-4.19.1-amd64.rpm关闭和禁用…

STM32F407-14.3.9-01输出比较模式

输出比较模式 此功能用于控制输出波形,或指示已经过某一时间段。 当捕获/比较寄存器与计数器之间相匹配时,输出比较功能: ● 将为相应的输出引脚分配一个可编程值,该值由输出比较模式(TIMx_CCMRx 寄存器中的 OCxM⑦…

Python批量Git Pull,对文件夹批量进行Pull操作

效果展示 说明 本来是想写的完善一些,但由于是自用,所以写出来后发现已经解决了自己的问题,所有 2和3功能没有写。 执行的话,需要 cmd 之后 直接 Python BatchGitPull.py 运行下面代码即可。 里面同时涉及到其他Pyhon知识点(写给…

Ubuntu18.04 Udacity project_9_PID_control 如何运行

工程源码和仿真器下载: 源码 仿真器 --- Ubuntu就下载 term2_sim_linux.zip 这个压缩文件即可 紧接着给方框中的文件赋可执行权限 打开project_9_PID_control文件夹 执行如下脚本,安装必要的库,比如websocket(程序生成的可执行…

springboot+vue志愿者在线报名服务管理系统java毕业设计源码+数据库

vuespringboot志愿服务管理系统 本项目是springbootvueElementuimysql源码 开发工具,idea和eclipse都可以,MySQL 源码下载地址 https://download.csdn.net/download/yibo2022/88401958?spm1003.2166.3001.6637.3https://download.csdn.net/download/yibo2022/884…

凯捷对汽车数字化的思考

标题凯捷(中国)对汽车行业数字化转型的探索 凯捷中国数字化研发团队有超过1200名专业顾问致力于数字化相关项目,分布在北京、天津、沈阳、呼和浩特、上海、昆山、杭州、广州、深圳等地,运用Rightshore交付模式和通过专业顾问为客…

Python 重要数据类型

目录 列表 序列操作 列表内置方法 列表推到式 字典 声明字典 字典基本操作 列表内置方法 字典进阶使用 字典生成式 附录 列表 在实际开发中,经常需要将一组(不只一个)数据存储起来,以便后边的代码使用。列表就是这样的…

流媒体方案之FFmepeg——实现物联网视频监控项目

目录 前言 一、FFmpeg介绍 二、FFmpeg简易理解 三、FFmpeg的重要概念 四、软硬件准备 五、移植、运行FFmpeg 六、运行FFmpeg 前言 最近想做一个安防相关的项目,所以跟着韦东山老师的视频来学习视频监控方案的相关知识,韦东山老师讲的课非常好&…

ABB YuMi协作式双臂机器人进入工厂,极大缓解劳动力短缺问题

原创 | 文 BFT机器人 日本SUS公司是一家为汽车和其他制造业提供铝框架和压铸铝部件的知名供应商,近年来,由于全球供应链面临严重中断,该公司希望能够寻找一家自动化供应商来帮助其恢复日本静冈县的产品生产。SUS公司表示,由于生产…

HarmonyOS——解决本地模拟器无法选择设备的问题

在使用deveco studio进行鸿蒙开发的时候,可能会遇到本地模拟器已经启动了,但是仍然无法选择本地模拟器中的设备,尤其在MAC环境中尤为常见。 解决办法: 先打开IDE启动本地模拟器,等模拟器启动后,退出IDE重新…

【代码】基于算术优化算法(AOA)优化参数的随机森林(RF)六分类机器学习预测算法/matlab代码

代码名称:基于算术优化算法(AOA)优化参数的随机森林(RF)六分类机器学习预测算法/matlab代码 使用算术优化算法(AOA)优化分类预测模型的参数,收敛性好,准确率提升明显&am…

Python 流程控制

目录 程序流程 顺序结构 分支结构 单分支 双分支 多分支 if 嵌套 循环结构 while循环 for 循环 退出循环 循环与分支嵌套 附录 程序流程 程序是由语句构成,而流程控制语句 是用来控制程序中每条语句执行顺序的语句。可以通过控制语句实现更丰富的逻辑…