CentOS7 Hadoop3.3.0 安装与配置

一、安装JDK

1、创建文件夹tools和training用于存放压缩包和解压使用,tools存放压缩包,training用于解压后安装jdk和hadoop的路径。

1)回到路径为 / 的位置
cd /

在这里插入图片描述

2) 创建 tools 和 training
mkdir tools
mkdir training
3) 进入tools文件夹
cd tools

在这里插入图片描述

4) 左边mobaxterm里面点击进入/tools文件夹,将发给大家的压缩包直接鼠标拖入进去,拖的是tar.gz压缩包,不要在电脑里面解压过了!,拖的时候有进度条,上传完后如图所示

在这里插入图片描述

2、JDK解压

1) 在控制台输入以下命令,将文件解压至training文件夹,如图所示,路径在tools里面,会有一堆进度条,等他运行停止以后进行下一步
tar -zvxf jdk-8u144-linux-x64.tar.gz  -C /training/

在这里插入图片描述

2) 查看mobaxterm左边,点击文件夹进到training里面查看解压情况,有这个文件夹了就说明解压成功了。

在这里插入图片描述

3、JDK安装

1)控制台输入此命令回车进行环境配置
 vi ~/.bash_profile

在这里插入图片描述

2) 进入文件后是不可编辑的阅读状态,使用键盘上下左右键将光标移动到蓝色的export PATH 的H上面,按一下电脑的 i 键盘,进入编辑模式,按右键挪到H的后面,然后回车两次,在进行下一步

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3) 在文件中添加此配置,直接复制粘贴,若java版本不是从我这下的,和我不同,请自行在配置里更改版本编号144,具体如图
#java
export JAVA_HOME=/training/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

在这里插入图片描述

4) 按一下esc退出编辑模式

在这里插入图片描述

5) 输入 冒号wq,然后回车, 不可复制,直接键盘自己输,此操作是保存文件并退出,w是保存,q是退出,后面不会讲这么细,忘记可以翻回来看,如果不下心改错了,不想保存退出,则使用 :wq! ,就是不保存退出。
:wq

在这里插入图片描述
在这里插入图片描述

6) 环境变量更改以后,需要让他生效,所以输入一下命令让环境变量生效。
source ~/.bash_profile

在这里插入图片描述

7) 输入此命令,检查java是否安装完毕,如果弹出对应版本信息则成功安装java。
 java -version

在这里插入图片描述

二、安装Hadoop

1、关闭centos的防火墙,不然影响后面hadoop远程连接

systemctl stop firewalld.service

在这里插入图片描述

systemctl disable firewalld.service

在这里插入图片描述

2、更改主机名为niit和我一样,方便后续文件直接复制粘贴不用更改,更改后不会马上显示,关掉mobaxterm重新连接一下就好了。

 hostnamectl --static set-hostname niit

3、配置映射关系

1)进入centos的hosts映射文件
 vi /etc/hosts
2)添加ip编号 空格 主机名

(每个人ip都不一样,自己用自己的)
具体怎么添加的参考上面的详细环境变量文件更改和保存操作,一样的。

192.168.163.137 niit

在这里插入图片描述

3):wq保存退出
:wq

4、配置另一个映射文件

1)进入文件
vi /etc/sysconfig/network
2)添加主机名在这个文件里
niit

在这里插入图片描述

3) :wq 保存退出
:wq

5、进入/tools文件夹

cd /tools

6、解压hadoop压缩包到training文件夹

tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/

在这里插入图片描述
在这里插入图片描述

7、Hadoop环境配置

1)再次进入环境变量配置文件
vi ~/.bash_profile
2)添加如下配置,别动到之前的java,在后面换行添加就行
#hadoop
export HADOOP_HOME=/training/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

3):wq保存退出
4)生效环境变量
source ~/.bash_profile

在这里插入图片描述

5)输入hdfs检查hadoop是否安装成功,如果有这些东西出来了,说明成功安装,接下来去进行hadoop配置文件的配置。
hdfs

在这里插入图片描述

三、Hadoop免密登录配置

1、创建免密登录数据存放文件

1)在hadoop安装路径下创建一个tmp文件夹用于存放配置数据
mkdir /training/hadoop-3.3.0/tmp 

在这里插入图片描述

2、免密配置

1)进行hadoop ssh免密配置

a输入以下代码,回车四次什么都不要输入快速回车4次,然后你会得到一个密码图形,每个人不一样,不用看我的图,有图形就好了

ssh-keygen -t rsa

在这里插入图片描述
在这里插入图片描述

b输入以下命令

cd ~/.ssh/

在这里插入图片描述
c输入以下命令(niit是主机名,和我不一样得换自己的)

具体如图所示

 ssh-copy-id -i id_rsa.pub root@niit

在这里插入图片描述

四、Hadoop5个配置文件设置

1、进入Hadoop配置文件地址

cd /training/hadoop-3.3.0/etc/hadoop/

2、第一个配置文件:hadoop-env.sh,用于设置jdk的

1)输入命令进入编辑
vi hadoop-env.sh

在这里插入图片描述

2)进去后长这样

在这里插入图片描述

3)往下滑动鼠标找到

在这里插入图片描述

4)进入编辑模式,在这一行下面一行添加此内容
export JAVA_HOME=/training/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在这里插入图片描述

5):wq保存退出

3、第二个配置文件:hdfs-site.xml,用于设置权限和数据块备份数量

1)进入文件
vi hdfs-site.xml

在这里插入图片描述

2)进去长这样,在两个configuration中间添加配置

在这里插入图片描述

3)进入编辑模式添加内容
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.permissions</name><value>false</value>
</property>

在这里插入图片描述

4):wq保存退出

4、第三个配置文件:core-site.xml,用于设置主节点和临时文件夹

1)进入文件
vi core-site.xml

在这里插入图片描述

2)进去长这样,在configuration中间加

在这里插入图片描述

3)添加内容,niit是主机名,不一样记得改,8020不用动
<property><name>fs.defaultFS</name><value>hdfs://niit:8020</value>
</property>			
<property><name>hadoop.tmp.dir</name><value>/training/hadoop-3.3.0/tmp</value>
</property>

在这里插入图片描述

4):wq保存退出

5、第四个配置文件:mapred-site.xml,用于设置mapreduce的运行环境

1)进入文件
vi mapred-site.xml

在这里插入图片描述

2)进去长这样,在configuration中间加

在这里插入图片描述

3)添加内容
<property>	<name>mapreduce.framework.name</name><value>yarn</value>
</property>

在这里插入图片描述

6、第五个配置文件:yarn-site.xml,用于设置yarn

1)进入文件
vi yarn-site.xml

在这里插入图片描述

2)进入长这样,在箭头处添加

在这里插入图片描述

3)添加内容
<property><name>yarn.resourcemanager.hostname</name><value>niit</value>
</property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>

在这里插入图片描述

4):wq保存退出

五、Hadoop格式化主节点

hdfs namenode -format

#注意: 如果格式化成功,你可以看到如下信息:
common.Storage: Storage directory /training/hadoop-3.3.0/tmp/dfs/name has been successfully formatted.

在这里插入图片描述

六、Hadoop启动与关闭

1、启动Hadoop

1)启动命令
start-all.sh

在这里插入图片描述

2)是否启动成功进程检查
jps

成功会有5个进程,1个jps进程
在这里插入图片描述
如果成功看到5个hadoop进程恭喜你成功了,只要少了任何一个进程说明上述所有步骤一点点小问题都会有影响,从头检查一遍。

2、关闭Hadoop

stop-all.sh

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/67836.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

测试工程师的领航指南:《Effective软件测试》

目录 前言一、本书适合对象二、本书大纲第1章&#xff1a;有效和系统的软件测试第2章&#xff1a;基于需求规格的测试第3章&#xff1a;结构化测试与代码覆盖第4章&#xff1a;契约式设计第5章&#xff1a;基于属性的测试第6章&#xff1a;测试替身和模拟对象第7章&#xff1a;…

Python综合案例(基本地图使用)

一、基本地图的使用 基本代码&#xff1a; """ 演示地图可视化的基本使用 """ from pyecharts.charts import Map from pyecharts.options import VisualMapOpts# 准备地图对象 map Map() # 准备数据 data [("北京", 99),("…

【C++进阶(四)】STL大法--list深度剖析list迭代器问题探讨

&#x1f493;博主CSDN主页:杭电码农-NEO&#x1f493;   ⏩专栏分类:C从入门到精通⏪   &#x1f69a;代码仓库:NEO的学习日记&#x1f69a;   &#x1f339;关注我&#x1faf5;带你学习C   &#x1f51d;&#x1f51d; 链表list 1. 前言2. list的使用2.1 list的构造函…

【树形权限】树形列表权限互斥选择、el-tree设置禁用等等

文章目录 一、实现如上树形列表1.1 首先要就是渲染树形列表1.2 然后通过插槽处理头部标题1.3 再通过插槽处理表格body体内容1.4 让body体中的选框和表头中的选框产生关联 二、将 el-tree 整棵树设为禁用状态三、动态表格合并 需求&#xff1a;按照权限管理配置的数据权限树展开…

如何利用客户旅程打造好的用户体验?

在当今竞争激烈的市场中&#xff0c;提供卓越的用户体验已经成为企业脱颖而出的关键因素之一。客户旅程是实现出色用户体验的有力工具之一&#xff0c;而HubSpot的客户旅程规划功能为企业提供了强大的支持&#xff0c;帮助他们更好地理解、管理和改善客户的互动过程。今天运营坛…

【USRP】调制解调系列5:16QAM、32QAM、64QAM、256QAM、1024QAM、基于labview的实现

QAM 正交振幅键控是一种将两种调幅信号&#xff08;2ASK和2PSK&#xff09;汇合到一个信道的方法&#xff0c;因此会双倍扩展有效带宽&#xff0c;正交调幅被用于脉冲调幅。正交调幅信号有两个相同频率的载波&#xff0c;但是相位相差90度&#xff08;四分之一周期&#xff0c…

参编三大金融国标,奇富科技以技术促行业规范化演进

近期&#xff0c;由中国互联网金融协会领导制定的《互联网金融智能风险防控技术要求》《互联网金融个人网络消费信贷信息披露》《互联网金融个人身份识别技术要求》三项国家标准颁布&#xff0c;由国家市场监督管理总局、国家标准化管理委员会发布&#xff0c;奇富科技作为核心…

Flutter 混合开发调试

针对Flutter开发的同学来说&#xff0c;大部分的应用还是Native Flutter的混合开发&#xff0c;所以每次改完Flutter代码&#xff0c;运行整个项目无疑是很费时间的。所以Flutter官方也给我们提供了混合调试的方案【在混合开发模式下进行调试】&#xff0c;这里以Android Stud…

OPENCV实现图像查找

特征匹配+单应性矩阵 # -*- coding:utf-8 -*- """ 作者:794919561 日期:2023/9/4 """ import cv2 import numpy as np# 读图像 img1 = cv2.imread(F:\\learnOpenCV\\openCVLearning\\pictures\\chess

【HTML5高级第一篇】Web存储 - cookie、localStorage、sessionStorage

文章目录 一、数据存储1.1 cookie1.1.1 概念介绍1.1.2 存储与获取1.1.3 方法的封装1.1.4 总结 1.2 localstorage 与 sessionstorage1.2.1 概述1.2.2 操作数据的属性或方法1.2.3 案例-提交问卷1.2.4 Web Storage带来的好处 附录&#xff1a;1. HTML5提供的数据持久化技术&#x…

万里路,咫尺间:汽车与芯片的智能之遇

目前阶段&#xff0c;汽车产业有两个最闪耀的关键词&#xff0c;就是智能与低碳。 在践行双碳目标与产业智能化的大背景下&#xff0c;汽车已经成为了能源技术、交通技术、先进制造以及通信、数字化、智能化技术的融合体。汽车的产品形态与产业生态都在发生着前所未有的巨大变革…

Hadoop的概述与安装

Hadoop的概述与安装 一、Hadoop内部的三个核心组件1、HDFS&#xff1a;分布式文件存储系统2、YARN&#xff1a;分布式资源调度系统3、MapReduce&#xff1a;分布式离线计算框架4、Hadoop Common&#xff08;了解即可&#xff09; 二、Hadoop技术诞生的一个生态圈数据采集存储数…

C语言:递归思想及实例详解

简介&#xff1a;在计算机科学中是指一种通过重复将问题分解为同类的子问题而解决问题的方法。通过函数的自调用化繁为简。 递归可以说是编程中最神奇的一种算法。因为我们有时候可能不能完全明晰代码的运行过程&#xff0c;但是我们却知道代码可以跑出正确的结果。而当我们使…

qt day 6

登录界面 #include "window.h" #include<QDebug> #include<QIcon> Window::Window(QWidget *parent) //构造函数的定义: QWidget(parent) //显性调用父类的构造函数 {//判断数据库对象是否包含了自己使用的数据库Student.dbif(!db.contains(&…

微波系统中散射参量S、阻抗参量Z及导纳参量Y之间的关系及MATLAB验证

微波系统中散射参量S、阻抗参量Z及导纳参量Y之间的关系及MATLAB验证 用HFSS设计了一微波元件&#xff0c;仿真出了其散射参量S、阻抗参量Z及导纳参量Y&#xff0c;用MATLAB验证他们之间的关系 HFSS设计螺旋线圈 用HFSS设计了一个螺旋线圈&#xff0c;如上图所示。 进行仿真&…

8K视频来了,8K 视频编辑的最低系统要求

当今 RED、Canon、Ikegami、Sony 等公司的 8K 摄像机以及 8K 电视&#xff0c;许多视频内容制作人和电影制作人正在认真考虑 8K 拍摄、编辑和后期处理&#xff0c;需要什么样的系统来处理如此海量的数据&#xff1f; 中央处理器&#xff08;CPU&#xff09; 首先&#xff0c;…

Spring Security安全登录的调用过程以及获取权限的调用过程

1.第一次登录时候调用/user/login整个流程分析 (0)权限授理 首先调用SecurityConfig.java中的config函数将jwtAuthenticationTokenFilter过滤器放在UsernamePasswordAuthenticationFilter之前 Override protected void configure(HttpSecurity http) throws Exception{......…

FinClip 支持创建 H5应用类小程序;PC 终端 优化升级

FinClip 的使命是使您能够通过小程序解决关键业务流程挑战&#xff0c;并完成数字化转型。不妨让我们看看本月产品与市场发布亮点&#xff0c;是否有助于您实现目标。 产品方面的相关动向&#x1f447;&#x1f447;&#x1f447; FinClip 支持创建 H5应用类小程序 近期我们…

MongoDB常用的比较符号和一些功能符号

比较符号 results collection.find({age: {$gt: 20}})功能符号 results collection.find({name: {$regex: ^M.*}})

怎么把pdf转换成高清图片?

怎么把pdf转换成高清图片&#xff1f;最近&#xff0c;我的同事遇到了一个问题&#xff0c;现在她需要将一些pdf文件转换成高清的图片&#xff0c;这件事情让让她感到非常无助&#xff0c;因为她非常着急需要将这些文件转换为图片格式&#xff0c;以便更好的在今后的工作中进行…