大数据技术学习笔记(二)—— Hadoop 运行环境的搭建

目录

  • 1 准备模版虚拟机hadoop100
    • 1.1 修改主机名
    • 1.2 修改hosts文件
    • 1.3 修改IP地址
      • 1.3.1 查看网络IP和网关
      • 1.3.2 修改IP地址
    • 1.4 关闭防火墙
    • 1.5 创建普通用户
    • 1.6 创建所需目录
    • 1.7 卸载虚拟机自带的open JDK
    • 1.8 重启虚拟机
  • 2 克隆虚拟机
  • 3 在hadoop101上安装JDK
    • 3.1 传输安装包并解压
    • 3.2 配置JDK环境变量
    • 3.3 测试JDK是否安装成功
  • 4 在hadoop101上安装Hadoop
    • 4.1 解压安装包
    • 4.2 配置Hadoop环境变量
    • 4.3 测试Hadoop是否安装成功

笔者使用镜像为:CentOS-7.5-x86_64-DVD-1804.iso

1 准备模版虚拟机hadoop100


CentOS-7.5-x86-1804为例,安装成功后:

1.1 修改主机名


查看当前主机名

hostname

修改当前主机名

vim /etc/hostname

修改主机名为 hadoop100

1.2 修改hosts文件


  1. 修改linux的主机映射文件(hosts文件)

编辑 /etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
  1. 修改windows的主机映射文件(hosts文件)

进入C:\Windows\System32\drivers\etc 路径,打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

1.3 修改IP地址

1.3.1 查看网络IP和网关


查看虚拟网络编辑器

在这里插入图片描述

查看windows环境的中VMnet8网络配置

在这里插入图片描述

1.3.2 修改IP地址


vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

编辑完后,按键盘esc ,然后输入 :wq 回车即可。

重启网络

systemctl restart network

查看修改后的IP

ifconfig

或者

ip addr

1.4 关闭防火墙


关闭防火墙,并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

1.5 创建普通用户


创建普通用户huwei

useradd huwei

修改普通用户huwei的密码

passwd huwei

配置 huwei 用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers

esc,键入:set nu显示行号,找到91行,在 root 下面添加一行

在这里插入图片描述

esc,对该只读文件保存强制退出:wq!

1.6 创建所需目录


/opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software

查看module、software文件夹的所有者和所属组

cd /opt/
ll

在这里插入图片描述

1.7 卸载虚拟机自带的open JDK


rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1.8 重启虚拟机


reboot

2 克隆虚拟机


利用模板机 hadoop100,克隆三台虚拟机:hadoop101 、hadoop102、hadoop103

然后修改克隆机IP,以下以 hadoop101 举例说明。

修改IP地址,只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名为 hadoop101

vim /etc/hostname

重启!

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压


将 hadoop 和 jdk 通过传输工具上传到 /opt/software

在这里插入图片描述

切换到 /opt/software目录下,解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

3.2 配置JDK环境变量


新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

3.3 测试JDK是否安装成功


java -version

在这里插入图片描述

如果能看到以上结果,则代表 Java 安装成功!

4 在hadoop101上安装Hadoop

4.1 解压安装包


切换到 /opt/software目录下,解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll

在这里插入图片描述

重要目录

  • bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
  • etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
  • lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
  • sbin目录:存放启动或停止Hadoop相关服务的脚本
  • share目录:存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量


编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

4.3 测试Hadoop是否安装成功


hadoop version

在这里插入图片描述

如果能看到以上结果,则代表 Hadoop 安装成功!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/117645.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Webpack 基础以及常用插件使用方法

目录 一、前言二、修改打包入/出口配置步骤 三、常用插件使用html-webpack-plugin打包 CSS 代码提取 CSS 代码优化压缩过程打包 less 代码打包图片文件 一、前言 本质上,Webpack 是一个用于现代 JavaScript 应用程序的 静态模块打包工具。当 webpack 处理应用程序时…

【接口测试】Jmeter接口实战-Dubbo接口+造10W数据测试(详细)

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 1、Windows环境通…

深入了解JavaScript中的AJAX和HTTP请求

在现代Web开发中,AJAX(Asynchronous JavaScript and XML)和HTTP请求被广泛应用于实现动态交互式网页。本文将深入探讨AJAX的概念、工作原理以及使用方法。 什么是AJAX? AJAX是一种利用JavaScript和HTTP请求与服务器进行异步通信的…

66 跳跃游戏

跳跃游戏 题解1 贪心题解2 DP(超时, 但思路应该对) 给你一个非负整数数组 nums,你最初位于数组的 第一个下标。数组中的每个元素代表你在该位置可以跳跃的最大长度。 判断你是否能够到达最后一个下标,如果可以,返回 …

c语言进制转换表

c语言进制转换表 c语言进制转换表 c语言进制转换表 END

制造业中的微小缺陷检测——应用场景分析与算法选择(YoloV8/CANet)

一、缺陷检测任务 缺陷检测的任务通常可以分为三个主要阶段,包括缺陷分类、缺陷定位和缺陷分割。 1.缺陷分类 缺陷分类是检测过程的第一步,目的是将检测到的缺陷区域分类为不同的类别,通常是根据缺陷的性质或类型进行分类。分类的类别包括…

中文编程开发语言工具系统化教程初级1上线

中文编程系统化教程初级1 学习编程捷径:(不论是正在学习编程的大学生,还是IT人士或者是编程爱好者,在学习编程的过程中用正确的学习方法 可以达到事半功倍的效果。对于初学者,可以通过下面的方法学习编程,…

工控安全与网络安全有什么不同?

在当代,全球制造业正在经历一场前所未有的技术变革。工业4.0不仅代表着自动化和数据交换的进步,它还揭示了工业自动化、智能制造与系统集成的融合。这种集成为企业带来了效率和质量的双重提升,但同时也暴露出新的安全隐患。工控系统成为了这一…

化工园区数字孪生可视化管控平台,赋予园区安全环保智慧发展

化工行业作为国民经济的支柱和工业发展的引擎,对安全生产、环保节能、应急管控有着很高的要求。目前国内外化工园区面临安全和环保两大压力。为有效解决这两大难题,巨蟹数科综合运用物联网、数字孪生等新一代信息技术,建设了数字孪生园区智慧…

研发效能(DevOps)职业技术认证-第六期开班啦丨IDCF

本证书是由国家工业和信息化部教育与考试中心颁发的职业技术证书,也是国内首个《研发效能(DevOps)工程师职业技术认证》。该《认证》对研发效能(DevOps)工程师的职业技术分为初级、中级、高级三个专业等级。 IDCF社区…

Qt之普通项目如何生成DLL(含源码+注释)

文章目录 一、示例图二、普通项目需要改造的内容三、源码(创建了一个TestDLL的项目,更改内容主要在pro文件和maindow.h文件)TestDLL.promainwindow.hmainwindow.cppmainwindow.ui 总结 一、示例图 使用不同的编译模式编译,会在对…

【产品经理】APP备案(阿里云)

工信部《关于开展移动互联网应用程序备案工作的通知》 工业和信息化部印发了《关于开展移动互联网应用程序备案工作的通知》,“在中华人民共和国境内从事互联网信息服务的App主办者,应当依照相关法律法规等规定履行备案手续,未履行备案手续的…

微信小程序——后台交互

目录 后台准备 pom.xml 配置数据源 整合mtbatis 前后端交互 method1 method2 后台准备 pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org…

Redis实现消息队列

使用Redis中的list实现消息队列 list是Redis的一种数据结构&#xff0c;可以把它理解成双向链表 可以从头部插入数据然后从尾部取出数据&#xff0c;从而实现消息队列的效果 利用命令 LPUSH和RPOP &#xff08;从左边插入数据从右边取出数据&#xff09; lpush l1 e1 e2rpo…

Dynamics 365 重写自带按钮

必备工具&#xff1a;Ribbon Workbench 步骤&#xff1a; 1、查看默认按钮使用的方法名称 右键按钮选择自定义命令(Customise Command)&#xff0c;然后查看command使用的命令 2、在前台chrome浏览器中搜索对应的命令&#xff0c;查看命令细节 3、基于命令细节新建command&am…

内裤洗衣机有用吗?最好用的四款内衣洗衣机测评

相信很多小伙伴往往会因为懒而不想洗内衣&#xff0c;又或者洗内衣时经常会洗不干净&#xff01;这时就很有必要入手一台内衣洗衣机了&#xff0c;当我们洗完澡时&#xff0c;顺手把内衣放入洗衣机内&#xff0c;一键启动即可把我们的内衣洗得干干净净&#xff01;同时还可以为…

Node.js与npm版本比对

Node.js与npm版本比对 Node.js与npm版本比对版本对比表Node版本对比 Node.js与npm版本比对 我们在项目开发过程中&#xff0c;经常会遇到公司一些老的前端工程项目&#xff0c;而我们当前的node及npm版本都是相对比较新的了。 在运行以前工程时&#xff0c;会遇到相关环境不匹…

uview 1 uni-app表单 number digit 的输入框有初始化赋值后,但是校验失败

背景&#xff1a; 在onReady初始化规则 onReady() { this.$refs.uForm.setRules(this.rules); }, 同时&#xff1a;ref,model,rules,props都要配置好。 报错 当input框限定type为number&#xff0c;digit类型有初始值不做修改动作,直接提交会报错&#xff0c;验…

PCIe架构的处理器系统介绍

不同的处理器系统中&#xff0c;PCIe体系结构的实现方式不尽相同。PCIe体系结构以Intel的x86处理器为蓝本实现&#xff0c;已被深深地烙下x86处理器的印记。在PCIe总线规范中&#xff0c;有许多内容是x86处理器独有的&#xff0c;也仅在x86处理器的Chipset中存在。在PCIe总线规…

lua-web-utils和proxy程序示例

以下是一个使用lua-web-utils和https://www.duoip.cn/get_proxy的爬虫程序示例。每行代码后面都给出了详细的中文解释。 -- 导入所需的库 local http require("http") local ltn12 require("ltn12") local json require("json") local web_u…