大数据技术学习笔记（二）—— Hadoop运行环境的搭建

目录

  • 1 准备模版虚拟机hadoop100
    • 1.1 修改主机名
    • 1.2 修改hosts文件
    • 1.3 修改IP地址
      • 1.3.1 查看网络IP和网关
      • 1.3.2 修改IP地址
    • 1.4 关闭防火墙
    • 1.5 创建普通用户
    • 1.6 创建所需目录
    • 1.7 卸载虚拟机自带的open JDK
    • 1.8 重启虚拟机
  • 2 克隆虚拟机
  • 3 在hadoop101上安装JDK
    • 3.1 传输安装包并解压
    • 3.2 配置JDK环境变量
    • 3.3 测试JDK是否安装成功
  • 4 在hadoop101上安装Hadoop
    • 4.1 解压安装包
    • 4.2 配置Hadoop环境变量
    • 4.3 测试Hadoop是否安装成功

笔者使用镜像为：CentOS-7.5-x86_64-DVD-1804.iso

1 准备模版虚拟机hadoop100


以 CentOS-7.5-x86-1804为例，安装成功后：

1.1 修改主机名


查看当前主机名

hostname

修改当前主机名

vim /etc/hostname

修改主机名为 hadoop100

1.2 修改hosts文件


  1. 修改linux的主机映射文件（hosts文件）

编辑 /etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
  1. 修改windows的主机映射文件（hosts文件）

进入C:\Windows\System32\drivers\etc 路径，打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

1.3 修改IP地址

1.3.1 查看网络IP和网关


查看虚拟网络编辑器

在这里插入图片描述

查看windows环境的中VMnet8网络配置

在这里插入图片描述

1.3.2 修改IP地址


vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

编辑完后，按键盘esc ，然后输入 :wq 回车即可。

重启网络

systemctl restart network

查看修改后的IP

ifconfig

或者

ip addr

1.4 关闭防火墙


关闭防火墙，并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

1.5 创建普通用户


创建普通用户huwei

useradd huwei

修改普通用户huwei的密码

passwd huwei

配置 huwei 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers

esc，键入:set nu显示行号，找到91行，在 root 下面添加一行

在这里插入图片描述

esc，对该只读文件保存强制退出:wq!

1.6 创建所需目录


在 /opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software

查看module、software文件夹的所有者和所属组

cd /opt/
ll

在这里插入图片描述

1.7 卸载虚拟机自带的open JDK


rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1.8 重启虚拟机


reboot

2 克隆虚拟机


利用模板机 hadoop100，克隆三台虚拟机：hadoop101 、hadoop102、hadoop103

然后修改克隆机IP，以下以 hadoop101 举例说明。

修改IP地址，只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名为 hadoop101

vim /etc/hostname

重启！

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压


将 hadoop 和 jdk 通过传输工具上传到 /opt/software

在这里插入图片描述

切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

3.2 配置JDK环境变量


新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

3.3 测试JDK是否安装成功


java -version

在这里插入图片描述

如果能看到以上结果，则代表 Java 安装成功！

4 在hadoop101上安装Hadoop

4.1 解压安装包


切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll

在这里插入图片描述

重要目录

  • bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
  • etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
  • lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
  • sbin目录：存放启动或停止Hadoop相关服务的脚本
  • share目录：存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量


编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

4.3 测试Hadoop是否安装成功


hadoop version

在这里插入图片描述

如果能看到以上结果，则代表 Hadoop 安装成功！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/115609.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

＜蓝桥杯软件赛＞零基础备赛20周--第1周

＜蓝桥杯软件赛＞零基础备赛20周--第1周

报名明年4月蓝桥杯软件赛的同学们，如果你是大一零基础，目前懵懂中，不知该怎么办，可以看看本博客系列。 每个周末发1个博客，共20周，到明年3月初结束。跟上本博客的节奏，省赛三等奖跑不掉。 每周3…
阅读更多...
[QT] 如果你怎么试HTTP下载文件得到的QNetworkReply的readAll()都是空数据(长度为0），请看这里

[QT] 如果你怎么试HTTP下载文件得到的QNetworkReply的readAll()都是空数据(长度为0），请看这里

1，首先你对比看看QT官方给出的例子 Download Data from URL - Qt Wiki 2，再看看是不是要设置重定向，如果要，要设置一下 QNetworkRequest request(imageUrl); request.setAttribute(QNetworkRequest::FollowRedirectsAttribute, …
阅读更多...
torch张量的降维与升维

torch张量的降维与升维

文章目录 一、降维和升维未完待续....一、降维和升维 squeeze和unsqueeze是torch张量常用的降维与升维的一种方式，但这种方式只能增添或减少大小为1的维度，如下： x1 = torch.randn(1, 8, 256, 256) x1 = torch.squeeze(x1,dim=
阅读更多...
Linux高性能服务器编程——ch6笔记

Linux高性能服务器编程——ch6笔记

第6章 高级I/O函数 6.1 pipe函数 用于创建一个管道，以实现进程间通信。 int pipe(int fd[2]); 读端文件描述符fd[0]和写端文件描述符fd[1]构成管道的两端，默认是阻塞的，fd[0]读出数据，fd[1]写入数据。管道内部传输的数据是字节…
阅读更多...
Nvidia显卡基础概念介绍

Nvidia显卡基础概念介绍

一、PCIe与SXM 1.1 Nvidia GPU PCIe PCIe(peripheral component interconnect express)是一种高速串行计算机扩展总线标准，是英特尔公司在2001年提出来的，它的出现主要是为了取代AGP接口，优点就是兼容性比较好，数据传输速率高、…
阅读更多...
【Java】ListIterator

【Java】ListIterator

列表迭代器： ListIterator listIterator()：List 集合特有的迭代器该迭代器继承了 Iterator 迭代器，所以，就可以直接使用 hasNext()和next()方法。特有功能： Object previous()：获取上一个元素boolean hasPr…
阅读更多...
【PG】数据库管理

【PG】数据库管理

查看现有数据库 SELECT datname FROM pg_database;或者 \l创建数据库 create database name;
阅读更多...
Zabbix告警与飞书集成

Zabbix告警与飞书集成

一、配置媒介 1、下载飞书的Zabbix媒介类型如下： zbx_export_mediatype_feishu.xml 2、Zabbix中导入媒介类型 Zabbix Web中选择管理 > 报警媒介，然后导入该媒介类型。导入规则选择“更新现有的”和“创建新的”。 3、配置飞书媒介类型用户 Zabbi…
阅读更多...
从一个webpack loader中学习

从一个webpack loader中学习

chalk：给终端输出加一些自定义的样式 loader-utils：webpack的loader配置中会通过options传入一些用户自定义参数，就可以通过该包提供的getoptions()获取 node-fetch：Node.js的模块，用于从远程服务器获取数据 关于bab…
阅读更多...
口袋参谋：如何一键获取竞品数据？这招实用！

口袋参谋：如何一键获取竞品数据？这招实用！

​在淘宝天猫上开店，市场竞争日益激烈，想要做好店铺，我们就不得不去分析竞品的数据了。 很多卖家开店后，一上来就直接卡在类目前10，折腾了一两个月才发现自己对标错了对象，最终竹篮打水一场空。 所以&…
阅读更多...
uni-app：实现时钟自走（动态时钟效果）

uni-app：实现时钟自走（动态时钟效果）

效果 核心代码 使用钩子函数 mounted()，设置定时器，是指每秒都要去执行时间的获取，以至于实现时间自走的效果 mounted() { this.updateTime(); // 初始化时间 setInterval(this.updateTime, 1000); // 每秒更新时间 }, 自定义方法…
阅读更多...
2023年赋能更多的人

2023年赋能更多的人

最近接触到一些新人，是真正的网络新人，慢慢理解了新人的困惑。 对于新人，每天获取的信息五花八门，这是好的也是极其不好的。因为他们不知道如何筛选，到底适不适合自己去做。 我一直在劝大家去做一些内容创造性的事情…
阅读更多...
小程序点击更多上拉显示选项

小程序点击更多上拉显示选项

1、写一个两个按钮 2、给两个按钮加动画的样式 3、写方法控制两个按钮的显示 <button class"more-button" bindtap"toggleMoreOptions">更多</button><!-- 按钮列表容器&#xff0c;初始状态设置为隐藏 --> <view class"option…
阅读更多...
Ubuntu22.04系统 Cgroup v2 切换成v1

Ubuntu22.04系统 Cgroup v2 切换成v1

使用v1导致docker容器启动失败 Failed to mount cgroup at /sys/fs/cgroup/systemd: Operation not permitted Issue #4072 lxc/lxc GitHub https://github.com/lxc/lxc/issues/4072 原因&#xff1a;ubuntu自21.04版本后的版本&#xff08;不包含21.04&#xff09;linux内…
阅读更多...
QT判断平台和生成版本设置输入目录

QT判断平台和生成版本设置输入目录

QT判断平台和生成版本设置输入目录 pro工程文件中常用的宏定义Chapter1 QT判断平台和生成版本设置输入目录Chapter2 Qt pro文件中判断 x86/arm(aarch64)交叉编译环境&#xff0c;区分 linux/windows系统, debug/release版本Chapter3 Qt的版本判断、跨平台选择与pro工程文件输出…
阅读更多...
2015款MacBook Pro从Big Sur升级到Monterey

2015款MacBook Pro从Big Sur升级到Monterey

机器信息 存储是1TB的固态硬盘。 升级后的使用体验 开机速度 比之前Big Sur系统开机时间快了至少三分之一&#xff08;进入系统的进度条停顿时间很短&#xff0c;未升级之前&#xff0c;进度条加载缓慢&#xff0c;动不动就停顿半天&#xff09; 应用app使用情况 从Big Su…
阅读更多...
Ubuntu自启动设置

Ubuntu自启动设置

ubuntu中编写shell脚本开机自动启动(推荐)_Linux_脚本之家 1. vim test.sh 2. #!/bin/bash ### BEGIN INIT INFO # Provides: test # Required-Start: $remote_fs $syslog # Required-Stop: $remote_fs $syslog # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 …
阅读更多...
CANoe-使用IG Ethernet Packet Builder实现IP包分片的若干问题

CANoe-使用IG Ethernet Packet Builder实现IP包分片的若干问题

在文章《CANoe-Ethernet IG和Ethernet Packet Builder的使用和区别》中，我们讲过Packet Builder可以组装多种类型的以太网报文： 当我们想组装一条icmpv4 echo request报文，payload只有1个字节的数据FF时，选择ICMPv4 Packet，创建一条ICMPv4报文，把payload改为1个字节： 然…
阅读更多...
【Javascript】数组练习（在排好序的数组⾥，按照⼤⼩顺序插⼊数据）

【Javascript】数组练习（在排好序的数组⾥，按照⼤⼩顺序插⼊数据）

var array[1,4,5,7,9,17]; console.log(array);比如要插入一个数16 var array[1,4,5,7,9,17];var num16; var indexnull; var i; for(i0;i<array.length;i){if(array[i]<num){indexi;} } console.log(index);首先通过循环找出最后一个比自定义的num小的值&#xff0c;并…
阅读更多...
Maven3.9.2 bug IDEA指定配置文件不生效

Maven3.9.2 bug IDEA指定配置文件不生效

Maven3.9.2 bug IDEA指定配置文件不生效 描述 运行新项目需要配置指定的settings.xml文件&#xff0c;一直报错找不到依赖&#xff0c;查看maven日志是从maven中心仓库找的依赖&#xff0c;自然找不到。 解决过程 清理idea缓存&#xff0c;仍然报错 删除/${username}/.m2/…
阅读更多...
最新文章

Copyright @ 2022~2023