大数据技术学习笔记(二)—— Hadoop运行环境的搭建

目录

  • 1 准备模版虚拟机hadoop100
    • 1.1 修改主机名
    • 1.2 修改hosts文件
    • 1.3 修改IP地址
      • 1.3.1 查看网络IP和网关
      • 1.3.2 修改IP地址
    • 1.4 关闭防火墙
    • 1.5 创建普通用户
    • 1.6 创建所需目录
    • 1.7 卸载虚拟机自带的open JDK
    • 1.8 重启虚拟机
  • 2 克隆虚拟机
  • 3 在hadoop101上安装JDK
    • 3.1 传输安装包并解压
    • 3.2 配置JDK环境变量
    • 3.3 测试JDK是否安装成功
  • 4 在hadoop101上安装Hadoop
    • 4.1 解压安装包
    • 4.2 配置Hadoop环境变量
    • 4.3 测试Hadoop是否安装成功

笔者使用镜像为:CentOS-7.5-x86_64-DVD-1804.iso

1 准备模版虚拟机hadoop100


CentOS-7.5-x86-1804为例,安装成功后:

1.1 修改主机名


查看当前主机名

hostname

修改当前主机名

vim /etc/hostname

修改主机名为 hadoop100

1.2 修改hosts文件


  1. 修改linux的主机映射文件(hosts文件)

编辑 /etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
  1. 修改windows的主机映射文件(hosts文件)

进入C:\Windows\System32\drivers\etc 路径,打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

1.3 修改IP地址

1.3.1 查看网络IP和网关


查看虚拟网络编辑器

在这里插入图片描述

查看windows环境的中VMnet8网络配置

在这里插入图片描述

1.3.2 修改IP地址


vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

编辑完后,按键盘esc ,然后输入 :wq 回车即可。

重启网络

systemctl restart network

查看修改后的IP

ifconfig

或者

ip addr

1.4 关闭防火墙


关闭防火墙,并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

1.5 创建普通用户


创建普通用户huwei

useradd huwei

修改普通用户huwei的密码

passwd huwei

配置 huwei 用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers

esc,键入:set nu显示行号,找到91行,在 root 下面添加一行

在这里插入图片描述

esc,对该只读文件保存强制退出:wq!

1.6 创建所需目录


/opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software

查看module、software文件夹的所有者和所属组

cd /opt/
ll

在这里插入图片描述

1.7 卸载虚拟机自带的open JDK


rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1.8 重启虚拟机


reboot

2 克隆虚拟机


利用模板机 hadoop100,克隆三台虚拟机:hadoop101 、hadoop102、hadoop103

然后修改克隆机IP,以下以 hadoop101 举例说明。

修改IP地址,只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名为 hadoop101

vim /etc/hostname

重启!

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压


将 hadoop 和 jdk 通过传输工具上传到 /opt/software

在这里插入图片描述

切换到 /opt/software目录下,解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

3.2 配置JDK环境变量


新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

3.3 测试JDK是否安装成功


java -version

在这里插入图片描述

如果能看到以上结果,则代表 Java 安装成功!

4 在hadoop101上安装Hadoop

4.1 解压安装包


切换到 /opt/software目录下,解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll

在这里插入图片描述

重要目录

  • bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
  • etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
  • lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
  • sbin目录:存放启动或停止Hadoop相关服务的脚本
  • share目录:存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量


编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

4.3 测试Hadoop是否安装成功


hadoop version

在这里插入图片描述

如果能看到以上结果,则代表 Hadoop 安装成功!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/115609.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

<蓝桥杯软件赛>零基础备赛20周--第1周

报名明年4月蓝桥杯软件赛的同学们,如果你是大一零基础,目前懵懂中,不知该怎么办,可以看看本博客系列。 每个周末发1个博客,共20周,到明年3月初结束。跟上本博客的节奏,省赛三等奖跑不掉。 每周3…

Nvidia显卡基础概念介绍

一、PCIe与SXM 1.1 Nvidia GPU PCIe PCIe(peripheral component interconnect express)是一种高速串行计算机扩展总线标准,是英特尔公司在2001年提出来的,它的出现主要是为了取代AGP接口,优点就是兼容性比较好,数据传输速率高、…

Zabbix告警与飞书集成

一、配置媒介 1、下载飞书的Zabbix媒介类型如下: zbx_export_mediatype_feishu.xml 2、Zabbix中导入媒介类型 Zabbix Web中选择管理 > 报警媒介,然后导入该媒介类型。导入规则选择“更新现有的”和“创建新的”。 3、配置飞书媒介类型用户 Zabbi…

从一个webpack loader中学习

chalk:给终端输出加一些自定义的样式 loader-utils:webpack的loader配置中会通过options传入一些用户自定义参数,就可以通过该包提供的getoptions()获取 node-fetch:Node.js的模块,用于从远程服务器获取数据 关于bab…

口袋参谋:如何一键获取竞品数据?这招实用!

​在淘宝天猫上开店,市场竞争日益激烈,想要做好店铺,我们就不得不去分析竞品的数据了。 很多卖家开店后,一上来就直接卡在类目前10,折腾了一两个月才发现自己对标错了对象,最终竹篮打水一场空。 所以&…

uni-app:实现时钟自走(动态时钟效果)

效果 核心代码 使用钩子函数 mounted(),设置定时器,是指每秒都要去执行时间的获取,以至于实现时间自走的效果 mounted() { this.updateTime(); // 初始化时间 setInterval(this.updateTime, 1000); // 每秒更新时间 }, 自定义方法…

Ubuntu22.04系统 Cgroup v2 切换成v1

使用v1导致docker容器启动失败 Failed to mount cgroup at /sys/fs/cgroup/systemd: Operation not permitted Issue #4072 lxc/lxc GitHub https://github.com/lxc/lxc/issues/4072 原因:ubuntu自21.04版本后的版本(不包含21.04)linux内…

QT判断平台和生成版本设置输入目录

QT判断平台和生成版本设置输入目录 pro工程文件中常用的宏定义Chapter1 QT判断平台和生成版本设置输入目录Chapter2 Qt pro文件中判断 x86/arm(aarch64)交叉编译环境,区分 linux/windows系统, debug/release版本Chapter3 Qt的版本判断、跨平台选择与pro工程文件输出…

2015款MacBook Pro从Big Sur升级到Monterey

机器信息 存储是1TB的固态硬盘。 升级后的使用体验 开机速度 比之前Big Sur系统开机时间快了至少三分之一(进入系统的进度条停顿时间很短,未升级之前,进度条加载缓慢,动不动就停顿半天) 应用app使用情况 从Big Su…

CANoe-使用IG Ethernet Packet Builder实现IP包分片的若干问题

在文章《CANoe-Ethernet IG和Ethernet Packet Builder的使用和区别》中,我们讲过Packet Builder可以组装多种类型的以太网报文: 当我们想组装一条icmpv4 echo request报文,payload只有1个字节的数据FF时,选择ICMPv4 Packet,创建一条ICMPv4报文,把payload改为1个字节: 然…

【Javascript】数组练习(在排好序的数组⾥,按照⼤⼩顺序插⼊数据)

var array[1,4,5,7,9,17]; console.log(array);比如要插入一个数16 var array[1,4,5,7,9,17];var num16; var indexnull; var i; for(i0;i<array.length;i){if(array[i]<num){indexi;} } console.log(index);首先通过循环找出最后一个比自定义的num小的值&#xff0c;并…

Maven3.9.2 bug IDEA指定配置文件不生效

Maven3.9.2 bug IDEA指定配置文件不生效 描述 运行新项目需要配置指定的settings.xml文件&#xff0c;一直报错找不到依赖&#xff0c;查看maven日志是从maven中心仓库找的依赖&#xff0c;自然找不到。 解决过程 清理idea缓存&#xff0c;仍然报错 删除/${username}/.m2/…

仿写知乎日报第一周

效果图 主要的逻辑 Manager封装网络请求 首先&#xff0c;对于获取网络请求&#xff0c;我是将这些方法封装成了一个类Manager&#xff0c;后续在获取以往的内容时又封装了一个beforeManager类用于网络请求。这里不多赘述&#xff0c;Manager封装网络请求的知识参考我的以往博…

kaggle新赛:UBC卵巢癌亚型分类和异常检测大赛【图像分类】

赛题名称&#xff1a;UBC Ovarian Cancer Subtype Classification and Outlier Detection (UBC-OCEAN) 赛题链接&#xff1a;https://www.kaggle.com/competitions/UBC-OCEAN 赛题背景 卵巢癌是女性生殖系统最致命的癌症。目前&#xff0c;卵巢癌诊断依赖病理学家评估亚型。…

为1024征文活动用心用意而写的文稿

现在我在听的歌&#xff0c;名叫《Loser》。相信你可能听过&#xff0c;Bigbang的。里面有句歌词是这样的&#xff1a;把手伸了出来&#xff0c;却没有任何人握住我的手。不管生活怎样&#xff0c;希望看到这篇文章的你&#xff0c;可以带着自己和带着自己的倔强&#xff0c;一…

B-tree(PostgreSQL 14 Internals翻译版)

概览 B树(作为B树访问方法实现)是一种数据结构&#xff0c;它使您能够通过从树的根向下查找树的叶节点中所需的元素。为了明确地标识搜索路径&#xff0c;必须对所有树元素进行排序。B树是为有序数据类型设计的&#xff0c;这些数据类型的值可以进行比较和排序。 下面的机场代…

二叉树题目:最大二叉树

文章目录 题目标题和出处难度题目描述要求示例数据范围 解法一思路和算法代码复杂度分析 解法二思路和算法代码复杂度分析 题目 标题和出处 标题&#xff1a;最大二叉树 出处&#xff1a;654. 最大二叉树 难度 5 级 题目描述 要求 给定一个没有重复元素的整数数组 num…

Ubuntu OpenLDAP配置笔记

Ubuntu OpenLDAP配置笔记 问题&#xff08;需求&#xff09;LDAP服务端安装slapd和ldap-utils配置域名编辑hosts修改主机名验证增加一个域账号修改用户的密码 Linux桌面加域安装软件验证允许远程账号首次登录时自动创建HOME目录桌面登录 其它问题Ubuntu更新和安装太慢LDAP服务端…

推荐一款支持异步批量下载图片的chrome插件——图片助手(ImageAssistant) 批量图片下载器

https://chrome.google.com/webstore/detail/imageassistant-batch-imag/dbjbempljhcmhlfpfacalomonjpalpko/related?hlzh-CNhttps://chrome.google.com/webstore/detail/imageassistant-batch-imag/dbjbempljhcmhlfpfacalomonjpalpko/related?hlzh-CN 安装后直接点击 会根据…