基于CentOS-7搭建hadoop3.3.6大数据集群(保姆级教程)

目录

安装虚拟机

为hadoop用户添加权限

关闭防火墙

修改主机名以及ip地址映射

配置ip

连接xshell ,以hadoop用户登录

创建目录并将该文件夹权限赋予hadoop用户

安装配置jdk

关闭虚拟机,克隆其他两个节点

修改主机名和ip地址

配置免密登录

安装配置hadoop

配置文件修改

集群初始化

查看进程和web界面


安装虚拟机

接下来按照默认推荐无脑下一步,到磁盘容量这一步需要修改,容量看自己或老师要求,这个并不会实际占用这么多电脑磁盘空间

点击开启此虚拟机等待安装

等很久没反应一般是需要按 Enter键 确认

进入安装界面

等待安装......安装好后重启即可

切换为命令行模式

linux图形化界面和字符界面的转换_linux图形界面切换到字符界面命令-CSDN博客

为hadoop用户添加权限

vim   /etc/sudoers

关闭防火墙

注:(root用户)

systemctl stop firewalld 关闭

systemctl disable firewalld 取消开机自启动

systemctl status firewalld 检查是否已关闭

修改主机名以及ip地址映射

主机名根据自己需要修改,ip地址后的就是映射的主机名

配置ip

点击虚拟网络编辑器,将网段修改为我们需要的网段

再修改配置文件/etc/sysconf ig/network-scripts/ifcfg-ens33

vim /etc/sysconf ig/network-scripts/ifcfg-ens33

重启网络服务:service network restart 

然后重启reboot (主机名用配置文件修改需要重启才会生效)

连接xshell ,以hadoop用户登录

创建目录并将该文件夹权限赋予hadoop用户

[hadoop@ly01 ~]$ sudo mkdir /opt/bigdata
[hadoop@ly01 ~]$ sudo chown hadoop:hadoop /opt/bigdata

切换到该目录

[hadoop@ly01 ~]$ cd /opt/bigdata/

安装配置jdk

卸载OpenJDK、安装新版JDK、配置JDK

先用rpm -qa | grep java查看java-openjdk版本

根据上述情况,卸载1.7.0、1.8.0即可,不同镜像会略有不同

sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64sudo rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64sudo rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64sudo rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64

rz上传jdk文件

[hadoop@ly01 bigdata]$ rz[hadoop@ly01 bigdata]$ ll
total 135512
-rw-r--r--. 1 hadoop hadoop 138762230 Jul 28  2023 jdk-8u361-linux-x64.tar.gz

解压并重命名为jdk

[hadoop@ly01 bigdata]$ tar -zxvf jdk-8u361-linux-x64.tar.gz 
[hadoop@ly01 bigdata]$ mv jdk1.8.0_361 jdk
[hadoop@ly01 bigdata]$ ll
total 135516
drwxrwxr-x. 8 hadoop hadoop      4096 May 16 00:05 jdk

配置环境变量

 vim /etc/profile

在最后添加以下内容

export JAVA_HOME=/opt/bigdata/jdk
export PATH=$PATH:$JAVA_HOME/bin

使修改后配置文件生效 

[hadoop@ly01 bigdata]$ source /etc/profile

 检查是否安装成功

[hadoop@ly01 bigdata]$ java -version
java version "1.8.0_361"
Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)

关闭虚拟机,克隆其他两个节点

修改主机名和ip地址

节点2和3都需修改,修改之后重启reboot

sudo vim /etc/hostname 

vim /etc/sysconf ig/network-scripts/ifcfg-ens33

配置免密登录

重启之后通过xshell连接三个节点,均以hadoop用户登录

在每个节点都执行以下命令

ssh-keygen  -t  rsa  (连续三次回车)
ssh-copy-id  ly01   (输入yes,hadoop用户的密码)
ssh-copy-id  ly02    (输入yes,hadoop用户的密码)
ssh-copy-id  ly03    (输入yes,hadoop用户的密码)

可在节点1ssh 连接其他节点测试是否成功

安装配置hadoop

切换目录,rz上传hadoop文件并解压,重命名

[hadoop@ly01 ~]$ cd /opt/bigdata/
[hadoop@ly01 bigdata]$ rz[hadoop@ly01 bigdata]$ tar -zxvf hadoop-3.3.6.tar.gz
[hadoop@ly01 bigdata]$ mv hadoop-3.3.6 hadoop

 配置环境变量

[hadoop@ly01 bigdata]$ sudo vim /etc/profile#修改为以下内容
export JAVA_HOME=/opt/bigdata/jdk
export HADOOP_HOME=/opt/bigdata/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin#生效
[hadoop@ly01 bigdata]$ source /etc/profile

配置文件修改

将hadoop-env.sh mapred-env.sh yarn-env.sh 加入JAVA_HOME变量

[hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/hadoop-env.sh
[hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/mapred-env.sh
[hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/yarn-env.sh

切换目录

[hadoop@ly01 bigdata]$ cd /opt/bigdata/hadoop/etc/hadoop
[hadoop@ly01 hadoop]$ 

节点名称按照自己的修改,文件目录不一样的话也要修改!!!

 core-site.xml修改

<configuration><property><name>fs.defaultFS</name><value>hdfs://ly01:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/opt/bigdata/hadoop/tmp</value></property>
</configuration>

 hdfs-site.xml修改

<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/opt/bigdata/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/bigdata/hadoop/tmp/dfs/data</value></property>
</configuration>

 mapred-site.xml修改

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

 yarn-site.xml修改

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>ly01</value></property>
</configuration>

 workers修改

#删除原有内容,添加节点名称
ly01
ly02
ly03

 将节点1上的hadoop文件夹拷贝到另外节点2、节点3上、

[hadoop@ly01 hadoop]$ scp -r /opt/bigdata/hadoop/ hadoop@ly02:/opt/bigdata/
[hadoop@ly01 hadoop]$ scp -r /opt/bigdata/hadoop/ hadoop@ly03:/opt/bigdata/

节点1上的profile文件拷贝到另外节点2、节点3上,并到相应的机器上执行source

注:输入yes后输入root用户密码即可,如下

[hadoop@ly01 hadoop]$ sudo scp /etc/profile root@ly02:/etc
The authenticity of host 'ly02 (192.168.100.101)' can't be established.
ECDSA key fingerprint is SHA256:g8y2CV35sHBpQEFYDXbO3dosU8UF4bABd3O0O3rPgDw.
ECDSA key fingerprint is MD5:b0:ee:6e:25:e1:f2:f4:c9:3f:1a:e9:18:44:d2:a1:84.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ly02,192.168.100.101' (ECDSA) to the list of known hosts.
root@ly02's password: 
profile                                                                                                                                                             100% 1961     1.1MB/s   00:00 
[hadoop@ly01 hadoop]$ sudo scp /etc/profile root@ly03:/etc
The authenticity of host 'ly03 (192.168.100.102)' can't be established.
ECDSA key fingerprint is SHA256:g8y2CV35sHBpQEFYDXbO3dosU8UF4bABd3O0O3rPgDw.
ECDSA key fingerprint is MD5:b0:ee:6e:25:e1:f2:f4:c9:3f:1a:e9:18:44:d2:a1:84.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ly03,192.168.100.102' (ECDSA) to the list of known hosts.
root@ly03's password: 
profile                                                                                                                                                             100% 1961     1.0MB/s   00:00    
[hadoop@ly01 hadoop]$ 
#在节点2执行
[hadoop@ly02 ~]$ source /etc/profile
#在节点3执行
[hadoop@ly03 ~]$ source /etc/profile

集群初始化

hadoop namenode -format

启动hadoop集群

start-yarn.sh
start-dfs.sh

 jps查看进程

节点1(主节点)

[hadoop@ly01 hadoop]$ jps
2567 ResourceManager
3498 DataNode
3661 SecondaryNameNode
3390 NameNode
4334 NodeManager
4415 Jps

从节点(都是三个进程)

[hadoop@ly02 hadoop]$ jps
2761 Jps
2698 NodeManager
2493 DataNode

查看进程和web界面

192.168.100.100:8088

192.168.100.100:9870

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/838233.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何通过专业的二手机店erp优化手机商家运营!

在数字化浪潮席卷全球的大背景下&#xff0c;手机行业作为科技发展的前沿阵地&#xff0c;正经历着前所未有的变革。对于众多手机商家而言&#xff0c;如何在这场变革中抢占先机&#xff0c;实现数字化转型&#xff0c;成为了摆在他们面前的一大难题。幸运的是&#xff0c;途渡…

工作绩效域怎么写和子题目如何回应

某智慧案管信息化系统 在2023年11月&#xff0c;我作为项目经理&#xff0c;领导了“某市XX智慧案管信息化系统”项目的建设工作。该项目以485.5万元的合同金额成功中标&#xff0c;预计建设周期为12个月。作为一个多维度的系统工程&#xff0c;它由案件受理、分配、跟踪、审理…

python如何在图片上写斜体字

在Python中&#xff0c;直接在图片上写斜体文字通常不是图像库&#xff08;如PIL或OpenCV&#xff09;的内置功能&#xff0c;因为这些库主要关注于图像处理而非复杂的文本渲染。然而&#xff0c;你可以通过几种方式在图片上创建斜体效果&#xff1a; 使用PIL&#xff08;Pytho…

API低代码平台介绍3-异构数据源的数据查询功能

异构数据源的数据查询功能 在上一篇文章中我们通过API平台定义了一个最基本的数据查询接口&#xff0c;本篇文章我们将上升难度&#xff0c;在原有接口的基础上&#xff0c;实现在MySQL数据库和Oracle数据库同时进行数据查询。   什么场景会需要同时对异构数据源进行查询&…

基于FPGA的NC图像质量评估verilog实现,包含testbench和MATLAB辅助验证程序

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 vivado2019.2和matlab2022a测试&#xff0c;结果如下&#xff1a; 2.算法运行软件版本 vivado2019.2 matlab2022a 3.部分核心程序 timescale …

【C语言习题】6.逆序输出

文章目录 1.描述输入描述&#xff1a;输出描述&#xff1a;示例图&#xff1a; 2.解题思路3.具体代码4.代码讲解 1.描述 输入10个整数&#xff0c;要求按输入时的逆序把这10个数打印出来。逆序输出&#xff0c;就是按照输入相反的顺序打印这10个数。 输入描述&#xff1a; 一…

苹果与谷歌联合推出跨平台反跟踪器

近日&#xff0c;苹果公司发布了iOS 17.5&#xff0c;新版本新增了跨平台的反追踪检测功能。这一功能是与谷歌合作开发的&#xff0c;意味着苹果的“查找我的”和谷歌的新“查找我的设备”网络将携手合作&#xff0c;共同抵制不必要的追踪和骚扰行为。如果检测到非你所有的追踪…

SDL系列(三)—— SDL2.0 扩展库:SDL_image与SDL_mixer

SDL_image SDL 默认支持的&#xff0c;只能打开 BMP 格式的图片 。 然而我们常见的是 Png jpg 格式的图片&#xff0c;于是我们这节完成 SDL 借用 自带的三方库 &#xff0c;来 完成加载渲染 png 等其他图片格式。 SDL_image 简介 使用 SDL_image &#xff0c;您…

自动驾驶技术:现状、挑战与前景

自动驾驶技术是当今汽车行业的热门话题&#xff0c;它的发展前景备受关注&#xff0c;同时也面临着诸多挑战和限制。在这篇文章中&#xff0c;我将探讨自动驾驶技术的现状、挑战&#xff0c;并展望其未来的发展前景。 现状&#xff1a; 自动驾驶技术已经取得了一定的进…

MBGP MPLS VPN

一、MPLS的不足与发展 1、在90年代初期&#xff0c;各个厂商的硬件设备性能不足时&#xff0c;MPLS能够很好的替代掉传统路由基于IP路由表多次查表转发数据的问题&#xff0c;但随着硬件性能的不断攀升&#xff0c;MPLS在转发性能上的优势几乎丧失掉&#xff1b; 2、但MPLS由…

[笔试训练](二十三)067:打怪068:字符串分类069:城市群数量

目录 067:打怪 068:字符串分类 069:城市群数量 067:打怪 题目链接:打怪 (nowcoder.com) 题目&#xff1a; 题解&#xff1a; 直接计算结果&#xff1a; 1.一只怪物能抗几次攻击 int m(H/a)(H%a0?0:1); 2.杀死一只怪物&#xff0c;玩家要抗几次攻击 int nm-1; *3.杀死一只…

Lc33---- 414. 第三大的数(java版)---排序(去重/复制到新数组)

1.题目描述 给你一个非空数组&#xff0c;返回此数组中 第三大的数 。如果不存在&#xff0c;则返回数组中最大的数。 示例 1&#xff1a; 输入&#xff1a;[3, 2, 1] 输出&#xff1a;1 解释&#xff1a;第三大的数是 1 。 示例 2&#xff1a; 输入&#xff1a;[1, 2] 输出…

jmeter指南:JMeter 安装、配置和性能测试

使用 JMeter 进行性能测试 1. Java 版本要求 JMeter 要求与 Java 8 或更高版本兼容。为了确保安全性和性能&#xff0c;建议安装最新次要版本的主要 Java 版本。鉴于 JMeter 仅使用标准 Java API&#xff0c;如果由于 JRE 实现问题而无法运行 JMeter&#xff0c;请不要提交错…

【Python】记录第一次接 python 项目搭建环境的问题

python安装指定版本的包 pip install packageversion查看包版本 pip show <package_name>运行main函数报 coreapi 错误 AssertionError: coreapi must be installed for schema support. 错误解 pip install coreapi 修改 pip install 目录 有可能会没有&#xff0c…

VMware Workstation 安装CentOS Linux操作系统

1.我们已经下载好VMware 创建新的虚拟机 2.选择典型 3.安装程序光盘映像文件 4.配置用户名密码 5.命名虚拟机&#xff0c;并确定位置 6.如图所示设置 7.等待&#xff08;时间会有点久&#xff09; 8.输入密码登入账号

工单系统有哪些?

市面上的工单系统真的非常多&#xff0c;一个个列举肯定说不完&#xff0c;我大致给它们按照不同的依据&#xff0c;进行了一下分类&#xff1a; 1、按部署方式分类&#xff1a; 本地化部署工单系统&#xff1a;适用于对数据安全性要求较高的企业&#xff0c;需要企业在本地服…

uniapp小程序控制页面元素滚动指定距离

要实现页面元素滚动&#xff0c;最好还是使用 scroll-view 来实现&#xff0c;官方文档地址&#xff1a;scroll-view | uni-app官网 通过设置scroll事件来实现滚动监听&#xff0c;当滚动的元素的时候&#xff0c;就会触发这个事件&#xff0c;并且事件里面包含有滚动距离&…

Java基础之常见集合 api 详细示例代码

集合 1 . Collection接口 Collection接口是Java单列集合的根接口&#xff0c;它定义了各种具体单列集合的共性 &#xff0c; 其它大多数单列集合直接或间接继承该接口 定义 : public interface Collection<E> extends Iterable<E>{// Operations } 一般用得少…

Java 中能创建 volatile 数组吗?

在Java中&#xff0c;volatile关键字用于确保多线程环境下的变量可见性和有序性。然而&#xff0c;当你将volatile关键字应用于数组时&#xff0c;它仅仅保证了数组引用本身的可见性&#xff0c;而不是数组内部元素的可见性。 这意味着&#xff0c;如果你有一个volatile数组&a…

MySQL--增删改查案例演示

一&#xff1a;显示数据库及模糊查询&#xff08;like&#xff09; mysql> show databases; -------------------- | Database | -------------------- | db_classes | | db_user | | information_schema | | mysql | | perfor…