Hadoop集群安装部署_分布式集群安装_02

文章目录

          • 一、上传与 解压
            • 1. 上传安装包
            • 2. 解压hadoop安装包
          • 二、修改hadoop相关配置文件
            • 2.1. hadoop-env.sh
            • 2.2. core-site.xml
            • 2.3. hdfs-site.xml
            • 2.4. mapred-site.xml
            • 2.5. yarn-site.xml
            • 2.6. workers
            • 2.7. 修改启动脚本
          • 三、同步初始化
            • 3.1. 安装包同步
            • 3.2. 主节点格式化HDFS
            • 3.3. 启动集群
            • 3.4. 验证集群
            • 3.5. webui
            • 3.6. Hadoop的客户端节点

一、上传与 解压

首先在bigdata01节点上安装。

1. 上传安装包

把hadoop-3.2.0.tar.gz安装包上传到linux机器的/data/soft目录下

[root@bigdata01 ~]# ll /data/soft/
total 527024
-rw-r--r--. 1 root root 345625475 Jul  2 21:18 hadoop-3.2.0.tar.gz
drwxr-xr-x. 7   10  143       245 Dec 16  2018 jdk1.8
-rw-r--r--. 1 root root 194042837 Mar  8  2020 jdk-8u202-linux-x64.tar.gz
You have new mail in /var/spool/mail/root
[root@bigdata01 ~]#
2. 解压hadoop安装包
[root@bigdata01 soft]# tar -zxvf hadoop-3.2.0.tar.gz
二、修改hadoop相关配置文件

进入配置文件所在目录

[root@bigdata01 soft]# cd hadoop-3.2.0/etc/hadoop/
[root@bigdata01 hadoop]#
2.1. hadoop-env.sh

首先修改hadoop-env.sh文件，在文件末尾增加环境变量信息

[root@bigdata01 hadoop]# vi hadoop-env.sh 
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
2.2. core-site.xml

修改core-site.xml文件，注意fs.defaultFS属性中的主机名需要和主节点的主机名保持一致

[root@bigdata01 hadoop]# vi core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://bigdata01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/data/hadoop_repo</value></property>
</configuration>
2.3. hdfs-site.xml

修改hdfs-site.xml文件，把hdfs中文件副本的数量设置为2，最多为2，因为现在集群中有两个从节点，还有secondaryNamenode进程所在的节点信息

[root@bigdata01 hadoop]# vi hdfs-site.xml 
<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.secondary.http-address</name><value>bigdata01:50090</value></property>
</configuration>
2.4. mapred-site.xml

修改mapred-site.xml，设置mapreduce使用的资源调度框架

[root@bigdata01 hadoop]# vi mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
2.5. yarn-site.xml

修改yarn-site.xml，设置yarn上支持运行的服务和环境变量白名单

注意，针对分布式集群在这个配置文件中还需要设置resourcemanager的hostname，否则nodemanager找不到resourcemanager节点。

[root@bigdata01 hadoop]# vi yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property><property><name>yarn.resourcemanager.hostname</name><value>bigdata01</value></property>
</configuration>
2.6. workers

修改workers文件，增加所有从节点的主机名，一个一行

[root@bigdata01 hadoop]# vi workers
bigdata02
bigdata03
2.7. 修改启动脚本

修改start-dfs.sh，stop-dfs.sh这两个脚本文件，在文件前面增加如下内容

[root@bigdata01 hadoop]# cd /data/soft/hadoop-3.2.0/sbin
[root@bigdata01 sbin]# vi start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root[root@bigdata01 sbin]# vi stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh，stop-yarn.sh这两个脚本文件，在文件前面增加如下内容

[root@bigdata01 sbin]# vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root[root@bigdata01 sbin]# vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
三、同步初始化
3.1. 安装包同步

把bigdata01节点上将修改好配置的安装包拷贝到其他两个从节点

[root@bigdata01 sbin]# cd /data/soft/
[root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata02:/data/soft/
[root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata03:/data/soft/

由于小文件较多，同步会慢一下，耐心等待一会哈！

3.2. 主节点格式化HDFS

在bigdata01节点上格式化HDFS

[root@bigdata01 soft]# cd /data/soft/hadoop-3.2.0
[root@bigdata01 hadoop-3.2.0]# bin/hdfs namenode -format

如果在后面的日志信息中能看到这一行，则说明namenode格式化成功。

bash common.Storage: Storage directory /data/hadoop_repo/dfs/name has been successfully formatted.
在这里插入图片描述

3.3. 启动集群

在bigdata01节点上执行下面命令

[root@bigdata01 hadoop-3.2.0]# sbin/start-all.sh 
Starting namenodes on [bigdata01]
Last login: Sat Jul  3 10:42:24 CST 2021 from 192.168.92.1 on pts/1
Starting datanodes
Last login: Sat Jul  3 11:33:14 CST 2021 on pts/1
bigdata03: WARNING: /data/hadoop_repo/logs/hadoop does not exist. Creating.
bigdata02: WARNING: /data/hadoop_repo/logs/hadoop does not exist. Creating.
Starting secondary namenodes [bigdata01]
Last login: Sat Jul  3 11:33:16 CST 2021 on pts/1
Starting resourcemanager
Last login: Sat Jul  3 11:33:23 CST 2021 on pts/1
Starting nodemanagers
Last login: Sat Jul  3 11:33:39 CST 2021 on pts/1
You have new mail in /var/spool/mail/root
[root@bigdata01 hadoop-3.2.0]#
3.4. 验证集群

分别在3台机器上执行jps命令，进程信息如下所示：

在bigdata01节点执行

[root@bigdata01 hadoop-3.2.0]# jps
22485 SecondaryNameNode
22214 NameNode
22743 ResourceManager
23082 Jps

在bigdata02节点执行

[root@bigdata02 ~]# jps
26709 DataNode
26822 NodeManager
26939 Jps

在bigdata03节点执行

[root@bigdata03 ~]# jps
16759 DataNode
16874 NodeManager
16990 Jps
3.5. webui

还可以通过webui界面来验证集群服务是否正常

HDFS webui界面：http://192.168.92.100:9870
YARN webui界面：http://192.168.92.100:8088
在这里插入图片描述
在这里插入图片描述
至此，hadoop分布式集群安装成功！

注意：前面这些操作步骤这么多，如果我是新手我怎么知道需要做这些操作呢？不用担心，官方给提供的有使用说明，也就是我们平时所说的官方文档，我们平时买各种各样的东西都是有说明书的，上面会告诉你该怎么使用，这个是最权威最准确的。

那我们来看一下Hadoop的官网文档:

3.6. Hadoop的客户端节点

在实际工作中不建议直接连接集群中的节点来操作集群，直接把集群中的节点暴露给普通开发人员是不安全的

建议在业务机器上安装Hadoop，只需要保证业务机器上的Hadoop的配置和集群中的配置保持一致即可，这样就可以在业务机器上操作Hadoop集群了，此机器就称为是Hadoop的客户端节点

Hadoop的客户端节点可能会有多个，理论上是我们想要在哪台机器上操作hadoop集群就可以把这台机器配置为hadoop集群的客户端节点。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/517852.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

重要的节日那么多，要及时「缓存」你们的珍贵时光

重要的节日那么多，要及时「缓存」你们的珍贵时光

作者 | 后端学长责编 | Carol出品 | 程序员 cxuan缓存概述在很久很久以前人类和洪水作斗争的过程中&#xff0c;水库发挥了至关重要的作用 : 在发洪水时可以蓄水&#xff0c;缓解洪水对下游的冲击&#xff1b;在干旱时可以把库存的水释放出来以供人们使用。这里的水库就起着缓存…
阅读更多...
我和面试官之间关于操作系统的一场对弈 | 原力计划

我和面试官之间关于操作系统的一场对弈 | 原力计划

作者 | Guide哥责编 | 伍杏玲出品 | CSDN博客大家好&#xff0c;我是 Guide 哥&#xff01;很多读者抱怨计算操作系统的知识点比较繁杂&#xff0c;自己也没有多少耐心去看&#xff0c;但是面试的时候又经常会遇到。所以&#xff0c;我带着我整理好的操作系统的常见问题来啦&am…
阅读更多...
LaTex中参考文献引用

LaTex中参考文献引用

一、引用参考文献 这里我们使用的是BibTeX的引用格式&#xff0c;因此文件中应包括两个文件&#xff08;.bib-参考文献 和 .bst-文献格式&#xff09;。 有了这两个文件后&#xff0c;我们在bib文件中创建参考文献&#xff1a;&#xff08;注意&#xff0c;作者的名字是逗号前…
阅读更多...
如何在Flutter上实现高性能的动态模板渲染

如何在Flutter上实现高性能的动态模板渲染

背景 最近小组在尝试使用一套阿里dinamicX的DSL&#xff0c;通过动态模板下发&#xff0c;实现Flutter端的动态化模板渲染&#xff1b;本来以为只是DSL到Widget的简单映射和数据绑定&#xff0c;但实际跑起来的效果出乎意料的差&#xff0c;列表卡顿严重&#xff0c;帧率丢失严…
阅读更多...
稀疏数组（数据结构）

稀疏数组（数据结构）

稀疏数组&#xff08;数据结构&#xff09; 需求&#xff1a;编写五子棋游戏中&#xff0c;有存盘和续上盘的功能 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 …
阅读更多...
揭秘 Flink 1.9 新架构，Blink Planner 你会用了吗？

揭秘 Flink 1.9 新架构，Blink Planner 你会用了吗？

本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇&#xff0c;Flink SQL 系列文章由其核心贡献者们分享&#xff0c;涵盖基础知识、实践、调优、内部实现等各个方面&#xff0c;带你由浅入深地全面了解 Flink SQL。 1. 发展历程 今年的8月22日 Apache…
阅读更多...
阿里面试官整理的JVM面试要点，99%的你都不知道！

阿里面试官整理的JVM面试要点，99%的你都不知道！

最近网上出现一个面试题&#xff1a;“一个线程OOM后&#xff0c;其他线程还能运行吗&#xff1f;”网上出现了很多答案。这道题其实很有难度&#xff0c;涉及的知识点有jvm内存分配、作用域、gc等&#xff0c;不是简单的是与否的问题。在面试时被问到这个问题你是会哑口无言还…
阅读更多...
6 个 K8s 日志系统建设中的典型问题，你遇到过几个？

6 个 K8s 日志系统建设中的典型问题，你遇到过几个？

作者 | 元乙 阿里云日志服务数据采集客户端负责人&#xff0c;目前采集客户端 logtail 在集团百万规模部署&#xff0c;每天采集上万应用数 PB 数据&#xff0c;经历多次双 11、双 12 考验。 导读&#xff1a;随着 K8s 不断更新迭代&#xff0c;使用 K8s 日志系统建设的开发者…
阅读更多...
如何加快 Node.js 应用的启动速度

如何加快 Node.js 应用的启动速度

我们平时在开发部署 Node.js 应用的过程中&#xff0c;对于应用进程启动的耗时很少有人会关注&#xff0c;大多数的应用 5 分钟左右就可以启动完成&#xff0c;这个过程中会涉及到和集团很多系统的交互&#xff0c;这个耗时看起来也没有什么问题。 目前&#xff0c;集团 Serve…
阅读更多...
技术人看《长安十二时辰》的正确姿势是？

技术人看《长安十二时辰》的正确姿势是？

阿里妹导读&#xff1a;从“叉手礼”、“水盆羊汤”、“酒晕妆”这些唐朝人的生活细节&#xff0c;到精美的坊间造型、充满意境的诗词歌赋&#xff0c;《长安十二时辰》不仅以缜密剧情赢得赞誉&#xff0c;更还原了一个真实的大唐长安。在精良制作之上&#xff0c;技术人如何让…
阅读更多...
我们已经不用AOP做操作日志了！ | 原力计划

我们已经不用AOP做操作日志了！ | 原力计划

来源 | JAVA葵花宝典责编 | 王晓曼、Carol 头图 | CSDN下载自东方IC前言用户在操作我们系统的过程中&#xff0c;针对一些重要的业务数据进行增删改查的时候&#xff0c;我们希望记录一下用户的操作行为&#xff0c;以便发生问题时能及时的找到依据&#xff0c;这种日志就是业务…
阅读更多...
会向业务“砍需求”的技术同学，该具备哪6点能力？

会向业务“砍需求”的技术同学，该具备哪6点能力？

阿里妹导读&#xff1a;“会”砍需求&#xff0c;并不是件容易的事情&#xff0c;这涉及到工程师的商业头脑&#xff0c;要会判断技术和业务的关系。技术与业务好比“两条腿”&#xff0c;相互配合才能走得更远。如何具备business sense就是我们今天的课题。 论工程师的商业头…
阅读更多...
（进阶篇）Redis6.2.0 集群 主从复制_原理剖析_02

（进阶篇）Redis6.2.0 集群 主从复制_原理剖析_02

文章目录一、主从复制流程1. 主从复制流程图2. 主从复制日志二、主从复制信息剖析2.1. 主节点信息剖析2.2. 从节点信息剖析三、关键术语3.1. 复制功能开启3.2. 全量复制场景3.3. 主从复制异步性3.4. 过期key的处理3.5. 加速复制一、主从复制流程 1. 主从复制流程图 第一条线&a…
阅读更多...
如何抢占云栖大会C位？史上最强强强攻略来了

如何抢占云栖大会C位？史上最强强强攻略来了

如何抢占云栖大会C位&#xff1f;史上最强强强攻略来了 原文链接 本文为云栖社区原创内容&#xff0c;未经允许不得转载。
阅读更多...
寻找榜样的力量！CSDN【百万人学 AI】评选活动重磅启动

寻找榜样的力量！CSDN【百万人学 AI】评选活动重磅启动

AI 业界历经算法更迭、技术方案升级&#xff0c;有企业攻城略池&#xff0c;占据更多行业山头&#xff0c;有企业中途折戟沉沙。AI 发展浮浮沉沉&#xff0c;但每一年我们都希望审视当下&#xff0c;一窥未来。2020 无疑是特殊的一年&#xff0c;而 AI 在开年的这场”战疫“中表…
阅读更多...
重构：改善饿了么交易系统的设计思路

重构：改善饿了么交易系统的设计思路

我在2017年5月加入饿了么的交易部门&#xff0c;先后负责搜索、订单、超时、赔付、条约、交付、金额计算以及评价等系统&#xff0c;后期开始做些整体系统升级的工作。 这篇文章成型于交易系统重构一期之后&#xff0c;主要是反思其过程中做决策的思路&#xff0c;我没有使用「…
阅读更多...
（进阶篇）Redis6.2.0 集群 主从复制_故障解决_03

（进阶篇）Redis6.2.0 集群 主从复制_故障解决_03

文章目录一、 主从数据一致性1. 主多从少2. 主少从多3. 知识点补充二、 数据延迟2.1. 数据延迟因素2.2. 解决方案三、 脏数据3.1. 脏数据产生的场景3.2. 解决方案四、 数据安全性4.1. 场景4.2. 解决方案五、 规避全量复制5.1. 低峰时段5.2. 主节点变更5.3. 增大复制缓冲区六、 …
阅读更多...
以“基”取胜：青立方超融合易捷版，助力企业“极简”上云

以“基”取胜：青立方超融合易捷版，助力企业“极简”上云

2020年春天&#xff0c;以云计算、5G、人工智能为代表的“新基建”蔚然成风&#xff0c;不仅助力中国产业智能化、信息化进入加速推进的快车道&#xff0c;促使全产业链迈开高质量发展的新步伐。更是面向长远&#xff0c;构筑数字经济创新发展之基。可以说&#xff0c;没有任何…
阅读更多...
从零开始入门 K8s| K8s 的应用编排与管理

从零开始入门 K8s| K8s 的应用编排与管理

一、资源元信息 1. Kubernetes 资源对象 我们知道&#xff0c;Kubernetes 的资源对象组成&#xff1a;主要包括了 Spec、Status 两部分。其中 Spec 部分用来描述期望的状态&#xff0c;Status 部分用来描述观测到的状态。 今天我们将为大家介绍 K8s 的另外一个部分&#xff0c…
阅读更多...
创建对象内存分析

创建对象内存分析

创建对象内存分析 package com.oop.demo03;public class Pet {public String name;public int age;public void shout(){System.out.println("叫了一声");}}/* //一个项目应该这存在一个main方法 public class Application {public static void main(String[] args) …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023