Hadoop的安装与配置——搭建完全分布式集群

一、搭建集群

1、准备服务器（这里以我的3台Centos7为例）

  • 1个主节点：Carlota1(192.168.33.21)，
  • 2个子节点：Carlota2(192.168.33.22)，Carlota3(192.168.33.23)

2、配置主节点名

在主节点命令行输入： vi /etc/sysconfig/network 添加内容：

NETWORKING=yes
HOSTNAME=Carlota1

3、配置两台子节点名

分别在子节点命令行输入： vi /etc/sysconfig/network 添加内容：

NETWORKING=yes
HOSTNAME=Carlota2

NETWORKING=yes
HOSTNAME=Carlota3

4、配置hosts

打开主节点的hosts文件，注释掉 将文件的前两行(当前主机的信息)，并在文件中添加所有hadoop集群的主机信息。

在命令行输入： vi /etc/hosts ，添加3台服务器的节点名信息：

192.168.33.21	Carlota1
192.168.33.22	Carlota2
192.168.33.23	Carlota3

保存之后，分别将主节点的hosts分别拷贝到其他两个子节点：

  • scp /etc/hosts root@192.168.33.22:/etc/
  • scp /etc/hosts root@192.168.33.23:/etc/

分别执行 /bin/hostname hostsname 使更改生效，（例如：Carlota1上执行 /bin/hostsname Carlota1，使之生效。）（重启可以代替/bin/hostname hostsname命令）

5、关闭防火墙

  1. 查看防火墙状态 ：firewall-cmd --state
  2. 停止firewall ：systemctl stop firewalld.service
  3. 禁止firewall开机启动：systemctl disable firewalld.service

6、配置ssh无密码访问（使每个节点上的/root/.ssh/authorized_keys文件中都包含所有的节点生成的公钥内容）

  • 生成公钥密钥对：在每个节点上分别执行命令行输入：ssh-keygen -t rsa ， 一直按回车或Yes直到生成结束（执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub其中前者为私钥，后者为公钥)
  • 在主节点上执行命令行输入：cp id_rsa.pub authorized_keys
  • 将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：
scp /root/.ssh/id_rsa.pub root@Carlota1:/root/.ssh/id_rsa_Carlota2.pub
scp /root/.ssh/id_rsa.pub root@Carlota1:/root/.ssh/id_rsa_Carlota3.pub
  • 在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中
cat id_rsa_Carlota2.pub>> authorized_keys
cat id_rsa_Carlota3.pub>> authorized_keys
  • 将主节点的authorized_keys文件分别替换子节点的authorized_keys文件
scp authorized_keys root@Carlota2:/root/.ssh/
scp authorized_keys root@Carlota3:/root/.ssh/
  • 最后测试是否配置成功：在Carlota1上分别执行，ssh Carlota2，ssh Carlota3 能正确跳转到两台子节点的操作界面即可

二、Hadoop集群配置

7、准备工作
下载好相应的Hadoop与JDK版本
在这里插入图片描述
8、分别上传JDK与Hadoop的tar.gz文件到三台服务器
这里使用windows下的文件传输软件进行上传(其中我这里上传路径分别为/usr/local/java/和/usr/local/apps/)
在这里插入图片描述
9、安装配置JAVA

  • tar -zxvf jdk-8u251-linux-x64.tar.gz
  • mv jdk1.8.0_251 jdk1.8

配置环境变量vi /etc/profile 添加以下内容

#JAVA
export JAVA_HOME=/usr/local/java/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
  • source /etc/profile

测试是否安装成功：java -version
在这里插入图片描述

10、安装hadoop

  • tar -zxvf hadoop-3.2.1.tar.gz

配置环境变量vi /etc/profile 添加以下内容

#Hadoop
export HADOOP_HOME=/usr/local/apps/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • source /etc/profile

11、配置Hadoop /sbin下
将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh，stop-yarn.sh顶部也需添加以下参数：

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

12、配置Hadoop /etc下
需要修改的有以下几个文件：

  • hadoop-env.sh
  • yarn-env.sh
  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml
  • yarn-site.xml
  • workers (Hadoop3.0以前的版本叫做slaves)

(1)、hadoop-env.sh和yarn-env.sh
分别添加JAVA_HOME路径到hadoop-env.sh和yarn-env.sh中

export JAVA_HOME=/usr/local/java/jdk1.8

(2)、core-site.xml
添加如下代码

<configuration><property><name>fs.defaultFS</name><value>hdfs://Carlota1:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/temp</value></property><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>
</configuration>

其中/usr/temp文件夹需要新建！
(3)、hdfs-site.xml
添加如下代码：

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>Carlota1:9001</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/dfs/data</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.permissions</name><value>false</value></property><property><name>dfs.web.ugi</name><value>supergroup</value></property>
</configuration>

其中/usr/dfs/name与/usr/dfs/data文件夹需要新建！

(4)、mapred-site.xml（没有mapred-site.xml文件可以将mapred-site.xml.template进行重命名为mapred-site.xml）

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Carlota1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Carlota1:19888</value></property>
</configuration>

(5)、yarn-site.xml
添加如下代码：

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>Carlota1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>Carlota1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>Carlota1:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>Carlota1:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>Carlota1:8088</value></property>
</configuration>

(6)、workers
将原内容修改为

Carlota2
Carlota3

拷贝hadoop安装文件到子节点

scp -r etc/hadoop  root@Carlota2:/usr/local/apps/hadoop-3.2.1/etc
scp -r etc/hadoop  root@Carlota3:/usr/local/apps/hadoop-3.2.1/etc

13、启动Hadoop集群

  • 格式化主节点的namenode：./bin/hdfs namenode -format
  • 主节点上在hadoop目录下执行：./sbin/start-all.sh

主节点上jps进程如下：
在这里插入图片描述
子节点上jps进程如下：
在这里插入图片描述

hadoop集群配置成功！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/535831.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

HTTP 视频怎么在 MIP 页面中使用？

HTTP 视频怎么在 MIP 页面中使用？

在 MIP 中&#xff0c;一些资源的使用需要支持 HTTPS&#xff0c;视频就是其中一种。但目前大部分站点的视频资源都还是 HTTP 的资源&#xff0c;无法在百度 MIP 搜索结果中直接使用&#xff0c; mip-video 视频组件针对 HTTP 的视频资源采用跳到一个 HTTP 的播放页面进行播放&…
阅读更多...
MIP 组件库升级公告

MIP 组件库升级公告

背景 为了方便广大开发者们更好地使用组件&#xff0c;现对 MIP 组件库统一进行升级&#xff0c;升级后将分为通用组件和自定义组件两类&#xff0c;方便开发。 通用组件&#xff0c;即考虑了组件通用性方便所有开发者参考使用的组件&#xff0c;将存放于 mip-extensions 仓库…
阅读更多...
腾讯云服务器 ubuntu 设置允许root用户登录和禁用ubuntu用户

腾讯云服务器 ubuntu 设置允许root用户登录和禁用ubuntu用户

最近购买了腾讯云服务器&#xff0c;使用了 Ubuntu Server 18.04.1 LTS 64位操作系统&#xff0c;发现默认用户为ubuntu,而无法用root用户进行ssh登陆&#xff0c;本篇就记录一下开通root和禁用ubuntu的过程。 1、设置允许root用户登录 使用用户名ubuntu登录sudo passwd root…
阅读更多...
Ubuntu 修改 hostname

Ubuntu 修改 hostname

1、vi /etc/cloud/cloud.cfg 2、将preserve_hostname: false修改为preserve_hostname: true 3、hostnamectl set-hostname 主机名 4、reboot重启系统生效
阅读更多...
MIP 技术月报（4月）：支持熊掌号登录；优化页面悬浮元素

MIP 技术月报（4月）：支持熊掌号登录；优化页面悬浮元素

之前由MIP团队维护的《移动 Web 加速技术月报》从本期开始&#xff0c;正式升级为《MIP 技术月报》&#xff0c;与以往不同的是&#xff0c;《MIP 技术月报》将会与大家分享包含移动加速技术以外的其他移动应用开发的技术&#xff0c;从移动用户体验、开发体验出发来分享 MIP 的…
阅读更多...
Ubuntu18.04安装最新版Docker

Ubuntu18.04安装最新版Docker

卸载旧的docker版本apt-get remove docker docker-engine docker.io containerd runc更新软件列表apt-get update.允许apt命令可以使用HTTPS访问Docker repositoryapt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common添加Docker…
阅读更多...
MIP 问题解决方案大全（2018-06更新）

MIP 问题解决方案大全（2018-06更新）

在 MIP 推出后&#xff0c;我们收到了一些站长的疑问。现将常见问题整理出来&#xff0c;帮助大家了解 MIP 的知识。 一、MIP 认知类问题二、改造前准备三、前端改造&#xff0c;组件使用四、提交生效五、MIPCache六、更多学习资源 一、MIP 认知类问题 1.1 MIP 化的收益是什…
阅读更多...
Ubuntu18使用docker快速安装oracle 11g

Ubuntu18使用docker快速安装oracle 11g

1、安装docker环境&#xff0c;参照Ubuntu18.04安装最新版Docker 2、下载oracle镜像docker pull deadok22/docker-oracle-xe-11g 3、下载完成后&#xff0c;启动oracle镜像作为容器&#xff1a;docker run -h "oracle" --name "oracle" -d -p 49160:22 -p …
阅读更多...
ubuntu新建用户后，终端下方向键和tab键不可用的解决方法

ubuntu新建用户后，终端下方向键和tab键不可用的解决方法

问题描述&#xff1a; 用adduser命令新增了用户之后&#xff0c;发现在该新建用户下的命令终端&#xff0c;使用方向键无法调出历史命令&#xff0c;同时tab键也无法补全输入命令。 问题解决&#xff1a; 在/etc/passwd中发现&#xff0c;该新建用户使用的shell为/bin/sh&…
阅读更多...
移动Web体验月报（6月）：MIP 核心代码升级，增加基于 Vue 开发能力

移动Web体验月报（6月）：MIP 核心代码升级，增加基于 Vue 开发能力

原创&#xff1a; BrilliantOpenWeb OpenWeb开发者 7月6日 作者 | Brilliant Open Web 团队 编辑 | Daisy 升级与重要进展 历时2个月&#xff0c;MIP团队完成了核心代码重构与核心功能升级&#xff0c;MIP新版本核心代码&#xff08;V2&#xff09;在实现向下完全兼容当前代…
阅读更多...
腾讯云ubuntu18安装图形化界面

腾讯云ubuntu18安装图形化界面

0、apt-get update 1、sudo apt-get install xinit 2、sudo apt-get install gdm3 3、apt-get install ubuntu-desktop
阅读更多...
2017 到 2018，PWA 技术到底经历了什么

2017 到 2018，PWA 技术到底经历了什么

高磊 OpenWeb开发者 1周前 在 GMTC 2018 全球大前端会议举办期间&#xff0c;高磊担任主题演讲嘉宾&#xff0c;并担任 PWA 专场出品人。作为有近 10 年 Web 前端技术开发、管理经验的开发者&#xff0c;高磊一直关注着 PWA 技术的发展。 2017年 6月10日&#xff0c;GMTC 201…
阅读更多...
CentrOS7静默安装oracle11g

CentrOS7静默安装oracle11g

最近要做一个用ogg实现oracle到kafka的增量数据实时同步&#xff0c;但是Oracle就让我装了好久&#xff0c;这里来记录一下安装oracle过程。 1.建立swap分区 创建充当swap分区的文件&#xff0c;文件大小就是要增加的swap大小&#xff0c;of是文件位置&#xff0c;bs为单位&a…
阅读更多...
MIP 扩展组件开发手册

MIP 扩展组件开发手册

本手册将向你展示&#xff0c;完成一个 MIP 扩展组件的开发需要做哪些事情。在此之前&#xff0c;我们假定你&#xff1a; 有一定的 HTML、CSS 和 JavaScript 基础 了解 AMD 的模块管理方式 熟悉版本管理工具 Git 有自己的 GitHub 账号 懂得使用 npm 步骤 通常情况下&am…
阅读更多...
Zookeeper分布式安装部署

Zookeeper分布式安装部署

本篇博客将主要介绍如何进行Zookeeper的分布式安装部署 集群规划 在Carlota1、Carlota2、Carlota3三台机器上进行部署。 安装部署 1、解压安装 上传压缩文件apache-zookeeper-3.6.1-bin.tar.gz到三台机器上解压文件tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz改个名&…
阅读更多...
MIP 网站中熊掌号登录

MIP 网站中熊掌号登录

标题内容类型通用支持布局responsive,fixed-height,fill,container,fixed所需脚本https://c.mipcdn.com/static/v1/mip-mustache/mip-mustache.js https://c.mipcdn.com/static/v1/mip-login-xzh/mip-login-xzh.js 注意&#xff1a;使用该组件必须在引用本组件链接前引用 <…
阅读更多...
日常问题——hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_1595222530661_0003

日常问题——hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_1595222530661_0003

执行mapreduce没报错&#xff0c;可是任务运行到running job就卡住在 INFO mapreduce.Job: Running job: job_1595222530661_0003 解决方法 mapred-site.xml下将 <property><name>mapreduce.framework.name</name><value>yarn</value> </pr…
阅读更多...
MIP 支付组件，支付流程：

MIP 支付组件，支付流程：

MIP 支付组件&#xff0c;支付流程&#xff1a; 标题内容类型通用支持布局responsive,fixed-height,fill,container,fixed所需脚本https://c.mipcdn.com/static/v1/mip-simple-pay/mip-simple-pay.js,https://c.mipcdn.com/static/v1/mip-login-xzh/mip-login-xzh.js 注意&…
阅读更多...
代码实现——MapReduce统计单词出现次数

代码实现——MapReduce统计单词出现次数

需求 对以下txt文档进行单词出现次数统计&#xff08;txt文档在/Users/lizhengi/test/input/目录下&#xff09; hadoop take spring spark hadoop hdfs mapreduce take Tomcat tomcat kafka kafka flume flume hive实现 1、新建Maven工程&#xff0c;pom.xml依赖如下 <…
阅读更多...
MIP个性化组件提交规范

MIP个性化组件提交规范

MIP个性化组件一般用来实现前后端数据传输或特殊的交互效果&#xff0c;由广大开发者贡献。出于性能、可维护性等方面的考虑&#xff0c;开发者在新增组件或升级组件时&#xff0c;请遵守以下规范。 规范中的必须&#xff08;MUST&#xff09;&#xff0c;禁止&#xff08;MUS…
阅读更多...
最新文章

Copyright @ 2022~2023