Hadoop安装完全分布式搭建

1、安装Hadoop

上传Hadoop的指定路径/root/softwares

解压安装

cd /root/softwares && tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local

配置环境变量

 vim /etc/profile
# Hadoop Environment
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重新使环境变量生效

source /etc/profile

验证是否配置成功

hadoop version

2、案例演示：wordcount

新建一个目录，存放文本文件

mkdir ~/input

执行wordcount

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input ~/output

查看结果

cat ~/output/*

案例计算：pi

直接计算pi的结果

 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 10

3、完全分布式模式

集群搭建准备

三台机器的防火墙必须是关闭的

systemctl stop firewalld
systemctl disable firewalld
systemctl stop NetworkManager
systemctl disable NetworkManager

确保三台机器的网络配置通畅（NAT模式、静态IP、主机名的配置）
确保/etc/hosts文件配置了ip和hostname的映射关系
确保配置了三台机器的免密登录认证
确保所有机器时间同步
- ```
ntpdate -u ntp.api.bz
```
jdk和Hadoop的环境变量配置

配置文件

core-site.xml

<configuration><!-- 设置namenode节点 --><!-- 注意: hadoop1.x时代默认端口9000 hadoop2.x时代默认端口8020 hadoop3.x时代默认端口9820 --><property><name>fs.defaultFS</name><value>hdfs://chlinrei01:8020</value></property>
<!-- hdfs的基础路径，被其他属性所依赖的一个基础路径 --><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-2.7.3/tmp</value></property>
</configuration>

hdfs-site.xml

<configuration><!-- 块的副本数量 --><property><name>dfs.replication</name><value>3</value></property><!-- secondarynamenode守护进程的http地址：主机名和端口号。参考守护进程布局 --><property><name>dfs.namenode.secondary.http-address</name><value>chlinrei02:9868</value></property><!-- namenode守护进程的http地址：主机名和端口号。参考守护进程布局 --><property><name>dfs.namenode.http-address</name><value>chlinrei01:9870</value></property>
</configuration>

hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_162
# Hadoop3中，需要添加如下配置，设置启动集群角色的用户是谁
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

分发

cd /usr/local
scp -r jdk1.8.0_162/ chlinrei02:$PWD
scp -r hadoop-2.7.3/ chlinrei02:$PWD
scp /etc/profile chlinrei02:/etc/
scp -r jdk1.8.0_162/ chlinrei03:$PWD
scp -r hadoop-2.7.3/ chlinrei03:$PWD
scp /etc/profile chlinrei03:/etc/