Hadoop解压完成之后配置流程

修改hadoop-env.sh和yarn-env.sh

进入hadoop-3.2.4/etc/hadoop/ 修改这两个文件增加 ：

JAVA_HOME={java的路径}

修改配置文件core-site.xml 和 hdfs-site.xml

进入hadoop-3.2.4/etc/hadoop/ 修改这两个文件增加 ：

 // 这是core-site.xml
<configuration>
<!--hdfs临时路径-->
<property><name>hadoop.tmp.dir</name><value>/data/hadoop/tmp</value>
</property>
<!--hdfs 的默认地址、端口 访问地址-->
<property><name>fs.defaultFS</name><value>hdfs://master:8020</value>
</property>
<property><name>dfs.namenode.name.dir</name><value>/data/hadoop/namenode</value></property><property><name>dfs.datanode.name.dir</name><value>/data/hadoop/datanode</value></property>
</configuration>

// 这是hdfs-site.xml
<configuration>
<!--hdfs web的地址 -->
<property><name>dfs.namenode.http-address</name><value>master:50070</value> 
</property>
<!-- 副本数-->
<property><name>dfs.replication</name><value>3</value></property>
<!-- 是否启用hdfs权限检查 false 关闭 --><property><name>dfs.permissions.enabled</name><value>false</value></property>
<!-- 块大小,默认字节, 可使用 k m g t p e--><property><name>dfs.blocksize</name><value>134217728</value></property></configuration>

修改配置文件mapred-site.xml、yarn-site.xml、workers

进入hadoop-3.2.4/etc/hadoop/
在mapred-site.xml增加

<!--local表示本地运行，classic表示经典mapreduce框架，yarn表示新的框架-->
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/opt/hadoop-3.2.4</value>
</property>
<property><name>mapreduce.application.classpath</name><value>/opt/hadoop-3.2.4/share/hadoop/mapreduce/*:/opt/ hadoop-3.2.1 /share/hadoop/mapreduce/lib/*</value>
</property>

在yarn-site.xml中增加：

<!--集群master-->
<property><name>yarn.resourcemanager.hostname</name><value>master</value>
</property><!-- NodeManager上运行的附属服务-->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<!-- 关闭内存检测-->
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

修改workers：

vim workers
master
node1
node2

拷贝Hadoop安装包

scp -r /opt/server/hadoop/hadoop-3.2.4/ node1:/opt/server/hadoop

创建数据目录

cd /opt
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/namenode
ssh node1 "mkdir -p data/hadoop/tmp"
ssh node1 "mkdir -p data/hadoop/datanode"

格式化HDFS

cd /opt/server/hadoop/hadoop-3.2.4/bin./hdfs namenode -format cluster_demo01

集群启动

在Master节点：$HADOOP_HOME/sbin/start-dfs.sh ，启动HDFS 。
在Master节点：$HADOOP_HOME/sbin/start-yarn.sh， 启动YARN。
在Master节点：$HADOOP_HOME/bin/start-all.sh，启动所有服务。