【Hadoop集群搭建】集群崩溃处理及启动时常见报错解决办法

1. 集群崩溃处理

1.1 杀死进程

1.2 删除目录（logs/和hadoopdata/）

1.3 重新初始化集群

1.4 重新启动集群

2. 启动时常见报错

2.1 报错如下

2.2 在运行程序测试 MapReduce 计算框架时报错如下

2.3 报错如下

1. 集群崩溃处理

1.1 杀死进程

sbin/stop-yarn.sh
sbin/stop-dfs.sh
jps

1.2 删除目录（logs/和hadoopdata/）

三台虚拟机都要删除！！注意文件位置！！！！

rm -rf logs/

rm -rf hadoopdata/

1.3 重新初始化集群

hdfs namenode -format

1.4 重新启动集群

sbin/start-yarn.sh
sbin/start-dfs.sh
jps

2. 启动时常见报错

2.1 报错如下

<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value> </property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

解决办法：

在mapred-site.xml文件添加以下配置

<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/home/2130502441ryx/hadoop-3.1.3</value>
</property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/home/2130502441ryx/hadoop-3.1.3/</value>
</property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/home/2130502441ryx/hadoop-3.1.3/</value>
</property>

重新分发集群

xsync hadoop/

2.2 在运行程序测试 MapReduce 计算框架时报错如下

Container killed on request, Exit code is 143

Container exited with a non-zero exit code 143.

这是因为虚拟内存受到限制引起的。

解决办法：

在yarn-site.xml中加入如下代码

<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

之后重新启动集群即可。

2.3 报错如下

org.apache.hadoop.hdfs.server.namenode.SafeModeExcepticn: Cannot create directory /user/2130502441ryx/QuasiMonteCarlo_1711004398614_579777513/in. Name node is in safe mode.