Hadoop集群常用指令详解

在大数据处理领域，Hadoop作为分布式计算和存储的开源框架，已经成为不可或缺的工具。掌握Hadoop集群的常用指令对于集群的日常管理和操作至关重要。本文将详细介绍Hadoop集群的常用指令，帮助读者更好地理解和使用Hadoop。

列出目录内容：hdfs dfs -ls /path/to/directory，列出指定目录下的文件和子目录。
```
hdfs dfs -ls /user/hadoop
```
创建目录：hdfs dfs -mkdir /path/to/new_directory，在HDFS中创建新目录。
```
hdfs dfs -mkdir /user/hadoop/new_dir
```
上传文件：hdfs dfs -put /local/path/to/file /hdfs/path/to/destination，将本地文件上传到HDFS。
```
hdfs dfs -put /home/user/local_file.txt /user/hadoop/
```
下载文件：hdfs dfs -get /hdfs/path/to/file /local/path/to/destination，从HDFS下载文件到本地。
```
hdfs dfs -get /user/hadoop/hadoop_file.txt /home/user/
```
删除文件或目录：hdfs dfs -rm /hdfs/path/to/file删除文件，hdfs dfs -rm -r /hdfs/path/to/directory删除目录。
```
hdfs dfs -rm /user/hadoop/hadoop_file.txt
hdfs dfs -rm -r /user/hadoop/new_dir
```

查看文件内容：hdfs dfs -cat /hdfs/path/to/file，查看HDFS中文件的内容。
```
hdfs dfs -cat /user/hadoop/hadoop_file.txt
```
查看文件尾部内容：hdfs dfs -tail /hdfs/path/to/file，查看文件的尾部内容。
```
hdfs dfs -tail /user/hadoop/hadoop_file.txt
```

复制文件：hadoop fs -cp <src> <dst>，在HDFS中复制文件。

hadoop fs -cp /user/hadoop/hadoop_file.txt /user/hadoop/copy_file.txt

移动文件：hadoop fs -mv <src> <dst>，在HDFS中移动文件。

hadoop fs -mv /user/hadoop/hadoop_file.txt /user/hadoop/moved_file.txt

显示目录大小：hadoop fs -du -h <path>，显示目录或文件的大小。
```
hadoop fs -du -h /user/hadoop/
```

提交作业：hadoop jar <jar_file> <main_class> <input_path> <output_path>，提交MapReduce作业。

hadoop jar /path/to/hadoop-examples.jar org.apache.hadoop.examples.WordCount /user/hadoop/input /user/hadoop/output

查看作业列表：yarn application -list，列出所有正在运行的YARN应用。
```
yarn application -list
```
查看作业状态：yarn application -status <application_id>，查看指定作业的状态。
```
yarn application -status application_12345_0001
```

杀死作业：yarn application -kill <application_id>，停止指定的YARN应用。
```
yarn application -kill application_12345_0001
```

查看集群报告：hdfs dfsadmin -report，显示HDFS集群的整体健康状况和配置状态。
```
hdfs dfsadmin -report
```
查看节点信息：hadoop dfsadmin -report，查看集群的节点信息。
```
hadoop dfsadmin -report
```

进入安全模式：hdfs dfsadmin -safemode enter，进入HDFS安全模式。
```
hdfs dfsadmin -safemode enter
```
离开安全模式：hdfs dfsadmin -safemode leave，离开HDFS安全模式。
```
hdfs dfsadmin -safemode leave
```
查看安全模式状态：hdfs dfsadmin -safemode get，查看当前是否处于安全模式。
```
hdfs dfsadmin -safemode get
```

查看应用日志：yarn logs -applicationId <application_id>，获取特定应用程序的日志信息。
```
yarn logs -applicationId application_12345_0001
```
查看DataNode日志：yarn logs -applicationId <application_id> -containerId <container_id> -nodeAddress <node_address> -logFiles <log_files>，查看DataNode的日志。
```
yarn logs -applicationId application_12345_0001 -containerId container_12345_0001_01_000001 -nodeAddress datanode1:8042 -logFiles stdout
```