[HDFS 相关Shell命令]

HDFS 相关Shell命令:

注意，下述命令中的<path>代表文件或目录的路径，<local_path>代表本地文件系统的路径，而<hdfs_path>代表HDFS上的路径。使用这些命令时，需要确保Hadoop环境已经正确配置，并且有适当的访问权限。

HDFS (Hadoop Distributed File System) 提供了一组Shell命令，允许用户与HDFS进行交互。这些命令可以通过hadoop fs命令行接口执行，非常类似于Unix/Linux的Shell命令。以下是一些常用的HDFS Shell命令及其描述：ls: 列出目录内容hadoop fs -ls <path>: 显示指定路径的文件和目录的详细信息。
hadoop fs -lsr <path>: 递归地列出目录信息。
mkdir: 创建目录hadoop fs -mkdir <path>: 在HDFS上创建新目录。
put: 上传文件hadoop fs -put <localsrc> <dst>: 将本地文件或目录复制到HDFS。
get: 下载文件hadoop fs -get <src> <localdst>: 将HDFS上的文件或目录复制到本地文件系统。
cp: 复制文件或目录hadoop fs -cp <src> <dst>: 在HDFS内部复制文件或目录。
mv: 移动或重命名文件或目录hadoop fs -mv <src> <dst>: 移动或重命名HDFS中的文件或目录。
rm: 删除文件或目录hadoop fs -rm <path>: 删除指定路径的文件或目录。
hadoop fs -rm -r <path>: 递归删除目录及其内容。
chmod: 改变文件权限hadoop fs -chmod <permission> <path>: 更改文件或目录的权限。
chown: 更改文件所有者hadoop fs -chown <user:group> <path>: 更改文件或目录的所有者。
tail: 查看文件尾部内容hadoop fs -tail <path>: 显示文件的最后1KB内容。
du: 计算目录大小hadoop fs -du <path>: 计算指定路径下的总大小。
count: 统计文件行数hadoop fs -count <path>: 统计文件的行数。
text: 合并多个文件hadoop fs -text <file1> <file2> ... > output_file: 将多个文件的内容合并输出到一个文件中。
stat: 获取文件或目录的状态信息hadoop fs -stat <path>: 显示文件或目录的状态信息。
df: 报告可用空间信息hadoop fs -df <path>: 显示目录的可用空间信息。
cat: 查看文件内容hadoop fs -cat <path>: 在控制台上显示文件内容。
test: 测试路径是否存在hadoop fs -test -e <path>: 检查指定的文件或目录是否存在。
copyToLocal: 从HDFS复制到本地文件系统hadoop fs -copyToLocal <hdfs_path> <local_path>: 将文件从HDFS复制到本地文件系统。
copyFromLocal: 从本地文件系统复制到HDFShadoop fs -copyFromLocal <local_path> <hdfs_path>: 将文件从本地文件系统复制到HDFS。
setrep: 设置副本数量hadoop fs -setrep -w <replication_factor> <path>: 设置文件或目录的副本数量。
balancer: 启动平衡器工具hadoop dfsadmin -balancer: 启动HDFS平衡器，用于在存储数据的各个DataNode之间均衡数据。
append: 追加到现有文件hadoop fs -appendToFile <file_to_append> <data_to_append>: 将数据追加到现有的文件中。
truncate: 截断文件hadoop fs -truncate <path> <length>: 截断文件到指定长度。
permission: 显示或修改权限hadoop fs -permission <path>: 显示文件或目录的权限。
hadoop fs -chmod <mode><path>: 修改文件或目录的权限。
help: 显示帮助信息hadoop fs -help: 显示所有可用命令的帮助信息。
dfsadmin: HDFS管理工具hadoop dfsadmin: 提供了一系列子命令来管理和监控HDFS集群状态