Hadoop入门学习笔记——三、使用HDFS文件系统

视频课程地址：https://www.bilibili.com/video/BV1WY4y197g7
课程资料链接：https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8

Hadoop入门学习笔记（汇总）

目录

  • 三、使用HDFS文件系统
    • 3.1. 使用命令操作HDFS文件系统
      • 3.1.1. HDFS文件系统基本信息
      • 3.1.2. HDFS文件系统的2套命令体系
      • 3.1.3. 创建文件夹
      • 3.1.4. 查看指定目录下的内容
      • 3.1.5. 上传文件到HDFS指定目录下
      • 3.1.6. 查看HDFS中文件的内容
      • 3.1.7. 从HDFS下载文件到本地
      • 3.1.8. 复制HDFS文件（在HDFS系统内复制）
      • 3.1.9. 追加数据到HDFS文件中
      • 3.1.10. 移动或重命名HDFS文件（在HDFS系统内移动）
      • 3.1.11. 删除HDFS文件
      • 3.1.12. 其他HDFS命令
    • 3.2. HDFS Web浏览
    • 3.3. HDFS系统权限
      • 3.3.1. 修改HDFS文件权限
      • 3.3.2. 修改HDFS文件所属用户和组
    • 3.4. 使用Jetbrians产品插件——Big Data Tools操作HDFS
      • 3.4.1. 安装Big Data Tools插件
      • 3.4.2. 安装Hadoop并配置环境变量
      • 3.4.3. 配置Big Data Tools插件
      • 3.4.4. 使用Big Data Tools插件
      • 3.4.5. 使用读取本地Hadoop配置文件的方式创建HDFS连接
    • 3.5. 使用NFS网关功能将HDFS挂载到Windows系统（Windows系统必须为专业版，否则无法挂载）
      • 3.5.1. 在HDFS端配置NFS
      • 3.5.2. 验证NFS是否正常
      • 3.5.3. 在Windows系统中挂载HDFS文件系统
    • 3.6. 修改HDFS数据块的副本数量
      • 3.6.1. HDFS副本块数量的配置
      • 3.6.2. 指定某一个文件的HDFS副本块个数
      • 3.6.3. 使用fsck命令检查文件的副本数量
      • 3.6.4. block配置
    • 3.7. NameNode元数据管理维护
    • 3.8. HDFS系统数据读写流程
      • 3.8.1. HDFS数据写入流程
      • 3.8.2. HDFS数据读取流程

三、使用HDFS文件系统

3.1. 使用命令操作HDFS文件系统

3.1.1. HDFS文件系统基本信息

  • HDFS和Linux系统一样，均是以/作为根目录的组织形式；
  • 如何区分HDFS和Linux文件系统：
    • Linux文件系统以file://作为协议头，HDFS文件系统以hdfs://namenode:port作为协议头；
    • 例如，有路径/usr/local/hello.txt，在Linux文件系统中表示为file:///usr/local/hello.txt，在HDFS文件系统中表示为hdfs://node1:8020/usr/local/hello.txt；
    • 但一般情况下，协议头是可以省略的，使用Linux命令时，会自动识别为file://协议头，使用HDFS命令时，会自动识别为hdfs://namenode:port协议头；
    • 但如果需要再使用HDFS命令操作Linux文件时，需要明确使用file://协议头。

3.1.2. HDFS文件系统的2套命令体系

老版本
用法：hadoop fs [generic options]

新版本
用法：hdfs dfs [generic options]

两套命令用法完全一致，效果完全一样，但某些特殊命令需要选择hadoop或hdfs命令。

3.1.3. 创建文件夹

用法：
hadoop fs -mkdir [-p] <path> ...
hdfs dfs -mkdir [-p] <path> ...
path为待创建的目录
-p 选项意思与Linux的mkdir -p一样，自动逐层创建对应的目录。
例如：
hadoop fs -mkdir -p file:///home/hadoop/test 在Linux系统下创建/home/hadoop/test文件夹；
hadoop fs -mkdir -p hdfs://node1:8020/itheima/bigdata 在HDFS中创建/itheima/bigdata文件夹；
hdfs dfs -mkdir -p /home/hadoop/itcast 在HDFS中创建/home/hadoop/itcast文件夹；

3.1.4. 查看指定目录下的内容

用法：
hadoop fs -ls [-h] [-R] [<path> ...]
hdfs dfs -ls [-h] [-R] [<path> ...]
path为指定的目录路径
-h 人性化显示size
-R 递归查看指定目录及其子目录。
例如：
hdfs dfs -ls / 查看HDFS 根目录下的内容
hadoop fs -ls / 查看HDFS 根目录下的内容，与上面等效
hdfs dfs -ls -R / 递归查看HDFS根目录下的内容
hdfs dfs -ls file:/// 查看当前这台Linux机器根目录下的内容
hdfs dfs -ls -h / 查看HDFS根目录下的内容，当文件大小大于1k之后，其大小会有单位，便于人的阅读；

3.1.5. 上传文件到HDFS指定目录下

用法：
hadoop fs -put [-f] [-p] <localsrc> ... <dst>
hdfs dfs -put [-f] [-p] <localsrc> ... <dst>
-f 当目标文件已存在时，覆盖目标文件
-p 保留访问和修改时间，所有权和权限
localsrc 要上传的本地（Linux系统）文件的路径
dst 要保存在HDFS中的具体路径。
例如：
hadoop fs -put file:///home/hadoop/test.txt hdfs://node1:8020/ 将本地/home/hadoop/下的test.txt文件上传到HDFS的根目录下的完整写法；
hdfs dfs -put test2.txt / 将本地当前目录下的test2.txt文件上传到HDFS的根目录下；
hdfs dfs -put -f test2.txt / 将本地目录下的test2.txt文件上传到HDFS的根目录下，并强制覆盖原有的test2.txt文件；

3.1.6. 查看HDFS中文件的内容

用法：
hadoop fs -cat <src> ...
hdfs dfs -cat <src> ...
读取大文件时，可以使用管道符配合more
hadoop fs -cat <src> | more
hdfs dfs -cat <src> | more
例如：
hadoop fs -cat /test.txt 查看HDFS根目录下test.txt文件的内容
hdfs dfs -cat /test2.txt | more 查看HDFS根目录下的test2.txt文件的内容，可以翻页，适用于查看大文件

3.1.7. 从HDFS下载文件到本地

用法：
hadoop fs -get [-f] [-p] <src> ... <localdst>
hdfs dfs -get [-f] [-p] <src> ... <localdst>
-f 当目标文件已存在时，覆盖目标文件
-p 保留访问和修改时间，所有权和权限
src 要下载的HDFS文件路径
localdst 要保存在本地Linux系统中的路径。
例如：
hadoop fs -get /test.txt . 将HDFS根目录下的test.txt文件下载到本地Linux系统的当前目录下；
hadoop fs -get -f /test.txt . 将HDFS根目录下的test.txt文件下载到本地Linux系统的当前目录下，若本地已存在test.txt，则强制覆盖；
hdfs dfs -get /test2.txt . 将HDFS根目录下的test2.txt文件下载到本地的当前目录下；

3.1.8. 复制HDFS文件（在HDFS系统内复制）

用法：
hadoop fs -cp [-f] <src> ... <dst>
hdfs dfs -cp [-f] <src> ... <dst>
-f 若目标文件存在，则强制覆盖目标文件
src HDFS文件系统中被复制的文件路径
dst 要复制到的HDFS文件系统目标路径
例如：
hadoop fs -cp /test.txt /home/ 将HDFS根目录下的test.txt文件复制到HDFS文件系统/home/目录下
hadoop fs -cp /test.txt /home/abc.txt 将HDFS根目录下的test.txt文件复制到HDFS文件系统/home/目录下，并将其改名为abc.txt

3.1.9. 追加数据到HDFS文件中

用法：
hadoop fs -appendToFile <localsrc> ... <dst>
hdfs dfs -appendToFile <localsrc> ... <dst>
localsrc Linux系统的本地文件路径，要追加的内容放在这个文件里
dst HDFS文件系统中被追加的文件，如果文件不存在则创建该文件
在HDFS系统中想要修改文件，仅有两种方式：删除 或 追加
例如：
hadoop fs -appendToFile append.txt /test.txt 将Linux本地当前目录下的append.txt文件中的内容追加到HDFS系统根目录下test.txt文件中去

3.1.10. 移动或重命名HDFS文件（在HDFS系统内移动）

用法：
hadoop fs -mv <src> ... <dst>
hdfs dfs -mv <src> ... <dst>
src HDFS文件系统中的源文件
dst HDFS文件系统中的目标位置
例如：
hadoop fs -mv /test.txt /itheima 将HDFS系统根目录下的test.txt文件移动到HDFS系统/itheima/目录里
hdfs dfs -mv /test2.txt /itheima/abc.txt 将HDFS系统根目录下的test2.txt文件移动到HDFS系统/itheima/目录里，并将其改名为abc.txt

3.1.11. 删除HDFS文件

用法：
hadoop fs -rm [-r] [-skipTrash] URI [URI ...]
hdfs dfs -rm [-r] [-skipTrash] URI [URI ...]
-r 删除文件夹时需要此参数，删除文件时不用
-skipTrash 跳过回收站，直接删除（彻底删除）
回收站功能默认是关闭的，如果需要开启，需要修改core-site.xml配置文件。
例如：
hadoop fs -rm -r /home 删除HDFS系统中的/home文件夹
hdfs dfs -rm /itheima/test.txt 删除HDFS系统中/itheima目录下的test.txt文件

配置开启Hadoop的回收站
修改core-site.xml配置文件vim /export/server/hadoop/etc/hadoop/core-site.xml：

<property><!--回收站保留的时间，1440的单位是分钟，代表着1天，超过这个时间之后，删除的文件就彻底删除了--><name>fs.trash.interval</name><value>1440</value>
</property><property><!--指垃圾回收的检查间隔，应该是小于或者等于fs.trash.interval，120分钟即每2小时检查一次，检查时发现如果有文件的删除时间大于上面的1440，就从回收站里面删掉，也就是彻底删除了--><name>fs.trash.checkpoint.interval</name><value>120</value>
</property>

无需重启集群，在哪个机器配置的，在哪个机器执行命令就生效。即如果只是在node1节点配置了，那只有在node1节点执行删除命令才有用，在其他节点执行是没用的！！！
回收站默认位置在：/user/用户名(hadoop)/.Trash

删除HDFS系统内的文件hadoop fs -rm /itheima/abc.txt会看到有如下提示

[hadoop@node1 ~]$ hadoop fs -rm  /itheima/abc.txt
2023-12-02 14:58:06,322 INFO fs.TrashPolicyDefault: Moved: 'hdfs://node1:8020/itheima/abc.txt' to trash at: hdfs://node1:8020/user/hadoop/.Trash/Current/itheima/abc.txt

可以看到，虽然输入的是rm命令，但实际上HDFS系统会将要删除的文件移动到hdfs://node1:8020/user/hadoop/.Trash/Current/目录下。
此时，可以使用 hadoop fs -ls -R /命令查看，当开启回收站后，HDFS系统会在根目录下默认创建/user/当前用户/Current的目录（当前用户为hadoop）
在这里插入图片描述
当然，也可以通过参数-skipTrash实现彻底删除，不让被删除的文件进入回收站
hadoop fs -rm -r -skipTrash /itheima 彻底删除（不进入回收站）HDFS根目录下的itheima文件夹，此命令执行效果如下：

[hadoop@node1 ~]$ hadoop fs -rm -r -skipTrash /itheima
Deleted /itheima

可以看到，和不开回收站时，执行rm命令的效果一样。

3.1.12. 其他HDFS命令

官方文档：https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html
在这里插入图片描述

3.2. HDFS Web浏览

除了上述的命令方式外，还可以通过HDFS NameNode节点的Web页面操作文件系统，入口在http://node1:9870/中
在这里插入图片描述
在这里插入图片描述
在Web页面中可以查看，但是没法操作文件，因为HDFS系统的权限是给hadoop用户的，但是Web页面默认情况下其实是个匿名用户（dr.who）
在这里插入图片描述
当然，也可以让Web页面拥有权限，需要修改core-site.xml配置文件，增加如下配置：

<property><name>hadoop.http.staticuser.user</name><value>hadoop</value>
</property>

将Web页面的权限设置成hadoop用户。

但是，不推荐这样做：

  • HDFS WEBUI，只读权限挺好的，简单浏览即可
  • 如果给与高权限，会有很大的安全问题，造成数据泄露或丢失

3.3. HDFS系统权限

HDFS系统有自己独立的权限体系，但其权限类型与Linux一致，都是按照读（r）、写（w）、可执行（x）进行授权，权限分为三组，从左到右依次是所有者的权限、所有组的权限、其他用户权限。通过hadoop fs -ls或hdfs dfs -ls命令可以查看到HDFS系统内各文件和文件夹的权限。
在这里插入图片描述
但与Linux不同的是，在Linux系统中超级用户是root，但在HDFS系统中，超级用户是启动namenode的用户（本示例中就是hadoop用户），如果在HDFS系统中的文件时遇到Permission denied等权限不足的报错提醒时，首先要检查的就是当前用户是否为启动namenode的用户。

3.3.1. 修改HDFS文件权限

用法：
hadoop fs -chmod [-R] 777 <path>
hdfs dfs -chmod [-R] 777 <path>
例如：
hadoop fs -chmod 777 /test3.txt 将HDFS根目录下的test3.txt文件的权限修改成所有人可读、可写、可执行

[hadoop@node1 ~]$ hadoop fs -chmod 777 /test3.txt
[hadoop@node1 ~]$ hdfs dfs -ls /test3.txt
-rwxrwxrwx   3 hadoop supergroup  268037352 2023-12-05 10:48 /test3.txt

3.3.2. 修改HDFS文件所属用户和组

用法：
hadoop fs -chown [-R] hadoop:supergroup <path>
hdfs dfs -chown [-R] hadoop:supergroup <path>
例如：
hadoop fs -chown root:supergroup /test.txt 将HDFS根目录下的test.txt文件的所有者修改为root用户，所有组为supergroup。

[hadoop@node1 ~]$ hadoop fs -chown root:supergroup /test.txt
[hadoop@node1 ~]$ hdfs dfs -ls /test.txt
-rw-r--r--   3 root supergroup         44 2023-12-02 15:11 /test.txt

3.4. 使用Jetbrians产品插件——Big Data Tools操作HDFS

3.4.1. 安装Big Data Tools插件

在任意的Jetbrians产品（如IntelliJ IDEA、PyCharm等）中，打开Settings-Plugins，搜索、安装Big Data Tools；
在这里插入图片描述
安装完成后，根据提示，重启IDE即可；
在这里插入图片描述
重启IDE后，可在IDE的右侧看到Big Data Tools的工作Tab。
在这里插入图片描述

3.4.2. 安装Hadoop并配置环境变量

1、下载Hadoop（之前其实下载）：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
2、下载后，将其解压到本地（Windows系统）的任意路径（注意：直接解压到对应的路径，不要先解压再复制或移动，因为其里面部分文件夹的路径名长度超过了Windows系统的限制，如果复制或移动的话，可能会导致部分文件夹复制失败），如：D:\Software\Work\hadoop-3.3.4；
3、在“此电脑-属性-高级系统设置-环境变量”中，增加HADOOP_HOME环境变量，其值为D:\Software\Work\hadoop-3.3.4；
在这里插入图片描述
4、下载
hadoop.dll：https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll
winutils.exe：https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe
5、将hadoop.dll和winutils.exe放入$HADOOP_HOME/bin目录中；

3.4.3. 配置Big Data Tools插件

1、打开Big Data Tools插件，新建一个HDFS链接；
在这里插入图片描述
2、Authentication Type选择为Explicit uri，File System URI修改为namenode的地址，Username修改为集群中启动HDFS的用户名，然后点击Test connection按钮，测试连通性，若显示Connected，则代表配置正确（前提是HDFS集群已启动）；
在这里插入图片描述
若在测试连接时提示HADOOP_HOME环境变量未配置，但又确实已经配置了的情况下，可以尝试重启Windows系统解决。
在这里插入图片描述3、创建完毕后，可以看到与命令行一致的HDFS系统目录结构。在这里插入图片描述

3.4.4. 使用Big Data Tools插件

1、可以在HDFS上右键，通过New Directory…创建新目录；
在这里插入图片描述
2、可以在任意文件夹上右键，通过Upload from Disk…将本地的文件或文件夹上传至HDFS；
在这里插入图片描述
3、可以鼠标左键双击HDFS系统内的文件，直接打开HDFS系统里的文件进行查看；
在这里插入图片描述
4、可以在文件或文件夹上右键，选择Save To Disk… 将HDFS系统中的文件下载到本地；
在这里插入图片描述
5、还有其他一些删除、复制、重命名等功能，均可通过该插件进行图形化界面操作。

3.4.5. 使用读取本地Hadoop配置文件的方式创建HDFS连接

1、除了上述使用namenode的IP和端口号的方式，也可以使用读取本地的Hadoop配置创建HDFS连接；
2、前序步骤已将Hadoop安装包解压在了D:\Software\Work\hadoop-3.3.4目录，此时，需要从node1虚拟机中，将虚拟机的Hadoop的所有配置文件（即/export/server/hadoop-3.3.4/etc/hadoop目录下所有的配置文件）打包下载到本地，并用虚拟机上的Hadoop配置文件覆盖本地的所有配置文件；
3、使用虚拟机中的配置文件覆盖本地的配置文件后，需要注意配置文件中的node1在本地的hosts文件中是否配置正确的IP地址，或者直接将配置文件中的节点名称改成节点对应IP地址也可以；
4、在Big Data Tools插件中进行配置，选择HADOOP_HOME/etc/hadoop路径即可；
在这里插入图片描述

3.5. 使用NFS网关功能将HDFS挂载到Windows系统（Windows系统必须为专业版，否则无法挂载）

3.5.1. 在HDFS端配置NFS

1、在node1虚拟机中，使用命令cd /export/server/hadoop-3.3.4/etc/hadoop进入hadoop配置文件夹；
2、使用vim core-site.xml命令打开配置文件，并在其中追加如下内容：

  <property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property><property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value></property>

其中：
hadoop.proxyuser.hadoop.groups配置项的值为 *，表示允许hadoop用户代理任何其他用户组；
hadoop.proxyuser.hadoop.hosts配置型的值为 *，表示允许代理任意服务器的请求。
3、使用vim hdfs-site.xml命令打开配置文件，并在其中追加如下内容：

  <property><name>nfs.superuser</name><value>hadoop</value></property><property><name>nfs.dump.dir</name><value>/tmp/.hdfs-nfs</value></property><property><name>nfs.exports.allowed.hosts</name><value>192.168.88.1 rw</value></property>

其中：
nfs.superuser配置项的值为hadoop，表示NFS操作HDFS系统时，所使用的用户为hadoop（即超级用户）；
nfs.dump.dir配置项的值为/tmp/.hdfs-nfs，表示NFS接收数据上传时使用的临时目录的路径；
nfs.exports.allowed.hosts配置项的值为192.168.88.1 rw，表示NFS允许连接的客户端的IP和权限，rw表示具有读和写的权限，IP部分也可以使用*表示所有IP均可连接（这里的192.168.88.1地址是本地电脑在虚拟机网络中的IP地址，如果这里不是虚拟机，而是真实服务器，则需要使用本机对应的公网IP或局域网IP），同时如果有多个电脑需要连接，也可以写成192.168.88.1 rw;10.0.3.5 rw;192.168.88.113 rw;的方式配置允许连接的客户端IP和权限；
4、将上述修改的两个配置文件分发到node2和node3节点：

[hadoop@node1 hadoop]$ scp core-site.xml hdfs-site.xml node2:`pwd`/
core-site.xml                                                                       100% 1334     1.7MB/s   00:00
hdfs-site.xml                                                                       100% 1617     1.9MB/s   00:00
[hadoop@node1 hadoop]$ scp core-site.xml hdfs-site.xml node3:`pwd`/
core-site.xml                                                                       100% 1334     1.6MB/s   00:00
hdfs-site.xml                                                                       100% 1617     2.0MB/s   00:00

5、使用stop-dfs.sh停止HDFS集群（必须以hadoop用户身份）；
6、停止虚拟机系统的NFS相关进程（必须以root用户身份）

# 切换成root用户
su root
# 关闭CentOS系统的nfs服务
systemctl stop nfs
# 关闭NFS服务的开机自启动，后面用HDFS自带的nfs服务
systemctl disable nfs
# 卸载rpcbind服务，后面使用HDFS自带的rpcbind服务
yum remove -y rpcbind

7、以root用户身份，使用hdfs --daemon start portmap命令启动HDFS自带的rpcbind功能，可通过jps命令查看当前进程情况，可以看到已经有一个Portmap进程启动了；
在这里插入图片描述
8、以hadoop用户身份启动HDFS自带的NFS服务：

# 切换为hadoop用户
su - hadoop
# 启动HDFS自带的NFS服务
hdfs --daemon start nfs3

9、使用start-dfs.sh命令启动HDFS集群

3.5.2. 验证NFS是否正常

以下操作需要在node2或node3执行，因为node1刚才已经卸载了系统自带的rpcbind服务，缺少了必要的2个命令。
1、执行rpcinfo -p node1命令，如果看到有mountd和nfs出现，则代表正常情况；
在这里插入图片描述
2、执行showmount -e node1命令，看到/ 192.168.88.1，表示允许192.168.88.1这个IP连接到HDFS的根目录（/）；
在这里插入图片描述

3.5.3. 在Windows系统中挂载HDFS文件系统

1、开启Windows的NFS功能：在控制面板-程序-启用或关闭Windows功能中，找到NFS服务，勾选上，点击确定，进行开启（此操作需要操作系统为专业版，若是家庭版则无法开启NFS功能）；
在这里插入图片描述
2、在Windows命令提示符（CMD）内输入：net use X: \\192.168.88.101\!
在这里插入图片描述
上述命令中，X表示将HDFS文件系统挂在成本地的X盘，这里可以改成任何没有被占用的盘符；

3、上述命令执行成功后，打开资源管理器，可以看到已经挂载好的X盘，双击即可打开查看HDFS文件系统中的文件和文件夹，也可以进行文件的上传、下载 、复制、移动、查看文件内容等，但是无法修改文件内容；
在这里插入图片描述
4、在X盘上右键选择“断开连接”，可以卸载HDFS系统（相当于umount命令）。
在这里插入图片描述

3.6. 修改HDFS数据块的副本数量

3.6.1. HDFS副本块数量的配置

1、如果没有单独配置，在HDFS中一个数据块默认大小为256MB，一个数据块默认的副本数量为3；
2、可以通过在hdfs-site.xml文件中修改如下配置，修改HDFS数据块的默认副本数量：

  <property><name>dfs.replication</name><value>3</value></property>

dfs.replication属性用于配置数据块的默认副本数量，该配置默认为3。如果需要修改这个属性，需要在每一台服务器的hdfs-site.xml文件中进行修改；
3、修改完成后，需要重启集群，配置才能生效。

3.6.2. 指定某一个文件的HDFS副本块个数

1、除了配置文件外，可以在上传的时候，为当前要上传的文件临时指定副本块数量，该指定仅对当前要上传的文件起作用，命令如下：

# 将本地的test.txt文件上传到HDFS系统的/tmp/文件夹下，并设置test.txt文件上传后的数据块副本数量为2
hadoop fs -D dfs.replication=2 -put test.txt /tmp/

2、对已经存在于HDFS系统中的文件，修改hdfs-site.xml文件中的dfs.replication属性时，不会导致这些文件的副本数量变化，但可以通过命令来实现：

# 将HDFS系统中的path路径所示的文件或文件夹的副本数量修改为2（也可以改成别的数字）
hadoop fs -setrep [-R] 2 path

-R 表示对指定路径的子目录及其下属文件也生效
例如：

hadoop fs -setrep 1 /test_3.txt

3.6.3. 使用fsck命令检查文件的副本数量

我们可以使用fsck命令检查文件的副本数量，用法：

hdfs fsck path [-files [-blocks [-locations]]]

fsck可以检查指定路径是否正常；
-files 可以列出路径内的文件状态
-files -blocks 输出文件块报告（由几个块，由几个副本）
-files -blocks -locations 可以输出每一个block的详情
用法：

hdfs fsck /test.txt -files -blocks -locations

命令执行结果如下：
在这里插入图片描述

3.6.4. block配置

对于块（block），HDFS系统默认设置为256MB一个块，也就是1GB文件会被分为4个block存储。块大小也可以通过在hdfs-site.xml文件中修改如下配置进行修改：

  <property><name>dfs.blocksize</name><value>268435456</value></property>

dfs.blocksize配置项的单位是byte，上面写的268435456即是256MB（1MB=1024KB，1KB=1024byte）

3.7. NameNode元数据管理维护

NameNode基于edits和FSImage的配合，完成整个文件系统文件的管理。

  1. 每次对HDFS系统的操作，均被edits文件记录；
  2. edits达到大小上限后，会开启新的edits文件进行记录；
  3. 定期进行edits的合并操作：
    • 如果当前没有fsimage文件，则将全部的edits合并为第一个fsimage文件；
    • 如果当前已经存在fsimage文件，将全部的edits和已经存在的fsimage进行合并，形成新的fsimage文件；
  4. 重复上述1-3步骤。

在前面介绍Hadoop配置时，在hdfs-site.xml配置文件中，配置了dfs.namenode.name.dir属性，值为/data/nn，通过查看node1服务器的/data/nn下的current目录，可以看到当前集群的edits文件和fsimage文件：
在这里插入图片描述

元数据合并的控制参数

对于元数据的合并，是一个定时执行的过程，基于hdfs-site.xml配置文件中的：

  • dfs.namenode.checkpoint.period属性配置，默认为3600（单位：秒），即1小时执行一次合并；
  • dfs.namenode.checkpoint.txns属性配置，默认1000000（单位：次），即100万次事务执行一次合并；
    上述两个条件，只要有一个达到，就触发一次合并动作。
    检查是否达到条件，默认60秒回检查一次，若想修改这个检查间隔，可以通过修改：
  • dfs.namenode.checkpoint.check.period属性配置，默认60（单位：秒）

元数据合并的工作是由SecondaryNameNode进程负责，NameNode只负责记录流水账（edits文件）：
SecondaryNameNode会通过http从NameNode拉取数据（edits和fsimage文件），然后合并完成并提供给NameNode使用。
所以在启动HDFS集群时，必须要启动SecondaryNameNode，否则就没有程序去合并edits，导致的结果就是随着HDFS的运行，查询效率会越来越低。

3.8. HDFS系统数据读写流程

3.8.1. HDFS数据写入流程

在这里插入图片描述

  1. 客户端向NameNode发起请求；
  2. NameNode审核权限、剩余空间后，满足条件允许写入，并告知客户端写入的DataNode地址；
  3. 客户端向指定的DataNode发送数据包；
  4. 被写入数据的DataNode同时完成数据副本的复制工作，将其接收的数据分发给其它DataNode；
  5. 如上图，DataNode1复制给DataNode2，然后基于DataNode2复制给Datanode3和DataNode4；
  6. 写入完成客户端通知NameNode，NameNode做元数据记录工作。

关键信息点：

  • NameNode不负责数据写入，只负责元数据记录和权限审批；
  • 客户端直接向1台DataNode写数据，这个DataNode一般是 == 离客户端最近（网络距离） == 的那一个；
  • 数据块副本的复制工作，由DataNode之间自行完成（构建一个PipLine，按顺序复制分发，如图1给2, 2给3和4）。

3.8.2. HDFS数据读取流程

在这里插入图片描述

  1. 客户端向NameNode申请读取某文件；
  2. NameNode判断客户端权限等细节后，允许读取，并返回此文件的block列表；
  3. 客户端拿到block列表后自行寻找DataNode读取即可。

关键信息点：

  • 数据同样不通过NameNode提供；
  • NameNode提供的block列表，会基于网络距离计算尽量提供离客户端最近的，这是因为1个block有3份，会尽量找离客户端最近的那一份让其读取。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/242078.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Simulink元件

Simulink元件

constant 输出常数/标量 这样我们就只输出了一个常数 输出一维数组/矢量 这样我们就输出了1-5一共5个数字 输出二维数组 这样我们就输出了4个数字 选择框Interpret vector parameters as 1-D 如果标量或者矩阵&#xff0c;勾与不勾都一样。 如果是向量&#xff0c;勾选则表…
阅读更多...
Hago 的 Spark on ACK 实践

Hago 的 Spark on ACK 实践

作者&#xff1a;华相 Hago 于 2018 年 4 月上线&#xff0c;是欢聚集团旗下的一款多人互动社交明星产品。Hago 融合优质的匹配能力和多样化的垂类场景&#xff0c;提供互动游戏、多人语音、视频直播、 3D 虚拟形象互动等多种社交玩法&#xff0c;致力于为用户打造高效、多样、…
阅读更多...
2024华为OD机试真题指南宝典—持续更新（JAVAPythonC++JS）【彻底搞懂算法和数据结构—算法之翼】

2024华为OD机试真题指南宝典—持续更新（JAVAPythonC++JS）【彻底搞懂算法和数据结构—算法之翼】

PC端可直接搜索关键词 快捷键&#xff1a;CtrlF 年份关键字、题目关键字等等 注意看本文目录-快速了解本专栏 文章目录 &#x1f431;2024年华为OD机试真题&#xff08;马上更新&#xff09;&#x1f439;2023年华为OD机试真题&#xff08;更新中&#xff09;&#x1f436;新…
阅读更多...
springCould中的consul-从小白开始【4】

springCould中的consul-从小白开始【4】

目录 1.consul介绍 ❤️❤️❤️ 2.安装 ❤️❤️❤️ 3.创建8006模块 ❤️❤️❤️ 4.创建80模块❤️❤️❤️ 1.consul介绍 ❤️❤️❤️ Consul 是一种用于服务发现、配置和分布式一致性的开源软件。它由HashiCorp开发和维护&#xff0c;可用于帮助构建和管理现代化的分布…
阅读更多...
设计模式篇---职责链模式

设计模式篇---职责链模式

文章目录 概念结构实例总结 概念 职责链模式&#xff1a;避免将一个请求的发送者与接收者耦合在一起&#xff0c;让多个对象都有机会处理请求。将接收请求的对象连接成一条链&#xff0c;并且沿着这条链传递请求&#xff0c;直到有一个对象能够处理它为止。 比如大学期间&…
阅读更多...
【MybatisPlus快速入门】(2)SpringBoot整合MybatisPlus 之 标准数据层开发 代码示例

【MybatisPlus快速入门】(2)SpringBoot整合MybatisPlus 之 标准数据层开发 代码示例

目录 1 标准CRUD使用2 新增3 删除4 修改5 根据ID查询6 查询所有7 MyBatis-Plus CRUD总结 之前我们已学习MyBatisPlus在代码示例与MyBatisPlus的简介&#xff0c;在这一节中我们重点学习的是数据层标准的CRUD(增删改查)的实现与分页功能。代码比较多&#xff0c;我们一个个来学习…
阅读更多...
05_符号表

05_符号表

05_符号表 一、符号表符号表API设计符号表实现有序符号表 一、符号表 符号表最主要的目的就是将一个键和一个值联系起来&#xff0c;符号表能够将存储的数据元素是一个键和一个值共同组成的键值对数据&#xff0c;我们可以根据键来查找对应的值。符号表中&#xff0c;键具有唯…
阅读更多...
prometheus二进制安装

prometheus二进制安装

1、在需要安装prometheus的目录下执行wget命令下载软件到本地&#xff0c;如我的路径是/opt/module/prometheus wget https://github.com/prometheus/prometheus/releases/download/v2.34.0/prometheus-2.34.0.linux-amd64.tar.gz正在解析主机 objects.githubusercontent.com …
阅读更多...
4.svn版本管理工具使用

4.svn版本管理工具使用

1. 什么是SVN 版本控制 它可以记录每一次文件和目录的修改情况，这样就可以借此将数据恢复到以前的版本，并可以查看数据的更改细节！ Subversion（简称SVN）是一个自由开源的版本控制系统。在Subversion管理下，文件和目录可以超越时空 SVN的优势 统一的版本号 Subversi…
阅读更多...
婚庆婚礼策划服务网站建设的效果如何

婚庆婚礼策划服务网站建设的效果如何

品牌效应越来越重要&#xff0c;婚庆行业在多年的发展下&#xff0c;部分区域内也跑出了头部品牌&#xff0c;连锁门店也开了很多家&#xff0c;无论新品牌还是老品牌在新的区域开店总归少不了线上线下的宣传&#xff0c;虽然几乎每个人都会接触婚庆服务&#xff0c;但因为市场…
阅读更多...
【什么是反射机制？为什么反射慢？】

【什么是反射机制？为什么反射慢？】

✅ 什么是反射机制&#xff1f;为什么反射慢&#xff1f; ✅典型解析✅拓展知识仓✅反射常见的应用场景✅反射和Class的关系 ✅典型解析 反射机制指的是程序在运行时能够获取自身的信息。在iava中&#xff0c;只要给定类的名字&#xff0c;那么就可以通过反射机制来获得类的所有…
阅读更多...
jmeter性能测试监测性能——linux安装PerfMon Server Agent

jmeter性能测试监测性能——linux安装PerfMon Server Agent

前言 这些天有性能压测的任务&#xff0c;Darren洋特意整理了一下使用jmeter来进行性能压测时使用PerfMon Server Agent来进行服务器性能资源监控的步骤。 一、下载PerfMon Server Agent PerfMon Server Agent下载传送带&#xff1a; https://github.com/undera/perfmon-age…
阅读更多...
【STM32】I2C通信

【STM32】I2C通信

基本的任务是&#xff1a;通过通信线&#xff0c;实现单片机读写外挂模块寄存器的功能。其中至少要实现在指定位置写寄存器和在指定的位置读寄存器这两个功能。 异步时序的优点&#xff1a;省一根时钟线&#xff0c;节约资源&#xff1b;缺点&#xff1a;对事件要求严格&#…
阅读更多...
python实现元旦多种炫酷高级倒计时_附源码【第19篇—python过元旦】

python实现元旦多种炫酷高级倒计时_附源码【第19篇—python过元旦】

文章目录 &#x1f30d;python实现元旦倒计时 — 初级(控制台)⛅实现效果&#x1f30b;实现源码&#x1f31c;源码讲解 &#x1f30d;python实现元旦倒计时 — 中级(精美动态图)⛅实现效果&#x1f30b;实现源码&#x1f31c;源码讲解 &#x1f30d;python实现元旦倒计时 — 高…
阅读更多...
Fireblock：为Dapp实现可编程隐私

Fireblock：为Dapp实现可编程隐私

1. 引言 Fireblock network为Cosmos生态应用链。并于2023年10月宣布完成pre-seed轮250万美金融资。 其定位为实现&#xff1a; 有条件解密可编程隐私 Fireblock使用的密码学方案有&#xff1a; distributed key generation&#xff08;DKG&#xff09;Identity-based encry…
阅读更多...
Linux网络编程——Socket编程步骤及常用API

Linux网络编程——Socket编程步骤及常用API

Sockt服务器和客户端的开发步骤 TCP connect()最好建立在listen()后&#xff0c;一旦监听到就建立连接。 UDP 常用API 包含头文件 #include<sys/types.h> #include<sys/socket.h>创建套接字&#xff08;连接协议&#xff09; 作用 用于根据指定的地址族、数据…
阅读更多...
四、ensp配置ftp服务器实验

四、ensp配置ftp服务器实验

文章目录 实验内容实验拓扑操作步骤配置路由器为ftp server 实验内容 本实验模拟企业网络。PC-1为FTP 用户端设备&#xff0c;需要访问FTP Server&#xff0c;从服务器上下载或上传文件。出于安全角度考虑&#xff0c;为防止服务器被病毒文件感染&#xff0c;不允许用户端直接…
阅读更多...
SpringBoot集成opencc4j实现繁体中文转为简体中文

SpringBoot集成opencc4j实现繁体中文转为简体中文

背景 繁体中文转为简体中文的需求非常常见&#xff0c;特别是在中文语境下的文本处理和翻译应用中。有很多现成的工具和库可以实现这个功能&#xff0c;比如 OpenCC 、 HanLP 等。从网上下载的 MySQL 版诗词数据库中的诗词数据都是繁体字&#xff0c;这里使用 SpringBoot 集成…
阅读更多...
互联网上门洗衣洗鞋小程序优势有哪些？

互联网上门洗衣洗鞋小程序优势有哪些？

互联网洗鞋店小程序相较于传统洗鞋方式&#xff0c;具有以下优势&#xff1b; 1. 便捷性&#xff1a;用户只需通过手机即可随时随地下单并查询&#xff0c;省去了许多不必要的时间和精力。学生们无需走出宿舍或校园&#xff0c;就能轻松预约洗鞋并取件。 2. 精准定位&#xff1…
阅读更多...
代码随想录刷题题Day21

代码随想录刷题题Day21

刷题的第二十一天&#xff0c;希望自己能够不断坚持下去&#xff0c;迎来蜕变。&#x1f600;&#x1f600;&#x1f600; 刷题语言&#xff1a;C Day21 任务 ● 216.组合总和III ● 17.电话号码的字母组合 1 组合总和III 216.组合总和III 思路&#xff1a; 在[1,2,3,4,5,6,…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023