Hadoop大数据应用:NFS网关 连接 HDFS集群

目录

一、实验

1.环境

2.NFS网关 连接 HDFS集群

3. NFS客户端挂载HDFS文件系统

二、问题

1.关闭服务报错

2.rsync 同步报错

3. mount挂载有哪些参数


一、实验

1.环境

(1)主机

表1  主机

主机架构软件版本IP备注
hadoop

NameNode (已部署)

SecondaryNameNode (已部署)

ResourceManager(已部署)

hadoop

2.7.7192.168.204.50

node01

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.51
node02

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.52
node03

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.53
nfsgateway

Portmap

Nfs3

hadoop

2.7.7192.168.204.56
node04 nfs-utils192.168.204.54nfs客户端
node05  nfs-utils192.168.204.55nfs客户端

 (2)查看jps

hadoop节点

[root@hadoop hadoop]# jps

node01节点

node02节点

node03节点

2.NFS网关 连接 HDFS集群

(1) 修改主机名

[root@localhost ~]# hostnamectl set-hostname nfsgateway
[root@localhost ~]# bash

(2)配置代理用户

nfsgateway节点

[root@nfsgateway ~]# groupadd -g 800 nfsuser[root@nfsgateway ~]# useradd -u 800 -g 800 -r -d /var/hadoop nfsuser

hadoop节点


[root@hadoop ~]# groupadd -g 800 nfsuser[root@hadoop ~]# useradd -u 800 -g 800 -r -d /var/hadoop nfsuser

(3)查看用户id

[root@hadoop ~]# id nfsuser

(4)代理用户授权

[root@hadoop ~]# cd /usr/local/hadoop/
[root@hadoop hadoop]# cd etc
[root@hadoop etc]# cd hadoop/
[root@hadoop hadoop]# vim core-site.xml

修改前:

修改后:

      <property><name>hadoop.proxyuser.nfsuser.groups</name><value>*</value></property><property><name>hadoop.proxyuser.nfsuser.hosts</name><value>*</value></property>

(5)修改主机域名

[root@hadoop hadoop]# vim /etc/hosts
……
192.168.204.56 nfsgateway

(6)同步域名

[root@hadoop hadoop]# rsync -av /etc/hosts node01:/etc/
sending incremental file list
hostssent 408 bytes  received 41 bytes  898.00 bytes/sec
total size is 317  speedup is 0.71
[root@hadoop hadoop]# rsync -av /etc/hosts node02:/etc/
sending incremental file list
hostssent 408 bytes  received 41 bytes  898.00 bytes/sec
total size is 317  speedup is 0.71
[root@hadoop hadoop]# rsync -av /etc/hosts node03:/etc/
sending incremental file list
hostssent 408 bytes  received 41 bytes  898.00 bytes/sec
total size is 317  speedup is 0.71
[root@hadoop hadoop]# rsync -av /etc/hosts nfsgateway:/etc/
Warning: Permanently added 'nfsgateway,192.168.204.56' (ECDSA) to the list of known hosts.
root@nfsgateway's password:
sending incremental file list
hostssent 408 bytes  received 41 bytes  128.29 bytes/sec
total size is 317  speedup is 0.71

(7)查看 (nfsgateway节点)

[root@nfsgateway ~]# cat /etc/hosts

(8)同步Hadoop配置 (hadoop节点)

[root@hadoop hadoop]# rsync -aXSH --delete /usr/local/hadoop/etc node01:/usr/local/hadoop/
[root@hadoop hadoop]# rsync -aXSH --delete /usr/local/hadoop/etc node02:/usr/local/hadoop/
[root@hadoop hadoop]# rsync -aXSH --delete /usr/local/hadoop/etc node03:/usr/local/hadoop/

(9)停止服务

[root@hadoop hadoop]# ./sbin/stop-all.sh

(10)启动服务

[root@hadoop hadoop]# ./sbin/start-dfs.sh

(12)查看jps

[root@hadoop hadoop]# jps
68187 Jps
68060 SecondaryNameNode
67854 NameNode
[root@hadoop hadoop]# ssh node01 jps
61868 Jps
61773 DataNode
[root@hadoop hadoop]# ssh node02 jps
10842 Jps
10747 DataNode
[root@hadoop hadoop]# ssh node03 jps
61872 Jps
61777 DataNode

(13) 验证

[root@hadoop hadoop]# ./bin/hdfs dfsadmin -report
Configured Capacity: 616594919424 (574.25 GB)
Present Capacity: 598913466368 (557.78 GB)
DFS Remaining: 589148815360 (548.69 GB)
DFS Used: 9764651008 (9.09 GB)
DFS Used%: 1.63%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0-------------------------------------------------
Live datanodes (3):Name: 192.168.204.53:50010 (node03)
Hostname: node03
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 3123707904 (2.91 GB)
Non DFS Used: 5622108160 (5.24 GB)
DFS Remaining: 196785823744 (183.27 GB)
DFS Used%: 1.52%
DFS Remaining%: 95.74%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024Name: 192.168.204.51:50010 (node01)
Hostname: node01
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2998738944 (2.79 GB)
Non DFS Used: 6029377536 (5.62 GB)
DFS Remaining: 196503523328 (183.01 GB)
DFS Used%: 1.46%
DFS Remaining%: 95.61%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024Name: 192.168.204.52:50010 (node02)
Hostname: node02
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 3642204160 (3.39 GB)
Non DFS Used: 6029967360 (5.62 GB)
DFS Remaining: 195859468288 (182.41 GB)
DFS Used%: 1.77%
DFS Remaining%: 95.29%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024

(14)卸载 (nfsgateway节点)

[root@nfsgateway ~]# yum remove -y rpcbind nfs-utils

完成

(15)安装java运行环境

[root@nfsgateway ~]# yum install -y java-1.8.0-openjdk-devel.x86_64

查看jps

(16)SSH免密认证

[root@hadoop hadoop]# cd /root/.ssh/
[root@hadoop .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub 192.168.204.56
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "id_rsa.pub"
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.204.56's password:Number of key(s) added: 1Now try logging into the machine, with:   "ssh '192.168.204.56'"
and check to make sure that only the key(s) you wanted were added.

(17)关闭安全机制(需要reboot重启)

[root@nfsgateway ~]# vim /etc/selinux/config
……
SELINUX=disabled
……

 

(18)同步hadoop配置

[root@nfsgateway ~]# rsync -aXSH --delete hadoop:/usr/local/hadoop /usr/local/

(19)修改NFS网关配置文件 (nfsgateway节点)

[root@nfsgateway hadoop]# vim hdfs-site.xml

修改前:

修改后:

      <property><name>nfs.exports.allowed.hosts</name><value>* rw</value></property><property><name>nfs.dump.dir</name><value>/var/nfstmp</value></property>

(20)创建转储目录

[root@nfsgateway hadoop]# mkdir /var/nfstmp

(21)为代理用户授权

[root@nfsgateway hadoop]# chown nfsuser.nfsuser /var/nfstmp

(22)在日志文件夹为代理用户授权

删除

[root@nfsgateway hadoop]# cd logs[root@nfsgateway logs]# ls[root@nfsgateway logs]# rm -f *

授权

[root@nfsgateway hadoop]# setfacl -m u:nfsuser:rwx logs

查看授权

[root@nfsgateway hadoop]# getfacl logs

(23)启动portmap

[root@nfsgateway hadoop]# ./sbin/hadoop-daemon.sh --script ./bin/hdfs start portmap

查看jps

查看日志

(24)启动 nfs3

[root@nfsgateway hadoop]# sudo -u nfsuser ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3

查看jps

查看日志权限


 

3. NFS客户端挂载HDFS文件系统

(1)安装NFS (node04节点)

[root@node04 ~]# yum install -y nfs-utils

查看

[root@node04 ~]# showmount -e 192.168.204.56

(2)客户端一mount挂载

[root@node04 ~]# mount -t nfs -o vers=3,proto=tcp,nolock,noatime,noacl,sync 192.168.204.56:/ /mnt/

查看

[root@node04 ~]# cd /mnt/
[root@node04 mnt]# ls -l
总用量 4730432
drwxr-xr-x 5 root 2584148964        160 3月  14 11:05 devops
-rw-r--r-- 1 root 2584148964 1331869184 3月  14 15:49 jenkins.tar.gz
drwxr-xr-x 4 root 2584148964        128 3月  14 13:51 output
-rw-r--r-- 1 root 2584148964 3512090624 3月  14 15:53 pinpoint.tar.gz
drwxr-xr-x 2 root 2584148964         64 3月  14 15:15 system
-rw-r--r-- 1 root 2584148964          0 3月  14 11:11 tfile
drwx------ 3 root 2584148964         96 3月  14 13:50 tmp

(3)web查看

与NFS客户端内容一致

http://192.168.204.50:50070/

 (4)安装NFS (node05节点)

[root@node05 ~]# yum install -y nfs-utils

查看

[root@node05 ~]# showmount -e 192.168.204.56

 (5)客户端二mount挂载

[root@node05 ~]# mount -t nfs -o vers=3,proto=tcp,nolock,noatime,noacl,sync 192.168.204.56:/ /mnt/

查看

[root@node05 mnt]# cd /mnt
[root@node05 mnt]# ll

新建文件

[root@node05 mnt]# touch cicd
[root@node05 mnt]# echo 123 >cicd

(6)客户端一查看

[root@node04 mnt]# ls
cicd  devops  jenkins.tar.gz  output  pinpoint.tar.gz  system  tfile  tmp
[root@node04 mnt]# cat cicd

二、问题

1.关闭服务报错

(1)报错

node04: no datanode to stop

(2)原因分析

配置文件未移除node04节点。

(3)解决方法

[root@hadoop hadoop]# vim slaves

修改前:

修改后:

查看排除文件

[root@hadoop hadoop]# cat exclude

清空查看

[root@hadoop hadoop]# >exclude
[root@hadoop hadoop]# cat exclude

重新同步

[root@hadoop ~]# rsync -aXSH --delete /usr/local/hadoop/etc node01:/usr/local/hadoop/
[root@hadoop ~]# rsync -aXSH --delete /usr/local/hadoop/etc node02:/usr/local/hadoop/
[root@hadoop ~]# rsync -aXSH --delete /usr/local/hadoop/etc node03:/usr/local/hadoop/

成功关闭服务

[root@hadoop hadoop]# ./sbin/stop-all.sh

2.rsync 同步报错

(1)报错

(2)原因分析

未关闭安全机制。

(3)解决方法

 关闭安全机制(需要reboot重启)

[root@nfsgateway ~]# vim /etc/selinux/config
……
SELINUX=disabled
……

 

成功同步hadoop配置:

[root@nfsgateway ~]# rsync -aXSH --delete hadoop:/usr/local/hadoop /usr/local/

3. mount挂载有哪些参数

(1)参数

1)v3版本
vers=32)仅使用TCP作为传输协议
proto=tcp3)不支持随机写NLM
nolock4)禁用access time 的时间更新
noatime5)禁用acl扩展权限
noacl6)同步写入避免重排序写入
sync

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/752579.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Mysql基础】查询01-去重、连接字符、模糊查询、通配符、检索表的结构信息

这里写目录标题 1 去重 distinct2 连接字符 concat(str1,str2,...)3 模糊查询3.1 like 包含3.2 通配符3.3 between and3.4 in3.5 is null 4 安全等于 <>5 检索表的结构信息 desc6 课后练习 1 去重 distinct 使用 DISTINCT 关键字&#xff0c;可以从结果集中去除重复的行…

Mac屏幕录制编辑软件

以下是一些Mac平台上受到推荐和好评的屏幕录制编辑软件&#xff1a; OBS Studio&#xff08;免费且开源&#xff09;&#xff1a; OBS 是一款功能强大的免费屏幕录制工具&#xff0c;不仅限于游戏直播&#xff0c;也适用于各种屏幕录制需求。它允许用户捕获屏幕、摄像头、音频&…

用c++实现装箱问题、数字回转方阵

3.4.1 装箱问题 【问题】有一个工厂制造的产品形状都是长方体&#xff0c;一共有6种型号,每种型号长方体的长和宽分别是11、22、33、44、55、66,高都是h。这些产品使用统一规格的箱子进行包装&#xff0c;箱子的长、宽和高分别是6、6和h。对于每个订单工厂希望用最少的箱子进行…

【蓝屏分析】WHEA_UNCORRECTABLE_ERROR 问题分析与解决

背景信息 电脑名字电脑类型厂商使用时间magicbook14 2020款 R5 4500U笔记本电脑荣耀HONOR3年9个月 内存CPUGPU硬盘焊死在主板上焊死在主板上集显PCIe 4.0 NVMe M.2 固态 软硬件错误源确定 电脑莫名频繁随机蓝屏&#xff0c;由于在软件环境上无迹可寻推测是硬件问题 蓝屏画面…

Windows系统部署hMailServer邮件服务结合内网穿透实现公网收发邮件

文章目录 前言1. 安装hMailServer2. 设置hMailServer3. 客户端安装添加账号4. 测试发送邮件5. 安装cpolar6. 创建公网地址7. 测试远程发送邮件8. 固定连接公网地址9. 测试固定远程地址发送邮件 前言 hMailServer 是一个邮件服务器,通过它我们可以搭建自己的邮件服务,通过cpola…

运动想象 (MI) 迁移学习系列 (9) : 数据对齐(EA)

运动想象迁移学习系列:数据对齐&#xff08;EA&#xff09; 0. 引言1. 迁移学习算法流程2. 欧式对齐算法流程3. 与RA算法进行对比4. 实验结果对比5. 总结欢迎来稿 论文地址&#xff1a;https://ieeexplore.ieee.org/abstract/document/8701679 论文题目&#xff1a;Transfer Le…

数据结构:链式二叉树

对于二叉树而言,如果不是完全二叉树,就不再适合用数组存储了 二叉树结构 typedef struct BinTreeNode {int val;struct BinTreeNode* left;struct BinTreeNode* right; }BTNode; 二叉树的遍历 顺序 访问顺序(n NULL) 1.前序 根,左子树…

软考81-上午题-【面向对象技术3-设计模式】-行为型设计模式01

一、行为型设计模式一览 二、责任链模式 2-1、意图 使多个对象都有机会处理请求&#xff0c;从而避免请求的发送者和接收者之间的耦合关系。将这些对象连成一条链&#xff0c;并沿着这条链传递该请求&#xff0c;直到有一个对象处理它为止。 1-2、结构 1-3、代码实现 1-4、适…

3D产品配置器能为企业的客户带来什么好处?

3D产品配置器能够为企业的客户带来多重好处&#xff0c;提升他们的整体购物体验和满意度。 主要优势分析&#xff1a; 1、 提升购物体验&#xff1a;3D产品配置器通过提供交互式的3D可视化体验&#xff0c;使客户能够从不同角度查看和理解产品&#xff0c;从而提升他们的购物体…

银行信息系统应用架构导论-引用

一级目录二级目录金融标准和参考文档一、银行企业级应用系统架构规划企业级应用系统架构规划《金融科技发展规划&#xff08;2022-2025年&#xff09;&#xff08;2022年1月中国人民银行印发&#xff09;》 《关于银行业保险业数字化转型的指导意见&#xff08;2022年1月中国银…

Python图像处理【23】分布式图像处理

分布式图像处理 0. 前言1. Dask 简介2. 使用 Dask 进行分布式图像处理2.1 将 RGB 图像块转换为灰度图像块2.2 使用分布式 Sobel 滤波器检测图像边缘 小结系列链接 0. 前言 Python 已逐渐成为数据分析/处理领域中的主要语言&#xff0c;这得益于 Python 丰富的第三方库&#xf…

【对顶队列】【中位数贪心】【前缀和】100227. 拾起 K 个 1 需要的最少行动次数

本文涉及知识点 C算法&#xff1a;前缀和、前缀乘积、前缀异或的原理、源码及测试用例 包括课程视频 对顶队列&#xff08;栈&#xff09; 分类讨论 LeetCode100227. 拾起 K 个 1 需要的最少行动次数 给你一个下标从 0 开始的二进制数组 nums&#xff0c;其长度为 n &#x…

python redis中blpop和lpop的区别

python redis中lpop()方法是获取并删除左边第一个对象。 def lpop(self,name: str,count: Optional[int] None,) -> Union[Awaitable[Union[str, List, None]], Union[str, List, None]]:"""Removes and returns the first elements of the list name.By de…

VR历史建筑漫游介绍|虚拟现实体验店加盟|VR设备购买

VR历史建筑漫游是一种利用虚拟现实技术&#xff0c;让用户可以身临其境地参观和探索历史建筑的体验。通过VR头显和相关设备&#xff0c;用户可以在虚拟环境中自由移动和互动&#xff0c;感受历史建筑的真实氛围和文化内涵。 在VR历史建筑漫游中&#xff0c;您可以选择不同的历史…

为什么手机和电视ip地址不一样

在数字化时代&#xff0c;我们每天都会与各种电子设备打交道&#xff0c;其中最常见的就是手机和电视。当我们连接到互联网时&#xff0c;这些设备都会被分配一个独特的IP地址&#xff0c;用于在网络上进行标识和通信。然而&#xff0c;您可能已经注意到&#xff0c;即使手机和…

基于java+springboot+vue实现的高校教师工作量管理系统(文末源码+Lw+ppt)23-451

摘 要 高校教师工作量管理系统采用B/S架构&#xff0c;数据库是MySQL。网站的搭建与开发采用了先进的java进行编写&#xff0c;使用了springboot框架。该系统从两个对象&#xff1a;由管理员和教师来对系统进行设计构建。主要功能包括&#xff1a;个人信息修改&#xff0c;对…

vue2点击左侧的树节点(el-tree)定位到对应右侧树形表格(el-table)的位置,树形表格懒加载

左侧树代码 <el-tree :data"treeData" node-key"id" default-expand-all"" //节点默认全部展开:expand-on-click-node"false" //是否在点击节点的时候展开或者收缩节点:props"defaultProps" node-click"handleNodeC…

《LeetCode热题100》笔记题解思路技巧优化_Part_2

《LeetCode热题100》笔记&题解&思路&技巧&优化_Part_2 &#x1f60d;&#x1f60d;&#x1f60d; 相知&#x1f64c;&#x1f64c;&#x1f64c; 相识&#x1f622;&#x1f622;&#x1f622; 开始刷题普通数组&#x1f7e1;1. 最大子数组和&#x1f7e1;2. 合…

【FX110】突发:经纪商CAPITAL.COM暂停接受英国客户

经纪商 Capital.com 宣布暂时停止接收来自英国的新客户。 当访问英国的Capital.com网站并尝试开设账户时&#xff0c;用户会收到一条消息&#xff0c;指出该公司“已决定暂时暂停在英国接纳新客户”。 声明表示&#xff0c;“作为一家企业&#xff0c;我们发展迅速&#xff0c;…

无人机三维建模过程中注意事项

无人机三维建模是指利用无人机技术进行三维建模&#xff0c;该方法通过无人机搭载的多种传感器&#xff0c;如摄像头、激光扫描仪等&#xff0c;获取建筑物的多角度影像数据&#xff0c;然后利用计算机视觉技术和三维重建算法&#xff0c;将这些影像数据转化为高精度的三维模型…