「大数据-2.1」HDFS集群启停命令

目录

一、HDFS集群一键启停脚本

1. HDFS集群的一键启动脚本

2. HDFS集群的一键关闭脚本

二、单进程启停

1. hadoop-daemon.sh脚本

2. hdfs脚本

三、总结

1. 一键启停脚本

2. 独立进程启停


一、HDFS集群一键启停脚本

        Hadoop HDFS组件内置了HDFS集群的一键启停脚本。

1. HDFS集群的一键启动脚本

一键启动HDFS集群:
$HADOOP_HOME/sbin/start-dfs.sh如果配置好了环境变量可以直接使用:
start-dfs.sh执行原理: 
在执行此脚本的机器上,启动SecondaryNameNode
读取core-site.xml文件中的fs.defaultFS项,确认NameNode所在机器,启动NameNode
读取workers内容,确认DataNode所在机器,启动全部DataNode

2. HDFS集群的一键关闭脚本

一键关闭HDFS集群:
$HADOOP_HOME/sbin/stop-dfs.sh如果配置好了环境变量可以直接使用:
stop-dfs.sh执行原理: 
在执行此脚本的机器上,关闭SecondaryNameNode
读取core-site.xml文件的fs.defaultFS项,确认NameNode所在机器,关闭NameNode
​​​​​​​读取workers内容,确认DataNode所在机器,关闭全部NameNode


二、单进程启停

        除了一键启停外,Hadoop HDFS组件也内置了可以单独控制进程的启停的脚本,也就是单独控制集群中某个节点的开启和关闭。

1. hadoop-daemon.sh脚本

        $HADOOP_HOME/sbin/hadoop-daemon.sh,此脚本可以单独控制脚本所在机器的进程的启停,配置好环境变量后,可直接使用hadoop-daemon.sh来控制脚本所在机器的进程的启停。


用法:

使用脚本参数来控制进程启停:
$HADOOP_HOME/sbin/hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)如果已经配置好环境变量,可使用:
hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)启动namenode:
hadoop-daemon.sh start namenode
关闭namenode:
hadoop-daemon.sh stop namenode

2. hdfs脚本

        $HADOOP_HOME/bin/hdfs,此程序也可以用以单独控制脚本所在机器的进程的启停。


用法:

使用脚本参数来控制进程启停:
$HADOOP_HOME/bin/hdfs (start|status|stop) (namenode|secondarynamenode|datanode)如果已经配置好环境变量,可使用:
hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)启动namenode:
hdfs --daemon start namenode
关闭namenode:
hdfs --daemon stop namenode


三、总结

        打开虚拟机后先切换到安装了Hadoop的用户,再使用Hadoop HDFS组件内置的脚本启动HDFS集群。

1. 一键启停脚本

  • $HADOOP_HOME/sbin/start-dfs.sh
  • $HADOOP_HOME/sbin/stop-dfs.sh

如果配置好了环境变量可直接使用:

  • start-dfs.sh
  • stop-dfs.sh

2. 独立进程启停

  • $HADOOP_HOME/sbin/hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)
  • $HADOOP_HOME/bin/hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

如果配置好了环境变量可直接使用:

  • hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)
  • hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/87258.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ubuntu20.04 jammy 安装ros2

ubunut22.04 jammy(5.15) ros2版本: humble 安装参考: Ubuntu (Debian packages) — ROS 2 Documentation: Humble documentationl 按照官方给的操作指南进行操作即可,到安装软件包的时候,若只为开发&#xff0…

【LeetCode热题100】--56.合并区间

56.合并区间 排序: 如果按照区间的左端点排序,那么在排完序的列表中,可以合并的区间一定是连续的,如下图所示,标记为蓝色、黄色和绿色的区间分别可以合并为一个大区间,它们在排完序的列表中是连续的 算法&a…

安科瑞AMC16-DETT铁塔jizhan直流电能计量模块,直流计量用

安科瑞虞佳豪壹捌柒陆壹伍玖玖零玖叁 9月20日,在杭州亚运会火炬传递的现场,不少人通过网络与亲友连线,共同见证火炬传递的历史时刻。上午6时,杭州铁塔的一线通信保障人员共27人就已经在本次火炬传递收官点位奥体中心西广场附近&a…

【操作系统笔记九】并发安全问题

用户态抢占和内核态抢占 内核中可以执行以下几种程序: ① 当前运行的进程:陷阱程序(系统调用) 和 故障程序(page fault) ,进程运行在内核态的时候,其实就是在执行进程在用户态触发的…

关于安卓SVGA浅尝(一)svgaplayer库的使用

关于安卓SVGA浅尝(一)使用 相关链接 SVGA官网 SVGA-github说明文档 背景 项目开发,都会和动画打交道,动画的方案选取,就有很多选择。如Json动画,svga动画,gif等等。各有各的优势。目前项目中…

【PCIE702-1】基于Kintex UltraScale系列FPGA的高性能PCIe总线数据预处理载板

PCIE702-1是一款基于PCIE总线架构的高性能数据预处理FMC载板,板卡采用Xilinx的高性能Kintex UltraScale系列FPGA作为实时处理器,实现各个接口之间的互联。板卡具有1个FMC(HPC)接口,1路PCIe x8主机接口,板载…

AxureRP制作静态站点发布互联网,实现公网访问【内网穿透】

AxureRP制作静态站点发布互联网,内网穿透实现公网访问 文章目录 AxureRP制作静态站点发布互联网,内网穿透实现公网访问前言1.在AxureRP中生成HTML文件2.配置IIS服务3.添加防火墙安全策略4.使用cpolar内网穿透实现公网访问4.1 登录cpolar web ui管理界面4…

【实战项目之个人博客】

目录 项目背景 项目技术栈 项目介绍 项目亮点 项目启动 1.创建SSM(省略) 2.配置项目信息 3.将前端页面加入到项目中 4.初始化数据库 5.创建标准分层的目录 6.创建和编写项目中的公共代码以及常用配置 7.创建和编写业务的Entity、Mapper、…

认识HTTP和HTTPS协议

HTTPS 是什么 HTTPS 也是一个应用层协议. 是在 HTTP 协议的基础上引入了一个加密层. 为什么要引入加密层呢? HTTP 协议内容都是按照文本的方式明文传输的. 这就导致在传输过程中出现一些被篡改的情况. HTTPS就是在HTTP的基础上进行了加密,进一步的保…

Qt QCustomPlot介绍

介绍 主要介绍qcustomplot及其用法 最新版本:QCustomPlot Patch Release 2.1.1//November 6, 2022 下载:https://www.qcustomplot.com/index.php/download 官网:https://www.qcustomplot.com/index.php 简单使用 mainwindow.h /**************************************…

2023年8月京东洗烘套装行业品牌销售排行榜(京东数据开放平台)

鲸参谋监测的京东平台8月份洗烘套装市场销售数据已出炉! 根据鲸参谋平台的数据显示,今年8月份,京东平台洗烘套装的销量为1.1万,同比增长约218%;销售额约为1.2亿,同比增长约279%。可以看到,洗烘…

清华用7个ChatGPT模拟《狼人杀》,结果出乎意料!

为了验证大语言模型的沟通、规划、反思等拟人化能力,清华研究团队发布了一篇名为“探索大语言模型在交流游戏中的应用:《狼人杀》实验”的研究论文。 结果显示,通过ChatGPT(GPT -turbo-0301)构建的7个玩家&#xff0c…

HEC-RAS 1D/2D水动力与水环境模拟从小白到精通

专题一 水动力模型基础 1.水动力模型的本质 2.水动力模型的基本方程与适用范围 3.模型建模要点 4.注意事项与建模经验 专题二 恒定流模型(1D/2D) 1.恒定流及其适用范围 2.水面线分析及其数据要求 3.曼宁公式与恒定流,后处理 4.HEC-RA的水工建筑物&#xff…

【计算机网络】IP协议第二讲(Mac帧、IP地址、碰撞检测、ARP协议介绍)

IP协议第二讲 1.IP和Mac帧2.碰撞检测2.1介绍2.2如何减少碰撞发生2.3MTU2.4一些补充 3.ARP协议3.1协议介绍3.2报文格式分析 1.IP和Mac帧 IP(Internet Protocol)和MAC(Media Access Control)帧是计算机网络中两个不同层次的概念&am…

Swift SwiftUI 隐藏键盘

如果仅支持 iOS 15 及更高版本,则可以通过聚焦和取消聚焦来激活和关闭文本字段的键盘。 在最简单的形式中,这是使用 FocusState 属性包装器和 focusable() 修饰符完成的-第一个存储一个布尔值,用于跟踪第二个当前是否被聚焦。 Code struct C…

视频直播美颜sdk与计算机视觉的奇妙结合

在数字时代,视频直播已经成为了人们分享生活、娱乐互动的重要方式之一。而随着社交媒体和在线直播平台的不断发展,用户们对于直播质量和体验提出了越来越高的要求。其中之一就是美颜效果。美颜不仅仅是为了矫正自身缺陷,它更是一种增强直播吸…

牛客练习赛116

(0条未读通知) 牛客练习赛116_ACM/NOI/CSP/CCPC/ICPC算法编程高难度练习赛_牛客竞赛OJ (nowcoder.com) A.等差数列 对于此题可以分为两类: 1.当k 0,此时A1,A2...值都为a 2.当k ! 0,此时又分为两大类: 1.平局(发现A1,A2,A3等连…

Automation Anywhere推出新的生成式AI自动化平台,加速提高企业生产力

在9 月 19 日的Imagine 2023 大会上,智能自动化领域的领导者 Automation Anywhere 宣布对其自动化平台进行扩展。推出了新的 Responsible AI Layer,并宣布了四项关键产品更新,包括全新的 Autopilot,它可以利用生成式 AI &#xff…

堆的介绍与堆的实现和调整

个人主页:Lei宝啊 愿所有美好如期而遇 目录 ​​堆的介绍: 关于堆的实现及相关的其他问题: 堆的初始化: 堆的销毁: 插入建堆: 堆向上调整: 交换两个节点的值: 堆向下调整&a…

邓俊辉《数据结构》→ “2.6.5 二分查找(版本A)”之“成功查找长度”递推式推导

【问题描述】 邓俊辉的《数据结构(C语言版)(第3版)》(ISBN:9787302330646)中,开始于第48页的“2.6.5 二分查找(版本A)”内容在第50页详述了“成功查找长度”的…