大神如何一招完美解决Hadoop集群无法正常关闭的问题!| 博文精选


来源 | CSDN 博客

作者 | Alice菌,责编 | Carol

出品 | CSDN云计算(ID:CSDNcloud)

相信对于大部分的大数据初学者来说,一定遇见过Hadoop集群无法正常关闭的情况。有时候当我们更改了Hadoop内组件的配置文件后,必须要通过重启集群来使配置文件生效。

        

但往往一stop-all.sh,集群下方总会出现下面的提示:

最开始的时候,我也是看了一个头两个大,这都是啥么情况???

但问题都出来了,只有迎面解决了~

我们都知道在Hadoop中控制脚本启动和停止Hadoop后台程序的是哪个脚本。

没错,就是Hadoop-daemon.sh

先让我们利用find命令找到它的位置

find / -name Hadoop-daemon.sh

通过vim /export/servers/Hadoop-2.6.0-cdh5.14.0/sbin/Hadoop-daemon.sh

在文件的最后几行,我们终于找到了答案:

初步分析,如果pid文件不存在就会打印:no xxx to stop

那我们上述出现的情况无非就是Hadoop集群关闭的时候,Namenode或者DataNode的pid文件找不着。

通过配置文件最初的描述,我们大概知道pid文件默认是保存在tmp目录下

那这个pid文件是啥?根据查阅资料,方知Hadoop启动后,会把进程的PID号存储在一个文件中,这样执行stop-dfs脚本时就可以按照进程PID去关闭进程了。

现在问题原因很明确了,就是/tmp目录下的Hadoop-*.pid的文件找不到了。

我们知道/tmp是临时目录,系统会定时清理该目录中的文件。显然把pid文件放在这里是不靠谱的,pid文件长时间不被访问,早被清理了!

所以我们只需要在配置文件中更改默认的pid存放位置即可。但注意,需要先通过kill等方法把进程杀死,等集群关闭之后再更改!

同样的道理,你还需要修改yarn-daemon.sh配置文件。

好了,从此再也不用担心出现no xxx to stop的警告了!

你有什么心得或者建议,可以在评论处和我们分享哦!

推荐阅读:利用丁香园数据生成疫情分布地图(R语言)| 博文精选
2020云计算,是四强争霸还是赢家通吃?
PHP 8 能有多快?
“夸夸机器人”App来了:变身百万粉丝大V,48万人给你的帖子点赞
2019年度区块链安全复盘总结
在家办公,我比上班还累你信吗?
真香,朕在看了!猛戳“阅读原文”,填写中国远程办公-调查问卷

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/519214.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

oracle怎么查语句消耗时常,Oracle 查找常见耗性能的语句

-- 最耗缓存SELECT * FROM (SELECT SQL_FULLTEXT sql,buffer_gets, executions, buffer_gets/executions "Gets/Exec",hash_value,address,LAST_ACTIVE_TIMEFROM V$SQLAREAWHERE buffer_gets > 10000ORDER BY buffer_gets DESC)WHERE rownum < 10 ;-- 最多物理…

现代IM系统中的消息系统架构 - 架构篇

前言 IM全称是『Instant Messaging』&#xff0c;中文名是即时通讯。在这个高度信息化的移动互联网时代&#xff0c;生活中IM类产品已经成为必备品&#xff0c;比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微信已经成长为一个生态型产品&#xff0c;但其核心功…

ORA-12505, TNS:listener does not currently know of SID given in connect descriptor

ORA-12505: TNS: 监听程序当前无法识别连接描述符中所给出的SID 给程序配置新的数据库的时候&#xff0c;出现了以下错误 ORA-12505, TNS:listener does not currently know of SID given in connect descriptor说明给到的sid有误,很有可能就是服务名和sid混淆使用。 首先了解…

华南地区最大数据中心上线 阿里云河源数据中心正式开服

2月18日&#xff0c;阿里云在官网宣布&#xff0c;河源数据中心正式对外提供服务。这是华南地区规模最大的绿色数据中心&#xff0c;可容纳超过30万台服务器&#xff0c;作为深圳地域的新可用区为华南地区上百万企业客户提供领先的云计算、人工智能、物联网等服务。 据悉&#…

在阿里做了五年技术主管,我有话想说

阿里妹导读&#xff1a;在历史文章《如何成为优秀的技术主管&#xff1f;》中&#xff0c;阿里巴巴高级技术专家云狄从开发规范、开发流程、技术规划与管理三个角度&#xff0c;分享对技术 TL 的理解与思考。 今天的文章&#xff0c;他将继续深入探讨这一话题&#xff0c;从管理…

oracle删除查询的数据库语句,Oracle简略的语句 查询 删除 修改(1)

Oracle简单的语句 查询 删除 修改(1)Dual系统表介绍数据类型&#xff1a;数据是信息数字表现形式,信息的加工处理是以大量的结构化数据为载体进行的,数据库管理系统的核心是数据库,数据库的主要对象是表,表是结构化数据存储的地方.Oracle系统也提供了大量的数据类型主要包括两大…

Fish Redux中的Dispatch是怎么实现的?

零.前言 我们在使用fish-redux构建应用的时候&#xff0c;界面代码&#xff08;view&#xff09;和事件的处理逻辑&#xff08;reducer&#xff0c;effect&#xff09;是完全解耦的&#xff0c;界面需要处理事件的时候将action分发给对应的事件处理逻辑去进行处理&#xff0c;…

装载服务器安装和配置_一站式解决方案

文章目录一、安装搭建篇1.1. 安装ORACLE客户端1.2. 安装LFTP1.3. 安装DBI和DBD&#xff08;1.4. 将应用包导入数据加载服务器1.5. 数据库账号密码加密策略二、进阶篇2.1. 数据库操作2.2. 加载器操作2.3. 数据库连接2.4. 模型变更2.5. 装载数据到目标表2.6. 装载特殊场景三、特色…

码上用它开始Flutter混合开发——FlutterBoost

开源地址: https://github.com/alibaba/flutter_boost为什么需要混合方案 具有一定规模的App通常有一套成熟通用的基础库&#xff0c;尤其是阿里系App&#xff0c;一般需要依赖很多体系内的基础库。那么使用Flutter重新从头开发App的成本和风险都较高。所以在Native App进行渐…

Linux系统常用指令总结

来源 | CSDN 博客作者 | 不撸代码闲得慌&#xff0c;责编 | Carol出品 | CSDN云计算&#xff08;ID&#xff1a;CSDNcloud&#xff09;系统的运行级别0&#xff1a;关机1&#xff1a;单用户模式&#xff08;可以找回丢失的密码&#xff09;2&#xff1a;多用户状态没有网络服务…

在php中调用java接口吗,php 调用 java 接口

php 需要开启 curl模块/** HTTP 请求函数封装*/function http_request_cloudzone($url, $data){//var_dump($url."test");if(!$url){return "";}$ch curl_init ();curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); //禁用证书curl_setopt($ch, CURLOPT_…

像数据科学家一样思考:12步指南(下)

第三阶段-完成 一旦产品构建完成&#xff0c;你仍然需要做一些事情来使项目更加成功并使你的未来生活更轻松。那么我们如何完成数据科学项目呢&#xff1f; 10-交付产品 完成阶段的第一步是产品交付。为了创建可以交付给客户的有效产品&#xff0c;首先必须了解客户的观点。其…

数据加载操作手册

文章目录一、基础资料准备1.1.表名规约1.2.设计1套临时表和1套同构层表1.3.存储过程二、流程规范2.1. 生成控制文件(.ctl)2.2. 拉取ods推送的数据文件2.3. 数据加载数据同步三、手动调度3.1. 到下载的数据文件路径&#xff1a;3.2. 数据文件筛选3.3. 将要加载的表的备份表清空;…

基于Tablestore管理海量快递轨迹数据架构实现

快递轨迹管理 对于一个快递公司&#xff0c;在全国范围内有着大量的快递点、快递员、运输车辆以及仓储中心。而快递自产生后&#xff0c;就会在这些地点、人物之间流转。因而&#xff0c;一套完善的快递管理追踪系统是快递公司的重要管理工具&#xff1b; 用户通过平台客户端…

完了!Python黄了! 80%的程序员:痛快!你怎么看?

Python真的万能语言&#xff1f;在我的一个朋友看来&#xff0c;他坚信 Python 可以做任何事情。其实我是不服的&#xff0c;因为我在某网站看到有条评论&#xff1a;Python将要黄了&#xff01;事实究竟如何&#xff1f;这篇文章会揭开这个黑幕&#xff0c;让程序员看清现实&a…

趣谈预留实例券,一文搞懂云上省钱最新玩法

ECS近期推出了预留实例券&#xff08;Reserved Instances&#xff09;&#xff0c;简称RI&#xff0c;这东西很cool&#xff0c;今天我们聊聊这个。 首先这篇Blog不是文档&#xff0c;读完后想详细了解文档的朋友请点击 一个小故事 我来给大家讲一个故事理解云上的几种付费方…

到底什么是空指针?如何避免空指针_01

文章目录1. 场景案例2. 针对于空指针的场景&#xff0c;有哪些方式可以避免问题1. 场景案例 package com.gblfy;import org.springframework.beans.factory.annotation.Autowired;import javax.servlet.http.HttpServletRequest;/*** 理解什么是空指针*/ public class WhatIsn…

在 IntelliJ IDEA 中部署应用到服务器(Eclipse)

在之前的文章《在 Intellij IDEA 中部署 Java 应用到 阿里云 ECS》中讲解了如何将一个本地应用部署到阿里云 ECS 上去&#xff0c;有些读者反馈目前还有一些测试机器是在经典网络&#xff0c;甚至是在本地机房中&#xff0c;咨询是否可以通过 Cloud Toolkit 插件将应用部署到这…

linux所有文件打包压缩,Linux基础教程:对文件打包压缩

一、须知文件数量太多&#xff0c; 如果需要拷来拷去是不是很麻烦&#xff1f; 怎么办&#xff1f; 打包&#xff01;文件太大&#xff0c;通过网络下载、传输会不会很费时间&#xff1f; 怎么办&#xff1f; 压缩&#xff01;在Linux环境中&#xff0c;打包压缩文件的…

钉钉平台助力中国一汽疫情防控 数字化迈入新阶段

面对突如其来的疫情&#xff0c;中国一汽紧急应对、快速响应&#xff0c;携旗下一汽-大众、一汽丰田捐赠资金8100万元&#xff0c;并成立了疫情防控专项基金。同时&#xff0c;通过旗下“一汽出行”公司组织 “特别爱心车队”&#xff0c;在抗击疫情期间&#xff0c;提供安全、…