yarn 卸载包_0609-6.1.0-如何卸载CDH6.1

1.文档编写目的

Fayson在两年前的文章中介绍过CDH的卸载，参考《如何卸载CDH(附一键卸载github源码)》。除非你是使用Cloudera官方提供的一键安装脚本安装的CDH，否则并没有现成的一键卸载的脚本供使用。

为了更好的理解CDH的卸载，这里再次简单介绍一下CDH的安装，CDH的安装分为Cloudera Manager或Agent的安装以及CDH的Parcel的安装，Manager和Agent我们一般是使用rpm安装的，而CDH的安装则使用Parcel。我们在卸载CDH的时候一般会先从Cloudera Manager里停止集群，删除集群，以及移除所有相关的Parcel；然后在各台机器移除Cloudera Manager和Agent相关的rpm以及安装的依赖包；最后删除各台机器上与CDH相关的目录，要理解CDH的各个安装目录，可以参考Fayson之前的文章《0509-深入分析CDH的安装目录》。本文Fayson主要介绍如何卸载Cloudera Manager6.1以及CDH6.1。

  • 测试环境

1.Redhat7.4

2.采用root用户操作

3.CM/CDH6.1

2.用户数据备份

2.1.备份HDFS数据

常见的备份HDFS数据有如下办法：

1.使用distcp将数据拷贝到另外一个Hadoop集群。

2.将数据拷贝到其他存储设备。

3.将数据分批导出到各台主机的各个磁盘上

以上三种方法你也可以只使用于关键数据，具体使用哪种方法，大家根据自己集群的规模和数据量大小可以具体选择。

2.2.备份NameNode元数据

1.登录到Active NameNode节点，将HDFS进入安全模式，并且将所有edits修改都flush到fsimage。

#因为集群启用了Kerberos，所以需要使用HDFS的keytab登录到hdfs用户才能执行管理员相关的操作[root@ip-172-31-6-83 ~]# klistTicket cache: FILE:/tmp/krb5cc_0Default principal: hdfs/ip-172-31-6-83.ap-southeast-1.compute.internal@FAYSON.COMValid starting Expires Service principal04/20/2019 22:06:23 04/21/2019 22:06:23 krbtgt/FAYSON.COM@FAYSON.COM renew until 04/25/2019 22:06:23You have new mail in /var/spool/mail/root#进入safemode模式[root@ip-172-31-6-83 ~]# hdfs dfsadmin -safemode enterSafe mode is ON in ip-172-31-4-105.ap-southeast-1.compute.internal/172.31.4.105:8020Safe mode is ON in ip-172-31-6-83.ap-southeast-1.compute.internal/172.31.6.83:8020#将所有edits修改flush到fsimage[root@ip-172-31-6-83 ~]# hdfs dfsadmin -saveNamespaceSave namespace successful for ip-172-31-4-105.ap-southeast-1.compute.internal/172.31.4.105:8020Save namespace successful for ip-172-31-6-83.ap-southeast-1.compute.internal/172.31.6.83:8020[root@ip-172-31-6-83 ~]#
001896ff9b7d364166d96fb6a8ab71a0.png

2.将NameNode元数据进行备份，根据自己集群NameNode目录进行如下操作：

[root@ip-172-31-6-83 ~]# mkdir namenode_backYou have new mail in /var/spool/mail/root[root@ip-172-31-6-83 ~]# cd namenode_back/[root@ip-172-31-6-83 namenode_back]# tar czvf nn_bak.tar.gz /dfs/nn/*
57665b38b0f5753a9a2a38a27e54f0a3.png

2.3.备份MySQL元数据

[root@ip-172-31-6-83 ~]# mkdir mysql_back[root@ip-172-31-6-83 ~]# cd mysql_back#-u后面是mysql用户名，-p单引号中是用户对应的密码，metastore为库名，metastore.sql为备份输出文件[root@ip-172-31-6-83 mysql_back]# mysqldump -uroot -p'123456' metastore > metastore.sql[root@ip-172-31-6-83 mysql_back]# mysqldump -uroot -p'123456' cm > cm.sql[root@ip-172-31-6-83 mysql_back]# mysqldump -uroot -p'123456' rm > rm.sql#执行完成后，产生如下sql文件[root@ip-172-31-6-83 mysql_back]# lltotal 49988-rw-r--r-- 1 root root 50334369 Apr 20 22:15 cm.sql-rw-r--r-- 1 root root 67402 Apr 20 22:15 metastore.sql-rw-r--r-- 1 root root 781640 Apr 20 22:16 rm.sql[root@ip-172-31-6-83 mysql_back]#
c6f6c7a74d43a28b0e99ca8570f8c1a6.png

注：如果有Hue，Sentry，Navigator数据库可以同样备份。

2.4.备份CDH集群配置数据

通过Cloudera Manager提供的API接口，导出一份JSON文件，该文件包含Cloudera Manager所有与部署相关的所有信息如：所有主机，集群，服务，角色，用户，设置等等。可以通过这份JSON文件备份或恢复Cloudera Manager的整个部署。

  • 备份集群配置数据

1.登录到Cloudera Manager所在服务器，运行如下命令：

[root@ip-172-31-6-83 mysql_back]# curl -u admin:admin "http://172.31.6.83:7180/api/v31/cm/deployment" > ./cm-deployment.json  % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed100 73388 0 73388 0 0 1363k 0 --:--:-- --:--:-- --:--:-- 1352k[root@ip-172-31-6-83 mysql_back]# ll cm-deployment.json -rw-r--r-- 1 root root 73388 Apr 20 22:36 cm-deployment.json[root@ip-172-31-6-83 mysql_back]#
dc0dc40ce6a3457827f0e25e4acdf1c4.png

admin: 登录到Cloudera Manager的用户名

admin: 对应admin_username用户的密码

172.31.6.83: 是Cloudera Manager服务器的主机IP

./cm-deployment.json: 保存配置文件的路径和文件名

将上述提到的四个参数修改当前集群对应的信息即可

  • 恢复集群配置数据

注意：此功能只有Cloudera许可证才可以使用

1.进入Cloudera Manager管理平台，停止集群服务。

626164e446e24f8143844dd1c74dc118.png
b9e2a8200e6982676bda6ec5b05540fd.png

注意：如果在进行API调用操作之前未停止集群，那么API调用将在运行作业之前停止所有集群服务，任何运行的作业和数据都会丢失。

2.登录到Cloudera Manager所在的服务器执行以下命令。

[root@ip-172-31-6-83 mysql_back]# curl -H "Content-Type: application/json" --upload-file ./cm-deployment.json -u admin:admin http://172.31.6.83:7180/api/v31/cm/deployment?deleteCurrentDeployment=true
d8a5639d8585511d2dc9da2afe4a84b0.png

注意：卸载CDH并不需要执行这一步骤还原集群相关配置，放在这里仅供参考。

3.记录用户数据目录

在后面的章节正式开始卸载时，各个组件的用户数据目录会删除。主要包括如/var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper data_drive_path/dfs data_drive_path/mapred data_drive_path/yarn，默认配置是在这些路径下。但是有些时候，你可能通过Cloudera Manager重新进行了配置。如果卸载集群时需要完全删除这些数据目录，或者为了保证你卸载后马上重新安装能成功，一旦你进行了个性化配置，你需要在Cloudera Manager中仔细检查这些目录配置并记录。

4.停止所有服务

4.1.停止集群服务

1.登录到Cloudera Manager，并停止整个集群服务。

f3923f6e5216642d42686de6bc77f792.png

2.点击“停止”

88dc22b07838f293c6871ec70a935f12.png
fa8b7fbaa9eb03b83e50d377f080bb92.png

3.等待所有服务都正常被停止。

3612aa782fca2b901221fe1baff51b47.png

4.2.停止Cloudera Management Service

1.登录到Cloudera Manager，并停止CMS服务。

f281600153727f232fbf83ed9ea25db9.png

2.点击“停止”

f811ae8957bbff7409e70f6ea50c6de8.png
60476f4b78f179ad7a4db2aff42aa30a.png

3.等待所有服务都正常被停止。

3a9c9a52b1bc24eda1acd8993a108a8f.png

5.停用并移除所有Parcel

1.登录Cloudera Manager主页，并进入Parcel页面。

8bd21df7af71440ad82a636250dcae82.png
c6814e8b977716e534a4e683d1db2bfa.png

2.“停用”CDH6的Parcel。

cb71c9aae5a96c7f899af5a93f8c34b9.png

3.“从主机删除”CDH6的Parcel

3a659e00043ee4bd1e5267992ce644f6.png
7e57439e75dc877ee70a2d72a027efb3.png

4.“删除”CDH6的Parcel。

6a575c9fbb931ebe8711f13d9f9b4b7f.png
cb16875b5917845310e09617c0a1416e.png
9d182828d4400a3ab14e8e0b94710eca.png

注：如果你的集群中还有其他Parcel，比如Kudu，Kafka，CDSW或者Spark，你需要将上面的步骤都做一遍，即“停用”->“从集群中删除”->“删除”。

6.删除集群

1.登录到Cloudera Manager，并删除整个集群。

79117d5f09f90386c499637050590b8e.png
3195160b995d11eb9f888e1f5921fc78.png

2.删除成功后，通过Cloudera Manager已经看不到集群。

27672ee51593639b998c9cc42d1d2747.png

7.卸载Cloudera Manager Server

1.登录到Cloudera Manager节点，然后停止CM Server服务。

[root@ip-172-31-6-83 ~]# systemctl stop cloudera-scm-server

2.移除Cloudera Manager Server相关包。

[root@ip-172-31-6-83 ~]# yum -y remove cloudera-manager-server
3defa6ab377faf9f48526ec6b94b64db.png

8.卸载Cloudera Manager Agent和其管理的软件

1.在所有节点停止Cloudera Manager Agent服务

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "systemctl stop supervisord"
f6e2259217ec29b2c20b4924938c00e4.png

2.在所有节点运行清除Cloudera所管理软件的命令。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "yum -y remove 'cloudera-manager-*'"
6237dd651de5d48d3180255d63b1cd6d.png

3.所有节点运行clean命令。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "yum clean all"
2768aec7710b5340ef74ce381ad674a9.png

9.移除Cloudera Manager和用户数据

9.1.Kill Cloudera Manager和相关服务的进程

1.在所有节点执行以下脚本。

for u in cloudera-scm flume hadoop hdfs hbase hive httpfs hue impala llama mapred oozie solr spark sqoop sqoop2 yarn zookeeper; do sudo kill $(ps -u $u -o pid=); done

注：如果按照前面的步骤都是正常停止CDH相关服务，该步骤可以不用执行。

9.2.移除Cloudera Manager数据

1.在所有节点执行umount命令，以下采用批量脚本执行。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "umount cm_processes"[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "df -hl"
c1dd2716af2e423bc0a7434b2f33e9a4.png
4c2272d66b95bdc731cac47cec2dd20b.png

注：可能要多次执行或者要稍微等待一会才能umount成功。

1.在所有节点删除Cloudera Manager数据。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*"
158acd3a8dd8fd2bfbdb4dbd8dc29ce8.png

9.3.移除Cloudera Manager Lock文件

1.在所有节点执行删除命令，以下采用批量脚本执行。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm /tmp/.scm_prepare_node.lock"
ca9ede166e50097c7fabbd2cc0182dbe.png

9.4.移除用户数据

1.在所有节点执行删除命令，以下采用批量脚本执行。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper /var/lib/hbase /var/lib/hive* /var/lib/impala /var/lib/llama /var/lib/sentry /var/lib/spark* /var/lib/kafka /var/lib/kudu"
659a8fe39d5f662e61c452ccd4f6d740.png

2.在所有节点执行删除Hadoop相关数据命令，以下采用批量脚本执行。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /dfs /yarn /impala"
ba8853e30b59303bcc1d10648ef10e3b.png

注：根据实际情况，该步骤每台数据节点可能会有多个DataNode或者YARN临时文件或者Impala临时文件目录，完全卸载需要都删除。

3.在所有节点删除/etc下的配置文件。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /etc/cloudera* /etc/flume* /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/kafka /etc/kudu /etc/mahout /etc/spark* /etc/llama /etc/solr /etc/sentry"
a9bcfa08c7b65b23f1aff4b7713f92c7.png

4.在所有节点删除/var/log下的日志文件夹。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /var/log/cloudera* /var/log/hadoop* /var/log/hbase /var/log/hive /var/log/hue* /var/log/impala* /var/log/kudu /var/log/oozie /var/log/spark* /var/log/zookeeper /var/log/kafka"
68da123ca952efc694aae7143b5eeb0a.png

5.在所有节点删除/opt/cloudera下的安装文件。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /opt/cloudera*"
539cf9677aa5da9cdd25ff5e4396eb1e.png

6.卸载外部数据库MySQL，并删除相关数据。

[root@ip-172-31-6-83 ~]# systemctl stop mariadb [root@ip-172-31-6-83 ~]# yum -y remove maria*[root@ip-172-31-6-83 ~]# rm -rf /var/lib/mysql*
0f24f373a390ab80913211885c79a6da.png

至此：CDH6.1卸载完毕。

参考：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_uninstall_cm.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/507543.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

xss跨站脚本攻击_网络安全xss跨站脚本攻击原理

xss跨站脚本攻击_网络安全xss跨站脚本攻击原理

以下在未经授权的网站操作均为违法行为XSS跨站脚本攻击xss的危害网络钓鱼，盗取各类账号密码我们先来看一下下面的案例：先来记住一下下面中的表我们来做一个转发上面页面显示已经登录，但是突然页面中提醒再此登录此时，我们并没有多…
阅读更多...
推荐系统--联邦学习下的矩阵分解(6)

推荐系统--联邦学习下的矩阵分解(6)

推荐系统–矩阵分解(1) 推荐系统–矩阵分解(2) 推荐系统–矩阵分解(3) 推荐系统–矩阵分解(4) 推荐系统–矩阵分解(5) 推荐系统–矩阵分解(6) 9 应用于联邦学习的矩阵分解 这个部分主要参考以下两篇论文： 2008-Collaborative Filtering for Implicit Feedback Dat…
阅读更多...
什么是联邦学习

什么是联邦学习

联邦学习 1.1 联邦学习的概念 历史：联邦学习最早在 2016 年由谷歌提出，原本用于解决安卓手机终端用户在本地更新模型的问题； 本质：联邦学习本质上是一种分布式机器学习技术，或机器学习框架。 目标：联邦学…
阅读更多...
循环自增_大学C语言—循环结构及应用

循环自增_大学C语言—循环结构及应用

基础知识常见循环结构及形式for循环for(设置初始值；循环条件判断；设置循环增减量){语句1；语句2；…… 语句n；}while循环while(条件判断){语句1；语句2；……语句n；}do-while循环d…
阅读更多...
dac0832控制电机驱动流程图_某驱动电机控制器拆解实拍照片

dac0832控制电机驱动流程图_某驱动电机控制器拆解实拍照片

小编作为一个电控专业100%小白，机缘巧合获得某纯电动汽车驱动电机控制器一台，拆解之，权为业内人士参考之用，文中显得外行、用词不对及谬误之处还请各位大神不吝赐教！外观标牌背面拆解固定托架侧面拆解固定托架拆解固定…
阅读更多...
推荐系统--安全联邦矩阵分解(7)

推荐系统--安全联邦矩阵分解(7)

相关论文: Secure Federated Matrix Factorization 论文源代码见： https://github.com/Di-Chai/FedMF 1 摘要 为了保护用户隐私和满足法律法规，联邦（机器）学习近年来获得了广泛的关注。 联邦学习的关键原则是在不需要知道每个用…
阅读更多...
联邦学习--数据攻击(1)

联邦学习--数据攻击(1)

参考论文：Deep Leakage from Gradients（NeurIPS 2019） 源代码： https://github.com/mit-han-lab/dlg 核心思想：作者通过实验得到，从梯度可以反推用户的个人信息。并验证了其在计算机视觉和自然语言处理任务…
阅读更多...
联邦学习--数据攻击(2)

联邦学习--数据攻击(2)

参考论文：See through Gradients: Image Batch Recovery via GradInversion（CVPR 2021 ） 源代码： 核心思想：解决了Deep Leakage from Gradients（NeurIPS 2019）中batch大于1效果无效的情况。 缺点…
阅读更多...
对抗攻击(1)

对抗攻击(1)

本文是根据李宏毅老师在B站上的视频整理而来，视频地址为： https://www.bilibili.com/video/BV1n3411y7xD?p65 1 无目标和有目标攻击的区别 无目标攻击：攻击后的标签不确定，只要是和原始标签差别越大越好。 有目标攻击&#xff…
阅读更多...
自注意力机制Self-attention（1）

自注意力机制Self-attention（1）

目录： 自注意力机制Self-attention（1） 自注意力机制Self-attention（2） 本文是对李宏毅老师的课程进行了整理。 视频地址为： https://www.bilibili.com/video/BV1Wv411h7kN?p23 1 问题引入 问&#xff1a…
阅读更多...
id门禁卡复制到手机_手机NFC有哪些功能？怎么设置手机门禁卡？别浪费了手机的NFC功能...

id门禁卡复制到手机_手机NFC有哪些功能？怎么设置手机门禁卡？别浪费了手机的NFC功能...

NFC功能早前都运用一些手机旗舰机中，随着手机技术的发展，现在有许多的手机都有NFC的功能，那手机中的NFC只是个摆设吗？NFC不仅仅有不依靠数据网络、安全稳定的特点，其实还有许多你不知道的功能！比如可以用来…
阅读更多...
自注意力机制Self-attention（2）

自注意力机制Self-attention（2）

目录： 自注意力机制Self-attention（1） 自注意力机制Self-attention（2） 1 内容回顾 以b2b^2b2的计算过程为例来说明： query： q1Wqa1q^1 W^q a^1q1Wqa1, q2Wqa2q^2 W^q a^2q2Wqa2, q3Wqa3q^3 …
阅读更多...
风格迁移模型测试效果

风格迁移模型测试效果

1 模型简介 Selfie2anime模型：动漫风格，训练集主要针对人物头像；对应论文为：U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation Hayao模型&a…
阅读更多...
黑白棋级别预测

黑白棋级别预测

1 当前成果 上图是对于AI级别为40级以下的对局结果统计图，横坐标是对于AI级与当前模型预测级别的差值，纵坐标是玩家的胜率。由图中可以看出，玩家胜率符合预测。当AI级别比预测级别高时，玩家胜率越来越低，反之玩家胜率会…
阅读更多...
风格迁移--U-GAT-IT模型(ICLR 2020)

风格迁移--U-GAT-IT模型(ICLR 2020)

1 论文简介 论文题目： U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation 论文代码：https://github.com/taki0112/UGATIT 论文数据集：https://github.co…
阅读更多...
毕业大论文到底怎么写？

毕业大论文到底怎么写？

本文主要写给本科生的，研究生也可以作为参考。 1 题目 题目建议控制在25字以内，能突出显示自己的主要工作即可。 “问题方法”式。比如：恶意流量检测的矩阵分解算法研究，问题是恶意流量检测，方法为矩阵分解&#xf…
阅读更多...
麻雀优化算法_多种智能优化算法应用案例分享-附代码

麻雀优化算法_多种智能优化算法应用案例分享-附代码

1.智能优化算法应用：基于灰狼算法的Otsu图像多阈值分割智能优化算法应用：基于灰狼算法的Otsu图像多阈值分割-附代码_Jack旭的博客-CSDN博客​blog.csdn.net2.智能优化算法应用：基于灰狼算法的二维Otsu图像阈值分割智能优化算法应用&#xff1…
阅读更多...
Transform机制(1)

Transform机制(1)

本文是对李宏毅老师的课程进行了整理。 视频地址为： https://www.bilibili.com/video/BV1Wv411h7kN?p35 1 引入 Transform的应用场景 2 基本原理 Transform机制由编码器（Encoder）和解码器（Decoder）构成。 编码器…
阅读更多...
CGCKD2021大会报告整理(1)--宽度学习

CGCKD2021大会报告整理(1)--宽度学习

本文先把这次听陈俊龙老师的报告截图发出来，后面再来整理宽度学习的基本原理。
阅读更多...
java根据逗号拆分_Excel技巧—超实用的字符串拆分小技巧

java根据逗号拆分_Excel技巧—超实用的字符串拆分小技巧

点赞再看，养成习惯；当断不断，反受其乱。微信搜索【亦心Excel】关注这个不一样的自媒体人。本文GitHub https://github.com/hugogoos/Excel已收录，包含Excel系统学习指南系列文章，以及各种Excel资料。我们每天都在Excel…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023