yarn 卸载包_0609-6.1.0-如何卸载CDH6.1

1.文档编写目的

Fayson在两年前的文章中介绍过CDH的卸载，参考《如何卸载CDH(附一键卸载github源码)》。除非你是使用Cloudera官方提供的一键安装脚本安装的CDH，否则并没有现成的一键卸载的脚本供使用。

为了更好的理解CDH的卸载，这里再次简单介绍一下CDH的安装，CDH的安装分为Cloudera Manager或Agent的安装以及CDH的Parcel的安装，Manager和Agent我们一般是使用rpm安装的，而CDH的安装则使用Parcel。我们在卸载CDH的时候一般会先从Cloudera Manager里停止集群，删除集群，以及移除所有相关的Parcel；然后在各台机器移除Cloudera Manager和Agent相关的rpm以及安装的依赖包；最后删除各台机器上与CDH相关的目录，要理解CDH的各个安装目录，可以参考Fayson之前的文章《0509-深入分析CDH的安装目录》。本文Fayson主要介绍如何卸载Cloudera Manager6.1以及CDH6.1。

  • 测试环境

1.Redhat7.4

2.采用root用户操作

3.CM/CDH6.1

2.用户数据备份

2.1.备份HDFS数据

常见的备份HDFS数据有如下办法：

1.使用distcp将数据拷贝到另外一个Hadoop集群。

2.将数据拷贝到其他存储设备。

3.将数据分批导出到各台主机的各个磁盘上

以上三种方法你也可以只使用于关键数据，具体使用哪种方法，大家根据自己集群的规模和数据量大小可以具体选择。

2.2.备份NameNode元数据

1.登录到Active NameNode节点，将HDFS进入安全模式，并且将所有edits修改都flush到fsimage。

#因为集群启用了Kerberos，所以需要使用HDFS的keytab登录到hdfs用户才能执行管理员相关的操作[root@ip-172-31-6-83 ~]# klistTicket cache: FILE:/tmp/krb5cc_0Default principal: hdfs/ip-172-31-6-83.ap-southeast-1.compute.internal@FAYSON.COMValid starting Expires Service principal04/20/2019 22:06:23 04/21/2019 22:06:23 krbtgt/FAYSON.COM@FAYSON.COM renew until 04/25/2019 22:06:23You have new mail in /var/spool/mail/root#进入safemode模式[root@ip-172-31-6-83 ~]# hdfs dfsadmin -safemode enterSafe mode is ON in ip-172-31-4-105.ap-southeast-1.compute.internal/172.31.4.105:8020Safe mode is ON in ip-172-31-6-83.ap-southeast-1.compute.internal/172.31.6.83:8020#将所有edits修改flush到fsimage[root@ip-172-31-6-83 ~]# hdfs dfsadmin -saveNamespaceSave namespace successful for ip-172-31-4-105.ap-southeast-1.compute.internal/172.31.4.105:8020Save namespace successful for ip-172-31-6-83.ap-southeast-1.compute.internal/172.31.6.83:8020[root@ip-172-31-6-83 ~]#
001896ff9b7d364166d96fb6a8ab71a0.png

2.将NameNode元数据进行备份，根据自己集群NameNode目录进行如下操作：

[root@ip-172-31-6-83 ~]# mkdir namenode_backYou have new mail in /var/spool/mail/root[root@ip-172-31-6-83 ~]# cd namenode_back/[root@ip-172-31-6-83 namenode_back]# tar czvf nn_bak.tar.gz /dfs/nn/*
57665b38b0f5753a9a2a38a27e54f0a3.png

2.3.备份MySQL元数据

[root@ip-172-31-6-83 ~]# mkdir mysql_back[root@ip-172-31-6-83 ~]# cd mysql_back#-u后面是mysql用户名，-p单引号中是用户对应的密码，metastore为库名，metastore.sql为备份输出文件[root@ip-172-31-6-83 mysql_back]# mysqldump -uroot -p'123456' metastore > metastore.sql[root@ip-172-31-6-83 mysql_back]# mysqldump -uroot -p'123456' cm > cm.sql[root@ip-172-31-6-83 mysql_back]# mysqldump -uroot -p'123456' rm > rm.sql#执行完成后，产生如下sql文件[root@ip-172-31-6-83 mysql_back]# lltotal 49988-rw-r--r-- 1 root root 50334369 Apr 20 22:15 cm.sql-rw-r--r-- 1 root root 67402 Apr 20 22:15 metastore.sql-rw-r--r-- 1 root root 781640 Apr 20 22:16 rm.sql[root@ip-172-31-6-83 mysql_back]#
c6f6c7a74d43a28b0e99ca8570f8c1a6.png

注：如果有Hue，Sentry，Navigator数据库可以同样备份。

2.4.备份CDH集群配置数据

通过Cloudera Manager提供的API接口，导出一份JSON文件，该文件包含Cloudera Manager所有与部署相关的所有信息如：所有主机，集群，服务，角色，用户，设置等等。可以通过这份JSON文件备份或恢复Cloudera Manager的整个部署。

  • 备份集群配置数据

1.登录到Cloudera Manager所在服务器，运行如下命令：

[root@ip-172-31-6-83 mysql_back]# curl -u admin:admin "http://172.31.6.83:7180/api/v31/cm/deployment" > ./cm-deployment.json  % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed100 73388 0 73388 0 0 1363k 0 --:--:-- --:--:-- --:--:-- 1352k[root@ip-172-31-6-83 mysql_back]# ll cm-deployment.json -rw-r--r-- 1 root root 73388 Apr 20 22:36 cm-deployment.json[root@ip-172-31-6-83 mysql_back]#
dc0dc40ce6a3457827f0e25e4acdf1c4.png

admin: 登录到Cloudera Manager的用户名

admin: 对应admin_username用户的密码

172.31.6.83: 是Cloudera Manager服务器的主机IP

./cm-deployment.json: 保存配置文件的路径和文件名

将上述提到的四个参数修改当前集群对应的信息即可

  • 恢复集群配置数据

注意：此功能只有Cloudera许可证才可以使用

1.进入Cloudera Manager管理平台，停止集群服务。

626164e446e24f8143844dd1c74dc118.png
b9e2a8200e6982676bda6ec5b05540fd.png

注意：如果在进行API调用操作之前未停止集群，那么API调用将在运行作业之前停止所有集群服务，任何运行的作业和数据都会丢失。

2.登录到Cloudera Manager所在的服务器执行以下命令。

[root@ip-172-31-6-83 mysql_back]# curl -H "Content-Type: application/json" --upload-file ./cm-deployment.json -u admin:admin http://172.31.6.83:7180/api/v31/cm/deployment?deleteCurrentDeployment=true
d8a5639d8585511d2dc9da2afe4a84b0.png

注意：卸载CDH并不需要执行这一步骤还原集群相关配置，放在这里仅供参考。

3.记录用户数据目录

在后面的章节正式开始卸载时，各个组件的用户数据目录会删除。主要包括如/var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper data_drive_path/dfs data_drive_path/mapred data_drive_path/yarn，默认配置是在这些路径下。但是有些时候，你可能通过Cloudera Manager重新进行了配置。如果卸载集群时需要完全删除这些数据目录，或者为了保证你卸载后马上重新安装能成功，一旦你进行了个性化配置，你需要在Cloudera Manager中仔细检查这些目录配置并记录。

4.停止所有服务

4.1.停止集群服务

1.登录到Cloudera Manager，并停止整个集群服务。

f3923f6e5216642d42686de6bc77f792.png

2.点击“停止”

88dc22b07838f293c6871ec70a935f12.png
fa8b7fbaa9eb03b83e50d377f080bb92.png

3.等待所有服务都正常被停止。

3612aa782fca2b901221fe1baff51b47.png

4.2.停止Cloudera Management Service

1.登录到Cloudera Manager，并停止CMS服务。

f281600153727f232fbf83ed9ea25db9.png

2.点击“停止”

f811ae8957bbff7409e70f6ea50c6de8.png
60476f4b78f179ad7a4db2aff42aa30a.png

3.等待所有服务都正常被停止。

3a9c9a52b1bc24eda1acd8993a108a8f.png

5.停用并移除所有Parcel

1.登录Cloudera Manager主页，并进入Parcel页面。

8bd21df7af71440ad82a636250dcae82.png
c6814e8b977716e534a4e683d1db2bfa.png

2.“停用”CDH6的Parcel。

cb71c9aae5a96c7f899af5a93f8c34b9.png

3.“从主机删除”CDH6的Parcel

3a659e00043ee4bd1e5267992ce644f6.png
7e57439e75dc877ee70a2d72a027efb3.png

4.“删除”CDH6的Parcel。

6a575c9fbb931ebe8711f13d9f9b4b7f.png
cb16875b5917845310e09617c0a1416e.png
9d182828d4400a3ab14e8e0b94710eca.png

注：如果你的集群中还有其他Parcel，比如Kudu，Kafka，CDSW或者Spark，你需要将上面的步骤都做一遍，即“停用”->“从集群中删除”->“删除”。

6.删除集群

1.登录到Cloudera Manager，并删除整个集群。

79117d5f09f90386c499637050590b8e.png
3195160b995d11eb9f888e1f5921fc78.png

2.删除成功后，通过Cloudera Manager已经看不到集群。

27672ee51593639b998c9cc42d1d2747.png

7.卸载Cloudera Manager Server

1.登录到Cloudera Manager节点，然后停止CM Server服务。

[root@ip-172-31-6-83 ~]# systemctl stop cloudera-scm-server

2.移除Cloudera Manager Server相关包。

[root@ip-172-31-6-83 ~]# yum -y remove cloudera-manager-server
3defa6ab377faf9f48526ec6b94b64db.png

8.卸载Cloudera Manager Agent和其管理的软件

1.在所有节点停止Cloudera Manager Agent服务

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "systemctl stop supervisord"
f6e2259217ec29b2c20b4924938c00e4.png

2.在所有节点运行清除Cloudera所管理软件的命令。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "yum -y remove 'cloudera-manager-*'"
6237dd651de5d48d3180255d63b1cd6d.png

3.所有节点运行clean命令。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "yum clean all"
2768aec7710b5340ef74ce381ad674a9.png

9.移除Cloudera Manager和用户数据

9.1.Kill Cloudera Manager和相关服务的进程

1.在所有节点执行以下脚本。

for u in cloudera-scm flume hadoop hdfs hbase hive httpfs hue impala llama mapred oozie solr spark sqoop sqoop2 yarn zookeeper; do sudo kill $(ps -u $u -o pid=); done

注：如果按照前面的步骤都是正常停止CDH相关服务，该步骤可以不用执行。

9.2.移除Cloudera Manager数据

1.在所有节点执行umount命令，以下采用批量脚本执行。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "umount cm_processes"[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "df -hl"
c1dd2716af2e423bc0a7434b2f33e9a4.png
4c2272d66b95bdc731cac47cec2dd20b.png

注：可能要多次执行或者要稍微等待一会才能umount成功。

1.在所有节点删除Cloudera Manager数据。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*"
158acd3a8dd8fd2bfbdb4dbd8dc29ce8.png

9.3.移除Cloudera Manager Lock文件

1.在所有节点执行删除命令，以下采用批量脚本执行。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm /tmp/.scm_prepare_node.lock"
ca9ede166e50097c7fabbd2cc0182dbe.png

9.4.移除用户数据

1.在所有节点执行删除命令，以下采用批量脚本执行。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper /var/lib/hbase /var/lib/hive* /var/lib/impala /var/lib/llama /var/lib/sentry /var/lib/spark* /var/lib/kafka /var/lib/kudu"
659a8fe39d5f662e61c452ccd4f6d740.png

2.在所有节点执行删除Hadoop相关数据命令，以下采用批量脚本执行。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /dfs /yarn /impala"
ba8853e30b59303bcc1d10648ef10e3b.png

注：根据实际情况，该步骤每台数据节点可能会有多个DataNode或者YARN临时文件或者Impala临时文件目录，完全卸载需要都删除。

3.在所有节点删除/etc下的配置文件。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /etc/cloudera* /etc/flume* /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/kafka /etc/kudu /etc/mahout /etc/spark* /etc/llama /etc/solr /etc/sentry"
a9bcfa08c7b65b23f1aff4b7713f92c7.png

4.在所有节点删除/var/log下的日志文件夹。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /var/log/cloudera* /var/log/hadoop* /var/log/hbase /var/log/hive /var/log/hue* /var/log/impala* /var/log/kudu /var/log/oozie /var/log/spark* /var/log/zookeeper /var/log/kafka"
68da123ca952efc694aae7143b5eeb0a.png

5.在所有节点删除/opt/cloudera下的安装文件。

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "rm -rf /opt/cloudera*"
539cf9677aa5da9cdd25ff5e4396eb1e.png

6.卸载外部数据库MySQL，并删除相关数据。

[root@ip-172-31-6-83 ~]# systemctl stop mariadb [root@ip-172-31-6-83 ~]# yum -y remove maria*[root@ip-172-31-6-83 ~]# rm -rf /var/lib/mysql*
0f24f373a390ab80913211885c79a6da.png

至此：CDH6.1卸载完毕。

参考：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_uninstall_cm.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/507543.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

推荐系统--矩阵分解(3)

推荐系统--矩阵分解(3)

推荐系统–矩阵分解(1) 推荐系统–矩阵分解(2) 推荐系统–矩阵分解(3) 推荐系统–矩阵分解(4) 推荐系统–矩阵分解(5) 推荐系统–矩阵分解(6) 5 TimeSVD：增加时间因素 物品的受欢迎度随着时间而改变，例如，电影可以因外部事件(如新电影中演员…
阅读更多...
python安装不了是什么问题_安装不上python的模块怎么办？别怕，我这有妙招！

python安装不了是什么问题_安装不上python的模块怎么办？别怕，我这有妙招！

之前我们介绍过如何在Python中安装第三方的包：Python以第三方包丰富而著称，你想要的功能几乎都可以通过pip命令安装，避免什么都要自己重新造轮子尬尴。但是pip安装有两个常见问题，第一是下载慢，第二是无法安装。慢的原…
阅读更多...
推荐系统--矩阵分解(5)

推荐系统--矩阵分解(5)

推荐系统–矩阵分解(1) 推荐系统–矩阵分解(2) 推荐系统–矩阵分解(3) 推荐系统–矩阵分解(4) 推荐系统–矩阵分解(5) 推荐系统–矩阵分解(6) 8 基于隐式反馈的矩阵分解 8.1 引入 相对于显示反馈的评分数据，隐式反馈有以下几方面的特征： 只有正反馈&…
阅读更多...
xss跨站脚本攻击_网络安全xss跨站脚本攻击原理

xss跨站脚本攻击_网络安全xss跨站脚本攻击原理

以下在未经授权的网站操作均为违法行为XSS跨站脚本攻击xss的危害网络钓鱼，盗取各类账号密码我们先来看一下下面的案例：先来记住一下下面中的表我们来做一个转发上面页面显示已经登录，但是突然页面中提醒再此登录此时，我们并没有多…
阅读更多...
推荐系统--联邦学习下的矩阵分解(6)

推荐系统--联邦学习下的矩阵分解(6)

推荐系统–矩阵分解(1) 推荐系统–矩阵分解(2) 推荐系统–矩阵分解(3) 推荐系统–矩阵分解(4) 推荐系统–矩阵分解(5) 推荐系统–矩阵分解(6) 9 应用于联邦学习的矩阵分解 这个部分主要参考以下两篇论文： 2008-Collaborative Filtering for Implicit Feedback Dat…
阅读更多...
python类的特殊方法汇总_Python笔记001-类的特殊方法

python类的特殊方法汇总_Python笔记001-类的特殊方法

Python笔记001-类的特殊方法以下是我学习《流畅的Python》后的个人笔记，现在拿出来和大家共享，希望能帮到各位Python学习者。首次发表于: 微信公众号：科技老丁哥，ID: TechDing，敬请关注。本篇主要知识点：类…
阅读更多...
什么是联邦学习

什么是联邦学习

联邦学习 1.1 联邦学习的概念 历史：联邦学习最早在 2016 年由谷歌提出，原本用于解决安卓手机终端用户在本地更新模型的问题； 本质：联邦学习本质上是一种分布式机器学习技术，或机器学习框架。 目标：联邦学…
阅读更多...
循环自增_大学C语言—循环结构及应用

循环自增_大学C语言—循环结构及应用

基础知识常见循环结构及形式for循环for(设置初始值；循环条件判断；设置循环增减量){语句1；语句2；…… 语句n；}while循环while(条件判断){语句1；语句2；……语句n；}do-while循环d…
阅读更多...
论文写作的辅助工具

论文写作的辅助工具

1 英文翻译 translate.google.cn 2 英文句子 我们以前的做法是要求每个同学收集一些经典的句子，现在有一个网站已经把这个工作做好了，这个可以解决60%句子问题，接下来就是写作的逻辑 https://www.phrasebank.manchester.ac.uk/ 3 画图工具…
阅读更多...
dac0832控制电机驱动流程图_某驱动电机控制器拆解实拍照片

dac0832控制电机驱动流程图_某驱动电机控制器拆解实拍照片

小编作为一个电控专业100%小白，机缘巧合获得某纯电动汽车驱动电机控制器一台，拆解之，权为业内人士参考之用，文中显得外行、用词不对及谬误之处还请各位大神不吝赐教！外观标牌背面拆解固定托架侧面拆解固定托架拆解固定…
阅读更多...
推荐系统--安全联邦矩阵分解(7)

推荐系统--安全联邦矩阵分解(7)

相关论文: Secure Federated Matrix Factorization 论文源代码见： https://github.com/Di-Chai/FedMF 1 摘要 为了保护用户隐私和满足法律法规，联邦（机器）学习近年来获得了广泛的关注。 联邦学习的关键原则是在不需要知道每个用…
阅读更多...
联邦学习--数据攻击(1)

联邦学习--数据攻击(1)

参考论文：Deep Leakage from Gradients（NeurIPS 2019） 源代码： https://github.com/mit-han-lab/dlg 核心思想：作者通过实验得到，从梯度可以反推用户的个人信息。并验证了其在计算机视觉和自然语言处理任务…
阅读更多...
python制作图_Python做图的方法

python制作图_Python做图的方法

最近一直没有更新文章，在学习Machine learning。然后业余在kaggle那里瞎转，对Python常用的作图摸了个遍，本文将对这些作图方法做个简单介绍一般我们作图主要是为了看数据分布、数据趋势、以及比较大小。常用的图包括：line(折线图)…
阅读更多...
联邦学习--数据攻击(2)

联邦学习--数据攻击(2)

参考论文：See through Gradients: Image Batch Recovery via GradInversion（CVPR 2021 ） 源代码： 核心思想：解决了Deep Leakage from Gradients（NeurIPS 2019）中batch大于1效果无效的情况。 缺点…
阅读更多...
python简单网络爬虫_【Python】 简单网络爬虫实现

python简单网络爬虫_【Python】 简单网络爬虫实现

介绍网络爬虫(英语:网络爬虫),也称为网络蜘蛛(蜘蛛)是一个Web机器人用于自动浏览万维网。其目的通常是为了编译web索引。\u2014\u2014维基百科web爬虫程序可以节省他们访问的页面,以便搜索引擎可以为用户搜索生成索引。一般来说,有两个步骤:1。获取网页内容2。准备获得web内容和…
阅读更多...
对抗攻击(1)

对抗攻击(1)

本文是根据李宏毅老师在B站上的视频整理而来，视频地址为： https://www.bilibili.com/video/BV1n3411y7xD?p65 1 无目标和有目标攻击的区别 无目标攻击：攻击后的标签不确定，只要是和原始标签差别越大越好。 有目标攻击&#xff…
阅读更多...
python爬虫隐藏ip_Python3网络爬虫之使用User Agent和代理IP隐藏身份

python爬虫隐藏ip_Python3网络爬虫之使用User Agent和代理IP隐藏身份

本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份，分享给大家，具体如下：运行平台：WindowsPython版本：Python3.xIDE：Sublime text3一、为何要设置User Agent有一些网站不喜欢被爬虫程序访问&…
阅读更多...
对抗攻击(2)

对抗攻击(2)

本文将介绍一些经典的对抗攻击算法，未完待续…
阅读更多...
乌班图快速创建ftp

乌班图快速创建ftp

需求：乌班图22.04安装配置ftp，然后配置一个用户，用户名deviceftp密码aaaa，并且设置端口为60021，并且限制在/app/deviceftp目录下，不允许匿名登录 在Ubuntu 22.04上安装和配置FTP服务器的步骤如下&#xff…
阅读更多...
自注意力机制Self-attention（1）

自注意力机制Self-attention（1）

目录： 自注意力机制Self-attention（1） 自注意力机制Self-attention（2） 本文是对李宏毅老师的课程进行了整理。 视频地址为： https://www.bilibili.com/video/BV1Wv411h7kN?p23 1 问题引入 问&#xff1a…
阅读更多...
最新文章

Copyright @ 2022~2023