Ambari离线部署Hadoop集群踩到的坑

1、远程拷贝HDP组件不全导致安装client时缺少rpm包,手动拷贝解决

2、安装HAWQ,启动时报错 passwordlell ssh hawq hosts ,hawq master 和其他主机机拷贝文件输入密码受限,两方面原因: 一 root 用户 ssh 无密登录时 权限配置错误,正确的权限应该是 chmod 700 /roo/.ssh chmod 600 /root/.ssh/authorized_keys ;二:su gpadmin 在 /home/gpadmin 下新建hawq_host文件,写入节点hostname 执行 hawq ssh-exkeys -f host_file 检查Log发现RSA hostname 无法访问, 修改/etc/hosts文件,重新修改hostname 成功。

3、中间安装过程失败卸载服务 

   卸载某个服务

stop:

curl -s -u admin:admin -H “X-Requested-By: Ambari” -X PUT -d ‘{“RequestInfo”:{“context”:”Stop Service”},”Body”:{“ServiceInfo”:{“state”:”INSTALLED”}}}’ http://AMBARI-HOST:8080/api/v1/clusters/CLUSTER_NAME/services/SERVICE_NAME

delete

curl -s -u admin:admin -H “X-Requested-By: Ambari” -X DELETE http://AMBARI-HOST:8080/api/v1/clusters/CLUSTER_NAME/services/SERVICE_NAME

卸载整个集群(Ambari和hadoop)

执行脚本:


#!/bin/bash


ambari-server stop
ambari-server reset
ambari-agent stop
service mysqld stop
service postgresql stop


python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py


yum remove ambari\* hadoop hdfs bigtop-jsvc bigtop-tomcat hbase\* hadoop\* hdp-select ranger\* zookeeper\* postgresql-libs postgresql postgresql-server
yum remove mysql mysql-server mysql-libs mysql-connector-java


rm -rf /opt/hadoop
rm -rf /opt/app/hadoop
rm -rf /opt/app/ambari-metrics-collector
rm -rf /opt/kafka-logs


rm -rf /usr/hdp
rm -rf /usr/hadoop
rm -rf /usr/kafka-logs


rm -rf /usr/lib/ambari*
rm -rf /usr/lib/hadoop
rm -rf /usr/lib/nagios
rm -rf /usr/lib/ams-hbase


rm -rf /var/nagios
rm -rf /var/kafka-logs


rm -rf /var/lib/ambari*
rm -rf /var/lib/flume
rm -rf /var/lib/ganglia*
rm -rf /var/lib/hadoop*
rm -rf /var/lib/hdfs
rm -rf /var/lib/hive
rm -rf /var/lib/atlas
rm -rf /var/lib/mysql
rm -rf /var/lib/pgsql




rm -rf /var/run/hadoop /var/run/hbase /var/run/zookeeper /var/run/flume /var/run/webhcat /var/run/hadoop-yarn /var/run/hadoop-mapreduce
rm -rf /var/run/accumulo
rm -rf /var/run/ambari*
rm -rf /var/run/atlas
rm -rf /var/run/nagios
rm -rf /var/run/spark


rm -rf /var/log/hbase /var/log/hive /var/log/zookeeper /var/log/flume /var/log/hadoop-yarn /var/log/hadoop-mapreduce
rm -rf /var/log/accumulo
rm -rf /var/log/ambari*
rm -rf /var/log/atlas
rm -rf /var/log/nagios
rm -rf /var/log/spark
rm -rf /var/log/hadoop


rm -rf /tmp/ambari-qa


rm -rf /etc/ambari*
rm -rf /etc/ams-hbase
rm -rf /etc/flume
rm -rf /etc/ganglia
rm -rf /etc/hadoop*
rm -rf /etc/hbase
rm -rf /etc/hive*
rm -rf /etc/nagios
rm -rf /etc/phoenix
rm -rf /etc/pig
rm -rf /etc/tez
rm -rf /etc/zookeeper
rm -rf /etc/accumulo
rm -rf /etc/atlas
rm -rf /etc/spark
rm -rf /etc/mahout


rm -rf /home/accumulo /home/ams /home/atlas /home/mahout /home/nagios /home/spark


rm -rf /etc/yum.repos.d/ambari.repo /etc/yum.repos.d/HDP-2.3.0.0.repo /etc/yum.repos.d/HDP-UTILS.repo /etc/yum.repos.d/HDP.repo

yum clean all


ps -elf | grep java


另外补充: userdel 部分

4、卸载所以服务之后 yum 不能用,发现是卸载python的组件导致

执行 whereis python  修改 vi /usr/bin/yum 中python的目录

5、安装metrict-monitor client的过程中报错, require python-2.6.6-64 while installed python-2.6.6-66

   在已经挂载镜像iso的Packages中拷贝出对应的python python-devel python-lib 下载python-2.6.6-66 rpm -e --nodeps python 后重新安装python2.6.6-64 报错解决

6、ams服务无法停止 ,进程无法Kill,userdel 无法删除, 重启机器后即可。

7、datanode 和zookeeper启动后一会自动挂掉,查Log发现 报错 Address already in use 查看对应组件的Log  /var/log/.....查看对应的端口,通过 netstat -anp | grep port_name kill 掉对应的进程,重新启动服务成功。

8、hawq master无法启动 执行 sysctl -p 后正常启动




本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/570859.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2016012026 管凌波 散列函数的应用及其安全性

2016012026 管凌波 散列函数的应用及其安全性 一、散列函数是什么。 散列函数即为Hash函数,就是把任意长度的输入(预映射),通过散列算法,变换成固定长度的输出,该输出就是散列值。这种转换是一种压缩映射&a…

Team Foundation Server (TFS) 2015 安装指导

原文地址:http://www.cnblogs.com/danzhang/p/4718035.html http://www.cnblogs.com/danzhang 张洪君 微软ALM MVP 1. 概述 微软于8月6日发布了大家期待已久的TFS 2015正式版, https://www.visualstudio.com/en-us/news/tfs2015-vs.aspx ,…

VM虚拟机链接克隆及linux eth0网卡的快速设置方法

对于后台开发者来说,在学习过程中必然接触众多中间件,在自己的虚拟机进行操作甚至搭建cluster是很常见的事情.我在初学者时摸索出一套快速的克隆虚拟机方法.分享给大家.产品VMware Workstation版本10.0.2 build-1744117这是我的虚拟机命名,我觉得这样的命名比较合适,clone机/服…

一加手机虚拟键失灵解决方案

1、手机摔了一下后下方虚拟键无法使用,尝试多种小白点工具如悬浮菜单、超级小白点、easytouch,安装完后并取得root权限后仍不能弹出悬浮框,找不到原因,原则上来讲的话如果是硬件屏幕摔坏,某哥区域无法响应触摸不应影响…

scrapy newspaper bug

发现一个newspaper的bug,在github上已修复,但pip下载的包还是有这个错fix for "jpeg error with PIL, Cant convert NoneType object to str implicitly"修复办法: 打开python27/Lib/site-packages/newspaper/images.pyclass Scraper:def largest_image_url:把log.de…

Spring MVC+Mybatis 多数据源配置

文章来自:https://www.jianshu.com/p/fddcc1a6b2d8 1. 继承AbstractRoutingDataSource AbstractRoutingDataSource 是spring提供的一个多数据源抽象类。spring会在使用事务的地方来调用此类的determineCurrentLookupKey()方法来获取数据源的key值。我们继承此抽象类…

C#如何Json转字符串;字符串转Json;Newtonsoft.Json(Json.Net)

什么是JSON C#如何Json转字符串 字符串转Json Newtonsoft.Json(Json.Net)学习笔记(转) 转载于:https://www.cnblogs.com/macT/p/9040901.html

mysql更改root用户密码

不同版本命令不一样 MySQL 5.7.6 and later: ALTER USER ‘root’’localhost’ IDENTIFIED BY ‘MyNewPass’; MySQL 5.7.5 and earlier: SET PASSWORD FOR ‘root’’localhost’ PASSWORD(‘MyNewPass’);

python2.7 安装numpy no module name zlib

CentOS6.7默认安装Python-2.6 而numpy支持python2.7以上,所以需要安装Python2.7,安装的步骤就不细说了,编译安装,然后再建立软连接。 之后安装numpy时报错no module named setuptools ,pip 安装或者源码安装,我采用源…

java : nio 学习

https://github.com/astutesparrow/nio https://www.ibm.com/developerworks/cn/education/java/j-nio/j-nio.html 转载于:https://www.cnblogs.com/chen-msg/p/9041510.html

AWS DevOps – 配合Jenkins和CodeDeploy实现代码自动化部署

AWS DevOps – 配合Jenkins和CodeDeploy实现代码自动化部署 Amazon ElastiCache 连接至 Redis 节点 通过 AWS Command Line Interface使用高级别 s3 命令 在 Linux 上安装 AWS Command Line Interface 在Amazon EC2主机上安装Zmodem协议传输工具lrzsz 安装lrzsz出现configure: …

pip install mysqlclient报错fails with EnvironmentError: mysql_config not found

解决: CentOS yum install mysql-devel 再重新执行pip install mysqlclient解决

管理外部程序的流程

本部分包含: 关于外部程序DBA任务来启用外部过程调用关于外部程序 外部程序是用C,C ,Java或其他语言编写的程序,编译并存储在数据库之外,然后由用户会话调用。例如,PL / SQL程序单元可以调用执行特殊用途处…

ssh登陆慢/xhell访问主机慢

用ssh连其他linux机器,会等待10-30秒才有提示输入密码。严重影响工作效率。登录很慢,登录上去后速度正常,这种情况主要有两种可能的原因: DNS反向解析的问题 OpenSSH在用户登录的时候会验证IP,它根据用户的IP使用反向…

围观神龙架构首次开箱,现场直播暴力拆机

围观神龙架构首次开箱,现场直播暴力拆机 发布时间:2018-05-16 13:43:01686人关注34人参与阿里云X-Dragon大事记2017年4月:阿里云X-Dragon项目立项;2017年10月:阿里云正式推出基于X-Dragon架构的弹性裸金属服务器&#…

windows-server-2012R2离线中文语言包安装

1、离线包下载地址http://download.csdn.net/detail/github_38358734/9858412 2、安装方法: 解压离线包 Dism /online /Add-Package /PackagePath:C:\test\LangPacks\lp.cab 大概10分钟,完成。 然后重启电脑,到控制面板语言区域选项&…

文字闪烁效果

效果图&#xff1a; HTML Code: <a class"blink" href"#" target"_blank"> 扁平化设计看上去非常简单、直观扁平化设计看上去非常简单、直去非化设计看上去非常简单、直观扁平化设计看上去非常简单、直观扁平常简单</a> JQuery Code…

SVN数据代码迁移Windows2012ServerR2

场景描述&#xff1a;服务器迁移&#xff0c;需要把SVN服务从主机A迁移到主机B 环境&#xff1a;两台服务器都是windows-server-2012R2 目录&#xff1a;A、B目录及结构相同 SVN-Server_Home: C:\Program Files\VisualSVN Server\bin Repositories_HOME:D:\Repositories 第一…

程序员怎样锻炼编程思维(学习方法)

1.明确学习目的 学习编程对大多数IT业人员来说都是非常有用的。学编程&#xff0c;做一名编程人员&#xff0c;从个人角度讲&#xff0c;可以解决在软件使用中所遇到的问题&#xff0c;改进现有软件&#xff0c;可以为自己找到一份理想的工作添加重要得砝码&#xff0c;有利于在…

vi或vim查找替换

1、查找 命令模式下 输入 向下查找 :/ 向上查找 :? 比如要查找带有DNS的 :/DNS 回车即可。 2、替换 &#xff1a;s/vivian/sky/ 替换当前行第一个 vivian 为 sky &#xff1a;s/vivian/sky/g 替换当前行所有 vivian 为 sky &#xff1a;n&#xff0c;$s/vivian/…