HUE配置文件hue.ini 的zookeeper模块详解(图文详解)(分HA集群)

 

不多说,直接上干货!

  我的集群机器情况是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)

  然后,安装目录是在/home/hadoop/app下。

 

  官方建议在master机器上安装Hue,我这里也不例外。安装在bigdatamaster机器上。

 

 Hue版本:hue-3.9.0-cdh5.5.4
 需要编译才能使用(联网)


 说给大家的话:大家电脑的配置好的话,一定要安装cloudera manager。毕竟是一家人的。
同时,我也亲身经历过,会有部分组件版本出现问题安装起来要个大半天时间去排除,做好心里准备。废话不多说,因为我目前读研,自己笔记本电脑最大8G,只能玩手动来练手。
纯粹是为了给身边没高配且条件有限的学生党看的! 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

 

 

 

 

 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

一、以下是默认的配置文件

   这里,暂时不说

 

 

二、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模块)

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998
# Name of Kerberos principal when using security.## principal_name=zookeeper

 

 

 

 

 

 

 

三、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模块)

 hadoop-2.6.0.tar.gz的集群搭建(5节点)

 

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998
# Name of Kerberos principal when using security.## principal_name=zookeeper

 

 

 

 

 

 

  如果,单独只配置上述的话,就算我们的zookeeper集群进程全都正常启动,但是,还是会无法连接,出现错误 无法正确连接到 Zookeeper!!!!timed out (这里,适用非HA和HA集群)

 

 

 

 

  因为,官网给的步骤,很详细(记住,只要三步就好,一切都要看官网,别跟着别人的博客走)

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl

 

 

 

 

   第一步:首先,进入【ZOOKEEPER_HOME】目录下执行编译

[hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME
[hadoop@bigdatamaster zookeeper]$ ant

  看大家的网速吧。我这里是,需将bigdatamaster、bigdataslave1和bigdataslave2里都安装了zookeeper,所以都要进行ant编译。

 

   然后,如下的目录,都会自动建立好

[mkdir] Created dir: /home/hue/Development/zookeeper/build/classes
[mkdir] Created dir: /home/hue/Development/zookeeper/build/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib



 

  第二步:开启REST服务

cd src/contrib/rest
nohup ant run&

 

[hadoop@bigdatamaster rest]$ pwd
/home/hadoop/app/zookeeper/src/contrib/rest
[hadoop@bigdatamaster rest]$ ll
total 48
-rw-rw-r--. 1 hadoop hadoop  6630 Apr 26  2016 build.xml
drwxr-xr-x. 3 hadoop hadoop  4096 May  4 20:42 conf
-rw-rw-r--. 1 hadoop hadoop  2077 Apr 26  2016 ivy.xml
-rw-rw-r--. 1 hadoop hadoop   246 Apr 26  2016 NOTICE.txt
-rw-rw-r--. 1 hadoop hadoop  2422 Apr 26  2016 README.txt
-rwxr-xr-x. 1 hadoop hadoop  2281 Apr 26  2016 rest.sh
-rw-rw-r--. 1 hadoop hadoop 12961 Apr 26  2016 SPEC.txt
drwxr-xr-x. 5 hadoop hadoop  4096 Apr 26  2016 src
[hadoop@bigdatamaster rest]$ ./rest.sh start
Starting ZooKeeper REST Gateway ... 
STARTED
[hadoop@bigdatamaster rest]$ jps
2814 SecondaryNameNode
2661 NameNode
2982 ResourceManager
9688 ThriftServer
12134 Jps
3720 QuorumPeerMain
10777 HMaster
4141 RunJar
[hadoop@bigdatamaster rest]$ 

 

 

 

 

 

   第三步:去Hue配置文件,对应去修改zookeeper模块

 

 

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998
# Name of Kerberos principal when using security.principal_name=zookeeper

 

 

 

 

   然后,可以看到

 

 

 

 

 

 

 

 

 

   更多的细节,我这里不多赘述,大家自行去自己机器看吧!

 

  成功!

 

 

 

 

 

 

 

 

 

 

 

 

 

欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑
 

同时,大家可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

 

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

 

      对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071) 

 

 

 

 

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/456519.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CF #366(div.2) C 模拟,思维

CF #366(div.2) C. Thor 题意:一个手机n个联系人,有q个操作。每次给出ty和ai,如ty1,表示收到ai的一条信息;如ty2,表示将ai发的信息都看掉;如ty3,表示将第1条到第ai条信息都看掉…

MySQL基本指令汇总

创建数据库: create database 数据库名字; 删除数据库: drop database 数据库名字; 查看数据库: show databases; 切换数据库: use databasename; select database(); Create table 表名(列名 数据类型 [约束],列名 数据类型 [约束]&a…

linux命令行在任意目录下启动任意的脚本的方法

目录:前言:1、直接在命令行中设置PATH2、在profile中设置PATH3、在当前用户的profile中设置PATH 目录: 前言: 这应该算是一个常识吧,但是对于许多像我们这样的新手来说,一旦你出点小差错,整个…

阿里云centos 安装和配置 DokuWiki

DokuWiki 是一个开源的 wiki 项目, 可方便进行知识和内容的管理和分享,不用安装数据库,内置权限管理,书写直观方便,有大量的插件支持。特别适用于企业内部的内容和知识管理,只允许内部员工编辑和查阅的场景…

python-爬虫

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟…

MySQL5.7升级到8.0 之后,配合ubantu18.04遇到的常规问题以及非常规问题的解决方案

从MySQL5.7升级到8.0后首先会发现在创建用户和授权大大不同;其次还有更多常规问题以及非常规问题的解决方案 写本篇博客记录踩过的坑 MySQL8.0配合ubantu18.04 一、创建用户和授权 在mysql8.0创建用户和授权和之前不太一样了,其实严格上来讲&#xf…

机器学习之数理统计与参数估计的相关知识总结

文章目录目录:1、知道期望/方差/偏度/峰度,独立和不相关等概念是什么。2、契比雪夫不等式3、大数定理/中心极限定理4、伯努利定理5、矩估计6、最大似然估计7、协方差和相关系数目录: 1、知道期望/方差/偏度/峰度,独立和不相关等概…

Angular属性型指令

2019独角兽企业重金招聘Python工程师标准>>> 属性型指令 — 改变元素、组件或其它指令的外观和行为的指令 属性性指令的创建步骤如下: import语句需要从 Angular 的core库导入的一些符号。 Directive提供Directive装饰器功能。 ElementRef注入到指令构造…

beeline连接hiveserver2报错:User: root is not allowed to impersonate root

最近在生产中搭建HA机制的集群,碰到不少坑,会在接下来的时间里好好总结下,先说下遇到的一个大坑。我们的需求是:希望通过hive的thrift服务来实现跨语言访问Hive数据仓库。但是第一步,你得需要在节点中打通服务器端&…

局域网 两台电脑共享 密码关闭

转载于:https://www.cnblogs.com/WhiteHorseIsNotHorse/p/6832463.html

MySQL查询select语句详解

1.查询记录 select*from 表名 [where 条件];eg:select*from students;//查询 students 表中所有记录,所有字段的值都显示出来select field1,field2,...fieldn... from 表名 [where 条件];eg:select id,name,age from students;//查询 students 表中所有记录, 只显示…

SVN使用规范

转载于:https://www.cnblogs.com/shenxiaolin/p/6296880.html

配置hiveserver2访问hive

目录:1、前言2、beeline相关的Server.Thrift配置3、启动beeline并访问Hive4、期间遇到的问题和解决方法 目录: 1、前言 作为数据仓库的工具,hive提供了两种ETL运行方式,分别是通过Hive 命令行和beeline客户端; 命令…

通过rhel7的kvm虚拟机实现3节点Postgres-XL(包括gtm standby)

关于postgres-xl的实验是在我自己笔记本rhel7.2_x64的环境下,用kvm实现的,总共有6台虚拟机: 一台openfiler2.99发布共享存储,一台gtm master,一台gtm slave,三台gtm_proxy/coordinator/datanode&#xf…

MySQL查询select实例 【笔记】

use mydb; select * from EMP; select * from DEPT; select DISTINCT JOB from EMP; -- distinct 去除重复项 select MGR from EMP; select MGR as 主管编号 from EMP; -- 辅助查询,每列信息 起别名 as select EMPNO as 员工编号,JOB as 职位,DEPNO as 部…

C#1

转载于:https://www.cnblogs.com/qingwengang/p/6327371.html

使用python3连接hiveserver2的方法

前言:1、启动HiveServer22、在Linux中安装impyla(前提是安装Python相关的环境、虚拟环境(可选)) 前言: 需求:需要通过windows端的pycharm来操作hive。 于是就搜集资料寻找解决方案。 大概有…

vue2.X的路由

以 / 开头的嵌套路径会被当作根路径。 <router-link> 在vue-router1.X中是以<a v-link""></a>存在的 里面的参数&#xff1a; to&#xff1a;代表跳转的目的地&#xff0c;渲染成<a href""> 后面目的地有下面几种表示法 to引导&a…

mysql启动和关闭外键约束的方法(FOREIGN_KEY_CHECKS)

在MySQL中删除一张表或一条数据的时候&#xff0c;出现 [Err] 1451 -Cannot delete or update a parent row: a foreign key constraint fails (...) 这是因为MySQL中设置了foreign key关联&#xff0c;造成无法更新或删除数据。可以通过设置FOREIGN_KEY_CHECKS变量来避免这种…

CentOS下安装VirtualEnv的教程

文章目录前言&#xff1a;1、下载安装virutalenv2、安装新的Python版本&#xff08;可以直接安装anaconda&#xff1a;安装过程可自行查资料&#xff09;3、 VirtualEnv的设置4、Python虚拟环境的作用总结&#xff1a;前言&#xff1a; 在目前的Linux系统中&#xff0c;默认使…