HUE配置文件hue.ini 的zookeeper模块详解(图文详解)(分HA集群)

 

不多说,直接上干货!

  我的集群机器情况是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)

  然后,安装目录是在/home/hadoop/app下。

 

  官方建议在master机器上安装Hue,我这里也不例外。安装在bigdatamaster机器上。

 

 Hue版本:hue-3.9.0-cdh5.5.4
 需要编译才能使用(联网)


 说给大家的话:大家电脑的配置好的话,一定要安装cloudera manager。毕竟是一家人的。
同时,我也亲身经历过,会有部分组件版本出现问题安装起来要个大半天时间去排除,做好心里准备。废话不多说,因为我目前读研,自己笔记本电脑最大8G,只能玩手动来练手。
纯粹是为了给身边没高配且条件有限的学生党看的! 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

 

 

 

 

 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

一、以下是默认的配置文件

   这里,暂时不说

 

 

二、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模块)

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998
# Name of Kerberos principal when using security.## principal_name=zookeeper

 

 

 

 

 

 

 

三、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模块)

 hadoop-2.6.0.tar.gz的集群搭建(5节点)

 

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998
# Name of Kerberos principal when using security.## principal_name=zookeeper

 

 

 

 

 

 

  如果,单独只配置上述的话,就算我们的zookeeper集群进程全都正常启动,但是,还是会无法连接,出现错误 无法正确连接到 Zookeeper!!!!timed out (这里,适用非HA和HA集群)

 

 

 

 

  因为,官网给的步骤,很详细(记住,只要三步就好,一切都要看官网,别跟着别人的博客走)

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl

 

 

 

 

   第一步:首先,进入【ZOOKEEPER_HOME】目录下执行编译

[hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME
[hadoop@bigdatamaster zookeeper]$ ant

  看大家的网速吧。我这里是,需将bigdatamaster、bigdataslave1和bigdataslave2里都安装了zookeeper,所以都要进行ant编译。

 

   然后,如下的目录,都会自动建立好

[mkdir] Created dir: /home/hue/Development/zookeeper/build/classes
[mkdir] Created dir: /home/hue/Development/zookeeper/build/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib



 

  第二步:开启REST服务

cd src/contrib/rest
nohup ant run&

 

[hadoop@bigdatamaster rest]$ pwd
/home/hadoop/app/zookeeper/src/contrib/rest
[hadoop@bigdatamaster rest]$ ll
total 48
-rw-rw-r--. 1 hadoop hadoop  6630 Apr 26  2016 build.xml
drwxr-xr-x. 3 hadoop hadoop  4096 May  4 20:42 conf
-rw-rw-r--. 1 hadoop hadoop  2077 Apr 26  2016 ivy.xml
-rw-rw-r--. 1 hadoop hadoop   246 Apr 26  2016 NOTICE.txt
-rw-rw-r--. 1 hadoop hadoop  2422 Apr 26  2016 README.txt
-rwxr-xr-x. 1 hadoop hadoop  2281 Apr 26  2016 rest.sh
-rw-rw-r--. 1 hadoop hadoop 12961 Apr 26  2016 SPEC.txt
drwxr-xr-x. 5 hadoop hadoop  4096 Apr 26  2016 src
[hadoop@bigdatamaster rest]$ ./rest.sh start
Starting ZooKeeper REST Gateway ... 
STARTED
[hadoop@bigdatamaster rest]$ jps
2814 SecondaryNameNode
2661 NameNode
2982 ResourceManager
9688 ThriftServer
12134 Jps
3720 QuorumPeerMain
10777 HMaster
4141 RunJar
[hadoop@bigdatamaster rest]$ 

 

 

 

 

 

   第三步:去Hue配置文件,对应去修改zookeeper模块

 

 

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998
# Name of Kerberos principal when using security.principal_name=zookeeper

 

 

 

 

   然后,可以看到

 

 

 

 

 

 

 

 

 

   更多的细节,我这里不多赘述,大家自行去自己机器看吧!

 

  成功!

 

 

 

 

 

 

 

 

 

 

 

 

 

欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑
 

同时,大家可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

 

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

 

      对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071) 

 

 

 

 

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/456519.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CF #366(div.2) C 模拟,思维

CF #366(div.2) C. Thor 题意:一个手机n个联系人,有q个操作。每次给出ty和ai,如ty1,表示收到ai的一条信息;如ty2,表示将ai发的信息都看掉;如ty3,表示将第1条到第ai条信息都看掉…

MySQL基本指令汇总

创建数据库: create database 数据库名字; 删除数据库: drop database 数据库名字; 查看数据库: show databases; 切换数据库: use databasename; select database(); Create table 表名(列名 数据类型 [约束],列名 数据类型 [约束]&a…

linux命令行在任意目录下启动任意的脚本的方法

目录:前言:1、直接在命令行中设置PATH2、在profile中设置PATH3、在当前用户的profile中设置PATH 目录: 前言: 这应该算是一个常识吧,但是对于许多像我们这样的新手来说,一旦你出点小差错,整个…

阿里云centos 安装和配置 DokuWiki

DokuWiki 是一个开源的 wiki 项目, 可方便进行知识和内容的管理和分享,不用安装数据库,内置权限管理,书写直观方便,有大量的插件支持。特别适用于企业内部的内容和知识管理,只允许内部员工编辑和查阅的场景…

python-爬虫

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟…

MySQL5.7升级到8.0 之后,配合ubantu18.04遇到的常规问题以及非常规问题的解决方案

从MySQL5.7升级到8.0后首先会发现在创建用户和授权大大不同;其次还有更多常规问题以及非常规问题的解决方案 写本篇博客记录踩过的坑 MySQL8.0配合ubantu18.04 一、创建用户和授权 在mysql8.0创建用户和授权和之前不太一样了,其实严格上来讲&#xf…

机器学习之数理统计与参数估计的相关知识总结

文章目录目录:1、知道期望/方差/偏度/峰度,独立和不相关等概念是什么。2、契比雪夫不等式3、大数定理/中心极限定理4、伯努利定理5、矩估计6、最大似然估计7、协方差和相关系数目录: 1、知道期望/方差/偏度/峰度,独立和不相关等概…

Angular属性型指令

2019独角兽企业重金招聘Python工程师标准>>> 属性型指令 — 改变元素、组件或其它指令的外观和行为的指令 属性性指令的创建步骤如下: import语句需要从 Angular 的core库导入的一些符号。 Directive提供Directive装饰器功能。 ElementRef注入到指令构造…

beeline连接hiveserver2报错:User: root is not allowed to impersonate root

最近在生产中搭建HA机制的集群,碰到不少坑,会在接下来的时间里好好总结下,先说下遇到的一个大坑。我们的需求是:希望通过hive的thrift服务来实现跨语言访问Hive数据仓库。但是第一步,你得需要在节点中打通服务器端&…

局域网 两台电脑共享 密码关闭

转载于:https://www.cnblogs.com/WhiteHorseIsNotHorse/p/6832463.html

MySQL查询select语句详解

1.查询记录 select*from 表名 [where 条件];eg:select*from students;//查询 students 表中所有记录,所有字段的值都显示出来select field1,field2,...fieldn... from 表名 [where 条件];eg:select id,name,age from students;//查询 students 表中所有记录, 只显示…

SVN使用规范

转载于:https://www.cnblogs.com/shenxiaolin/p/6296880.html

C#1

转载于:https://www.cnblogs.com/qingwengang/p/6327371.html

vue2.X的路由

以 / 开头的嵌套路径会被当作根路径。 <router-link> 在vue-router1.X中是以<a v-link""></a>存在的 里面的参数&#xff1a; to&#xff1a;代表跳转的目的地&#xff0c;渲染成<a href""> 后面目的地有下面几种表示法 to引导&a…

社保(五险一金)的问题

2019独角兽企业重金招聘Python工程师标准>>> 社保&#xff0c;全称为社会保险&#xff0c;是一种再分配制度&#xff0c;它的目标是保证物质及劳动力的再生产和社会的稳定。我们平时常说的社保&#xff0c;还有另一个名称&#xff0c;及“五险一金”。那么社保是哪五…

解决:Navicat for mysql 设置外键出错

1 看下是不是外键允许为空&#xff0c;不唯一等约束条件不满足 2 或者外键设置删除时为 restrict 1. 两个字段的类型或者大小不严格匹配。例如&#xff0c;如果一个是int(10)&#xff0c;那么外键也必须设置成int(10)&#xff0c;而不是int(11)&#xff0c;也不能是tinyint。另…

Python加盐加密方法hashlib(md5,sha224,sha1,sha256)

用random.randint随机数给密码加,盐加强密码的安全性

python连接MySQL数据库搭建简易博客

实现功能大概 将python和MySQL数据库交互进行 封装 ---》》utils.py 文件程序 ----》blog.py # -*- coding: utf-8 -*- # Time : 2019/08/30 15:33 # Author : Liu # File : utils.pyimport pymysql import hashlibclass dbHelper:def __init__(self, host, user, pass…

跨地域的VPC私网互通【高速通道案例】

最近一家大型企业正在将业务迁移至阿里云平台&#xff0c;用户有深圳&#xff0c;北京&#xff0c;上海等分支&#xff0c;其中上海为总部&#xff0c;用户要求在阿里云上的华南1&#xff0c;华北2&#xff0c;华东2分别建立VPC网络&#xff0c;其中华南1&#xff0c;华北2要与…

Sqoop的安装配置及工作机制

文章目录[toc] 目录&#xff1a;1、简介2、sqoop安装2.1、下载并解压2.2、修改配置文件2.3、加入mysql或oracle的jdbc驱动包2.4、验证启动3、Sqoop的原理3.1、代码定制目录&#xff1a; 1、简介 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入…