剖析管理所有大数据组件的可视化利器:Hue

欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯!

剖析管理所有大数据组件的可视化利器:Hue

日常的大数据使用都是在服务器命令行中进行的,可视化功能仅仅依靠各个组件自带的web界面来实现,不同组件对应不同的端口号,如:HDFS(50070),Yarn(8088),Hbase(16010)等等,而大数据的组件又有很多,为了解决某个问题,常常需要结合多个组件来使用,但是每个组件又有独立的web界面进行可视化,这时,如果有一个统一的web界面来管理并可以开发所有大数据的组件是非常方便的,而Hue正是这样的工具,它管理的大数据组件包括:HDFS、HBase、Hive、Pig、Sqoop、Spark、Scala等等几乎所有常用的组件。

(一)、HUE的介绍:

HUE是一个开源的Apache hadoop UI系统,管理hadoop生态体系结构的所有组件,基于python web框架Django实现,由Cloudera开发

HUE的tar包是源码包,采用源码安装 (源码安装的好处:卸载和移植软件方便)

源码安装三步骤:

1、配置:./configure --preifix=安装的目录 #检测系统配置,生成makefile文件 如果有makefile文件,直接进行编译和安装

2、编译:make

3、安装:make install

HUE的http服务端口:8888

二、安装和配置HUE:

安装HUE前,需要安装它所需要的rpm包及其依赖(27个),否则HUE运行会报错 rpm包:redhat软件包管理器 存放在redhat光盘Packages目录下

rpm包与tar.gz/.tgz、.bz2的区别:

rpm形式的软件包安装、升级、卸载方便,推荐初学者使用rpm形式的软件包

安装:rpm -ivh

卸载:rpm -e

tar.gz形式的软件包安装方便,卸载麻烦,用tar工具打包、gzip/bzip2压缩,安装时直接调用gzip/bzip2解压即可。如果解压后只有单一目录

用rm -rf命令删除,如果解压后分散在多个目录,必须手动一一删除

安装:tar -zxvf *.tar.gz/ tar -yxvf *.bz2

卸载:rm -rf/手动删除

一、安装rpm包:

方法:使用yum安装rpm包

yum:能够从指定的资源库(repository)自动下载、安装、升级rpm包及其依赖,必须要有可靠的资源库(repository)

1、挂载光盘 mount /dev/cdrom /mnt

mount命令:挂载硬盘/光盘/iso文件到指定目录下,访问其中的数据

2、建立yum资源库

cd /etc/yum.repos.d #yum资源库默认所在的目录

vim redhat7.repo

[redhat-yum] 资源库的标识

name=redhat7 资源库的名字

baseurl=file:///mnt 资源库的位置

enabled=1 启用资源库

gpgcheck=0 不检查资源库中的rpm包是否是官方的

3、执行下面的语句:

yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel

(二)、安装HUE:

解压:tar -zxvf hue-4.0.1.tgz

指定安装目录安装:PREFIX=/root/training make install

注:如果不指定prefix,可执行文件默认安装到/usr/local/bin中,配置文件默认安装到/usr/local/etc中,库文件默认安装到/usr/local/lib中,其他文件默认安装到/usr/local/share中

注:HUE的tar包是源码包,采用源码安装

三、配置HUE:

剖析管理所有大数据组件的可视化利器:Hue

1、与hadoop集成:1、开启hdfs的web功能 2、允许HUE操作hdfs

<!--开启hdfs的web功能-->

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<!--设置hadoop集群root的代理用户-->

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<!--设置hadoop集群root的代理用户组-->

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

3、添加一个新用户并授权:hue要对/root/training/hue有访问权限

adduser hue

chown -R hue.hue /root/training/hue

4、修改配置文件hue.ini($HUE_HOME/desktop/conf):

http_hosts 192.168.182.11

http_port 192.168.182.11

server_user root

server_group root

default_user root

default_hdfs_superuser root

fs_defaulfs hdfs://192.168.182.11:9000

webhdfs_url http://192.168.182.11:50070/webhdfs/v1

hadoop_conf_dir /root/training/hadoop-2.7.3/etc/hadoop

resourcemanager_host 192.168.182.11

resourcemanager_api_url http://192.168.182.11:8088

proxy_api_url http://192.168.182.11:8088

history_server_api_url http://192.168.182.11:19888

二、与HBase集成:

1、修改配置文件hue.ini:

hbase_clusters=(Cluster|192.168.182.11:9090)

hbase_conf_dir=/root/training/hbase-1.3.1/conf

剖析管理所有大数据组件的可视化利器:Hue

三、与Hive集成:

hive_server_host=192.168.182.11

hive_server_port=10000

hive_conf_dir=/root/training/apache-hive-2.3.0-bin/conf

(三)、启动HUE:

1、启动hadoop:start-all.sh hue就可以访问hadoop

2、启动hbase:start-hbase.sh

3、启动hbase的thrift server:hbase-daemon.sh start thrift hue就可以访问hbase

4、启动hive的元信息存储:hive --service metastore(表示前台运行) hue就可以访问hive的元信息

5、启动hive的thrift server:hiveserver2 &(表示后台运行) hue就可以访问hive

6、启动hue:bin/supervisor($HUE_HOME/build/env)

作者:李金泽,清华大学在读硕士,研究方向:大数据和人工智能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/452511.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django博客--5.让博客支持 Markdown 语法和代码高亮

文章目录0.前言1.安装 Python Markdown2.在 detail 视图中解析 Markdown3.safe 标签4.代码高亮5.效果展示0.前言 Markdown 是一种 HTML 文本标记语言&#xff0c;只要遵循它约定的语法格式&#xff0c;Markdown 的解析工具就能够把 Markdown 文档转换为标准的 HTML 文档&#…

耦合

模块的独立性很重要&#xff0c;因为有效的模块化(即具有独立的模块)的软件比较容易开发出来。 独立的模块比较容易测试和维护。 模块的独立程度可以由两个定性标准度量&#xff0c;这两个标准分别称为内聚和耦合。 耦合 耦合是对一个软件结构内不同模块之间互连程度的度量。…

成为更优秀的开发人员:第二步-知道你的核心竞争力

编者按&#xff1a;原文作者罗布沃林&#xff08;Rob Walling&#xff09;从事Web应用开发10年之久&#xff0c;担任过业内顾问、自由开发人员和全球最大的信用卡预付公司City of Pasadena的开发经理。现居住于加州中部城市弗雷斯诺&#xff08;Fresno&#xff09;。关注并指导…

android 字体间间隔,TextView设置行间距、字体间距

一、设置行间距1、设置行间距&#xff1a;android:lineSpacingExtra&#xff0c;取值范围&#xff1a;正数、负数和0&#xff0c;正数表示增加相应的大小&#xff0c;负数表示减少相应的大小&#xff0c;0表示无变化2、设置行间距的倍数&#xff1a;android:lineSpacingMultipl…

破解mysql数据库的密码

发现的1小问题 语句打错以后应该退出本语句,再继续打新语句.也可以打\c,退出本语句. 如何破解数据库的密码: 1:通过任务管理器或者服务管理,关掉mysqld(服务进程) 2:通过命令行特殊参数开启mysqld Mysqld --skip-grant-tables 3:此时,mysqld服务进程已经打开,并且,不需要权限检…

Diango博客--6.Markdown 文章自动生成目录

文章目录0.思路引导1.在文中插入目录2.在页面的任何地方插入目录3.美化标题的锚点 URL0.思路引导 Markdown 在解析内容的同时还可以自动提取整个内容的目录结构&#xff0c;本文内容将从以下几个方面展开&#xff1a; 1&#xff09;在文中插入目录&#xff1b; 2&#xff09;在…

Java中对象和引用的理解

2019独角兽企业重金招聘Python工程师标准>>> 偶然想起Java中对象和引用的基本概念&#xff0c;为了加深下对此的理解和认识&#xff0c;特地整理一下相关的知识点&#xff0c;通过具体实例从两者的概念和区别两方面去更形象的认识理解&#xff0c;再去记忆。12一、对…

android怎样封装,如何封装属于自己的博客网站安卓APP 源码家园

说实话我今天在写这个文章的时候是我使用易语言(E4A\易安卓)的第一天&#xff0c;我也是易小白&#xff0c;但是的确可以用&#xff01;我为什么写这个文章呢&#xff1f;因为之前我也想封装自己的网站&#xff0c;然后去网上找的在线封装生成APP&#xff0c;果然能封装好了&am…

程序员常犯的5个非技术性错误

一个好的软件开发人员需要培养两种技能&#xff1a;技术技能和非技术技能。不幸的是一些开发者只注重技术的部分&#xff0c;以致养成一些陋习&#xff0c;下面是最常犯的5个非技术性错误&#xff1a; 0. 缺乏自律 Jim Rohn曾经说过&#xff1a;自律是目标和成果之间的桥梁。我…

Redis进阶实践之二十 Redis的配置文件使用详解

一、引言   写完上一篇有关redis使用lua脚本的文章&#xff0c;就有意结束Redis这个系列的文章了&#xff0c;当然了&#xff0c;这里的结束只是我这个系列的结束&#xff0c;但是要学的东西还有很多。但是&#xff0c;好多天过去了&#xff0c;总是感觉好像还缺点什么…

web流程设计器 工作流的 整合视频教程 activiti画图 SSM和独立部署

本视频为activiti工作流的web流程设计器整合视频教程整合Acitiviti在线流程设计器(Activiti-Modeler 5.21.0 官方流程设计器&#xff09;本视频共讲了两种整合方式1. 流程设计器和其它工作流项目分开部署的方式2. 流程设计器和SSM框架项目整合在一起的方式视频大小 1.13 GB ~【…

Diango博客--7.自动生成文章摘要

文章目录0.思路引导1.方法一&#xff1a;覆写 save 方法2.方法二&#xff1a;使用 truncatechars 模板过滤器0.思路引导 博客文章的模型有一个 excerpt 字段&#xff0c;这个字段用于存储文章的摘要。 若在 django admin 后台手动为文章输入摘要&#xff0c;每次手动输入摘要…

android 增加触摸范围,android seekBar 增加点击和滑动范围

seekBar的的范围有限&#xff0c;有时候设计师要求高度为4dp&#xff0c;此时范围太小&#xff0c;很难滑动成功。因此&#xff0c;我们需要在不改变 UI 的前提下&#xff0c;增加点击和滑动范围。直接上代码&#xff1a;public class MainActivity extends AppCompatActivity …

特斯拉股价暴跌,疯狂烧钱是否真的能够带来高额回报?

“疯狂烧钱”并不能成为公司持续亏损的理由&#xff0c;反而可能成为公司升级转型的关键所在。 上周三&#xff0c;特斯拉发布第四季度财报&#xff0c;其后特斯拉CEO马斯克在电话会议上表示&#xff0c;特斯拉亏损收窄&#xff0c;营收同比增长88%&#xff0c;但与此同时其首…

android gravity参数,Gravity - [ Android中文手册 ] - 在线原生手册 - php中文网

Gravity版本&#xff1a;Android 4.0 r1结构继承关系public class Gravity extends Objectjava.lang.Objectandroid.view.Gravity类概述用来在一个更大容器中布置对象的标准常量和工具。常量public static final intAXIS_CLIP原始位控制右/底边界是否被剪切到它的容器中&#x…

Diango博客--8.解锁博客侧栏

文章目录0.思路引导1.[最新文章] 模板标签2.[归档] 模板标签3.[分类] 模板标签4.[标签云] 模板标签5.使用自定义的模板标签0.思路引导 博客侧边栏有四项内容&#xff1a;最新文章、归档、分类和标签云&#xff0c;效果展示如下&#xff1a; 这些内容相对比较固定和独立&…

十五、详述 IntelliJ IDEA 插件的安装及使用方法

正文 首先&#xff0c;进入插件安装界面&#xff1a; Mac&#xff1a;IntelliJ IDEA -> Preferences -> Plugins;Windows&#xff1a;File -> Settings -> Plugins.标注 1&#xff1a;显示 IntelliJ IDEA 的插件分类&#xff0c; All plugins&#xff1a;显示 Inte…

编程巨星的唯一秘诀

别以为是那些软件开发定律&#xff0c;别以为是开发出那些特殊用途的软件&#xff0c;别以为是软件设计技术本身。只有一条真理决定了一个软件程序员的成功还是失败。由于坚持这个真理&#xff0c;一个资深的程序员能在一天的时间里学会一门新的编程语言&#xff0c;而由于不坚…

面向数据流的设计方法

面向数据流的设计方法的目标是给出设计软件结构的一个系统化的途径。 在软件工程的需求分析阶段&#xff0c;信息流是一个关键考虑。通常用数据流图描绘信息在系统中加工和流动的 情况。面向数据流的设计方法定义了一些不同的“映射”&#xff0c;利用这些映射可以把数据流图…