剖析管理所有大数据组件的可视化利器:Hue

欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯!

剖析管理所有大数据组件的可视化利器:Hue

日常的大数据使用都是在服务器命令行中进行的,可视化功能仅仅依靠各个组件自带的web界面来实现,不同组件对应不同的端口号,如:HDFS(50070),Yarn(8088),Hbase(16010)等等,而大数据的组件又有很多,为了解决某个问题,常常需要结合多个组件来使用,但是每个组件又有独立的web界面进行可视化,这时,如果有一个统一的web界面来管理并可以开发所有大数据的组件是非常方便的,而Hue正是这样的工具,它管理的大数据组件包括:HDFS、HBase、Hive、Pig、Sqoop、Spark、Scala等等几乎所有常用的组件。

(一)、HUE的介绍:

HUE是一个开源的Apache hadoop UI系统,管理hadoop生态体系结构的所有组件,基于python web框架Django实现,由Cloudera开发

HUE的tar包是源码包,采用源码安装 (源码安装的好处:卸载和移植软件方便)

源码安装三步骤:

1、配置:./configure --preifix=安装的目录 #检测系统配置,生成makefile文件 如果有makefile文件,直接进行编译和安装

2、编译:make

3、安装:make install

HUE的http服务端口:8888

二、安装和配置HUE:

安装HUE前,需要安装它所需要的rpm包及其依赖(27个),否则HUE运行会报错 rpm包:redhat软件包管理器 存放在redhat光盘Packages目录下

rpm包与tar.gz/.tgz、.bz2的区别:

rpm形式的软件包安装、升级、卸载方便,推荐初学者使用rpm形式的软件包

安装:rpm -ivh

卸载:rpm -e

tar.gz形式的软件包安装方便,卸载麻烦,用tar工具打包、gzip/bzip2压缩,安装时直接调用gzip/bzip2解压即可。如果解压后只有单一目录

用rm -rf命令删除,如果解压后分散在多个目录,必须手动一一删除

安装:tar -zxvf *.tar.gz/ tar -yxvf *.bz2

卸载:rm -rf/手动删除

一、安装rpm包:

方法:使用yum安装rpm包

yum:能够从指定的资源库(repository)自动下载、安装、升级rpm包及其依赖,必须要有可靠的资源库(repository)

1、挂载光盘 mount /dev/cdrom /mnt

mount命令:挂载硬盘/光盘/iso文件到指定目录下,访问其中的数据

2、建立yum资源库

cd /etc/yum.repos.d #yum资源库默认所在的目录

vim redhat7.repo

[redhat-yum] 资源库的标识

name=redhat7 资源库的名字

baseurl=file:///mnt 资源库的位置

enabled=1 启用资源库

gpgcheck=0 不检查资源库中的rpm包是否是官方的

3、执行下面的语句:

yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel

(二)、安装HUE:

解压:tar -zxvf hue-4.0.1.tgz

指定安装目录安装:PREFIX=/root/training make install

注:如果不指定prefix,可执行文件默认安装到/usr/local/bin中,配置文件默认安装到/usr/local/etc中,库文件默认安装到/usr/local/lib中,其他文件默认安装到/usr/local/share中

注:HUE的tar包是源码包,采用源码安装

三、配置HUE:

剖析管理所有大数据组件的可视化利器:Hue

1、与hadoop集成:1、开启hdfs的web功能 2、允许HUE操作hdfs

<!--开启hdfs的web功能-->

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<!--设置hadoop集群root的代理用户-->

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<!--设置hadoop集群root的代理用户组-->

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

3、添加一个新用户并授权:hue要对/root/training/hue有访问权限

adduser hue

chown -R hue.hue /root/training/hue

4、修改配置文件hue.ini($HUE_HOME/desktop/conf):

http_hosts 192.168.182.11

http_port 192.168.182.11

server_user root

server_group root

default_user root

default_hdfs_superuser root

fs_defaulfs hdfs://192.168.182.11:9000

webhdfs_url http://192.168.182.11:50070/webhdfs/v1

hadoop_conf_dir /root/training/hadoop-2.7.3/etc/hadoop

resourcemanager_host 192.168.182.11

resourcemanager_api_url http://192.168.182.11:8088

proxy_api_url http://192.168.182.11:8088

history_server_api_url http://192.168.182.11:19888

二、与HBase集成:

1、修改配置文件hue.ini:

hbase_clusters=(Cluster|192.168.182.11:9090)

hbase_conf_dir=/root/training/hbase-1.3.1/conf

剖析管理所有大数据组件的可视化利器:Hue

三、与Hive集成:

hive_server_host=192.168.182.11

hive_server_port=10000

hive_conf_dir=/root/training/apache-hive-2.3.0-bin/conf

(三)、启动HUE:

1、启动hadoop:start-all.sh hue就可以访问hadoop

2、启动hbase:start-hbase.sh

3、启动hbase的thrift server:hbase-daemon.sh start thrift hue就可以访问hbase

4、启动hive的元信息存储:hive --service metastore(表示前台运行) hue就可以访问hive的元信息

5、启动hive的thrift server:hiveserver2 &(表示后台运行) hue就可以访问hive

6、启动hue:bin/supervisor($HUE_HOME/build/env)

作者:李金泽,清华大学在读硕士,研究方向:大数据和人工智能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/452511.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django博客--5.让博客支持 Markdown 语法和代码高亮

文章目录0.前言1.安装 Python Markdown2.在 detail 视图中解析 Markdown3.safe 标签4.代码高亮5.效果展示0.前言 Markdown 是一种 HTML 文本标记语言&#xff0c;只要遵循它约定的语法格式&#xff0c;Markdown 的解析工具就能够把 Markdown 文档转换为标准的 HTML 文档&#…

Diango博客--6.Markdown 文章自动生成目录

文章目录0.思路引导1.在文中插入目录2.在页面的任何地方插入目录3.美化标题的锚点 URL0.思路引导 Markdown 在解析内容的同时还可以自动提取整个内容的目录结构&#xff0c;本文内容将从以下几个方面展开&#xff1a; 1&#xff09;在文中插入目录&#xff1b; 2&#xff09;在…

Java中对象和引用的理解

2019独角兽企业重金招聘Python工程师标准>>> 偶然想起Java中对象和引用的基本概念&#xff0c;为了加深下对此的理解和认识&#xff0c;特地整理一下相关的知识点&#xff0c;通过具体实例从两者的概念和区别两方面去更形象的认识理解&#xff0c;再去记忆。12一、对…

android怎样封装,如何封装属于自己的博客网站安卓APP 源码家园

说实话我今天在写这个文章的时候是我使用易语言(E4A\易安卓)的第一天&#xff0c;我也是易小白&#xff0c;但是的确可以用&#xff01;我为什么写这个文章呢&#xff1f;因为之前我也想封装自己的网站&#xff0c;然后去网上找的在线封装生成APP&#xff0c;果然能封装好了&am…

Diango博客--7.自动生成文章摘要

文章目录0.思路引导1.方法一&#xff1a;覆写 save 方法2.方法二&#xff1a;使用 truncatechars 模板过滤器0.思路引导 博客文章的模型有一个 excerpt 字段&#xff0c;这个字段用于存储文章的摘要。 若在 django admin 后台手动为文章输入摘要&#xff0c;每次手动输入摘要…

特斯拉股价暴跌,疯狂烧钱是否真的能够带来高额回报?

“疯狂烧钱”并不能成为公司持续亏损的理由&#xff0c;反而可能成为公司升级转型的关键所在。 上周三&#xff0c;特斯拉发布第四季度财报&#xff0c;其后特斯拉CEO马斯克在电话会议上表示&#xff0c;特斯拉亏损收窄&#xff0c;营收同比增长88%&#xff0c;但与此同时其首…

Diango博客--8.解锁博客侧栏

文章目录0.思路引导1.[最新文章] 模板标签2.[归档] 模板标签3.[分类] 模板标签4.[标签云] 模板标签5.使用自定义的模板标签0.思路引导 博客侧边栏有四项内容&#xff1a;最新文章、归档、分类和标签云&#xff0c;效果展示如下&#xff1a; 这些内容相对比较固定和独立&…

十五、详述 IntelliJ IDEA 插件的安装及使用方法

正文 首先&#xff0c;进入插件安装界面&#xff1a; Mac&#xff1a;IntelliJ IDEA -> Preferences -> Plugins;Windows&#xff1a;File -> Settings -> Plugins.标注 1&#xff1a;显示 IntelliJ IDEA 的插件分类&#xff0c; All plugins&#xff1a;显示 Inte…

面向数据流的设计方法

面向数据流的设计方法的目标是给出设计软件结构的一个系统化的途径。 在软件工程的需求分析阶段&#xff0c;信息流是一个关键考虑。通常用数据流图描绘信息在系统中加工和流动的 情况。面向数据流的设计方法定义了一些不同的“映射”&#xff0c;利用这些映射可以把数据流图…

AI研究的盲点:无解的神经网络内在逻辑

论人工神经网络内在逻辑的研究历史及现状。 伴随着大数据&#xff0c;人工智能&#xff08;AI&#xff09;在沉寂了多年之后&#xff0c;又迎来了新的高潮。在这场涉及大部分科学的革命中&#xff0c;人工神经网络释放了人工智能&#xff08;AI&#xff09;。但科学家们发现&a…

Diango博客--9.归档、分类和标签页

文章目录0.思路引导1.回顾2.归档页面3.分类页面4.标签页面0.思路引导 侧边栏已经正确地显示了最新文章列表、归档、分类、标签等信息&#xff0c;现在来完善归档、分类和标签功能。 当用户点击归档下的某个日期、分类栏目下的某个分类或者标签栏目下的某个标签时&#xff0c;…

android studio1.2.6,1.2.2 使用Android Studio开发Android APP | 菜鸟教程

写在前面本节将介绍如何使用Android Studio开发Android APP&#xff0c;和前面Eclipse ADT SDK搭建Android开发环境一样&#xff0c;本节也只是介绍一些基本东西&#xff0c;深入的&#xff0c;比如快捷键&#xff0c;小技巧等会再另一篇文章中详细地介绍&#xff01;1.下载A…

UPS开始尝试“货车+无人机”的投递方式,不必再担心快递员离职了

继亚马逊“空中仓库”&#xff0c;无人机送货再现新形式。 作为世界上最大的快递承运商与包裹递送公司&#xff0c;UPS当然也没有放过“送货无人机”这一新颖业务。与亚马逊推出“空中仓库”的理念类似&#xff0c;UPS并没有选择让无人机从仓库直接起飞&#xff0c;而是将之与…

Diango博客--10.交流的桥梁“评论功能”

文章目录0.思路引导1.创建"评论"应用2.设计"评论"的数据库模型3.注册"评论"模型到 admin4.设计“评论”表单5.展示评论表单6.“评论”视图函数7.绑定 URL8.向读者发送是否“评论”成功的状态9.详情页底部显示“评论”内容0.思路引导 本文将创建…

python与android交互,Android客户端与Python服务器端的简单通信

最近在做一个APP&#xff0c;需要与服务器通信&#xff0c;一点一点的尝试&#xff0c;记录一下。本文使用了OkHttp和Flask框架。Android客户端&#xff1a;实现功能输入完点击OK按钮后会toast成功的信息。Python服务端&#xff1a;各部分代码如下&#xff1a;activity_main.xm…

云栖科技评论第48期:前沿科技对世界的改造 我们这代人只完成了1%

1、数字经济版图呈中美双分趋势 日本IT行业为前景担忧 数字经济版图呈中美双分趋势 日本IT行业为前景担忧 【新闻摘要】《日本经济新闻》日前刊文称&#xff0c;数字经济的势力版图呈现中国和美国两强双分的趋势明显&#xff0c;这意味着日本可能不得不使用中美的技术&#xff…

CentOS下添加Root权限用户‘超级用户’方法(xxx is not in the sudoers file.This incident will be reported.的解决方法)

文章目录1.添加普通用户2.添加sudo文件的写权限3.编辑sudoers文件4.撤销sudoers文件写权限1.添加普通用户 [rootserver ~]# useradd fxd //添加一个名为fxd的用户 [rootserver ~]# passwd fxd //修改密码 Changing password for user chenjiafa. New UNIX password: //在这里输…

android打印intent flag,Android flag详解

Android flag详解Android flag详解一.Flag标志位在阅读源码的时候经常发现有一些标志属性使用一些位操作来判断是否具有该标志&#xff0c;增加标志或者去除标志。如&#xff1a;二.addFlags (int flags)和setFlags (int flags)区别Public Intent addFlags (int flags)增加额外…

开启市场新格局 且看新华三计算与存储新品发布会

全球领先的新IT解决方案领导者新华三将于8月31日在北京钓鱼台国宾馆举办“新IT 新动能 新格局 新华三下一代计算与存储发布会”&#xff0c;重磅发布服务器和存储的全线新品。 2017年初&#xff0c;新华三集团正式推出了“应用驱动 云领未来”的新IT战略。在这一战略指引下&…

龟兔赛跑问题

题目 乌龟与兔子进行赛跑&#xff0c;跑场是一个矩型跑道&#xff0c;跑道边可以随地进行休息。乌龟每分钟可以前进3米&#xff0c;兔子每分钟前进9米&#xff1b;兔子嫌乌龟跑得慢&#xff0c;觉得肯定能跑赢乌龟&#xff0c;于是&#xff0c;每跑10分钟回头看一下乌龟&#x…