【大数据进阶第三阶段之Hue学习笔记】Hue的安装和使用

1、 Hue的安装

1.1 上传解压安装包


Hue的安装支持多种方式,包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等,我们这里使用tar.gz包的方式来进行安装
Hue的压缩包的下载地址:
http://archive.cloudera.com/cdh5/cdh/5/
我们这里使用的是CDH5.14.0这个对应的版本,具体下载地址为
http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
tar -zxf hue-3.9.0-cdh5.14.0.tar.gz


1.2 联网安装各种必须的依赖包


yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel


1.3 Hue初始化配置

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim  hue.ini

根据自己配置修改以下内容

#通用配置
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
#通过http访问hue界面的主机名
http_host=node01
#是否启用新版hue界面
is_hue_4=true
#时区
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
#配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右
[[database]]
#设置database为mysql
engine=mysql
#mysql所在节点
host=node01
port=3306
#mysql用户名及密码
user=root
password=Hadoop
#mysql数据库名
name=hue


1.4 创建mysql中Hue使用的DB


create database hue default character set utf8 default collate utf8_general_ci;


1.5 编译Hue

cd /export/servers/hue-3.9.0-cdh5.14.0
make apps

编译成功之后,会在hue数据库中创建许多初始化表


1.6 启动Hue、Web UI访问

cd /export/servers/hue-3.9.0-cdh5.14.0
前台启动:
./build/env/bin/supervisor 
后台启动:
./build/env/bin/supervisor &

WEB页面访问路径
http://node01:8888


2、 Hue与软件的集成

2.1、 Hue集成HDFS


2.1.1、修改core-site.xml配置

<!—允许通过httpfs方式访问hdfs的主机名 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<!—允许通过httpfs方式访问hdfs的用户组 -->
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

2.1.2、修改hdfs-site.xml配置

<property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
</property>

2.1.3、修改hue.ini

[[hdfs_clusters]]
    [[[default]]]
fs_defaultfs=hdfs://node01:8020
webhdfs_url=http://node01:50070/webhdfs/v1
hadoop_hdfs_home=/export/servers/hadoop-2.6.0-cdh5.14.0
hadoop_bin=/export/servers/hadoop-2.6.0-cdh5.14.0/bin
hadoop_conf_dir=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop


3.1.4、重启HDFS、Hue

启动HDFS
start-dfs.sh

启动hue进程
cd /export/servers/hue-3.9.0-cdh5.14.0
./build/env/bin/supervisor


3.1.5、WEB界面查看


2.2、 Hue集成YARN


2.2.1、修改hue.ini

[[yarn_clusters]]
    [[[default]]]
      resourcemanager_host=node01
      resourcemanager_port=8032
      submit_to=True
      resourcemanager_api_url=http://node01:8088
      history_server_api_url=http://node01:19888


2.2.2、开启yarn日志聚集服务

MapReduce 是在各个机器上运行的, 在运行过程中产生的日志存在于各个机器上,为了能够统一查看各个机器的运行日志,将日志集中存放在 HDFS 上, 这个过程就是日志聚集

<property>  ##是否启用日志聚集功能。
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>  ##设置日志保留时间,单位是秒。
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
</property>


2.2.3、重启Yarn、Hue


启动yarn
start-yarn.sh

启动hue进程
cd /export/servers/hue-3.9.0-cdh5.14.0
./build/env/bin/supervisor


2.2.4、WEB界面查看


2.3、 Hue集成Hive


如果需要配置hue与hive的集成,我们需要启动hive的metastore服务以及hiveserver2服务(impala需要hive的metastore服务,hue需要hvie的hiveserver2服务)

2.3.1、修改Hue.ini

[beeswax]
  hive_server_host=node01
  hive_server_port=10000
  hive_conf_dir=/export/servers/hive-1.1.0-cdh5.14.0/conf
  server_conn_timeout=120
  auth_username=root
  auth_password=hadoop

[metastore]
  #允许使用hive创建数据库表等操作
  enable_new_create_table=true


2.3.2、启动Hive服务、重启hue

在node01机器上启动hive的 metastore 以及 hiveserver2 服务

后台启动 metastore 以及 hiveserver2 服务
cd /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &

启动hue进程
cd /export/servers/hue-3.9.0-cdh5.14.0
./build/env/bin/supervisor


2.3.3、WEB界面查看

2.4、Hue集成Mysql


2.4.1、修改hue.ini


需要把mysql的注释给去掉;大概位于1546行

[[[mysql]]]
      nice_name="My SQL DB"
      engine=mysql
      host=node01
      port=3306
      user=root
      password=hadoop

2.4.2、重启hue

启动hue进程
cd /export/servers/hue-3.9.0-cdh5.14.0/
./build/env/bin/supervisor


2.4.3、WEB界面查看


2.5、Hue集成Oozie


2.5.1、修改hue配置文件hue.ini


[liboozie]
  # The URL where the Oozie service runs on. This is required in order for
  # users to submit jobs. Empty value disables the config check.
  oozie_url=http://node01:11000/oozie

  # Requires FQDN in oozie_url if enabled
  ## security_enabled=false

  # Location on HDFS where the workflows/coordinator are deployed when submitted.
  remote_deployement_dir=/export/service/oozie/oozie_works
    
[oozie]
  # Location on local FS where the examples are stored.
  # local_data_dir=/export/servers/oozie-4.1.0-cdh5.14.0/examples/apps

  # Location on local FS where the data for the examples is stored.
  # sample_data_dir=/export/servers/oozie-4.1.0-cdh5.14.0/examples/input-data

  # Location on HDFS where the oozie examples and workflows are stored.
  # Parameters are $TIME and $USER, e.g. /user/$USER/hue/workspaces/workflow-$TIME
  # remote_data_dir=/user/root/oozie_works/examples/apps

  # Maximum of Oozie workflows or coodinators to retrieve in one API call.
  oozie_jobs_count=100

  # Use Cron format for defining the frequency of a Coordinator instead of the old frequency number/unit.
  enable_cron_scheduling=true

  # Flag to enable the saved Editor queries to be dragged and dropped into a workflow.
  enable_document_action=true

  # Flag to enable Oozie backend filtering instead of doing it at the page level in Javascript. Requires Oozie 4.3+.
  enable_oozie_backend_filtering=true

  # Flag to enable the Impala action.
  enable_impala_action=true

[filebrowser]
  # Location on local filesystem where the uploaded archives are temporary stored.
  archive_upload_tempdir=/tmp

  # Show Download Button for HDFS file browser.
  show_download_button=true

  # Show Upload Button for HDFS file browser.
  show_upload_button=true

  # Flag to enable the extraction of a uploaded archive in HDFS.
  enable_extract_uploaded_archive=true


2.5.2、启动hue、oozie

启动hue进程
cd /export/servers/hue-3.9.0-cdh5.14.0
./build/env/bin/supervisor

启动oozie进程
cd /export/servers/oozie-4.1.0-cdh5.14.0
./bin/oozied.sh start


2.5.3、WEB界面查看

2.6、Hue集成Hbase


2.6.1、修改hbase配置


在hbase-site.xml配置文件中的添加如下内容,开启hbase thrift服务
修改完成之后scp给其他机器上hbase安装包


<property>
  <name>hbase.thrift.support.proxyuser</name>
  <value>true</value>
</property>
<property>
  <name>hbase.regionserver.thrift.http</name>
  <value>true</value>
</property>


2.6.2、修改hadoop配置


在core-site.xml中确保 HBase被授权代理,添加下面内容
把修改之后的配置文件scp给其他机器和hbase安装包conf目录下

<property>
<name>hadoop.proxyuser.hbase.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hbase.groups</name>
<value>*</value>
</property>


2.6.3、修改Hue配置

[hbase]
  # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'.
  # Use full hostname with security.
  # If using Kerberos we assume GSSAPI SASL, not PLAIN.
  hbase_clusters=(Cluster|node01:9090)

  # HBase configuration directory, where hbase-site.xml is located.
  hbase_conf_dir=/export/servers/hbase-1.2.1/conf

  # Hard limit of rows or columns per row fetched before truncating.
  ## truncate_limit = 500

  # 'buffered' is the default of the HBase Thrift Server and supports security.
  # 'framed' can be used to chunk up responses,
  # which is useful when used in conjunction with the nonblocking server in Thrift.
  thrift_transport=buffered


2.6.4、启动hbase(包括thrift服务)、hue

需要启动hdfs和hbase,然后再启动thrift
start-dfs.sh
start-hbase.sh
./hbase-daemon.sh start thrift

重新启动hue
cd /export/servers/hue-3.9.0-cdh5.14.0/
./build/env/bin/supervisor


2.6.5、WEB界面查看

2.7、Hue集成Impala


2.7.1、修改hue配置文件hue.ini

[impala]
  server_host=node01
  server_port=21050
  impala_conf_dir=/etc/impala/conf


2.7.2、重启Hue

cd /export/servers/hue-3.9.0-cdh5.14.0/
./build/env/bin/supervisor


2.7.3、WEB界面查看

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/624085.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

torch.cat()函数的理解

torch.cat() 是 PyTorch 中的一个函数&#xff0c;用于在指定的维度上连接&#xff08;concatenate&#xff09;张量&#xff08;tensors&#xff09;。它的功能是将多个张量沿着指定的维度拼接在一起。 函数签名如下&#xff1a; torch.cat(tensors, dim0, *, outNone) ->…

python绘制热力图-数据处理-VOC数据类别标签分布及数量统计(-代码)

Python是一种功能强大的编程语言&#xff0c;它提供了许多库和工具&#xff0c;用于处理和可视化数据。在本文中&#xff0c;我们将介绍使用Python绘制热力图&#xff0c;并对VOC数据集中的类别标签进行分布及数量统计。 首先&#xff0c;我们需要导入所需的库。使用numpy库来…

查找算法(部分)

顺序查找 顺序查找是最简单的了&#xff0c;属于无序查找算法&#xff0c;它的原理就是从前往后一个一个的找&#xff0c;如果找到了就返回它的位置&#xff0c;否则就返回-1。 如果有多个相同元素的话&#xff0c;返回第一个该元素的位置。 代码&#xff1a; #include<…

在 CentOS 中,zip 是一个常用的命令行工具,用于创建和提取 zip 归档文件。

以下是一些常见的 zip 命令用法 创建 zip 归档文件&#xff1a; # 创建包含目录或文件的 zip 归档文件 zip -r archive.zip /path/to/directory_or_file# 创建并压缩 zip 归档文件 zip -r -9 archive.zip /path/to/directory_or_file -r: 递归地包含目录中的文件。-9: 使用最…

VCG 网格简化之移动立方体

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 我们先来回顾一下原始的移动立方体算法,该算法的基本思想是通过找出所有与等值面相交的体素,在这些基础上再分别找出每个体素与等值面相交的交面,最终将这些交面连在一起即是我们所求的曲面。其大致过程如下所述…

Vue3 中使用 Vuex 和 Pinia 对比之 Vuex的用法

本文基于 Vue3 的 composition API 来展开 Vuex 和 Pinia 的用法比较 Pinia传送门 Vuex传送门 Vuex 状态管理的核心概念 状态- 驱动应用的数据源&#xff1b;视图 - 以声明方式将状态映射到视图&#xff1b;操作 - 响应在视图上的用户输入导致的状态变化 下面是源自Vuex 官…

《LIO-SAM阅读笔记》IMU作用总结

LIO-SAM作为一个Lidar和IMU为主的紧耦合框架&#xff0c;两者缺一不可&#xff0c;这里总结一下LIO-SAM中IMU起到的作用&#xff1a; 1.利用当前帧Lidar里程计作为起点&#xff0c;结合IMU预积分&#xff0c;得到IMU里程计信息。 此处IMU里程计是以IMU的频率向外发送位姿估计&…

数据结构之二叉树简介

二叉树 二叉树是一种非线性数据结构&#xff0c;代表“祖先”与“后代”之间的派生关系&#xff0c;体现了“一分为二”的分治逻辑。与链表相似&#xff0c;二叉树的基本单元是节点&#xff0c;每个节点包含值&#xff0c;左子节点的索引&#xff0c;右子节点的索引 /* 二叉树节…

重建大师模型跑出来后,怎么替换另一个工程里面的瓦片?

答&#xff1a;如果只是看模型的话&#xff0c;可以直接把成果osgb合并在一起 重建大师是一款专为超大规模实景三维数据生产而设计的集群并行处理软件&#xff0c;输入倾斜照片&#xff0c;激光点云&#xff0c;POS信息及像控点&#xff0c;输出高精度彩色网格模型&#xff0c;…

进口零部件三维模型扫描替换抄数建模逆向造型设计服务CASAIM

三维扫描技术在现代制造业中发挥着越来越重要的作用&#xff0c;尤其在零部件建模领域&#xff0c;它能够快速、准确地获取物体的三维数据&#xff0c;为后续的逆向工程和快速原型制造提供了有力支持。 CASAIM三维扫描仪设备通过对零部件进行三维扫描&#xff0c;我们可以获得…

OpenHarmony4.0适配LVDS屏幕驱动

1.概述 手头有一块RK3568的开发板OK3568-C&#xff0c;但是还没有适配OpenHarmony&#xff0c;用的还是LVDS屏幕&#xff0c;但是官方和网上好像还没有OpenHarmony4.0的LVDS屏幕驱动的通用实现&#xff0c;所以决定尝试了一下适配该开发板&#xff0c;完成LVDS屏幕驱动的适配&…

OpenAIOps社区线上宣讲会圆满召开,期待您的加入!

2024年1月12日“OpenAIOps社区”线上宣讲会圆满召开&#xff0c;群体智慧协同创新社区的创立为AIOps领域未来发展注入了活力。OpenAIOps社区是一个AIOps开源社区及创新平台&#xff0c;由中国计算机学会(CCF)、清华大学、南开大学、中科院、国防科大、必示科技等单位共同发起&a…

OC协议和分类

前言 本篇文章介绍OC的分类和协议 分类 分类是这样一种设计&#xff0c;对于一个已经存在的类A&#xff0c;这个类可能是自己写的&#xff0c;或者是第三方的&#xff0c;甚至是系统提供的。这个类对我们很有用&#xff0c;但是&#xff0c;我们有些想要的功能在这个类里却没…

Qt 三维柱状图 Q3DBar 和 三维条形图中的数据序列 QBar3DSeries

(一) 使用 Q3DBars 图形类和 QBar3DSeries 序列类可以绘制三维柱状图 窗口右侧是用 Q3DBars 和 QBar3DSeries 绘制的三维柱状图&#xff0c;这个图只有一个QBar3DSeries序列&#xff0c;数据是按行存储的&#xff0c;可以有多行。水平方向是行坐标轴和列坐标轴&#xff0c;使用…

Windows安装和使用kafka

一、安装kafka 由于kafka依赖jdk和zookeeper&#xff0c;安装kafka之前需要先安装jdk和zookeeper&#xff0c;也可以使用kafka自带的zookeeper。安装jdk可以参考&#xff1a;Windows和Linux安装jdk&#xff0c;此处使用kafka自带的zookeeper&#xff0c;不单独安装。 下面在Wi…

VUE2/3:element ui table表格的显隐列(若依框架)

若依框架自带一个组件&#xff0c;封装了关于表格&#xff0c;展示和隐藏表格列的功能&#xff1b; 使用效果就是这样的&#xff0c;在表格上面&#xff0c;三个框&#xff0c;从左到右分别是隐藏上面搜索&#xff0c;刷新列表&#xff0c;和显隐列的功能&#xff1b; 一、下面…

每日一题 82. 删除排序链表中的重复元素 II(中等,链表)

和昨天差不多&#xff0c;今天的是把所有重复数字的节点都删除&#xff08;昨天留了一个&#xff09; 显然当我们发现重复数字时&#xff0c;需要重复的第一个数字的前一个节点才能把重复数字删完&#xff0c;所有在while循环中我们每次判断 t.next 和 t.next.next 的值是否重复…

MySQL运维实战(4.1) MySQL表存储引擎

作者&#xff1a;俊达 MySQL表的特点 MySQL是一种开源的关系型数据库管理系统&#xff0c;与Oracle、SQL Server等数据库相比&#xff0c;有两个关键的特点&#xff1a; 存储引擎灵活性&#xff1a; MySQL的插件式存储引擎使得用户可以根据具体需求选择不同的引擎&#xff0…

互联网今年都崩盘了gis开发还有前途嘛?

互联网和GIS其实分不开的&#xff0c;尤其是在新兴技术领域。 互联网行业都已经在进军测绘、GIS以及智慧城市、无人驾驶等行业&#xff0c;随着高新技术的发展&#xff0c;互联网和GIS其实结合会越来越紧密。 传统互联网行业已经不能满足大众需求&#xff0c;近十年&#xff…

安装LibreOffice 解决soffice command was not found. Please install libreoffice

速览 1.安装原因1.准备文件1.1下载文件1.2解压文件 2.安装文件3.尝试运行3.1环境变量配置3.2安装附加依赖libxinerama13.3安装附加依赖libcairo23.4安装附加依赖libxt6 4.命令安装好像不行 1.安装原因 在使用LangChain框架时产生错误&#xff1a; soffice command was not fo…