CDH- Hive HWI 配置

目录

 

一、HWI安装

二、其中遇到一些问题:

1.遇到如下问题,将jre环境中的toos.jar 服务到lib目录下

2.CDH中没有hwi相关配置参数,手动加入并修改端口为9998,发现并未生效,暂时未找到原因所在。


一、HWI安装

通过查看《Hadoop权威指南》发现hive有 hwi功能研究一下看看是否方便

执行

[root@test111 lib]# hive --service hwi
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
ls: cannot access /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/hive/lib/hive-hwi-*.war: No such file or directory
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
18/09/21 11:16:03 INFO hwi.HWIServer: HWI is starting up
18/09/21 11:16:03 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
18/09/21 11:16:03 INFO mortbay.log: jetty-6.1.26.cloudera.4
18/09/21 11:16:04 INFO mortbay.log: Started SocketConnector@0.0.0.0:9999

访问链接发现根本不是web页面,妈的。都是文件

后来发现需要编译相关war包,传入服务器。 

首先下载相对应的源码下载地址:http://www.apache.org/dyn/closer.cgi/hive/

进入hwi目录

apache-hive-1.2.2-src/hwi

编译成war包 

注意打包方式要使用这种,网上很多种方式,使用完之后发现还不是web操作页面

jar cvfM0 hive-hwi-1.2.1.war -C web/ .

 查找hive的目录安装在

/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib

 将hive-hwi-1.2.1.war 复制到该目录下,运行报错如下

[root@test111 hive]# hive --service hwi
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
18/09/21 11:11:25 INFO hwi.HWIServer: HWI is starting up
18/09/21 11:11:26 ERROR hwi.HWIServer: HWI WAR file not found at /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/hive/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/hive/lib/hive-hwi-1.1.0.war

 提示文件没有在目录中找到,cd进这个目录发现没有该目录,手动创建

[root@test111 hive]# mkdir -p /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/hive/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/hive/lib/

将文件 hive-hwi-1.2.1.war 也复制到该目录下

再次执行

[root@test111 lib]# hive --service hwi
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
18/09/21 11:15:00 INFO hwi.HWIServer: HWI is starting up
18/09/21 11:15:00 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
18/09/21 11:15:00 INFO mortbay.log: jetty-6.1.26.cloudera.4
18/09/21 11:15:00 INFO mortbay.log: Extract /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/hive/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/hive/lib/hive-hwi-1.1.0.war to /tmp/Jetty_0_0_0_0_9999_hive.hwi.1.1.0.war__hwi__.4otk49/webapp
18/09/21 11:15:00 INFO mortbay.log: Started SocketConnector@0.0.0.0:9999

访问http://192.168.2.111:9999/hwi/   一定要加上hwi 否则无法访问

 

二、其中遇到一些问题:

1.遇到如下问题,将jre环境中的toos.jar 服务到lib目录下

cp tools.jar  /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib
18/09/21 10:35:21 ERROR mortbay.log: /hwi/hwi/web/
Unable to find a javac compiler;
com.sun.tools.javac.Main is not on the classpath.
Perhaps JAVA_HOME does not point to the JDK.
It is currently set to "/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64/jre"at org.apache.tools.ant.taskdefs.compilers.CompilerAdapterFactory.getCompiler(CompilerAdapterFactory.java:129)at org.apache.tools.ant.taskdefs.Javac.findSupportedFileExtensions(Javac.java:979)at org.apache.tools.ant.taskdefs.Javac.scanDir(Javac.java:956)at org.apache.tools.ant.taskdefs.Javac.execute(Javac.java:927)at org.apache.jasper.compiler.AntCompiler.generateClass(AntCompiler.java:220)at org.apache.jasper.compiler.Compiler.compile(Compiler.java:298)at org.apache.jasper.compiler.Compiler.compile(Compiler.java:277)at org.apache.jasper.compiler.Compiler.compile(Compiler.java:265)at org.apache.jasper.JspCompilationContext.compile(JspCompilationContext.java:564)at org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:299)at org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:315)at org.apache.jasper.servlet.JspServlet.service(JspServlet.java:265)at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:401)at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:767)at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:450)at org.mortbay.jetty.servlet.Dispatcher.forward(Dispatcher.java:327)at org.mortbay.jetty.servlet.Dispatcher.forward(Dispatcher.java:126)at org.mortbay.jetty.servlet.DefaultServlet.doGet(DefaultServlet.java:503)at javax.servlet.http.HttpServlet.service(HttpServlet.java:707)at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:401)at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:767)at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:450)at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)at org.mortbay.jetty.handler.RequestLogHandler.handle(RequestLogHandler.java:49)at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)at org.mortbay.jetty.Server.handle(Server.java:326)at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928)at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549)at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212)at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)at org.mortbay.jetty.bio.SocketConnector$Connection.run(SocketConnector.java:228)at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)

2.CDH中没有hwi相关配置参数,修改端口为9991

CDH中修改配置参数,hive-site相关有很多个配置,修改如图所示的那个参数,其他的修改无法生效。

hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)
<property><name>hive.hwi.listen.port</name><value>9991</value><final>true</final>
</property>

HWI 简单使用 参考:https://blog.csdn.net/zhangshenghang/article/details/82800390 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510212.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ubuntu 安装PCL

如果你对PCL版本没有要求可以根据下面的方式安装&#xff1a; sudo apt-get install libpcl-dev 编译工程的时候可能会出现两个错误&#xff1a; 1. *** No rule to make target /usr/lib/x86_64-linux-gnu/libproj.so, needed by pcl_test. Stop 解决方式&#xff1a; s…

html之添加注释

为文档添加注释 <!--这里是注释--> 或者 <!--这里也是注释 并且可以分为多行-->

Hive - HWI 简单使用

进入HWI web页面 查看数据库中的表&#xff1a; 单击Create Session&#xff0c;并输入任务名称&#xff08;自定义&#xff09; 输入相关信息 Result File:结果输出文件 Error File:错误输出文件(可不填) Query&#xff1a;需要执行的语句,一些需要设置的参数也在这里面进…

ubuntu16.04安装ROS

参考博客: https://blog.csdn.net/weixin_43159148/article/details/83375218

HDFS balancer 异常处理

Hbase批量导入数据时&#xff0c;服务器负载较高&#xff0c;导致HDFS数据没有及时均衡&#xff0c;导致有一个DataNode数据暴增&#xff0c;手动进行balancer。 增加HDFS DataNode节点&#xff0c;想要均衡数据存储&#xff0c;执行 hdfs balancer -threshold 10 突然有一些…

html之关于空白和空白字符

分为&#xff1a;有意义空白和无意义空白2.71关于断行符<p> </p>2.72空白字符四种。。。记住&#xff1a;应该将空白置于开始标签之前&#xff0c;而不是紧跟着开始标签之后&#xff08;eg&#xff1a;<p>hello <a hre...>world</a> 避免<p&g…

“__popcnt64 is undefined

添加头文件&#xff1a; #include <intrin.h>

html之特殊字符表

特殊符号命名实体十进制编码特殊符号命名实体十进制编码Α&Alpha;Β&Beta;Γ&Gamma;Δ&Delta;Ε&Epsilon;Ζ&Zeta;Η&Eta;Θ&Theta;Ι&Iota;Κ&Kappa;Λ&Lambda;Μ&Mu;Ν&Nu;Ξ&Xi;Ο&Omicron;Π&Pi;Ρ&R…

cmake 学习笔记

1.路径 _mkdir(ROOT_DIR "/data/"); if (NOT ROOT_DIR_DEFINED) add_definitions(-DROOT_DIR"${PROJECT_SOURCE_DIR}") set(ROOT_DIR_DEFINED ON) endif() if (NOT ROOT_DIR_DEFINED) set(ROOT_DIR ${CMAKE_CURRENT_SOURCE_DIR}) if (AR…

HDFS查看异常:Operation category READ is not supported in state standby. Visit

跨集群访问hdfs失败 $ hdfs dfs -ls hdfs://test:8020/hbase ls: Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error 意思是namenode不可用&#xff0c;查看namenode状态 hdfs-site.xml<property><name>dfs.h…

html之插入图片

GIF、JPEG、PNG是最符合在网页设计中使用的格式&#xff0c;但是要想将它们呈现在网页中&#xff0c;必须将它们链接在网页&#xff0c;这是通过HTML中添加到图片的路径链接来实现的。 使用html中的img可以实现该功能 图片的源地址(src属性) <img src"文件路径"…

ubuntu16.04 计算视觉算法相关软件安装 亲测可用

1.安装nvidia 驱动 1.1下载官方驱动程序 http://www.geforce.cn/drivers 根据自己的显卡显卡型号选择相应的驱动 1.2屏蔽nouveau驱动 输入 cd /lib/modules 输入 ls 会显示4.13.0-37-generic&#xff0c;4.13.0-36-generic,我们目标是最新的那个版本&#xff0c;每个人可能…

数据库中的模式分解与无损连接性

无损连接分解的普通判别方法——表格法 设关系模式RA1,…,An&#xff0c;R上成立的FD集F&#xff0c;R的一个分解p{R1,…,Rk}。无损连接分解的判断步骤如下&#xff1a; (1)构造一张k行n列的表格&#xff0c;每列对应一个属性Aj(1≤j≤n)&#xff0c;每行对应一个模式Ri(1≤i≤…

html之figure元素和figcaption元素为图片声明标题

figure和figcaption元素结合来为图片、视频、表格或者嵌入元素声明标题。以前使用如下方式为图片添加标题&#xff1a; <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"&g…

数据库设计过程

需求分析->概念结构设计->逻辑结构设计->物理设计 需求分析&#xff1a;数据流图&#xff0c;数据字典&#xff0c;需求说明书 概念结构设计&#xff1a;ER模型 逻辑结构设计&#xff1a;关系模式

tensorflow2.0学习(一)

环境配置我就不再这赘述了 1利用kares搭建分类模型 import tensorflow as tf import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib inline import numpy as np import sklearn import pandas as pd import os import sys import time from tensorlow impo…

常用数学符号大全、关系代数符号

http://www.dataguru.cn/thread-247437-1-1.html 常用数学符号大全、关系代数符号 1、几何符号   ⊥ ∥ ∠ ⌒ ⊙ ≡ ≌ △   2、代数符号   ∝ ∧ ∨ &#xff5e; ∫ ≠ ≤ ≥ ≈ ∞ ∶   3、运算符号   如加号&#xff08;&a…

现在完成时与过去完成时的区别

http://wenku.baidu.com/link?url-9u_JYMav-j6mhWJkEeQjKUsfKg4_7LCEvreL8fs4AXtdCn6VqAak66PNbSCRF3foilN80FulCHsbCFJB_hQZd7HIw3y8Z4jq0Mnga4O9YG

Segment-based Disparity Refinement with Occlusion Handling for Stereo Matching翻译和理解

摘要 摘要:本文提出了一种视差细化方法&#xff0c;通过对视差统计意义的探讨&#xff0c;直接细化赢者通吃视差图。根据基于分割的立体匹配的主要步骤&#xff0c;将参考图像过度分割为超像素&#xff0c;并通过改进的随机样本对每个超像素进行视差面拟合共识(RANSAC)。我们设…

三大范式和BC范式

https://www.cnblogs.com/awidy/articles/3978724.html 引言 数据库的设计范式是数据库设计所需要满足的规范&#xff0c;满足这些规范的数据库是简洁的、结构明晰的&#xff0c;同时&#xff0c;不会发生插入 &#xff08;insert&#xff09;、删除&#xff08;delete&#x…