五、 RHive的安装及测试
RHive依赖于Rserve,所有首先需要安装Rserve(在各个namenode上),接下来在所有节点上启动Rserve:
> sudo R > install.packages("Rserve") > q()
> Rserve --RS-conf /usr/lib64/R/Rserv.conf #启动Rserve
> sudo netstat -nltp | grep Rserve #查看Rserve服务端口号
通过netstate会发现Rserve启动后默认端口为6311。
在master节点上telnet(如果未安装,通过shell命令yum install telnet安装)所有slave节点。
> telnet bj1-241-centos169 6311
RHive的安装无法直接通过R的install.packages("RHive")进行,在github上也无法直接从https://github.com/nexr/RHive/downloads下载编译好的tar.gz包,只能从github下载源码后自己编译。编译java源文件的过程需要用到ant,若机器上没有,首先安装ant:
> sudo yum install ant
更改/etc/profile,设置环境变量HIVE_HOME和ANT_HOME,在测试机上,对应为:
HIVE_HOME=/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/
ANT_HOME=/usr/share/ant
以下步骤需要对RHive源代码进行一些更改,编译并打包成tar.gz文件后再安装RHive,若不关心修改源码的部分,本文最后会给出已编译好的文件以供下载。
进入$INS_TMP目录后,下载github上RHive项目源码,路径为~/$INS_TMP/RHive。由于测试机群上配置了Kerberos,而R语言通过RHive访问Hive的过程并不是直接通过JDBC接口访问,而是将在R语言中通过.j2r文件下的函数调用java程序,在java程序中加载JDBC驱动而访问hive。尽管当前用户拥有有效的Kerberos票据,在这样的机制下java程序却不能直接拥有Kerberos票据对应的权限。解决方案是在类com.nexr.rhive.hive.DatabaseConnection的代码 (java代码位于/RHive/RHive/inst/javasrc/src/目录下),在connect()方法里加上以下语句。
package com.nexr.rhive.hive; class DatabaseConnection { @SuppressWarnings("deprecation")boolean connect() throws SQLException {//加上的语句,使 RHive调用的java程序能够拥有kerberos权限System.setProperty("javax.security.auth.useSubjectCredsOnly","false"); ... //函数体其余语句return true; }
Hive可访问jar包的路径下,因为测试集群上的 sentry限制了程序对Hive的add jar操作,所以这条语句在RHive执行不通过,我们需要将其注释后,手动将rhive_udf.jar添加到Hive可以搜索的目录下。然后修改/etc/profile文件文件,增加HADOOP_HOME环境变量:
HADOOP_HOME=/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hadoop/
回到~/$INS_TMP/RHive目录, 重新对RHive代码进行编译:
> sudo ant build > sudo R CMD build RHive > sudo R CMD INSTALL RHive_2.0-0.10.tar.gz
~/$INS_TMP/RHive目录下生成的RHive_2.0-0.10.tar.gz即为RHive安装包。
在正式使用RHive之前,还需要进行一些配置。RHive会将rhive_udf.jar复制到每台机器上对应的目录下,默认目录为/hive,可以通过/RHive/RHive/R/macro.R里的.DEFAULT_FS_HOME进行修改,这里我们修改为/user/rhive,注意修改后要进行重新编译。
在所有机器上都创建/user/rhive目录,并修改其属性,使所有用户对其都有读写权限。
> sudo mkdir -p /rhive/data > sudo chmod 777 -R /rhive/data
由于刚才我们在RHive的R代码中注释了hiveClient$addJar(.FS_JAR_PATH())一行,现在每台机器上都存在/rhive/data目录,并且RHive在执行过程中会自动将rhive_udf.jar添加到该路径下,此时可更改hive_site.xml的配置,在hive.aux.jars.path加上路径/rhive/data/rhive_udf.jar以使hive能够找到rhive_udf.jar。在cloudera manager下,这步操作可以在hive对应的配置页更改, 地址是http://host:port/cmf/services/38/config的格式。
设置完毕后重启hive。以下用的是169机器上的hiveserver2。
测试代码见test_rHive.r,调用RHive的核心部分如下,
#请确保以下路径配置正确 Sys.setenv(JAVA_LIBRARY_PATH="/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hadoop/lib/native"); Sys.setenv(HADOOP_HOME="/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hadoop"); Sys.setenv(HIVE_HOME="/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/"); Sys.setenv(HADOOP_CONF="/etc/hadoop/conf"); Sys.setenv(DEFAULT_FS="/user/rhive");library(RHive) rhive.init() #rhive.init(verbose = TRUE) rhive.env()rhive.connect(host = "bj1-241-centos169", port = "10000",hiveServer2=TRUE, properties="hive.principal=hive/bj1-241-centos169@XXX.COM") rhive.query('select count(*) from test') rhive.close() q()
可能出现的问题:
(1)执行rhive.connect()函数后抛出异常javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)],而用beeline进行连接,输入
!connect jdbc:hive2://192.168.241.169:10000/default;principal=hive/bj1-241-centos169@XXX.COM
连接正常,可能原因是kerberos对RHive调用的java程序没有授权,详细的 异常信息打印如下:
更改DatabaseConnection类下的connecr()函数即可, 即加上语句
System.setProperty("javax.security.auth.useSubjectCredsOnly","false");
(2)RHive执行connect()成功,但出现异java.sql.SQLException: Insufficient privileges to execute ADD, 图例如下(原始的RHive代码在出现这个问题时没有打印栈信息, 为了演示方便我手动加上了栈信息的打印):
出现这个问题的可能原因是sentry限制了对hive的add jar操作,将 rhive.R中的connect()函数进行修改,注释hiveClient$addJar后手动添加rhive_udf.jar路径,即可解决。