azkaban 与 java任务_azkaban任务报错java.lang.RuntimeException: The root scratch dir: /tmp/hive...

azkaban运行任务的时候失败报错如下：

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.jdbc.Utils.verifySuccess(Utils.java:231)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.jdbc.Utils.verifySuccess(Utils.java:222)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.jdbc.HiveConnection.openSession(HiveConnection.java:459)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.jdbc.HiveConnection.(HiveConnection.java:178)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at java.sql.DriverManager.getConnection(DriverManager.java:571)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at java.sql.DriverManager.getConnection(DriverManager.java:215)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at com.geo.gdata.common.HiveClientUtils.getConnection(HiveClientUtils.java:36)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at com.geo.gdata.hive.DataToHive.loadDataToTab(DataToHive.java:59)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at com.geo.gdata.chain.KafkaToHiveTab.main(KafkaToHiveTab.java:74)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at java.lang.reflect.Method.invoke(Method.java:606)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:444)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.cli.session.HiveSessionImpl.(HiveSessionImpl.java:116)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.cli.session.HiveSessionImplwithUGI.(HiveSessionImplwithUGI.java:47)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.cli.session.SessionManager.openSession(SessionManager.java:260)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.cli.CLIService.openSessionWithImpersonation(CLIService.java:175)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.cli.thrift.ThriftCLIService.getSessionHandle(ThriftCLIService.java:322)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.cli.thrift.ThriftCLIService.OpenSession(ThriftCLIService.java:235)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.cli.thrift.TCLIService$Processor$OpenSession.getResult(TCLIService.java:1253)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.cli.thrift.TCLIService$Processor$OpenSession.getResult(TCLIService.java:1238)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hive.service.auth.TSetIpAddressProcessor.process(TSetIpAddressProcessor.java:56)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at java.lang.Thread.run(Thread.java:745)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:529)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:478)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:430)

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -     ... 15 more

23-03-2016 08:16:15 CST analyzer-kafka2hdfs_new INFO - Process completed unsuccessfully in 73 seconds.

23-03-2016 08:16:15 CST analyzer-kafka2hdfs_new ERROR - Job run failed!

23-03-2016 08:16:15 CST analyzer-kafka2hdfs_new ERROR - azkaban.jobExecutor.utils.process.ProcessFailureExceptionazkaban.jobExecutor.utils.process.ProcessFailureException

23-03-2016 08:16:15 CST analyzer-kafka2hdfs_new INFO - Finishing job analyzer-kafka2hdfs_new at 1458692175992 with status FAILED

问题分析：

从报错中看到应该是跟权限有关系，搜索了相关文档，基本可以肯定是权限问题。

解决方法：

将/tmp/hive置为777权限

Update the permission of your /tmp/hive HDFS directory using the following command

hadoop fs -chmod 777 /tmp/hive

hdfs dfs-chmod 777 /tmp/hive

If so can you remove /tmp/hive on both local and hdfs.

hadoop fs -rm -r /tmp/hive;

rm -rf /tmp/hive

Only temporary files are kept in this location. No problem even if we delete this, will be created when required with proper permissions.

阅读(8275) | 评论(0) | 转发(0) |

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/273109.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

php-fpm的重启/关闭

php-fpm的重启/关闭

php 5.3.3 下的php-fpm 不再支持 php-fpm 以前具有的 /usr/local/php/sbin/php-fpm (start|stop|reload)等命令，需要使用信号控制： INT, TERM 立刻终止QUIT 平滑终止USR1 重新打开日志文件USR2 平滑重载所有worker进程并重新载入配置和二进制模块 kill -…
阅读更多...
SQL server 2008数据库的备份与还原、分离(转)

SQL server 2008数据库的备份与还原、分离(转)

一、SQL数据库的备份： 1、依次打开 开始菜单 → 程序 → Microsoft SQL Server 2008 → SQL Server Management Studio → 数据库：Dsideal_school_db既是我们需要备份的学籍数据库 图（1） 2、选择要备份的数据库“Dsideal_school_d…
阅读更多...
Java做一个动画效果音量调节_设计与实现一个 ISoundable 接口，该接口具有发声功能、还能调节音量大小...

Java做一个动画效果音量调节_设计与实现一个 ISoundable 接口，该接口具有发声功能、还能调节音量大小...

[java]代码库package experiment6;public interface ISoundable {public void increaseVolume();public void decreaseVolume();public void stopSound();public void playSound();}package experiment6;public class Radio implements ISoundable {public void increaseVolume…
阅读更多...
人人都有极客精神

人人都有极客精神

http://www.jisuanke.com/minicourse/59/438 人人公司是一家极为鼓励极客精神的公司，当有重要的项目需要上线但又时间太紧，甚至需要当天上线的时候，往往会挂起海盗旗开启电子日期显示，让大家可以在对时间有更明确的感知的情况下&a…
阅读更多...
WPF入门教程系列十三——依赖属性（三）

WPF入门教程系列十三——依赖属性（三）

四、 只读依赖属性 在以前在对于非WPF的功能来说，对于类的属性的封装中，经常会对那些希望暴露给外界只读操作的字段封装成只读属性，同样在WPF中也提供了只读属性的概念，如一些 WPF控件的依赖属性是只读的，它们经常用于…
阅读更多...
java 反编译 类名_java javassist创建类和反编译类

java 反编译 类名_java javassist创建类和反编译类

public class Byte {public static void main(String[] args) throws Exception {//获得类池ClassPool poolClassPool.getDefault();//创建类CtClass ccpool.makeClass("cn.sxt.in.Emp");//创建属性CtField f1 CtField.make("private int empno;", cc);Ct…
阅读更多...
java生成动态验证码_动态生成验证码案例

java生成动态验证码_动态生成验证码案例

servlet代码package cn.guizimo.web.servlet;import javax.imageio.ImageIO;import javax.servlet.ServletException;import javax.servlet.annotation.WebServlet;import javax.servlet.http.HttpServlet;import javax.servlet.http.HttpServletRequest;import javax.servlet.…
阅读更多...
TCP、UDP、HTTP、SOCKET之间的区别

TCP、UDP、HTTP、SOCKET之间的区别

http://blog.csdn.net/magister_feng/article/details/8634518 转载于:https://www.cnblogs.com/luningning0901/p/4667733.html
阅读更多...
特征选择算法java实现_relief算法特征选择

特征选择算法java实现_relief算法特征选择

1.[文件]Relief算法程序.txt ~ 6KB下载(44)package com.relief.algorithm;import java.util.Random;import java.util.Set;import java.util.ArrayList;import java.util.Collections;import java.util.HashMap;import java.util.List;import java.util.Map;public class Relie…
阅读更多...
freemarker跳出循环

freemarker跳出循环

break语句跳出当前循环&#xff0c;如下: <#list table.columns as c> <#if c.isPK> <#assign pkNamec.columnName?cap_first /> <#break> </#if> </#list>转载于…
阅读更多...
多线程程序排错总结

多线程程序排错总结

先不考虑其他因素&#xff0c;直接干掉密集IO操作&#xff0c;把并行IO变成串行IO 要沉下心来&#xff0c;先浏览一遍代码&#xff0c;看看是否有有问题的地方&#xff0c;首先找加锁的地方 没有办法的办法是&#xff0c;用二分法&#xff0c;一行一行的来定位转载于:https://w…
阅读更多...
java如何将数据保存为xml6_用Java实现可保存状态的数据库生成XML树，源码来了（9）...

java如何将数据保存为xml6_用Java实现可保存状态的数据库生成XML树，源码来了（9）...

用Java实现可保存状态的数据库生成XML树&#xff0c;源码来了(9)时间&#xff1a;2006/7/19 5:38:30作者&#xff1a;佚名人气&#xff1a;306.3.2.Servlet源码1.RefreshServlet.javapackage com.sitechasia;import javax.servlet.*;import javax.servlet.http.*;import java.i…
阅读更多...
企业服务总线全双工异步通信机

企业服务总线全双工异步通信机

为了实现系统的高可靠性、高可用性和并行处理能力&#xff0c;我们经常使用一些负载均衡设备&#xff08;例如F5&#xff09;等集群解决方案。但&#xff0c;会有一些特殊的情况下&#xff0c;。例如&#xff0c;长连接、特殊的技术协议。不可用F5和其他设备来解决&#xff0c;…
阅读更多...
java druid jdbc例子_JDBC【使用Druid连接数据库,DBUtils工具类的使用】

java druid jdbc例子_JDBC【使用Druid连接数据库,DBUtils工具类的使用】

Druid连接数据库&#xff0c;DBUtils工具类的使用1.在maven中添加Druid依赖com.alibabadruid1.2.02.封装Druid连接方法import com.alibaba.druid.pool.DruidDataSource;import com.alibaba.druid.pool.DruidDataSourceFactory;import java.io.IOException;import java.io.Input…
阅读更多...
TimerTask定时任务

TimerTask定时任务

web.xml <listener><listener-class>com.sign.listener.NFDFlightDataTaskListener</listener-class></listener> 监听器类 package com.sign.listener;import javax.servlet.ServletContextEvent; import javax.servlet.ServletContextListener;impor…
阅读更多...
java前后端接口文档_前后端交互接口设计规范

java前后端接口文档_前后端交互接口设计规范

在开发web应用的时候&#xff0c;往往会涉及到一个问题&#xff0c;前端后接口定义的问题。接口定义设计的好坏很大程度上能影响一个项目的进度和可扩展性。但是前辈们在这个问题上留下了非常宝贵的一些常规的设计思路&#xff0c;值得我们参考。1、后端设计统一的返回模型在与…
阅读更多...
2015 多校第三场

2015 多校第三场

1002 求max&#xff08;f(a),f(b)&#xff09;, f为不重复的素因子个数&#xff0c; 在数据要求以内 &#xff0c; 每个数最多有7个&#xff0c;可以打表。 1 /*Author :usedrose */2 /*Created Time :2015/7/29 11:32:09*/3 /*File Name :2.cpp*/4 #include <cstdio>5 …
阅读更多...
java多线程必须掌握吗_多线程模式有什么作用（java多线程必须掌握的知识）

java多线程必须掌握吗_多线程模式有什么作用（java多线程必须掌握的知识）

什么叫多进程&#xff1f;在预估中&#xff0c;过程是已经实行的计算机语言的一个案例。或是简易地说&#xff0c;运作程序流程也称之为过程。多进程代表着“在单独计算机软件中具备2个或更好几个CPU。比如&#xff0c;假如计算机软件具备双核四线程&#xff0c;而且另外运作(实…
阅读更多...
java配置irport,一个production模式下的Ror环境搭建-airport -JavaEye技术社区

java配置irport,一个production模式下的Ror环境搭建-airport -JavaEye技术社区

比较了一些ROR的生产环境&#xff0c;经过测试&#xff0c;还是选用了mongrelapache的方式。1.download安装包:httpd-2.2.3.tar.gz ,apache服务器ruby-1.8.5.tar.gzrubygems-0.9.0.tgzmongrel-0.3.13.4.gem2.安装rubytar zxvf ruby-1.8.5.tar.gz./configuremakemake install3.安…
阅读更多...
php ?redis,PHP使用Redis存储Session

php ?redis,PHP使用Redis存储Session

对于大访问量的网站来说&#xff0c;会有许多的客户端和服务端建立链接&#xff0c;就会生成许多 Session 文件&#xff0c;由于 Session 文件是存储在硬盘上的&#xff0c;因此每次服务器去读取这些 Session 文件都要经过许多的 I/O 操作。PHP 中可使用 session_set_save_hand…
阅读更多...
最新文章

Copyright @ 2022~2023