Java 远程mapduce_java – 如何远程运行mapreduce作业

当我尝试远程运行map-reduce作业(字数计数示例)时遇到了一些问题.我搜索谷歌后仍然无法实现我的目标.我刚刚看到很少关于远程调用map-reduce作业的主题.

以下是问题:

>首先,我遇到许可问题:

SEVERE: PriviledgedActionException as:[user] cause:org.apache.hadoop.security.AccessControlException:

org.apache.hadoop.security.AccessControlException: Permission denied: user=[user], access=WRITE, inode="mapred":root:supergroup:rwxr-xr-x

这似乎是一个拒绝hdfs路径的权限.我通过设置dfs.permissions = true来关闭检查.是否有其他方法可以解决这个问题,但仍然保持检查.

>然后我遇到一个异常,说我无法访问map-reduce应用程序jar.

SEVERE: PriviledgedActionException as:[User] cause:java.io.FileNotFoundException: File /home/hduser/WordCount-1.0.jar does not exist.

我的代码是:

JobConf conf = new JobConf(WordCount.class);

conf.setJobName("wordcount");

conf.set("fs.default.name", "hdfs://10.97.1.91:54310");

conf.set("mapred.job.tracker", "10.97.1.91:54311");

conf.setJar("/home/hduser/WordCount-1.0.jar");

...

JobClient.runJob(conf);

看起来名称节点上的本地文件系统拒绝我访问jar文件.我怎样才能克服这个问题?我在stackoverflow中找到了a link.从链接中,不需要jar文件位置.但是name节点如何在不提供位置的情况下找到jar文件?

>我在互联网上发现的教程中看到很少有远程执行作业的例子.是不是建议这样做?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/471530.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 2065. 最大化一张图中的路径价值(DFS)

文章目录1. 题目2. 解题1. 题目 给你一张 无向 图,图中有 n 个节点,节点编号从 0 到 n - 1 (都包括)。 同时给你一个下标从 0 开始的整数数组 values ,其中 values[i] 是第 i 个节点的 价值 。同时给你一个下标从 0 开…

java第九章编写一个能够产生_第九章java教程.ppt

第九章java教程5、下面哪个选项能够构造一个BufferedInputStream流?() A. New BufferedInputStream(“in.txt”); B. New BufferedInputStream(new File(“in.txt”)); C. New BufferedInputStream(new Write(“in.txt”)); D. New BufferedInputStream(new InputSt…

hello nodejs

文章1一步:下载、安装文件 打开nodejs官方网站http://www.nodejs.org/download/ 。选择须要的版本号。直接打开。默认安装就可以 第二步:编写測试代码: var http require(http); http.createServer(function(req, res) {res.writeHead(200, {Content-Ty…

LeetCode 1739. 放置盒子(数学)

文章目录1. 题目2. 解题1. 题目 有一个立方体房间,其长度、宽度和高度都等于 n 个单位。 请你在房间里放置 n 个盒子,每个盒子都是一个单位边长的立方体。放置规则如下: 你可以把盒子放在地板上的任何地方。如果盒子 x 需要放置在盒子 y 的…

java 线程池的理解_JAVA线程池原理的理解

线程池原理基础理解:线程池初始化规定个数的线程,然后这些线程一直运行,并且监控线程队列,只要线程队列被添加进线程,那么线程池不断从队列中取出线程运行。直到队列中的线程为空。实例代码如下:package xi…

Linux什么时候在pc机上有一席之地

这样一个题目,或许会让很多linux粉丝们感到很失望,linux在粉丝们眼里,已经是开源,自由软件,反抗微软暴政的等同词。但是linux在个人电脑领域,确实已经面临鸡肋的局面,未来的发展,即使…

LeetCode 2068. 检查两个字符串是否几乎相等

文章目录1. 题目2. 解题1. 题目 如果两个字符串 word1 和 word2 中从 ‘a’ 到 ‘z’ 每一个字母出现频率之差都 不超过 3 ,那么我们称这两个字符串 word1 和 word2 几乎相等 。 给你两个长度都为 n 的字符串 word1 和 word2 ,如果 word1 和 word2 几乎…

php文本框自动补全,PHP自动补全表单的两种方法

效果图:第一种:从数据库中检索之后补全第二种:邮箱等纯前端的补全先说第二种,使用开源的插件,所以相对简单。github上面的项目 completer。https://github.com/fengyuanchen/completer 做法特别容易,github…

Spring的@Scheduled任务调度

一. 定时任务实现方式 定时任务实现方式: Java自带的java.util.Timer类,这个类允许你调度一个java.util.TimerTask任务。使用这种方式可以让你的程序按照某一个频度执行,但不能在指定时间运行。一般用的较少,这篇文章将不做详细介…

LeetCode 2069. 模拟行走机器人 II(模拟)

文章目录1. 题目2. 解题1. 题目 给你一个在 XY 平面上的 width x height 的网格图,左下角 的格子为 (0, 0) ,右上角 的格子为 (width - 1, height - 1) 。 网格图中相邻格子为四个基本方向之一("North","East&quo…

eclipse php xdebug,Eclipse for php + Xdebug搭建PHP的调试环境

Eclipse for php Xdebug搭建PHP的调试环境Eclipse for php Xdebug搭建PHP的调试环境第二步:下载Xdebug (下载地址位于: http://xdebug.org/download.php,我的PHP版本为 PHP 5.3.28 Thread Safety, Apach为2.2.25,使用…

ROS2.9.27架设网吧软路由实战篇之端口映射与回流

转载:http://blog.csdn.net/zm2714/article/details/7924280 上一篇:ROS2.9.27架设网吧软路由实战篇之连通网络,主要讲述了网吧架设软路由ROS2.9.27的基本配置,目的就是使网吧能顺利连接外网。没有涉及到更丰富的其它功能和网络安…

LeetCode 2070. 每一个查询的最大美丽值(离线查询+排序+优先队列)

文章目录1. 题目2. 解题1. 题目 给你一个二维整数数组 items ,其中 items[i] [pricei, beautyi] 分别表示每一个物品的 价格 和 美丽值 。 同时给你一个下标从 0 开始的整数数组 queries 。对于每个查询 queries[j] ,你想求出价格小于等于 queries[j]…

php接收二进制流,php接收二进制流【转】

标签:binary 文件 com post 进制 二进制 tip form 生成文件/** 二进制流生成文件* $_POST 无法解释二进制流,需要用到 $GLOBALS[‘HTTP_RAW_POST_DATA‘] 或 php://input* $GLOBALS[‘HTTP_RAW_POST_DATA‘] 和 php://input 都不能用于 …

提交app时候90475,90474

提交app是遇到如下错误: ERROR ITMS-90475: "Invalid Bundle. iPad Multitasking support requires launch story board in bundle xxxx." ERROR ITMS-90474: "Invalid Bundle. iPad Multitasking support requires these orientations: UIInterfac…

LeetCode 2071. 你可以安排的最多任务数目(二分查找)

文章目录1. 题目2. 解题1. 题目 给你 n 个任务和 m 个工人。每个任务需要一定的力量值才能完成,需要的力量值保存在下标从 0 开始的整数数组 tasks 中,第 i 个任务需要 tasks[i] 的力量才能完成。 每个工人的力量值保存在下标从 0 开始的整数数组 worke…

crontab 执行php脚本,为什么crontab没有执行我的PHP脚本?

我已经构建了一个php文件来检查一些结果,所以我需要设置一个cronjob.我设置一个每30分钟运行一次,以便结果发送.但是,我不知道为什么我的crontab每隔30分钟就没有运行.以下是我设置crontab的方法:*/30 * * * * php /var/www/html/result.php我已经确认我的文件目录是…

用JS来create结点,纯JS代码生成html页面(作业练习)

<script>window.onload function(){document.title 表单示例;var body document.body;// body append child beginvar center document.createElement(center); body.appendChild(center);var h1 document.createElement(h1);h1.innerHTML 增加用户;center.appendC…

LeetCode 2073. 买票需要的时间

文章目录1. 题目2. 解题1. 题目 有 n 个人前来排队买票&#xff0c;其中第 0 人站在队伍 最前方 &#xff0c;第 (n - 1) 人站在队伍 最后方 。 给你一个下标从 0 开始的整数数组 tickets &#xff0c;数组长度为 n &#xff0c;其中第 i 人想要购买的票数为 tickets[i] 。 …

docker php nginx,使用docker快速搭建nginx+php环境

经过了繁琐的docker环境安装&#xff0c;看了下镜像/容器的简单使用&#xff0c;开始进行nginxphp环境的搭建&#xff0c;本文记录一下在安装过程中的笔记。