eclipse 运行MapReduce程序错误异常汇总(解决Map not fount)

错误一:

Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2074)
at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:742)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1980)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
... 8 more

问题分析:很烦人的一个问题,很久之前就碰见过,后来电脑linux换了一个版本,解决了

解决办法:eclipse添加hadoop配置文件问题,记住只需要在程序目录下新建一个conf的文件夹,把log4j.properties拷贝到该目录下,重启eclipse即可

错误二:

eclipse 运行MR提示无法访问的情况

问题分析:权限不足

解决办法:重新给hdfs文件系统赋予权限(可能会经常遇到这种问题,可执行同一种操作即可)bin/hdfs dfs -chmod -R 777 /

错误三:

HMaster启动之后立即又关闭

问题分析:可能是zookeeper不稳定造成的,

解决办法:停止zookeeper服务(bin/zkServer.sh stop zoo1.cfg     bin/zkServer.sh stop zoo2.cfg    bin/zkServer.sh stop zoo3.cfg ),再重新启动

错误四:

15/08/23 11:10:07 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001
Exception in thread "main" ExitCodeException exitCode=1: chmod: 无法访问"/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001": 没有那个文件或目录

问题分析:eclipse的配置文件缺少

解决办法:把配置hadoop时所修改的配置文件全部复制到src文件夹下


错误五:

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/thinkgamer/output already exists

问题分析:hdfs文件系统中的output文件夹已经存在

解决办法:删除即可(同时还可能出现找不到input目录的问题,此时注意检查input路径)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/296572.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

日本原装进口雪平锅,煎炸炒煮全搞定,日本人用了 1000 年

▲ 点击查看小爆我虽然热爱烹饪,但不得不说「下厨房」,也是个坑。光是锅,我就要买好几个。为了蒸包子馒头买蒸锅,为了炒菜买炒锅,偶尔想精致喝热牛奶又买了小奶锅,为了煲汤、做点卤味解解馋,买炖…

Android开发学习笔记:浅谈Content Provider

一.Content Provider的概念介绍 Content Providers是所有应用程序之间数据存储和检索的桥梁,它使得各个应用程序之间实现数据共享。是应用程序间共享数据的唯一途径。Content Provider 主要的功能就是存储并检索数据以及向其他应用程序提供访问数据的接口。其中包括…

小米3g刷高格固件_小米路由器3G刷了老毛子之后恢复官方固件

这个教程我没有亲自试过,看到了只是为了保存记录一下,方便自己日后用!1、断电路由器后,按住Reset恢复出厂设置5秒,接入电源,灯闪烁三下后松开。浏览器输入192.168.1.1即可进入breed 控制台!2、固件更新-Bootloader-选择Bootloader…

VS2010插件之NuGet

Visual Studio(简写VS)是.net程序员开发必不可少的开发工具,随着VS的版本不断的升级和使用用户的扩大,现在针对VS开发了许多的开源免费的插件,大大的方便了程序员的开发,提高了开发效率。今天,我…

C# WPF Caliburn.Micro框架下利用Mef加载其它项目界面

01—前言MEF是微软自家的托管可扩展框架,在这里我把它用成了ioc容器。在Caliburn.Micro框架下,view和viewmodel被注入到CompositionContainer容器中,然后通过名称可以实现view和viewmodel的匹配。利用这一特点,在多人合作项目开发…

thinkpade450装内存条_thinkpad e450可以加内存条吗

展开全部结论:肯定是可以加的。原因62616964757a686964616fe59b9ee7ad9431333361313362:thinkpad e450自带两个内存插槽,最高可扩展至16G内存,也就是插两根8G内存条,这款笔记本增加内存的话,建议插两根4G的…

女朋友竟然提出这种奇怪的要求......

1 为什么女朋友会提这么奇怪的要求?▼2 我的数学能力▼3 一看就是老龙人了阁下是古墓派传人吧▼4 如果可爱能晋级的话你已经赢了▼5 要做个与众不同的垃圾▼6 女孩子喜欢帅哥是不分年龄的▼‍‍7 单身狗又做错了什么呢?▼扫描这个二维码你将会有机…

java内存:堆、栈、常量池、方法区

java中内存主要包含4块,即heap(堆内存)、stack(栈内存)、data segment(静态变量或是常量存放区)、codesegment(方法区). 参考: http://jameszhao1987.iteye.com/blog/1320630转载于:https://www.cnblogs.com/zhouqg/p/4758422.html

Java编码规范,在您进行编码之前应该阅读的规范

为什么80%的码农都做不了架构师?>>> 本文转载于:http://www.web3d.com.cn/new/teach/java3d/2006/11/13/363276161.html Java编码规范 说明 1.1 为什么要有编码规范 编码规范对于程序员而言尤为重要,有以下几个原因: …

ensp查看历史配置命令_华为eNSP常用命令

开启DHCP功能[R1-GigabitEthernet0/0/2]dhcp select interface开启接口的DHCP服务功能[R1-GigabitEthernet0/0/2]dhcp server lease day 2配置IP地址租用有效期限为2天,默认为1天,超过租期后该地址将会重新分配[R1-GigabitEthernet0/0/2]dhcp server excluded-ip-address 192.1…

.NET Core 如何调试 CPU 爆高?

在这篇文章中我们将会分析一个 CPU 爆高的案例,测试demo链接 :https://docs.microsoft.com/en-us/samples/dotnet/samples/diagnostic-scenarios/ 。你将会学到:如何使用 dotnet-counters 确定真实的 cpu 使用率。使用 dotnet-trace 追踪代码…

[OIBH] 糖果盒(Candy Box)——又一个最大子矩形

http://codewaysky.sinaapp.com/problem.php?id1056 这题和奶牛浴场略有区别,奶牛浴场只需要求出最大子矩形,而这题要求的是最大权重子矩形,不一定要最大的面积,但要最大的权重和 思路是先求出每个最大子矩形,然后求出…

百度面试

1 算法:写LRU算法 2 算法思想,二维矩阵中查找一个数,矩阵的按行递增和按列递增。 3 将int i的一个数转换为大端形式,例如0x1a2b3c4d为0x4d3c2b1a。 4 已知一随机发生器,产生0的概率是p,产生1的概率是1-p&am…

日本第一赘婿!他入赘近20年拿下诺贝尔奖,成名后不忘教光棍讨老婆......

全世界只有3.14 % 的人关注了爆炸吧知识谁能凭感性要诺贝尔奖私有1949年12月10号,日本民众发出了暌违多年的欢呼声,因为诺贝尔奖史无前例地颁给了一位日本物理学家——汤川秀树。报道汤川秀树获奖新闻的报纸获奖后,在自传《旅人:一…

xs128 双定时器PIT0和PIT1

/***************************************************************** ** 函数说明:xs128 双定时器PIT0和PIT1 ** 版 本:V1.00 ** 修 改:庞辉 芜湖联大飞思卡尔工作室 …

修改mongodb最大查询数_WebFlux系列(十二)MongoDB应用,新增、修改、查询、删除

#Java#Spring#SpringBoot#Mongo#reactor#webflux#数据库#新增#修改#查询#删除#Spring Boot WebFlux Mongo数据库新增、删除、查询、修改视频讲解 : https://www.bilibili.com/video/av84240038/Employee.javapackage com.example.spring.webfluxmongo;import lombok.AllArgsCon…

如何捕获 EF 生成的 SQL 脚本?

咨询区 nos:请问我如何查看 entity framewrok 生成的 SQL 脚本,我用的是 MySQL Provider 。回答区 Nick Berardi:你可以像下面这样做:IQueryable query from x in appEntitieswhere x.id 32select x;var sql ((System.Data.Obj…

函数体中的全局变量与局部变量

首先看一道笔试题: 1 var a 100; 2 function testResult(){ 3 var b 2 * a; 4 var a 200; 5 var c a / 2; 6 alert(b); 7 alert(c); 8 } 9 testResult(); 输出结果为:NaN和100; 因为当全局变…

笔试题 遗忘点记录 面向对象特点 + 产生死锁条件+ windows内存管理方法

)单一职责原则。就一个类而言,应该仅有一个引起它变化的原因。 //感觉这个是 低耦合 高内聚 (2)开放封闭原则。软件实体对外扩展开放,对修改封闭。 //这个基础。。 &am…

为什么每个理发店门口都有彩色的柱子?你不知道吧

全世界只有3.14 % 的人关注了爆炸吧知识为什么街上的理发店门口都有一根旋转着的彩色灯柱?好学的小编忍不住去寻找真相...理发店门口彩色的柱子这根彩柱与医疗有关彩柱通常是3种颜色,白红蓝。一般认为:白色绷带,红色绷带上的血(动…