Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法

第一种:配置问题

日志信息
这是别人的图片,据楼主排查解决是因为hosts配置问题…
现象:各种无法运行、启动
解决办法:
1、修改日志级别
export HADOOP_ROOT_LOGGER=DEBUG,console
查看下详细信息,定位到具体问题解决

第二种:服务器问题

mapreduce
**现象:**运行到job时卡住不动
**原因:**服务器配置低下,内存小或磁盘小
**解决办法:**修改yarn.site.xml配置

<!--每个磁盘的磁盘利用率百分比-->
<property><name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name><value>95.0</value></property><!--集群内存--><property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value>
</property><!--调度程序最小值-分配-->
<property><name>yarn.scheduler.minimum-allocation-mb</name><value>2048</value>
</property><!--比率,具体是啥比率还没查...-->
<property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value>
</property>

除了服务器集群配置低,也有可能是服务器被攻击或恶意程序占用内存Hadoop的MapReduce进程卡住job/云服务器被矿工挖矿

戏剧的是,我今天还遇到一种情况…现象也是Map后卡在Job,原因是:我运行了计算圆周率程序,刚开始测试没问题后手贱执行1000次,掷10000次…Map过程还好,Job开始便无法运行…
执行PI任务

可能是任务太大了,可以尝试换小的执行

hadoop jar ./hadoop-mapreduce-examples-2.7.3.jar pi 20 20

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/15933.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

每周题解:繁忙的都市

题目链接 繁忙的都市 题目描述 城市 C 是一个非常繁忙的大都市&#xff0c;城市中的道路十分的拥挤&#xff0c;于是市长决定对其中的道路进行改造。城市 C 的道路是这样分布的&#xff1a;城市中有 n n n 个交叉路口&#xff0c;有些交叉路口之间有道路相连&#xff0c;两…

5月26(信息差)

&#x1f30d; 珠峰登顶“堵车”后冰架断裂 5人坠崖 2人没爬上来&#xff01; 珠峰登顶“堵车”后冰架断裂 5人坠崖 2人没爬上来&#xff01; &#x1f384; Windows 11 Beta 22635.3646 预览版发布&#xff1a;中国大陆地区新增“微软电脑管家”应用 ✨ 成都限购解除即将满…

[图解]产品经理-竞赛题解析:阿布思考法和EA

1 00:00:00,410 --> 00:00:02,330 今天我们来说一道 2 00:00:02,610 --> 00:00:04,690 前些天出的一道竞赛题 3 00:00:07,250 --> 00:00:09,310 怎么样用阿布思考法 4 00:00:09,320 --> 00:00:10,540 来改进EA 5 00:00:11,690 --> 00:00:12,620 题目是这样的…

简述 v-model 双向绑定的原理是什么?

v-model 是 Vue.js 中用于实现表单输入和应用状态&#xff08;即数据&#xff09;之间双向绑定的指令。其原理可以概括如下&#xff1a; 基本思想&#xff1a; v-model 是 v-bind 和 v-on 的语法糖&#xff0c;它结合了输入元素的 value 属性和 input 事件。当输入元素的值发生…

Kivy 项目51斩百词 5

MRWord\pages\infopage\info.py def read_random_word(self) def read_random_word(self):"""随机读取一条数据"""sql "SELECT * FROM word WHERE id (SELECT word_id FROM today ORDER BY RANDOM() limit 1)"rows select_data(sq…

Django 里html模板

Django 提供两种方式让程序员自定义html模板。 第一种方法 在项目文件夹里的urls.py进行添加 修改代码如下 from django.contrib import admin from django.urls import path from app01 import views # 得添加这行urlpatterns [path(xxx/, views.home), # 添加这行path(…

Java中print,println,printf的功能以及区别

在Java中&#xff0c;System.out.print, System.out.println, 和 System.out.printf 都是用于在控制台输出的方法&#xff0c;但它们在使用和功能上有所不同。 System.out.print: * 功能&#xff1a;将指定的内容输出到控制台&#xff0c;但不换行。 * 示例&#xff1a;Sy…

TXT文本编辑器:一键提取,多关键字匹配,内容尽在掌控!

在浩如烟海的文档中&#xff0c;寻找关键信息往往是一项繁琐而耗时的任务。你是否曾经为了查找某个关键字而翻遍了整个文件夹&#xff0c;却仍然一无所获&#xff1f;现在&#xff0c;有了TXT文本编辑器&#xff0c;这一切都将变得轻松而高效 这款软件以其简洁明了的操作界面和…

Flutter 中的 FittedBox 小部件:全面指南

Flutter 中的 FittedBox 小部件&#xff1a;全面指南 在Flutter的丰富布局小部件中&#xff0c;FittedBox扮演着一个独特而重要的角色。它是一个灵活的组件&#xff0c;用于将子组件的大小和位置适应到给定的约束条件中。本文将提供FittedBox的全面指南&#xff0c;帮助你了解…

C#9特性整理(部分)

1. 实例化类型推断&#xff08;Target-typed new&#xff09; 我们会使用 new 关键字来实例化&#xff0c;但在部分字段和属性声明的时候&#xff0c;这些类型已经是在旁边给出&#xff0c;且不能使用 var 代替的。因此&#xff0c;我们必须这么写&#xff1a; public Person…

最近5星好评的华为的书《常变与长青》

常变与长青 (豆瓣) 作者简介 郭平&#xff0c;1988年加入华为&#xff0c;历任产品开发部项目经理、供应链总经理、总裁办主任、管理工程部总裁、企业发展部总裁、终端公司董事长兼总裁、公司轮值CEO、财经委员会主任、公司副董事长、轮值董事长等职务&#xff0c;现任公…

微信小程序毕业设计-学生知识成果展示与交流系统项目开发实战(附源码+演示视频+LW)

大家好&#xff01;我是程序猿老A&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;微信小程序毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计…

接口自动化核心模块Requests详解(二)

一、概述 使用requests进行接口测试时&#xff0c;主要使用get 和post两种方式,两种请求方式的传参模式和方法是完全不一样的 二、传参实战 2.1 post传参的数据格式 使用post进行传参时&#xff0c;有三种数据格式&#xff0c;data(键值对的字典)&#xff0c;json(有嵌套的…

Keyshot v11 解锁版安装教程 (3D光线追踪与全域光渲染程序)

前言 keyshot是一款实时渲染模式的软件。实时渲染是目前比较流行的一种渲染方式&#xff0c;优点是快速。调节的材质&#xff0c;灯光修改&#xff0c;光影变化等修改的各种参数结果&#xff0c;所见即所得&#xff0c;意思是你在软件操作界面看到的&#xff0c;就是最终的结果…

props配置项

src/App.vue: <template><div><Student name"JOJO" sex"男酮" :age"20" /></div> </template><script>import Student from ./components/Student.vueexport default {name:App,components: { Student },}…

绘制t-SNE图

什么是t-SNE图&#xff1f; 如下图&#xff0c;下图来源于论文Contrastive Clustering 一般用于分类问题/对比学习。 作用&#xff1f; 体现出经过层层训练&#xff0c;类内越来越紧密&#xff0c;类间差异越来越大&#xff1b;或者也可以做消融可视化。 怎么画&#xff1f…

vim操作手册

vim分为插入模式、命令模式、底行模式。 插入模式&#xff1a;编辑模式 命令模式&#xff1a;允许使用者通过命令&#xff0c;来进行文本的编辑控制 底行模式&#xff1a;用来进行让vim进行包括但不限于shell进行交互 w&#xff1a;保存 wq&am…

Actor-critic学习笔记-李宏毅

Policy Gradient review ∇ R ‾ θ 1 N ∑ n 1 N ∑ t 1 T n ( ∑ t ′ t T n γ t ′ − t r t ′ n − b ) ∇ log ⁡ p θ ( a t n ∣ s t n ) \nabla \overline{R}_\theta \frac{1}{N}\sum_{n 1}^{N}\sum_{t 1}^{T_n}(\sum_{tt}^{T_n}\gamma^{t-t}r_{t}^n-b)\nabl…