hdfs中Exception in createBlockOutputStream以及MapReduce中I/O error constructing remote block reader

  1. 问题描述
    (1) windows电脑向aliyun进行hdfs api文件追加操作时出现下方错误:

    DEBUG [Thread-3] (DFSOutputStream.java:1503) - Connecting to datanode *.*.*.*:9866
    DEBUG [IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root] (Client.java:1192) - IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root: closed
    DEBUG [IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root] (Client.java:987) - IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root: stopped, remaining connections 0INFO [Thread-3] (DFSOutputStream.java:1343) - Exception in createBlockOutputStream
    java.net.ConnectException: Connection timed out: no further informationat sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:715)at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1508)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1284)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1237)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:449)
    

    (2) windows电脑向aliyun进行mapreduce api操作时出现下方错误:

     WARN [LocalJobRunner Map Task Executor #0] (BlockReaderFactory.java:716) - I/O error constructing remote block reader.
    
  2. 问题原因
    客户端创建文件先访问NameNode服务器进行创建文件Meta信息,以及文件树,此时访问NameNode的IP,NameNode服务器创建文件成功后,会返回对应dataNode的服务器节点,但此时的节点信息中的ip是与NameNode在同一网络下的内网IP,客户端是无法访问,也就无法写入。

  3. 问题解决
    (1) 在hdfs-site.xml中添加配置

    	<property><name>dfs.client.use.datanode.hostname</name><value>true</value></property>
    

    (2) 或者在idea代码中添加

    configuration.set("dfs.client.use.datanode.hostname", "true");
    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/550675.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开机显示输入最佳预设值_开机黑屏,有招了(收藏篇)

我的本本有时候就和女朋友一样昨天还好好的&#xff0c;今天就生气了真的啥也没干&#xff0c; 到底因为啥呢&#xff1f;真的想不起来你都干了啥&#xff1f;当然小编想着黑屏问题好像也同样困扰着小伙伴们&#xff1b;所以下次电脑再黑屏&#xff0c;先不要冲动&#xff0c;小…

MapReduce操作时Error:The method setInputPaths(JobConf, String) in the type FileInputFormat is not

问题描述 今天在写java API的MapReduce操作时&#xff0c;出现了Error&#xff1a;The method setInputPaths(JobConf, String) in the type FileInputFormat is not的错误 错误原因 导错了包&#xff0c;JobConf是旧API使用的。导入的错误的包是org.apache.hadoop.mapred.Fil…

小样本点云深度学习库_论文 | 小样本学习综述

转自&#xff1a;专知【https://www.zhuanzhi.ai/】【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类&#xff0c;基于先验知识等&#xff0c;只基于少量的样本就可以进行学习。本文介绍41页小样本学习综述《Few-shot Learning:…

kafka集群脚本启动失败,在kafkaServer.out中提示nohup: failed to run command `java’: No such file or directory

问题描述&#xff1a; 今天在使用shell脚本启动集群时&#xff0c;发现无法启动集群&#xff0c;在logs目录下只有一个kafkaServer.out文件&#xff0c;其中内容为:nohup: failed to run command java’: No such file or directory 原本的shell脚本内容如下 #!/bin/bashcase …

uniapp 可视化开发_uniapp的简单安装流程使用教程

由于本人开发的小程序大部分都是通过uniapp开发的&#xff0c;但是又有部分对uniapp的整理安装流程不大熟悉&#xff0c;所以这次给大家写一个简单完整的使用教程。下载uniapp专用开发工具uniapp是由DCloud公司推出的一款前端应用的框架&#xff0c;所以需要专属的开发工具来开…

Exception in thread “main“ org.apache.hadoop.hbase.client.RetriesExhaustedException: Can‘t get the l

问题描述 今天在windows电脑上使用java api进行hbase的操作时&#xff0c;报了如下错误 Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Cant get the locations问题原因 conf.set(“hbase.zookeeper.quorum”,“hadoop002,…

dataframe 空值替换为0_dataframe取元素方法总结

dataframe是pandas包的重要对象&#xff0c;熟练掌握dataframe的基本操作是很有必要的。下面就总结一下dataframe取行列元素的基本操作。一. DataFrame的基本结构可以理解为一个矩阵&#xff0c;所有的行名保存在index, 列名保存在columns&#xff08;注意&#xff1a;一个是单…

windows下的jdk默认安装路径

windows下的jdk默认安装路径&#xff1a;C:\Program Files\Java

bool python 运算_python中的布尔操作

点击以下链接可以快速访问全部我发表的Python相关文章&#xff1a;Nick WU&#xff1a;Nick WU的python文章目录&#xff08;持续更新中...&#xff09;​zhuanlan.zhihu.com1. Python中的布尔值Python中任何对象都有一个固定的布尔值&#xff0c;即非零、非空的对象为真&#…

QQ另存为时ntdll.dll故障

问题描述 QQ桌面版和Tim进行文件/图片另存为时在打开资源管理器后直接崩溃 解决方法 winQ搜索命令提示符&#xff0c;以管理员身份打开输入sfc/scannow等待扫描结束后输入 for %1 in (%windir%\system32*.dll) do regsvr32.exe /s %1&#xff0c;意思是把 %systemroot%\system3…

软件工程环形复杂度计算方法有哪些_软件工程复习6165组考题

黑色字体为原本答案&#xff0c;蓝色字体修改补充了复习题组「61-65/61-65/13/13」一、名词解释61.确认测试检查已实现的软件是否满足了需求规格说明中所确定的各种需求&#xff0c;以及软件配置是否完全、正确。(过程&#xff1a;功能性测试---软件配置复查---验收测试----α测…

配置frp报错start error: type [http] not support when vhost_http_port is not set

配置frp 问题描述 服务端配置frpc.ini[common] bind_port 7000 vhost_http_port 6001客户端配置frpc.ini[common] server_addr 公网ip server_port 7000 [ssh] type tcp local_ip192.168.50.130 local_port 8080 remote_port6001报错&#xff1a;start error: type [htt…

多线程导出excel高并发_大牛带你深入java多线程与高并发:JMH与Disruptor,确定能学会?...

前言今天我们讲两个内容&#xff0c;第一个是JMH&#xff0c;第二个是Disruptor。这两个内容是给大家做更进一步的这种多线程和高并发的一些专业上的处理。生产环境之中我们很可能不自己定义消息队列&#xff0c;而是使用Disruptor。我们生产环境做测试的时候也不是像我说的那样…

动环监控系统接线图_机房动环监控系统报价

原标题&#xff1a;机房动环监控系统报价机房动环监控系统报价需要根据业务需求来进行报价的&#xff0c;一般机房动环监控系统的价格跟机房的监控面积的大小以及监控的项目是息息相关的&#xff0c;比如一个IDC机房和小型的基站机房的动环监控系统的价格就是完全不一样&#x…

Ubuntu 下PySpark安装

操作系统&#xff1a;Ubuntu20.04所需软件&#xff1a; Java 8 &#xff0c;Python 3.5 , Scala 2.11.12安装Java 8 sudo apt-get updatesudo apt-get install openjdk-8-jdkjava -version安装scalasudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb …

数据集_自动驾驶数据集

前面介绍了自动驾驶的仿真平台&#xff0c;接下来又收集了目前主要的自动驾驶数据集。抱着这个想法&#xff0c;何不做一个awesome&#xff0c;在git上搜索&#xff0c;已经有人建了一个awesome了&#xff0c;也免得重复造轮子。但是作者很久没更新了&#xff0c;于是决定也加入…

rdd.foreach(print)报错SyntaxError: invalid syntax

问题 解决方法from __future__ import print_function如图&#xff1a;

地铁框架保护的原理_继电保护的基础知识和原理(地铁)

1&#xff0e;继电保护技术发展简史上世纪60年代以前&#xff0c;我国的继电保护主要由传统的机电型继电器构成&#xff0c;其中包括了电磁型继电器和感应型继电器。60年代末70年代初&#xff0c;晶体管保护和整流型保护得到了应用。90年代起&#xff0c;集成电路保护和微机型保…

golang如何生成随机数

目录如何生成随机数示例&#xff1a;未写随机数种子&#xff1a;加上随机数种子后&#xff1a;如何生成随机数 在go语言中&#xff0c;生成随机数需要先添加一个***随机数种子***&#xff0c;否则每次运行生成的随机数都是同样顺序的数字 rand.Seed(time.Now().UnixNano()) r…