dfs.client.block.write.replace-datanode-on-failure

  1. 问题描述
    在使用hdfs api追加内容操作,从windows电脑上的idea对aliyun服务器上的hdfs中的文件追加内容时,出现错误,如下:

    java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[172.25.55.228:9866,DS-6ba619cf-5189-45c7-8dbc-56afa381ab0b,DISK]], original=[DatanodeInfoWithStorage[172.25.55.228:9866,DS-6ba619cf-5189-45c7-8dbc-56afa381ab0b,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via ‘dfs.client.block.write.replace-datanode-on-failure.policy’ in its configuration.
    at org.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.findNewDatanode(DFSOutputStream.java:918)atorg.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.findNewDatanode(DFSOutputStream.java:918) at org.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.findNewDatanode(DFSOutputStream.java:918)atorg.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.addDatanode2ExistingPipeline(DFSOutputStream.java:984)
    at org.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1131)atorg.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1131) at org.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1131)atorg.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.run(DFSOutputStream.java:455)

    截图:
    在这里插入图片描述

  2. 问题解决
    在idea代码中添加

configuration.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/550676.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开机显示输入最佳预设值_开机黑屏,有招了(收藏篇)

我的本本有时候就和女朋友一样昨天还好好的,今天就生气了真的啥也没干, 到底因为啥呢?真的想不起来你都干了啥?当然小编想着黑屏问题好像也同样困扰着小伙伴们;所以下次电脑再黑屏,先不要冲动,小…

小样本点云深度学习库_论文 | 小样本学习综述

转自:专知【https://www.zhuanzhi.ai/】【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类,基于先验知识等,只基于少量的样本就可以进行学习。本文介绍41页小样本学习综述《Few-shot Learning:…

uniapp 可视化开发_uniapp的简单安装流程使用教程

由于本人开发的小程序大部分都是通过uniapp开发的,但是又有部分对uniapp的整理安装流程不大熟悉,所以这次给大家写一个简单完整的使用教程。下载uniapp专用开发工具uniapp是由DCloud公司推出的一款前端应用的框架,所以需要专属的开发工具来开…

Exception in thread “main“ org.apache.hadoop.hbase.client.RetriesExhaustedException: Can‘t get the l

问题描述 今天在windows电脑上使用java api进行hbase的操作时,报了如下错误 Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Cant get the locations问题原因 conf.set(“hbase.zookeeper.quorum”,“hadoop002,…

dataframe 空值替换为0_dataframe取元素方法总结

dataframe是pandas包的重要对象,熟练掌握dataframe的基本操作是很有必要的。下面就总结一下dataframe取行列元素的基本操作。一. DataFrame的基本结构可以理解为一个矩阵,所有的行名保存在index, 列名保存在columns(注意:一个是单…

bool python 运算_python中的布尔操作

点击以下链接可以快速访问全部我发表的Python相关文章:Nick WU:Nick WU的python文章目录(持续更新中...)​zhuanlan.zhihu.com1. Python中的布尔值Python中任何对象都有一个固定的布尔值,即非零、非空的对象为真&#…

软件工程环形复杂度计算方法有哪些_软件工程复习6165组考题

黑色字体为原本答案,蓝色字体修改补充了复习题组「61-65/61-65/13/13」一、名词解释61.确认测试检查已实现的软件是否满足了需求规格说明中所确定的各种需求,以及软件配置是否完全、正确。(过程:功能性测试---软件配置复查---验收测试----α测…

多线程导出excel高并发_大牛带你深入java多线程与高并发:JMH与Disruptor,确定能学会?...

前言今天我们讲两个内容,第一个是JMH,第二个是Disruptor。这两个内容是给大家做更进一步的这种多线程和高并发的一些专业上的处理。生产环境之中我们很可能不自己定义消息队列,而是使用Disruptor。我们生产环境做测试的时候也不是像我说的那样…

动环监控系统接线图_机房动环监控系统报价

原标题:机房动环监控系统报价机房动环监控系统报价需要根据业务需求来进行报价的,一般机房动环监控系统的价格跟机房的监控面积的大小以及监控的项目是息息相关的,比如一个IDC机房和小型的基站机房的动环监控系统的价格就是完全不一样&#x…

Ubuntu 下PySpark安装

操作系统:Ubuntu20.04所需软件: Java 8 ,Python 3.5 , Scala 2.11.12安装Java 8 sudo apt-get updatesudo apt-get install openjdk-8-jdkjava -version安装scalasudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb …

数据集_自动驾驶数据集

前面介绍了自动驾驶的仿真平台,接下来又收集了目前主要的自动驾驶数据集。抱着这个想法,何不做一个awesome,在git上搜索,已经有人建了一个awesome了,也免得重复造轮子。但是作者很久没更新了,于是决定也加入…

rdd.foreach(print)报错SyntaxError: invalid syntax

问题 解决方法from __future__ import print_function如图:

地铁框架保护的原理_继电保护的基础知识和原理(地铁)

1.继电保护技术发展简史上世纪60年代以前,我国的继电保护主要由传统的机电型继电器构成,其中包括了电磁型继电器和感应型继电器。60年代末70年代初,晶体管保护和整流型保护得到了应用。90年代起,集成电路保护和微机型保…

golang如何生成随机数

目录如何生成随机数示例:未写随机数种子:加上随机数种子后:如何生成随机数 在go语言中,生成随机数需要先添加一个***随机数种子***,否则每次运行生成的随机数都是同样顺序的数字 rand.Seed(time.Now().UnixNano()) r…

golang基础学习笔记

golang基础学习golang1. 认识golang和goland使用1.1 goland插件2. 数据类型2.1 结构体3. 流程控制ifswitchselectforrangeGoto、Break、Continue4. 函数4.1 匿名函数4.2 闭包、递归4.3 延迟调用什么是deferdefer的常见用途释放已经获取的资源从panic中恢复延迟闭包参数即时求值…

git@github.com:Permission denied(publickey).fatal: Could not read form remote repository错误

文章目录前言问题分析解决方法配置客户端配置服务端验证前言 在使用goland从github下载依赖时(git clone github.com/gin-gonic/gin)出现gitgithub.com:Permission denied(publickey).fatal: Could not read form remote repository错误。 问题分析 Permission denied(publi…

go出现missing go.sum entry for module providing package 错误

文章目录前言问题分析解决方法前言 从github下载了别人的代码后直接执行,报missing go.sum entry for module providing package错误 问题分析 代码中使用了第三方库,但是go.mod并没有跟着更新 解决方法 在项目目录下打开终端,执行go mo…

的计时器设置_如何选择最适合自己的计时器?

本文作者是Ultraman,他为了找到最适合自己的计时方法,试验了十多种计时器或者沙漏,总结出了非常棒的经验!相信本文一定会对你有所帮助。 ——李长太大家对番茄工作法一定已经不陌生了,那么进行番茄工作法的时候&#x…

npm install报错 npm ERR,code ERESOLVE npm ERR,ERESOLVE unable to resolve dependency tree

文章目录前言问题分析解决方法转载于前言 在下载npm时报错npm ERR! code ERESOLVE npm ERR! ERESOLEVE unable to resolve dependency tree 问题分析 我的npm版本为8.x,npm6.x之后的版本更加严格了,所以会报错 解决方法 方法1,降级到np…

卡顿严重_微软Win 10游戏模式致《使命召唤:战区》等游戏出现严重卡顿现象

IT之家5月8日消息 据Windowslatest报道,有部分用户报告称Windows 10游戏模式可能对某些硬件的游戏性能产生负面影响。一位用户表示,启用游戏模式后,搭载Radeon RX 5700 XT、RX 480、R9 290等AMD显卡设备以及GTX 980和GTX 1080 Ti等Nvidia显卡…