hadoop之blockreport

工作中有一套hadoop集群,该集群也作为对外的nginx服务,用来存储了大量的图片。

近期nginx访问经常出现超时访问的情况。

查看log,发现原来的report 频率为1小时一次,但是由于report 需要收集datanode 上的block使用情况,(该机的block达到上百万级别),会造成读和写的阻塞。

解决方法:

<property>
  <name>dfs.blockreport.intervalMsec</name>
  <value>86400000</value>
  <description>Determines block reporting interval in milliseconds.</description>
</property>

修改hdfs-site.xml中 blockreport 的间隔参数 。

然后重启datanode 

 ./hadoop-daemon.sh stop datanode

 ./hadoop-daemon.sh start datanode

hadoop 可能还是不适合做这种大量存储小图片的方案啊,要不然的话得做些代码级别的优化。

转载于:https://www.cnblogs.com/jinjin666/archive/2013/01/29/2881627.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/409158.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android学习问题:关于AlertDialog中自定义布局带有的EditText无法弹出键盘

最近在用到AlertDialog的时候&#xff0c;自定义了其布局文件&#xff0c;其中带有EditText&#xff0c;但是发现在手机上使用的时候&#xff0c;点击EditText却没有弹出键盘&#xff0c;在网上搜索了下&#xff0c;看到有好几种解决方法&#xff0c;试过其中一些方法&#xff…

powermockito教程_Mockito与PowerMock的使用基础教程

一、Mockito与PowerMock简述Mockito与PowerMock都是Java流行的一种Mock框架&#xff0c;使用Mock技术能让我们隔离外部依赖以便对我们自己的业务逻辑代码进行单元测试&#xff0c;在编写单元测试时&#xff0c;不需要再进行繁琐的初始化工作&#xff0c;在需要调用某一个接口时…

U8远程接入客户端重新安装问题

系统检测到已经安装了旧版本客户端软件 解决&#xff1a;[-HKEY_LOCAL_MACHINE\SOFTWARE\Comexe Ras Sys]删掉这个就可以了 转载于:https://www.cnblogs.com/martian6125/archive/2013/01/30/9631101.html

Android控件用法总结之EditText

最近毕业设计也快做完了&#xff0c;因为也是边学Android边做毕设&#xff0c;而且也因为是初学&#xff0c;所以用了比较长时间&#xff0c;现在也是希望记下这段时间写Android的一些技巧方法或者是问题。 首先是关于EditText这个控件&#xff0c;这个控件用的也是非常普遍的…

js 循环拆词_javascript forEach通用循环遍历方法

循环遍历一个元素是开发中最常见的需求之一&#xff0c;那么让我们来看一个由框架BASE2和Jquery的结合版本吧.上一次的错误太多&#xff0c;排版也出现了问题&#xff0c;重写了一遍&#xff0c;希望大家支持.循环遍历一个元素是开发中最常见的需求之一&#xff0c;那么让我们来…

解决Tocmat6.x的catalina.out日志不断增加问题

实际的线上环境&#xff0c;如果使用tomcat作为运行容器&#xff0c;需要注意默认的tomcat的日志配置&#xff0c;在线上很容易导致产生大量垃圾log&#xff0c;有可能会导致tomcat不堪重负而down掉&#xff0c; 为了避免产生上述问题&#xff0c;则需要进行配置调整。 修改$TO…

Python 学习笔记(1)

最近开始学习Python&#xff0c;早早听说这是一门高效率的编程语言&#xff0c;据说可以用几行代码就实现如Java语言需要写几十行代码才实现的功能&#xff0c;加上这门语言在图像分类等方向应用得很多&#xff0c;所以就提前学习下。 原本计划是看《Head First Python》的&…

android image设置adjustviewbounds_探索 Android 平台的 CameraX

前言如果你曾经用过 Android 的 Camera APIs&#xff0c;你可能已经感受到了&#xff0c;它们一直没有成为最容易实现的东西。最开始是 Camera API&#xff0c;然后又推荐使用 Camera2 API — 这个升级是为了让开发者在使用 Android 的相机 API 时有更好的体验。然而&#xff0…

一行语句让你的浏览器变成记事本

Jose Jesus Perez Aguinaga : One line browser notepad&#xff0c; 只需要在浏览器地址栏键入&#xff1a; data:text/html, <html contenteditable>转载于:https://www.cnblogs.com/fresky/archive/2013/01/31/2886837.html

c++opencv汉字分割_机器学习小白,还不快pick一下——【视觉与图像:阈值分割】...

“前言&#xff1a;安利Python来开发OpenCV的原因其实细心的小伙伴早在?【视觉与图像】PythonOpenCV教程入门篇就找到了想要的答案。(点蓝字即可打开)”今天周五了&#xff01;今天还不下雨&#xff01;&#xff01;今天又可以更新了&#xff01;&#xff01;&#xff01;先前…

python学习笔记--理解生成器

在学习python的时候&#xff0c;刚开始接触生成器&#xff08;generator&#xff09;这个概念的时候&#xff0c;其实还是不太能理解&#xff0c;感觉并没有完全掌握&#xff0c;今天看到这篇文章的时候&#xff0c;感觉对这个概念真的是有了进一步的了解&#xff0c;感觉生成器…

再不努力我就老了

借用李宇春歌里的一句话&#xff0c;再不疯狂我们就老了。。。再不努力青春就没了。。。 今天在浏览校内时&#xff0c;发现右下角滚动的照片中&#xff0c;竟有一张是关于自己的&#xff0c;那是自己5年前的照片&#xff0c;满脸的稚嫩&#xff0c;连自己都承认那时的自己真的…

mysql主键外键_MySQL主键和外键使用及说明

摘自网上一个经典的例子&#xff1a;大哥和小弟一、外键约束MySQL通过外键约束来保证表与表之间的数据的完整性和准确性。外键的使用条件&#xff1a;1.两个表必须是InnoDB表&#xff0c;MyISAM表暂时不支持外键(据说以后的版本有可能支持&#xff0c;但至少目前不支持)&#x…

python学习笔记--迭代器

转载自理解Python的迭代器 首先&#xff0c;廖雪峰老师的教程中解释了迭代器和生成器&#xff0c;这篇文章只是补充和我个人的总结。 什么是迭代 可以直接作用于for循环的对象统称为可迭代对象(Iterable)。 可以被next()函数调用并不断返回下一个值的对象称为迭代器(Iterat…

【转载】周鸿祎:做产品体验先把自己切换到二傻子模式

我唯一能自吹的地方&#xff0c;就是本人在互联网里可能犯的错最多&#xff0c;挨的骂最多&#xff0c;然后也经历了很多失败&#xff0c;所以这样才有一些真实的感受。 建议大家把《定位》和《创新者的窘境》、《创新者的解答》这几本书放在身边反复读。你经历得越多&#xff…