Hadoop3.0的新特性

转载：http://blog.csdn.net/sinat_31726559/article/details/52103229  点击阅读原文

--------------------------------------


1. Hadoop3.0简介


Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。

Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。

Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS 可擦除编码、多Namenode支持、MR NativeTask优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。

2. Hadoop3.0新特性


Hadoop 3.0在功能和性能方面，对hadoop内核进行了多项重大改进，主要包括：

2.1 HadoopCommon

（1）精简Hadoop内核，包括剔除过期的API和实现，将默认组件实现替换成最高效的实现（比如将FileOutputCommitter缺省实现换为v2版本，废除hftp转由webhdfs替代，移除Hadoop子实现序列化库org.apache.hadoop.Records
（2）Classpath isolation以防止不同版本jar包冲突，比如googleGuava在混合使用Hadoop、HBase和Spark时，很容易产生冲突。（https://issues.apache.org/jira/browse/HADOOP-11656）
（3）Shell脚本重构。 Hadoop3.0对Hadoop的管理脚本进行了重构，修复了大量bug，增加了新特性，支持动态命令等。[url=]https://issues.apache.org/jira/browse/HADOOP-9902[/url]

2.2 HadoopHDFS

（1）HDFS支持数据的擦除编码，这使得HDFS在不降低可靠性的前提下，节省一半存储空间。（https://issues.apache.org/jira/browse/HDFS-7285）
（2）多NameNode支持，即支持一个集群中，一个active、多个standbynamenode部署方式。注：多ResourceManager特性在hadoop 2.0中已经支持。（https://issues.apache.org/jira/browse/HDFS-6440）

2.3 HadoopMapReduce

（1）Tasknative优化。为MapReduce增加了C/C++的map outputcollector实现（包括Spill，Sort和IFile等），通过作业级别参数调整就可切换到该实现上。对于shuffle密集型应用，其性能可提高约30%。（https://issues.apache.org/jira/browse/MAPREDUCE-2841）
（2）MapReduce内存参数自动推断。在Hadoop2.0中，为MapReduce作业设置内存参数非常繁琐，涉及到两个参数：mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts，一旦设置不合理，则会使得内存资源浪费严重，比如将前者设置为4096MB，但后者却是“-Xmx2g”，则剩余2g实际上无法让javaheap使用到。（https://issues.apache.org/jira/browse/MAPREDUCE-5785）

2.4 HadoopYARN

（1）基于cgroup的内存隔离和IO Disk隔离（https://issues.apache.org/jira/browse/YARN-2619）
（2）用curator实现RM leader选举（https://issues.apache.org/jira/browse/YARN-4438）
（3）containerresizing（https://issues.apache.org/jira/browse/YARN-1197）
（4）Timelineserver next generation（[url=]https://issues.apache.org/jira/browse/YARN-2928[/url]）

3.  Hadoop3.0总结

Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。

Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS 可擦除编码、多Namenode支持、MR NativeTask优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。

-------------

更多的Java，Angular，Android，大数据，J2EE，Python，数据库，Linux，Java架构师，：

http://www.cnblogs.com/zengmiaogen/p/7083694.html



本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/538952.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

python torch exp_学习Pytorch过程遇到的坑（持续更新中）

python torch exp_学习Pytorch过程遇到的坑（持续更新中）

1. 关于单机多卡的处理：在pytorch官网上有一个简单的示例：函数使用为：torch.nn.DataParallel(model, deviceids, outputdevice, dim)关键的在于model、device_ids这两个参数。DATA PARALLELISM​pytorch.org但是官网的例子中没有讲到一个核心…
阅读更多...
php 读文件返回字符串,PHP：file_get_contents（'php：// input'）返回JSON消息的字符串...

php 读文件返回字符串,PHP：file_get_contents（'php：// input'）返回JSON消息的字符串...

我正在尝试在我的PHP应用程序中读取JSON消息，这是我的php代码：$json file_get_contents(php://input);$obj json_decode($json, TRUE);echo $obj->{S3URL};当我这样做时，出现以下错误：Trying to get property of non-object …
阅读更多...
Android中ListView数据使用sAdapter.notifyDataSetChanged();方法不刷新的问题

Android中ListView数据使用sAdapter.notifyDataSetChanged();方法不刷新的问题

原文链接：http://blog.csdn.net/caihongdao123/article/details/51513410 点击阅读原文 ------------------------- 1.涉及到数据库 当要动态显示更数据库改动，相信大家应该都用过notifyDataSetChanged();. 例如： ...... …
阅读更多...
keepalived配置高可用集群

keepalived配置高可用集群

准备工作 分别在主从上安装keepalived和nginxyum install -y keepalivedyum install -y nginx关闭主从上的防火墙和SELinuxsystemctl stop firewalldsetenforce 0 配置主机 查看主机ip [rootlynn-04 ~]# ifconfig ens33: flags4163<UP,BROADCAST,RUNNING,MULTICAST> mtu…
阅读更多...
如何快速掌握python包_如何快速掌握一个python模块？

如何快速掌握python包_如何快速掌握一个python模块？

初学者就别想快了。 我自己是这样的。先上网看看一些基础的教程&#xff0c;非常快的过一下&#xff0c;十几分钟&#xff0c;主要是了解这个module能干什么&#xff0c;特别是一些基本的功能&#xff0c;头脑中建立起初步映射。 然后就是用了&#xff0c;不用看了也白搭。我假…
阅读更多...
python设计一个函数定义计算并返回n价调和函数_python函数的调和平均值？

python设计一个函数定义计算并返回n价调和函数_python函数的调和平均值？

我有两个函数&#xff0c;给出精度和召回分数&#xff0c;我需要做一个调和平均函数&#xff0c;定义在同一个库中&#xff0c;使用这两个分数。函数如下所示&#xff1a;功能如下&#xff1a;def precision(ref, hyp):"""Calculates precision.Args:- ref: a l…
阅读更多...
jsp超链接到java文件,jsp页面超链接传中文终极解决办法

jsp超链接到java文件,jsp页面超链接传中文终极解决办法

在做web前端页面的时候&#xff0c;经常碰到传中文问题。网上有许多方案&#xff0c;但仍不能根治&#xff0c;最终要用js或者java的encode相关方法。常规方案有三部&#xff1a;1.改tomcat的server.xml中URIEncodeing为utf-82.页面中编码设置为utf-83.整个项目编码使用utf-8我…
阅读更多...
自定义ListView中的分割线

自定义ListView中的分割线

原文&#xff1a;http://blog.csdn.net/zuolongsnail/article/details/7187302点击阅读 --------------------------------------- ListView中每个Item项之间都有分割线&#xff0c;设置Android:footerDividersEnabled表示是否显示分割线&#xff0c;此属性默认为true。 1.不显…
阅读更多...
隐藏域input里面放当前时间_【小A问答】Win10的隐藏小秘密，被我发现了！

隐藏域input里面放当前时间_【小A问答】Win10的隐藏小秘密，被我发现了！

无惊无险又到小A问答环节辣~~今天的小A要来给大家分享一些小秘密&#xff01;当然&#xff0c;这可不是小A自己的小秘密&#xff0c;是关于你电脑的小秘密哦&#xff01;知道吗&#xff1f;Windows10每一次升级更新&#xff0c;都会伴随着新功能的增加。这些隐藏的功能你都发现…
阅读更多...
网络相关的面试题

网络相关的面试题

1&#xff09;简述tcp/ip的三次交互过程&#xff08;个人理解&#xff1a;syn是握手信号&#xff0c;ack是确认信号&#xff0c;ack就相当于前面的syn值1&#xff0c;简单一点理解就是客户端发送握手请求&#xff0c;服务器收到握手请求后&#xff0c;回复一个包确认它接收到了…
阅读更多...
h5文字垂直居中_CSS中垂直居中和水平垂直居中的方法

h5文字垂直居中_CSS中垂直居中和水平垂直居中的方法

flex垂直居中&#xff1a;第一种&#xff1a;使用flex布局&#xff0c;让居中元素的父元素为flex属性,让它在交叉轴上center就可以达到居中效果了&#xff1a;html代码: <div class"father"><p>我要垂直居中</p> </div>css代码: .father {…
阅读更多...
ListMap排序

ListMap排序

//compareto就是比较两个数据的大小关系 大于0表示前一个数据比后一个数据大&#xff0c; 0表示相等&#xff0c;小于0表示第一个数据小于第二个数据 public static List<Map<String, String>> sortWifi(List<Map<String, String>> wifiList){if(wif…
阅读更多...
thinkphp回调的php调用db类,请问thinkphp中model类自动完成功能 回调函数能不能获取其他字段的值？...

thinkphp回调的php调用db类,请问thinkphp中model类自动完成功能 回调函数能不能获取其他字段的值？...

http://www.thinkphp.cn/api/source-class-Model.html#975protected function _validationFieldItem($data,$val) {switch(strtolower(trim($val[4]))) {case function:// 使用函数进行验证case callback:// 调用方法进行验证$args isset($val[6])?(array)$val[6]:array();if…
阅读更多...
输入年份和月份输出该月有多少天python_Python实现用户输入年月日，程序打印出这是这一年的第多少天...

输入年份和月份输出该月有多少天python_Python实现用户输入年月日，程序打印出这是这一年的第多少天...

1. 自己造轮子yearint(input(请输入年份&#xff0c;如2019>>>))monthint(input(请输入月份&#xff0c;如8>>>))dayint(input(请输入日期,如25>>>))#下面这块代码是按照闰年计算if (year%40 and year%100!0) or (year%4000):calendar{1:31,2:29,3:…
阅读更多...
Linux命令之find命令中的-mtime参数

Linux命令之find命令中的-mtime参数

有关find -mtime这个参数的使用有比较多的坑&#xff0c;今天把这个问题在这里记录下来&#xff1a; mtime参数的理解应该如下&#xff1a; -mtime n 按照文件的更改时间来找文件&#xff0c;n为整数。 n 表示文件更改时间距离为n天-n 表示文件更改时间距离在n天以内n 表示文件…
阅读更多...
WifiManager的getScanResults()返回列表为0

WifiManager的getScanResults()返回列表为0

这个问题查了好久&#xff0c;花了2个小时。就是出不来。 原来问题在android sdk 版本问题。 在android 6.0的时候&#xff0c;返回为空&#xff0c;且不为null&#xff0c;在华为mate&#xff0c;6.0手机上测试&#xff0c;也不报错。 官网和网上没有具体的解决方法。 后来…
阅读更多...
c++直角坐标系与极坐标系的转换_平面向量的奇技淫巧——斜坐标系的一系列低级研究...

c++直角坐标系与极坐标系的转换_平面向量的奇技淫巧——斜坐标系的一系列低级研究...

事先说明&#xff1a;笔者初三&#xff0c;如在叙述中有不严谨的地方&#xff0c;还请诸位指出&#xff0c;自当感激不尽。一.什么是斜坐标系众所周知&#xff0c;我们目前平面中使用相当广的坐标系是笛卡尔发明的平面直角坐标系。然而&#xff0c;笛卡尔真的只使用了这一种坐标…
阅读更多...
php 字节转为kb,PHP获取文件大小并转化为KB、MB、GB单位

php 字节转为kb,PHP获取文件大小并转化为KB、MB、GB单位

PHP获取文件大小并转化为KB、MB、GB单位。function getSize($filesize) {if ($filesize > 1073741824) {$filesize round($filesize / 1073741824 * 100) / 100 . GB;} elseif ($filesize > 1048576) {$filesize round($filesize / 1048576 * 100) / 100 . MB;} else…
阅读更多...
python 重定向stdout_Python 犄角旮旯--重定向 stdout

python 重定向stdout_Python 犄角旮旯--重定向 stdout

What&#xff1f;在 Python 程序中&#xff0c;使用 print 输出调试信息的做法非常常见&#xff0c;但有的时候我们需要将 print 的内容改写到其他位置&#xff0c;比如一个文件中&#xff0c;便于随时排查。但是又不希望大面积替换 print 函数&#xff0c;这就需要一些技巧实现…
阅读更多...
Jetty实战之 安装 运行 部署

Jetty实战之 安装 运行 部署

原文地址&#xff1a;http://blog.csdn.net/kongxx/article/details/7218767 1. 首先从Jetty的官方网站http://wiki.eclipse.org/Jetty/Starting/Downloads下载最新的Jetty&#xff0c;上面有两个版本7.x和8.x&#xff0c;7.x是运行在JDK5及以上版本&#xff0c;8.x是运行在JD…
阅读更多...
最新文章

Copyright @ 2022~2023