适用于Apache Hadoop 2.0 M5的Spring

Spring高兴地宣布了Spring for Apache Hadoop 2.0 M5里程碑版本,同时它们也越来越接近候选版本。 在Spring博客中 ,新版本2.0与1.0版本之间有很好的比较。 根据它:

用于Apache Hadoop的Spring 1.0版本将HDFS和MapReduce与MapReduce v1或MapReduce v2(YARN)结合使用。 默认发行版是具有其他功能的Apache Hadoop 1.2.1,例如Hadoop 2.2.0,Pivotal HD 1.1,Cloudera CDH4 MR1或MR2 YARN和Hortonworks HDP 1.3。

另一方面,Spring for Apache Hadoop 2.0除了继续提供对HDFS和MapReduce支持的改进外,还着重于添加YARN应用程序开发支持。 2.0版本的默认发行版是Apache Hadoop 2.2.0。

在下面,您可以在Spring IO里程碑存储库中看到特定的工件及其各自的传递依赖项:

  • 2.0.0.M5(默认– Apache Hadoop稳定版2.2.0)
  • 2.0.0.M5-hadoop12(Apache Hadoop稳定版1.2.1)
  • 2.0.0.M5-phd1(Pivotal HD 1.1)
  • 2.0.0.M5-cdh4(Cloudera CDH4 MR1)
  • 2.0.0.M5-cdh5(Cloudera CDH5 YARN beta)
  • 2.0.0.M5-hdp20(Hortonworks HDP 2.0)

Spring for Apache Hadoop 2.0版本还提供:

  • 新的Spring纱子项目中对YARN功能的支持。 借助spring-yarn框架,可以开发基于Spring的应用程序,并可以使用YARN将其部署为在Hadoop v2上运行。
  • Spring Boot对YARN的支持。 现在,Spring Boot应用程序可以部署在YARN上。
  • Hadoop YARN功能的基于注释的编程模型和基于注释的配置。

YARN示例中包含所有新的YARN功能,因此您可以在此处检查它们。

Spring Data-hadoop-store子项目也可以在这里提供更好的支持,以使用DataWriter和DataReader实现将数据写入HDFS的方式,支持文本文件和SequenceFiles格式(带有或不带有压缩)。 新的子项目还与Kite SDK的数据集支持集成在一起。

有关特定项目的更多信息,请参见项目页面 。

翻译自: https://www.javacodegeeks.com/2014/02/spring-for-apache-hadoop-2-0-m5.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/365182.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

汇编语言 第三章小节

汇编语言第三章小结 概述: 此章节的总标题叫做 “寄存器(内存访问)”, 其教学目的是“从访问内存的角度继续学习几个寄存器“。那么,介绍了哪些寄存器呢。其一: 用来访问数据段的”DS寄存器“; 其二&#x…

激发你的灵感:16个精美视差效果网页设计作品

对于视差滚动(Parallax Scrolling),关注网页设计的朋友都不会陌生。在网页设计中,视差滚动是一种很特别的网页设计技术,通过让多层背景以不同的速度或者不同的方向移动形成 3D 运动效果,有很强的视觉冲击力…

Eclipse的Mockito模板

有时候,我想念树林里的树木-那是一段令人不安的长时间。 我最近才再次意识到这一点,在无数次中键入了一个更详细的模拟表达式。 有问题的语句是doAnswer(Answer)构造,使用涉及到的静态导入和泛型的东西进行编码总是很麻烦。 尽管我定期使用E…

【洛谷2801】教主的魔法(分块经典入门题)

点此看题面 大致题意: 给你一个序列,要你支持两种操作:第一种是区间加法,第二种是查询区间内大于等于\(x\)的数的个数。 考虑分块 这应该是一道比较经典的分块入门题吧。 首先,我们将序列分块。 对于修改操作&#xff…

cut和tr命令的联合使用

cut的-d选项只能是单个字符,而对于多个连续相同字符分隔的字段,单凭cut命令是达不到想要的效果的,特别是多个连续空格分隔时。 但借助tr -s的压缩重复字符功能,可以将多个连续空格压缩为一个空格,然后再交给cut处理就容…

使用 Web Tracing Framework 分析富 JS 应用的性能

来自谷歌的 Web Tracing Framework 包含一组工具和脚本,用于 JavaScript 相关代码的性能分析。它是重 JavaScript 应用程序的理想选择,而 JavaScript 仅用于简单的交互的网页可能没有必要。有一个手动嵌入选项和一个 Chrome 扩展,用于获取内部…

php yii2 获取表里最大的id_Yii2中自带分页类实现分页

1.首先写控制器层先引用pagination类use yiidataPagination;写自己的方法:function actionFenye(){$data Field::find(); //Field为model层,在控制器刚开始use了field这个model,这儿可以直接写Field,开头大小写都可以,为了规范,我写的是大写$pages new Pagination([totalCou…

android 操作系统升级,关于手机操作系统升级的问题

最近身边的好几个朋友问我操作系统方面问题,操作系统就是负责对计算机硬件进行直接控制以及管理的系统软件,它包含的功能也是多方面的,一般包括处理器管理,储存,文件,设备以及作业管理等等。把操作系统的内…

FindBugs Maven插件教程

FindBugs是一种静态代码分析工具,可识别从Java代码中发现的问题。 我们可以使用FindBugs Maven插件将FindBugs集成到我们的构建过程中。 这篇博客文章确定了四个典型的用例,并描述了我们如何配置FindBugs Maven插件以支持每个用例。 描述的用例是&…

Mac包管理神器Homebrew

概念 简称brew,是Mac OSX上的软件包管理工具,能在Mac中方便的安装软件或者卸载软件,相当于Red hat的yum、Ubuntu的apt-get。 安装命令 ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)” 常…

网站大流量高并发访问的处理解决办法

————————目录————————- 1、硬件升级2、服务器集群、负载均衡、分布式3、CDN4、页面静态化5、缓存技术(Memcache、Redis)以上为架构层面以下为网站本地项目层面6、数据库优化 1、数据库分表技术 2、数据库读写分离 3、表建立相应的索引7、禁止盗链8、控制大文…

【完成整理】45套很酷的长影影 LOGO 设计

长阴影其实就是扩展了对象的投影,感觉是一种光线照射下的影子,通常采用角度为 45 度的投影,给对象添加了一份立体感。长阴影(Long Shadow)概念来自于最新非常流行的扁平化设计(Flat Design)。扁…

简述select语句的完整语法_SQL里的各种语句的完整语法

SQL分类:DDL—数据定义语言(CREATE,ALTER,DROP,DECLARE)  DML—数据操纵语言(SELECT,DELETE,UPDATE,INSERT)DCL—数据控制语言(GRANT,REVOKE,COMMIT,ROLLBA…

android 坐标点计算器,Android实现简易计算器

开之前我还是想问问老师,为什么一定要星期天前交作业呢?由于条件限制,作品是赶出来的不是细细琢磨出来的。所以在这版apk中功能较为简易,有待后期再不断更新与优化总体效果图如下布局activity_main.xml部分代码功能代码MainActivi…

使用反射进行测试

根据我以前的帖子,我正在撰写有关“单一责任原则”的演讲。 我花了大部分时间。 同时,我想分享一个示例代码,说明如何在类中测试内部字段。 我这样做是为了进行特殊的测试,这更多的是集成测试。 在依赖类的标准单元测试中&#x…

1的恢复出厂设置在哪里_罗斯蒙特变送器怎么恢复出厂设置?

罗斯蒙特变送器怎么恢复出厂设置?特殊情况下,罗斯蒙特变送器需要恢复出厂设置。罗斯蒙特变送器进行出厂设置的方法非常简单,只需要用手操器或AMS设备管理器就能操作。罗斯蒙特手操器里有一个恢复出厂调整值–传感器量程调整命令,使用此命令就…

【技术累积】【点】【java】【25】Orderd

基础概念 Orderd是spring core中定义的一个接口,使用它以及相关的Comparator和Order注解,可以实现对元素的排序。 Order 直接先说下Order注解吧,使用场景较多。 Retention(RetentionPolicy.RUNTIME) Target({ElementType.TYPE, ElementType.M…

android 展示星期方式,Android显示从一周到另一周的日期(星期四至星期四)

最后我得到了工作一个解决方案,解决我的问题:在OnCreate中:TextView tv_chart_menuvotes (TextView) findViewById(R.id.tv_chart_menuvotes);String csPrevThur getPreviousThursday();String csNextThur getNextThursday();tv_chart_men…

Java 8 – Date API的新增功能

随着Java 8最终版本的发布,令我兴奋的新功能之一就是新的Date API,这是JSR 310的工作成果。 尽管Lambda表达式无疑是Java 8的一大亮点,但是拥有更好的日期处理方式无疑是受欢迎的。 这是一篇简短的文章(第2部分或第3部分的第1部分…

ps抠图怎么放大图片_PS抠图时选区图片放大后,怎么移动图片抠图选区?

我们在Photoshop中使用套索、钢笔等工具进行抠图选区的时候,经常需要将图片放大,保证抠图选区的精确性,但是同时因为图片放大后超出了显示区域,我们在移动抠图选区工具进行抠图选区的时候,总是出现各种错误&#xff0c…