Spring高兴地宣布了Spring for Apache Hadoop 2.0 M5里程碑版本,同时它们也越来越接近候选版本。 在Spring博客中 ,新版本2.0与1.0版本之间有很好的比较。 根据它:
用于Apache Hadoop的Spring 1.0版本将HDFS和MapReduce与MapReduce v1或MapReduce v2(YARN)结合使用。 默认发行版是具有其他功能的Apache Hadoop 1.2.1,例如Hadoop 2.2.0,Pivotal HD 1.1,Cloudera CDH4 MR1或MR2 YARN和Hortonworks HDP 1.3。
另一方面,Spring for Apache Hadoop 2.0除了继续提供对HDFS和MapReduce支持的改进外,还着重于添加YARN应用程序开发支持。 2.0版本的默认发行版是Apache Hadoop 2.2.0。
在下面,您可以在Spring IO里程碑存储库中看到特定的工件及其各自的传递依赖项:
- 2.0.0.M5(默认– Apache Hadoop稳定版2.2.0)
- 2.0.0.M5-hadoop12(Apache Hadoop稳定版1.2.1)
- 2.0.0.M5-phd1(Pivotal HD 1.1)
- 2.0.0.M5-cdh4(Cloudera CDH4 MR1)
- 2.0.0.M5-cdh5(Cloudera CDH5 YARN beta)
- 2.0.0.M5-hdp20(Hortonworks HDP 2.0)
Spring for Apache Hadoop 2.0版本还提供:
- 新的Spring纱子项目中对YARN功能的支持。 借助spring-yarn框架,可以开发基于Spring的应用程序,并可以使用YARN将其部署为在Hadoop v2上运行。
- Spring Boot对YARN的支持。 现在,Spring Boot应用程序可以部署在YARN上。
- Hadoop YARN功能的基于注释的编程模型和基于注释的配置。
YARN示例中包含所有新的YARN功能,因此您可以在此处检查它们。
Spring Data-hadoop-store子项目也可以在这里提供更好的支持,以使用DataWriter和DataReader实现将数据写入HDFS的方式,支持文本文件和SequenceFiles格式(带有或不带有压缩)。 新的子项目还与Kite SDK的数据集支持集成在一起。
有关特定项目的更多信息,请参见项目页面 。
翻译自: https://www.javacodegeeks.com/2014/02/spring-for-apache-hadoop-2-0-m5.html