aws上部署hadoop

在上一篇文章中，我描述了一个执行PageRank计算的示例，该示例是使用Apache Hadoop进行Mining Massive Dataset课程的一部分。 在那篇文章中，我接受了Java中现有的Hadoop作业，并做了一些修改（添加了单元测试，并通过参数设置了文件路径）。 这篇文章展示了如何在现实的Hadoop集群上使用此作业。 该集群是一个由1个主节点和5个核心节点组成的AWS EMR集群 ，每个集群均由m3.xlarge实例支持。

第一步是为集群准备输入。 我使用AWS S3是因为这是使用EMR时的便捷方式。 我创建了一个新存储桶'emr-pagerank-demo'，并制作了以下子文件夹：

• in：包含作业输入文件的文件夹
• job：包含我的可执行Hadoop jar文件的文件夹
• 日志：EMR将放置其日志文件的文件夹

然后，在“ in”文件夹中，我复制了要排名的数据。 我将此文件用作输入。 解压缩后，它变成了一个具有XML内容的5 GB文件，尽管不是很大，但对于此演示来说已经足够了。 当您使用前一篇文章的源代码并运行“ mvn clean install”时，您将获得jar文件：“ hadoop-wiki-pageranking-0.2-SNAPSHOT.jar”。 我将此jar文件上传到“作业”文件夹。

就是为了准备。 现在我们可以启动集群了。 在此演示中，我使用了AWS管理控制台 ：

• • 命名集群
  • 输入日志文件夹作为日志位置

• • 输入核心实例数

• • 为我们的自定义罐添加一个步骤

• • 像这样配置步骤：

• • 这将导致以下概述：

如果正确，则可以按“创建集群”按钮，并使EMR进行工作。 您可以在控制台的“监视”部分监视集群：

并在“步骤”部分中监视步骤的状态：

几分钟后，作业将完成（当然取决于输入文件的大小和使用的群集）。 在我们的S3存储桶中，我们可以看到在'log'文件夹中创建了日志文件：

在这里，我们总共看到7个作业：1 x Xml准备步骤，5 x rankCalculator步骤和1 x rankOrdering步骤。

更重要的是，我们可以在“结果”文件夹中查看结果：

每个reducer都会创建自己的结果文件，因此我们在这里有多个文件。 我们对排名最高的网页感兴趣，因为其中的网页排名最高。 如果我们查看此文件，将看到以下结果排在前10位：

271.6686	Spaans
274.22974	Romeinse_Rijk
276.7207	1973
285.39502	Rondwormen
291.83002	Decapoda
319.89224	Brussel_(stad)
390.02606	2012
392.08563	Springspinnen
652.5087	2007
2241.2773	Boktorren

请注意，当前的实现只运行5次计算（硬编码），因此实际上并没有如MMDS原理中所描述的那样进行幂次迭代（对软件的下一版进行了很好的修改：-）。

还请注意，使用默认设置时，作业完成后群集不会终止，因此在手动终止群集之前，群集的成本会增加。

翻译自: https://www.javacodegeeks.com/2015/03/running-pagerank-hadoop-job-on-aws-elastic-mapreduce.html

aws上部署hadoop