单元测试Java Hadoop作业

在我以前的文章中，我展示了如何设置一个完整的基于Maven的项目，以用Java创建Hadoop作业。当然并没有完成，因为它缺少单元测试部分。在本文中，我将展示如何将MapReduce单元测试添加到我之前开始的项目中。对于单元测试，我使用MRUnit框架。

- 将必要的依赖项添加到pom

将以下依赖项添加到pom：

<dependency><groupId>org.apache.mrunit</groupId><artifactId>mrunit</artifactId><version>1.0.0</version><classifier>hadoop1</classifier><scope>test</scope>
</dependency>

这将使MRunit框架可用于该项目。

- 添加单元测试以测试Map Reduce逻辑

该框架的使用非常简单，尤其是在我们的业务案例中。因此，如果需要的话，我将仅展示单元测试代码和一些注释，但是我认为使用它非常明显。映射程序“ MapperTest”的单元测试：

package net.pascalalma.hadoop;import org.apache.hadoop.io.Text;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;/*** Created with IntelliJ IDEA.* User: pascal*/
public class MapperTest {MapDriver<Text, Text, Text, Text> mapDriver;@Beforepublic void setUp() {WordMapper mapper = new WordMapper();mapDriver = MapDriver.newMapDriver(mapper);}@Testpublic void testMapper() throws IOException {mapDriver.withInput(new Text("a"), new Text("ein"));mapDriver.withInput(new Text("a"), new Text("zwei"));mapDriver.withInput(new Text("c"), new Text("drei"));mapDriver.withOutput(new Text("a"), new Text("ein"));mapDriver.withOutput(new Text("a"), new Text("zwei"));mapDriver.withOutput(new Text("c"), new Text("drei"));mapDriver.runTest();}
}

实际上，此测试类甚至比Mapper实现本身简单。您只需定义映射器的输入和预期的输出，然后让配置的MapDriver运行测试。在我们的案例中，Mapper没有做任何特定的事情，但是您会看到设置测试用例很容易。为了完整起见，这里是Reducer的测试类：

package net.pascalalma.hadoop;import org.apache.hadoop.io.Text;
import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;/*** Created with IntelliJ IDEA.* User: pascal*/
public class ReducerTest {ReduceDriver<Text, Text, Text, Text> reduceDriver;@Beforepublic void setUp() {AllTranslationsReducer reducer = new AllTranslationsReducer();reduceDriver = ReduceDriver.newReduceDriver(reducer);}@Testpublic void testReducer() throws IOException {List<Text> values = new ArrayList<Text>();values.add(new Text("ein"));values.add(new Text("zwei"));reduceDriver.withInput(new Text("a"), values);reduceDriver.withOutput(new Text("a"), new Text("|ein|zwei"));reduceDriver.runTest();}
}