hadoop的安装分为本地模式、伪分布模式、集群模式。本地模式是运行在本地，只负责存储，没有计算功能，本书不讲述。伪分布模式是在一台机器上模拟分布式部署，方便学习和调试。集群模式是在多个机器上配置hadoop，是真正的“分布式”。本章讲述伪分布模式和集群的安装。

1. 解压缩hadoop

使用WinSCP把压缩包hadoop-1.1.2.tar.gz从宿主机复制到linux的/usr/local目录下，如图3-1。

图3-1

解压缩文件，并重命名为hadoop，方便使用。重命名后，hadoop目录的完整路径是“/usr/local/hadoop”。

设置环境变量HADOOP_HOME，修改文件“/etc/profile”，如下图：

图3-2

请读者与jdk设置时配置文件对照。这里我们设置了一个别名cdha，可以快速转到hadoop的目录。

修改环境变量后，记得执行source命令哦。

现在让我们浏览一下hadoop的目录结构吧

图3-3

我们关注bin目录和conf目录。

2. 修改配置文件

hadoop配置文件默认是本地模式，我们修改四个配置文件，这些文件都位于$HADOOP_HOME/conf目录下。

第一个是hadoop环境变量脚本文件hadoop-env.sh，修改第9行代码为。

export JAVA_HOME=/usr/local/jdk

保存并关闭。这里设置的是JAVA_HOME，注意去掉前面的“#”。

第二个是hadoop核心配置文件core-site.xml，结果如下

<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> <description>hadoop的运行临时文件的主目录</description> </property> <property> <name>fs.default.name</name> <value>hdfs://book0:9000</value> <description>HDFS的访问路径</description> </property> </configuration>

第三个是hdfs配置文件hdfs-site.xml，结果如下

<configuration> <property> <name>dfs.replication</name> <value>1</value> <description>存储副本数</description> </property> </configuration>

第四个是MapReduce配置文件mapred-site.xml，结果如下

<configuration> <property> <name>mapred.job.tracker</name> <value>book0:9001</value> <description>JobTracker的访问路径</description> </property> </configuration>

这是安装伪分布模式的最小化配置。目前的任务是把hadoop跑起来，先不关注各配置项什么含义，这些配置项还在后文会有详细的解释。

3. 格式化文件系统

hdfs是文件系统，所以在第一次使用之前需要进行格式化。执行命令$HADOOP_HOME/bin/hadoop namenode –format。见图3-4

图3-4

注意：只在第一次启动的时候格式化，不要每次启动都格式化。理解为我们新买了块移动硬盘，使用之前总要格式化硬盘。

如果真的有必要再次格式化，请先把“$HADOOP_HOME/tmp”目录下的文件全部删除。

读者可以自己观察目录”$HADOOP_HOME/tmp”在格式化前后的变化情况。

格式化操作很少有出现失败的情况。如果真出现了，请检查配置是否正确。

4. 启动

格式化完成后，开始启动hadoop程序。

启动hadoop的命令脚本都在$HADOOP_HOME/bin/下，下面的所有命令都不再带有完整路径名称。

这里讲述hadoop启动的三种方式：

第一种，一次性全部启动：

图3-5

执行start-all.sh启动hadoop，观察控制台的输出，见图3-5,可以看到正在启动进程，分别是namenode、datanode、secondarynamenode、jobtracker、tasktracker，一共5个，待执行完毕后，并不意味着这5个进程成功启动，上面仅仅表示系统正在启动进程而已。

我们使用jdk的命令jps查看进程是否已经正确启动。执行以下jps，如果看到了这5个进程，见图3-6,说明hadoop真的启动成功了。如果缺少一个或者多个，那就进入到“Hadoop的常见启动错误”章节寻找原因了。

图3-6

关闭hadoop的命令是stop-all.sh。

上面的命令是最简单的，可以一次性把所有节点都启动、关闭。除此之外，还有其他命令，是分别启动的。

第二种，分别启动HDFS和MapReduce：

图3-7

执行命令start-dfs.sh，是单独启动hdfs,见图3-7。执行完该命令后，通过jps能够看到NameNode、DataNode、SecondaryNameNode三个进程启动了，该命令适合于只执行hdfs存储不使用MapReduce做计算的场景。关闭的命令就是stop-dfs.sh了。

图3-8

执行命令start-mapred.sh，可以单独启动MapReduce的两个进程。关闭的命令就是stop-mapred.sh了。当然，也可以先启动MapReduce，再启动HDFS。这说明，HDFS和MapReduce的进程之间是互相独立的，没有依赖关系。

第三种，分别启动各个进程：

[root@book0 bin]# jps 14821 Jps [root@book0 bin]# hadoop-daemon.sh start namenode [root@book0 bin]# hadoop-daemon.sh start datanode [root@book0 bin]# hadoop-daemon.sh start secondarynamenode [root@book0 bin]# hadoop-daemon.sh start jobtracker [root@book0 bin]# hadoop-daemon.sh start tasktracker [root@book0 bin]# jps 14855 NameNode 14946 DataNode 15043 SecondaryNameNode 15196 TaskTracker 15115 JobTracker 15303 Jps

执行的命令是“hadoop-daemon.sh start [进程名称]”，这种启动方式适合于单独增加、删除节点的情况，在安装集群环境的时候会看到。

5. 运行简单的MapReduce计算

在$HADOOP_HOME下有个jar包,叫hadoop-example-1.1.2.jar,见图3-9,这里面含有框架提供的很多例子.我们现在学习一下如何运行其中的例子吧.

图3-9

hadoop jar hadoop-example-1.1.2.jar

执行如下命令

可以看到图3-10的输出信息,可以看到18个输出信息,都是内置的例子程序.我们选择最后一个”word count”来运行,该程序的说明在最后,是统计文件中单词的出现次数的.

图3-10

如何执行这个程序哪?见图3-11，如下

图3-11

根据用法，我们需要补全wordcount的文件输入路径和文件输出路径.我们首先上传一个文件到hdfs中,见图3-12.那么输入文件的路径就是/README.txt了。

图3-12

这时候我们再运行wordcount例子，命令如下

hadoop jar hadoop-examples-1.1.2.jar wordcount /README.txt /wordcountoutput

在这条命令中，“/README.txt”是我们刚才上传到hdfs中的文件，作为输入路径；“/wordcountoutput”是设定的输出路径，该路径在命令执行前是不存在的。

等到命令执行结束，运行的结果就会存在输出路径的文件夹中，文件名称叫做“part-r-00000”，我们使用命令查看输出内容，如图3-13

图3-13

以上只是显示了一部分。显示结果是按照字符的字段顺序排列的，每一行显示字符及出现次数。