hdfs部署

一、下载Hadoop 2.6.0-cdh5.7.0的tar.gz包并解压：

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz

cd /usr/local/hadoop-2.6.0-cdh5.7.0/

ls

bin  bin-mapreduce1  cloudera  etc  examples  examples-mapreduce1  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share  src

简单说明一下其中几个目录存放的东西：

• bin目录存放可执行文件
• etc目录存放配置文件
• sbin目录下存放服务的启动命令
• share目录下存放jar包与文档

以上就算是把hadoop给安装好了，接下来就是编辑配置文件，把JAVA_HOME配置一下：

/usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop下编辑vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_191

保存。

由于我们要进行的是单节点伪分布式环境的搭建，所以还需要配置两个配置文件，分别是core-site.xml以及hdfs-site.xml，如下：

core-site.xml增加如下内容：

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://172.16.1.91:8020</value>   

    </property>

    <property>

        <name>hadoop.tmp.dir</name> 

        <value>/data/hdfs/</value>

    </property>

</configuration>

 

hdfs-site.xml增加

1. <configuration>
2. <property>
3. <name>dfs.replication</name> # 指定只产生一个副本
4. <value>1</value>
5. </property>

6. <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/data/hdfs/nn</value>
   </property>
   <property>
   <name>dfs.datanode.name.dir</name>
   <value>/data/hdfs/dn</value>
   </property>
   <property>
   <name>dfs.namenode.checkpoint.dir</name>
   <value>/data/hdfs/snn</value>
   </property>

8. <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/data/hdfs/nn</value>
   </property>
   <property>
   <name>dfs.datanode.name.dir</name>
   <value>/data/hdfs/dn</value>
   </property>
   <property>
   <name>dfs.namenode.checkpoint.dir</name>
   <value>/data/hdfs/snn</value>
   </property>

二、然后配置一下密钥对，设置本地免密登录，搭建伪分布式的话这一步是必须的：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 用原来的一个普通帐号测试ok
新建一个hadoop帐号，进行免密设置，报../ssh/id_rsa 路径不存在，再查原因吧。

三、HDFS格式化

/usr/local/hadoop-2.6.0-cdh5.7.0/bin下执行hdfs  namenode -format

使用服务启动脚本启动服务：

/usr/local/hadoop-2.6.0-cdh5.7.0/sbin/start-dfs.sh

启动报错：

 

WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.

这可能是多次format造成，关闭hdfs，删掉namenode路径下的内容，重新format，启动ok