本节需要修改的 YARN 配置文件保存在$HADOOP_HOME/etc/haoop 目录下，需要修改的文件共有 7 个，分别是：core-site.xml, hadoop-env.sh, hdfs-site.xml, yarn-site.xml, yarn-env.sh, mapred-site.xml, slave. 这些文件的用途：

• core-site.xml:

  • 用途：包含 Hadoop 核心配置，例如文件系统的默认URI、Hadoop运行时环境的全局设置等。

  • 示例配置项：

    <configuration><property><!--指定默认的文件系统。在这里，它设置为 HDFS 的地址 hdfs://hadoop1:9000 --><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!-- 其他配置项 -->
    </configuration>
    

• hadoop-env.sh:

  • 用途：配置 Hadoop 环境变量，例如 Java 路径、内存设置等。

  • 示例配置项：

    export JAVA_HOME=/path/to/java
    export HADOOP_HEAPSIZE=1024
    # 其他环境变量配置
    

• hdfs-site.xml:

  • 用途：包含 Hadoop 分布式文件系统（HDFS）的配置，如数据块大小、复本数等。

  • 示例配置项：

    <configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop1:9001</value></property><property><!-- 指定数据块的默认复制因子。在这里，设置为 3，表示每个数据块会被复制到三个节点上--><name>dfs.replication</name><value>3</value></property><!-- 其他配置项 -->
    </configuration>
    

• yarn-site.xml:

  • 用途：包含 YARN（Yet Another Resource Negotiator）配置，例如 ResourceManager 地址、NodeManager 的资源配置等。

  • 示例配置项：

    <configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><!-- 其他配置项 -->
    </configuration>
    

• yarn-env.sh:

  • 用途：配置 YARN 环境变量，例如 Java 路径、内存设置等。

  • 示例配置项：

    export JAVA_HOME=/path/to/java
    export YARN_HEAPSIZE=1024
    # 其他环境变量配置
    

• mapred-site.xml:

  • 用途：包含 MapReduce 配置，如 MapReduce 框架的运行模式、任务跟踪器地址等。使用的时候可以先从模板中复制，然后再编辑。

  • 示例配置项：

    <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop1:19888</value></property>
    </configuration>
    

• slaves:

  • 用途：列出参与 Hadoop 集群的计算节点（DataNode、NodeManager）。每行一个节点。

  • 示例：

    hadoop1
    hadoop2
    hadoop3