Hadoop 面试题（四）

1. 简述Hadoop节点的动态上线下线的大概操作？

在Hadoop集群中，节点的动态上下线指的是在不停止整个集群服务的情况下，添加或移除节点。这种能力对于维护和扩展集群非常重要。以下是Hadoop节点动态上线下线的大概操作步骤：

动态上线（添加节点）：

准备新节点：
- 确保新节点的硬件和网络配置正确，安装了Hadoop的软件包。
配置Hadoop：
- 在新节点上配置Hadoop环境，包括core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件，确保与现有集群配置一致。
同步集群状态：
- 如果集群启用了高可用性配置，确保新节点上的NameNode和ResourceManager状态与现有集群同步。
注册节点：
- 将新节点的标识（如主机名或IP地址）添加到集群的节点列表中，通常是修改slaves或workers文件。
格式化NameNode和DataNode（如果需要）：
- 如果新节点将作为NameNode或DataNode，可能需要格式化其文件系统命名空间。
启动服务：
- 在新节点上启动Hadoop守护进程，如DataNode、NodeManager等。
验证注册：
- 检查ResourceManager和NameNode的UI界面，确认新节点已被注册并正常工作。
负载均衡：
- 可能需要调整作业调度策略，以实现负载均衡。

动态下线（移除节点）：

停止服务：
- 在目标节点上停止Hadoop守护进程，如DataNode、NodeManager等。
退避模式：
- 可选地，将节点设置为退避模式，以避免ResourceManager向其分配新任务。
等待任务完成：
- 等待节点上正在执行的任务完成或迁移。
数据复制：
- 确保被下线节点上存储的数据块副本在其他节点上也有备份，以防数据丢失。
从集群中移除：
- 从集群的节点列表中移除目标节点的标识。
更新集群状态：
- 如果集群启用了高可用性配置，更新NameNode和ResourceManager的状态。
重新平衡集群：
- 可能需要触发HDFS的重新平衡操作，以重新分布数据块。
监控影响：
- 监控集群性能和稳定性，确保移除节点后集群正常运行。
清理资源：
- 在确定节点不再需要后，清理节点上的Hadoop数据和配置。

动态上线下线操作需要谨慎执行，以确保集群的稳定性和数据的安全性。在执行这些操作之前，通常需要进行充分的规划和测试。

2. 简述Hadoop常用端口号？

Hadoop集群中不同的守护进程和组件使用不同的端口进行通信。以下是一些Hadoop中常用的端口号及其对应的组件：

NameNode：
- 端口：8020（HTTP界面，默认情况下用于访问NameNode的Web UI）
- 端口：50070（HDFS Java RPC接口）
DataNode：
- 端口：50010（BPService，数据传输服务）
- 端口：50020（HTTP界面，用于访问DataNode的Web UI）
ResourceManager（YARN）：
- 端口：8088（HTTP界面，默认情况下用于访问ResourceManager的Web UI）
- 端口：8032（YARN Resource Manager Java RPC接口）
NodeManager：
- 端口：8042（YARN Node Manager Java RPC接口）
- 端口：8040（HTTP界面，用于访问NodeManager的Web UI）
Secondary NameNode：
- 通常使用与NameNode相同的端口，但在不同的进程中运行。
HDFS Balancer：
- 端口：50100（默认情况下用于HDFS Balancer的通信）
Hadoop JobTracker（老版本MapReduce）：
- 端口：8021（HTTP界面，用于访问JobTracker的Web UI）
- 端口：50300（JobTracker Java RPC接口）
Hadoop TaskTracker（老版本MapReduce）：
- 端口：8031（TaskTracker Java RPC接口）
- 端口：8042（HTTP界面，用于访问TaskTracker的Web UI）
HBase Master：
- 端口：60000（HBase Master Java RPC接口）
- 端口：60010（HTTP界面，用于访问HBase Master的Web UI）
HBase RegionServer：
- 端口：60020（HBase RegionServer Java RPC接口）
- 端口：60030（HTTP界面，用于访问HBase RegionServer的Web UI）
ZooKeeper：
- 端口：2181（默认情况下用于ZooKeeper客户端连接）

请注意，这些端口号可以在Hadoop配置文件中进行自定义设置。在实际部署时，应根据具体需求和安全策略来配置端口。此外，Hadoop生态系统中的其他组件（如Hive、Pig、Oozie等）也可能使用自己的端口。

3. 简述Hadoop参数调优？

Hadoop参数调优是确保Hadoop集群高效运行的重要环节。参数调优可以针对不同的组件和场景进行，以下是一些常见的调优方面：

内存调优：
- 调整JVM堆大小参数，如-Xmx和-Xms，为Hadoop守护进程（如NameNode、DataNode、ResourceManager、NodeManager）设置合适的内存使用量。
CPU调优：
- 根据节点的CPU核心数，合理分配作业的并行度，例如MapReduce作业的map和reduce任务数。
网络调优：
- 调整网络缓冲区大小，优化数据传输性能。
I/O调优：
- 优化磁盘I/O性能，比如调整DataNode的磁盘存储路径，使用RAID配置等。
HDFS块大小调整：
- 根据数据特性和集群规模，调整HDFS的块大小（dfs.blocksize），以优化存储效率和网络传输。
副本因子调整：
- 根据数据的重要性和存储成本，调整副本因子（dfs.replication）。
MapReduce作业调优：
- 调整MapReduce作业的配置参数，如map和reduce任务的内存使用（mapreduce.map.memory.mb、mapreduce.reduce.memory.mb）。
YARN资源管理调优：
- 调整YARN的资源分配参数，如每个容器的内存和CPU核心数。
高可用性配置：
- 优化NameNode和ResourceManager的高可用性配置，确保故障转移的平滑性。
数据压缩：
- 根据网络带宽和存储需求，选择合适的数据压缩算法和压缩率。
Speculative Execution：
- 开启或调整作业的推测执行（mapreduce.map.speculative），以处理慢节点问题。
垃圾收集调优：
- 选择和调整适合的垃圾收集器，优化GC性能。
小文件问题：
- 处理HDFS中的小文件问题，比如通过合并小文件来减少NameNode的负担。
JVM参数调优：
- 调整JVM的垃圾收集和内存管理参数，以适应不同的工作负载。
网络拓扑感知：
- 利用网络拓扑感知优化任务调度，减少数据传输延迟。
日志级别调优：
- 根据需要调整日志记录级别，避免日志文件过大。

参数调优是一个持续的过程，需要根据实际工作负载和集群性能监控结果进行调整。通常，调优需要结合测试和监控来进行，以确保找到最优的配置。

4. 简述Hadoop常用命令中，启动hadoop所有进程的命令正确的是（）？

A：start-all.sh
B：start-yarn.s
C：start-dfs.sh
D：start-yarn.sh

正确的命令是：

A：start-all.sh - 这个脚本用于启动Hadoop集群中的所有守护进程，包括HDFS和YARN的守护进程。

另外，还有：

C：start-dfs.sh - 这个脚本仅启动与HDFS相关的守护进程，如NameNode、SecondaryNameNode、DataNode等。

D：start-yarn.sh - 这个脚本仅启动YARN相关的守护进程，如ResourceManager、NodeManager等。

B选项中的命令存在拼写错误，正确的应该是start-yarn.sh。不过，由于选项D已经包含了正确的命令，所以D也是正确的。通常，如果需要启动整个Hadoop集群，会使用start-all.sh命令。

5. 简述Hadoop生态圈中ZooKeeper的作用描述错误的选项是（）？

A：ZooKeeper是一个开源的分布式应用程序协调服务
B：基于ZooKeeper可以实现同步服务
C：ZooKeeper可以实现配置维护、命名服务
D：ZooKeeper负责文件系统底层读写

选项D “ZooKeeper负责文件系统底层读写” 是描述错误的。ZooKeeper并不负责文件系统的底层读写操作，它主要用于维护和监控配置信息、命名、提供分布式同步和组服务等。

正确选项的简述如下：

A: ZooKeeper是一个开源的分布式应用程序协调服务 —— ZooKeeper提供了一个简单的接口和一致性模型，用于分布式环境中的协调。

B: 基于ZooKeeper可以实现同步服务 —— ZooKeeper可以用来实现分布式锁和同步服务，帮助在分布式系统中维护状态的一致性。

C: ZooKeeper可以实现配置维护、命名服务 —— ZooKeeper可以用来存储和维护集群的配置信息，以及提供命名服务，如在Hadoop HA配置中选举Active NameNode。

ZooKeeper是Hadoop生态系统中的重要组成部分，特别是在需要高可用性和动态协调的场景中。

6. 简述关于 HDFS 安全模式说法正确的是（）？

A：TaskNode
B：SecondaryNameNode
C：DataNode
D：ResourceManager

在Hadoop分布式文件系统（HDFS）中，“安全模式”（Safe Mode）是一种特殊的运行状态，在这个状态下，HDFS会限制某些操作，以确保数据的完整性和一致性。以下是与HDFS安全模式相关的说法中正确的选项：

C：DataNode - DataNode是HDFS的一部分，它会在安全模式下与NameNode通信，报告其存储的块信息。NameNode使用这些信息来确定集群的健康状况并管理数据的副本。

其他选项的说明：

A：TaskNode - 这不是HDFS的标准组件，可能是一个拼写错误或特定上下文中的术语。在Hadoop MapReduce中，执行任务的节点被称为TaskTracker（老版本）或NodeManager（YARN版本）。

B：SecondaryNameNode - SecondaryNameNode并不是安全模式的一部分，但它辅助NameNode工作，通过合并编辑日志和文件系统映像来帮助维护集群状态。

D：ResourceManager - ResourceManager是YARN的组件，负责资源管理和作业调度，它与HDFS的安全模式没有直接关系。

因此，正确答案是C：DataNode。在HDFS的安全模式下，NameNode会等待接收到来自足够多的DataNode的心跳和块报告，以确保集群状态稳定后，才会退出安全模式。