1、问题概述
flume采集文本文件存储到hdfs中hive的ods层目录,并在hive中通过msck repair table刷新元数据,加载文本文件。报错如下:
2、问题分析
文件块BP-531411289-172.31.57.12-1539657748238出现了未知异常,导致namenode不能获取该文件块的信息,该文件块是由flume采集数据然后写入到hdfs的ods层,查询运维日志发现hdfs在此时有发生重启!
3、问题排查
3.1、查看异常数据表block信息
hdfs fsck /user/hive/warehouse/ufoto_bigdata_src.db/src_api_hour_user_act_log/day_part=20190630/hour_part=03 -openforwrite
由以上检查结果发现:block平均副本数为2.9727273,正常block平均副本数为3,所以block确实发生异常。
3.2、修复损坏block
3.2.1、通过其他block自动修复
hdfs debug recoverLease -path /user/hive/ware