前言:重启集群后某一节点HRegionServer服务停止,重启前所有服务均正常
去查看日志:
日志报错
ERROR HRegionServer
Master rejected startup because clock is out of sync
org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server cloudcdp05.hadoop.com,16020,1713404049250 has been rejected; Reported time is too far out of sync with master. Time difference of 31113ms > max allowed of 30000ms
09:34:20.321 ERROR HRegionServerCommandLine
Region server exiting
java.lang.RuntimeException: HRegionServer Aborted
HBase 主节点拒绝了某个区域服务器的启动,因为区域服务器的系统时钟与主节点的系统时钟相差太大。
去查看对应节点后台,发现ntp服务正常启动,但是没有与主节点进行时间同步
怀疑是主节点ntp服务没启起来,去主节点查看ntp是active状态,
可能是没识别问题节点,把主节点和问题节点的ntp服务重启一下就好了
#重启ntp服务
systemcl restart ntpd
后续查看同步状态
ntp -q
可以看到时间同步过去了,问题解决。