告警解释
当节点NTP服务无法与主OMS节点NTP服务正常同步时间时产生该告警。
当节点NTP服务与主OMS节点NTP服务正常同步时间时恢复该告警。
告警属性
| 告警ID | 告警级别 | 可自动清除 |
|---|---|---|
| 12012 | 严重 | 是 |
告警参数
| 参数名称 | 参数含义 |
|---|---|
| ServiceName | 产生告警的服务名称。 |
| RoleName | 产生告警的角色名称。 |
| HostName | 产生告警的主机名。 |
对系统的影响
该节点的时间与集群其它节点的时间不同步，可能会导致该节点上的某些FusionInsight应用无法正常运行。
可能原因
- 该节点的NTP服务无法正常启动。
- 该节点与主OMS节点NTP服务不能正常同步时间。
- 该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。
- 该节点与主OMS节点NTP服务时间偏差太大。
处理步骤
检查该节点的NTP服务是否正常启动。
- 检查ntpd进程是否运行在告警节点上。使用root用户登录告警节点，执行命令：ps -ef | grep ntpd | grep -v grep，检查命令是否输出ntpd进程的信息。
- 是，执行步骤 4。
- 否，执行步骤 2。
- 执行service ntp start（RedHat系统执行service ntpd start）启动NTP服务。
- 10分钟后，检查该告警是否恢复。
- 是，处理完毕。
- 否，执行步骤 4。
检查该节点与主OMS节点NTP服务是否正常同步时间。
- 查看NTP告警的“附加信息”是否描述“与主OMS节点NTP服务无法同步时间”（“Can not synchronize time with active OMS server”）。
- 是，执行步骤 5。
- 否，执行步骤 14。
- 排查与主OMS节点NTP服务的同步是否有问题。
使用root用户登录告警节点，执行ntpq -np命令。
如果显示结果的主OMS节点NTP服务IP地址前有“*”号，表示同步正常，如下：
remote refid st t when poll reach delay offset jitter ============================================================================== *10.10.10.162 .LOCL. 1 u 1 16 377 0.270 -1.562 0.014
如果显示结果的主OMS节点NTP服务IP前无“*”号，且“refid”项内容为“.INIT.”，表示同步不正常。
remote refid st t when poll reach delay offset jitter ============================================================================== 10.10.10.162 .INIT. 1 u 1 16 377 0.270 -1.562 0.014
- 是，执行步骤 6。
- 否，执行步骤 17。
- NTP不能正常同步，通常与系统防火墙有关。如果能关闭防火墙，建议尝试关闭防火墙；如果不能关闭防火墙，请检查防火墙配置策略，确保UDP 123端口未禁用（具体遵循各系统下防火墙配置策略）。
- 处理防火墙后等待10分钟，检查该告警是否恢复。
- 是，处理完毕。
- 否，执行步骤 8。
- 使用root用户登录主OMS节点，执行下列命令，查看key值索引号为“1M”的认证码。
SUSE系统执行：cat /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys
RedHat系统执行：cat /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys
- 执行下列命令，查看key值是否与步骤 8的查询值相同。
SUSE系统执行：diff /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys /etc/ntp.keys
RedHat系统执行：diff /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys /etc/ntp/ntpkeys
- 是，执行步骤 10。
- 否，执行步骤 17。
- 执行cat ${BIGDATA_HOME}/om-server/om/packaged-distributables/ntpKeyFile，查看key值是否与步骤 8的查询值相同。（请与步骤 8查询值的认证秘钥索引为“1M”的key值进行对比）。
- 是，执行步骤 17。
- 否，执行步骤 11。
- 使用root用户登录故障节点，SUSE系统执行cat /etc/ntp.keys（RedHat系统执行cat /etc/ntp/ntpkeys），查看key值是否与步骤 10的查询值相同（请使用查询出的认证秘钥索引为“1M”的key值进行对比）。
- 是，执行步骤 17。
- 否，执行步骤 12。
- 使用root用户或omm用户执行以下命令，修改主OMS节点ntp的key值（RedHat系统请将ntp.keys改为ntpkeys）。
cd ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf
sed -i "`cat ntp.keys | grep -n '1 M'|awk -F ':' '{print $1}'`d" ntp.keys
echo "1 M `cat ${BIGDATA_HOME}/om-server/om/packaged-distributables/ntpKeyFile`" >>ntp.keys
查看“ntp.keys”中认证秘钥索引字段为1M的key值是否和ntpKeyFile的值相同
- 是，执行步骤 13。
- 否，请尝试手动将ntp.keys中认证秘钥索引字段为1M的key值修改为ntpKeyFile的key值。
- 5分钟后，使用root用户执行以下命令，查看系统配置文件是否已经同步。
RedHat系统执行：diff /etc/ntp/ntpkeys ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys
SUSE系统执行：diff /etc/ntp.keys ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys
执行命令无返回结果即为已经同步，同步成功后，执行命令service ntp restart，重启主OMS节点ntp服务，15分钟后查看告警是否消除。
- 是，处理完毕。
- 否，执行步骤 17。
检查该节点与主OMS节点NTP服务时间偏差是否太大。
- NTP告警的“附加信息”是否描述“时间偏差太大”（time offset）。
- 是，执行步骤 15。
- 否，执行步骤 17。
- 在“主机管理”页面，勾选告警节点的主机，选择“更多操作 > 停止所有角色”停止告警节点的所有服务。
如果告警节点时间比主OMS节点NTP服务时间慢，校正告警节点的系统时间。校正告警节点的系统时间后，选择“更多操作 > 启动所有角色”启动告警节点的服务。
如果告警节点时间比主OMS节点NTP服务时间快，等待相应时间差，校正告警节点的系统时间。校正完成后，选择“更多操作 > 启动所有角色”启动告警节点的服务。
说明：如果不做相应等待，可能造成数据丢失风险。
- 10分钟后，检查该告警是否恢复。
- 是，处理完毕。
- 否，执行步骤 17。
收集故障信息。
