Elasticsearch 悬挂索引分析和自己的一点见解

在 Elasticsearch 的实战中，悬挂索引是一个既常见又容易引起困扰的概念。

今天，我将分享一次处理集群状态为RED，原因为DANGLING_INDEX_IMPORTED 的实战经验，深入探讨悬挂索引的定义、产生原因、管理方法，以及如何有效处理它们，确保读者能够明白并解决自己面临的问题。

值得一提的是，类似问题恰巧是某企业的面试题。

1、悬挂索引的定义

当 Elasticsearch 集群的某个节点因故障（如宕机）暂时离开集群，而该节点上存有的某些索引分片在集群的其他节点上没有副本时，这些索引分片在节点重新加入集群后会被标记为“悬挂”状态。

简而言之，悬挂索引（dangling index）是存在于节点上、但未被集群元数据所识别的索引分片，这意味着它们不会参与到集群的正常索引操作中。

让我们不仅联想到十多年前学过的一个C语言的知识点：野指针。

野指针（Dangling Pointer）是指向“不可预知”内存区域的指针。具体来说，当指针变量在释放了其所指向的内存后未被设为 NULL，或者是指向了一个已经被回收利用的内存块时，这个指针就变成了野指针。

使用野指针访问或操作内存是危险的，因为它可能会导致不可预知的行为或程序崩溃，类似于悬挂索引在集群中的状态，指向了集群中不存在的元数据。

2、遇到的问题及解决步骤

之前遇到过 Elasticsearch 集群状态为RED，原因是出现了大量UNASSIGNED的分片，具体来说是DANGLING_INDEX_IMPORTED的情况。

2.1 识别问题

首先，我使用如下命令确认集群节点状态，发现确实有一个数据节点丢失。通过重启故障节点，虚拟机恢复，但分片仍然未分配。

GET /_cat/nodes

2.2 深入分析

进一步使用如下命令查看未分配的分片，发现都标记为了 DANGLING_INDEX_IMPORTED。

GET /_cat/shards?h=index,shard,prirep,state,unassigned.reason

返回结果：

index1            0 p UNASSIGNED   DANGLING_INDEX_IMPORTED
index2            0 p UNASSIGNED   DANGLING_INDEX_IMPORTED
index3            0 p UNASSIGNED   DANGLING_INDEX_IMPORTED

上面提到的 DANGLING_INDEX_IMPORTED 就是前文提及的悬垂索引导入标记。

DANGLING_INDEX_IMPORTED 标记表示集群已经尝试恢复这些原本丢失的索引分片，将它们重新集成回集群中。这是一种Elasticsearch集群自我恢复的机制，用于尽可能保留和恢复数据。

然而，这种自动导入悬挂索引的操作可能会带来数据完整性和一致性的风险，因为无法保证这些索引的数据是最新的或完整的。

因此，在Elasticsearch的较新版本（7.9之后版本，不含7.9）中，建议使用专门的悬挂索引API来手动管理和恢复这些索引，以确保数据的安全性和一致性。

2.3 诊断原因

通过如下命令诊断未分配分片的具体原因，发现是因为之前的主分片副本已经在集群中的其他节点上找不到了。

GET /_cluster/allocation/explain?pretty

返回信息类似如下：

{
  "index" : "XXXX",
  "shard" : 0,
  "primary" : true,
  "current_state" : "unassigned",
  "unassigned_info" : {
    "reason" : "DANGLING_INDEX_IMPORTED",
    "at" : "2021-05-03T11:58:14.859Z",
    "last_allocation_status" : "no_valid_shard_copy"
  },
  "can_allocate" : "no_valid_shard_copy",
  "allocate_explanation" : "cannot allocate because a previous copy of the primary shard existed but can no longer be found on the nodes in the cluster",

这段信息表明：

XXXX索引的第0个主分片因为被识别为悬挂索引并尝试导入而未被分配。尽管有导入尝试，但因为在集群的任何节点上都找不到这个分片的有效副本，导致这个分片无法被正确分配到任何节点上。

这可能指向了数据丢失或数据一致性问题，需要进一步的手动干预和数据恢复操作。

3、悬挂索引重要的操作和注意事项

3.1. 识别悬挂索引

使用如下命令，可以列出所有的悬挂索引。

GET /_dangling

此命令将返回索引名称、索引UUID、创建时间以及所在节点等信息，如下所示：

{
  "dangling_indices": [
   {
    "index_name": "my-index-000001",
    "index_uuid": "zmM4e0JtBkeUjiHD-MihPQ",
    "creation_date_millis": 1589414451372,
    "node_ids": [
      "pL47UN3dAb2d5RCWP6lQ3e"
    ]
   }
  ]
}