Elasticsearch 8.X 可以按照数组下标取数据吗？

1、线上环境问题

老师、同学们，有人遇到过这个问题么，索引中有一个 integer 数组字段，然后通过脚本获取数组下标为1的值作为运行时字段，发现返回的值是乱的，并不是下标为1的值，具体如下:

DELETE my_index
PUT my_index
{"mappings": {"properties": {"price": {"type": "integer"}}}
}POST /my_index/_doc
{"price": [5,6,99,3]
}POST /my_index/_doc
{"price": [22,11,19,-1]
}

GET my_index/_search
{"runtime_mappings": {"price_a": {"type": "double","script": {"source": """double v = doc['price'][1];emit(v);"""}}},"fields": [{"field": "price_a"}]
}

是不是因为doc value存储的结果是乱序的？

结果为：

——问题来自技术交流群

2、问题分析

2.1 Elasticsearch 数组是如何存取的？

在 Elasticsearch 中，数组并不是一种特殊的数据类型。

当你在JSON文档中有一个数组字段并将其索引到Elasticsearch时，Elasticsearch会将数组中的每个元素当作独立的值进行索引，但它不会存储数组的结构或顺序信息。

例如，假设你有以下文档：

{"tags": ["A", "B", "C"]}

Elasticsearch会像你分别为文档添加了三个标签"A"、"B"和"C"一样对待它。

数组字段（和许多其他字段类型）在 Elasticsearch 中主要是通过Doc Values来存储的。

Doc Values 是一种优化的、磁盘上的、列式数据结构，它们使得对字段的排序和聚合变得非常快速和高效。

但是，列式存储并不保留原始数据的顺序，这就是为什么数组在 Elasticsearch中会丢失其原始顺序的原因。

2.2 访问数组数据

当你在脚本或查询中访问数组字段时，例如 doc['tags']，你实际上得到的是一个值列表。

即使原始数组只有一个值，你也会得到一个值列表。因此，通常需要检查其.size( )并通过.value或具体的索引来访问特定的值。

2.3 数组与嵌套文档类型 Nested

尽管数组不保留顺序，但 Elasticsearch 提供了一种 nested 数据类型，可以让你索引数组中的对象，并保持它们之间的关系。

这对于复杂的对象数组非常有用，但同时也带来了一些复杂性，如使用特定的 nested 查询和聚合。

3、如何获取指定下标的数据？

3.1 方案一、微小改动。

#### 删除索引
DELETE my_index#### 创建索引
PUT my_index
{"mappings": {"properties": {"price": {"type": "integer"}}}
}#### 导入数据
POST /my_index/_doc
{"price": [5,6,99,3]
}POST /my_index/_doc
{"price": [22,11,19,-1]
}

#### 创建预处理管道
PUT _ingest/pipeline/split_array_pipeline
{"description": "Splits the price array into individual fields","processors": [{"script": {"source": """if (ctx.containsKey('price') && ctx.price instanceof List && ctx.price.size() > 0) {for (int i = 0; i < ctx.price.size(); i++) {ctx['price_' + i] = ctx.price[i];}}"""}}]
}

split_array_pipeline 预处理管道的含义：

description:

描述该管道的目的。在这个案例中，我们说明这个管道的目的是将price数组分解为单独的字段。

processors:

是一个处理器数组，每个处理器都完成一个特定的任务。在这里，我们只有一个script处理器。

在 script 处理器中，我们编写了一个小脚本，检查是否存在一个名为 price 的字段，该字段是否是一个数组，以及数组是否至少有一个元素。如果所有这些条件都满足，脚本会遍历数组并为数组中的每个元素创建一个新字段。新字段的名称将是 price_0、price_1等，其中的数字是数组的索引。

这种预处理管道非常有用，特别是当原始数据格式不适合直接索引到 Elasticsearch 时。通过使用预处理管道，我们可以在索引数据之前对其进行所需的转换或清理。

POST my_index/_update_by_query?pipeline=split_array_pipeline
{"query": {"match_all": {}}
}GET my_index/_search
{"runtime_mappings": {"price_a": {"type": "double","script": {"source": """if (doc['price_0'].size() > 0) {double v = doc['price_0'].value;emit(v);}"""}}},"fields": [{"field": "price_a"}]
}

运行时字段（Runtime Fields）。运行时字段是 7.12 版本后引入的功能，允许你定义临时字段，这些字段的值是在查询时通过脚本计算的，而不是在索引时预先存储的。

如上代码中：

我们定义了一个名为 price_a 的新运行时字段。字段类型为 double。
我们提供了一个Painless 脚本，用于计算此字段的值。

脚本解读：

if (doc['price_0'].size() > 0):

这检查price_0字段是否存在并且有值。在Elasticsearch的脚本中，doc['field_name']表示获取该字段的值，.size()方法用于检查该字段是否有值（在某些文档中，该字段可能不存在或为空）。

double v = doc['price_0'].value;:

如果上面的条件为真，这行代码会从price_0字段中取出值，并将其转换为double类型。

emit(v);:

这是Painless脚本的关键指令。它将指定的值输出为运行时字段price_a的值。

执行结果如下，结果已经达到预期。

3.2 方案二：Nested 实现

Nested 嵌套数据类型，咱们之前文章多次讲过，不明白的同学可以翻看一下历史文章。

### 定义索引
PUT /my_nested_index
{"mappings": {"properties": {"prices": {"type": "nested","properties": {"value": {"type": "integer"}}}}}
}### 导入数据
POST /my_nested_index/_doc
{"prices": [{"value": 5},{"value": 6},{"value": 99},{"value": 3}]
}POST /my_nested_index/_doc
{"prices": [{"value": 22},{"value": 11},{"value": 19},{"value": -1}]
}

#### 执行检索
GET my_nested_index/_search
{"query": {"bool": {"must": [{"nested": {"path": "prices","query": {"exists": {"field": "prices.value"}},"inner_hits": {"size": 1}}}]}}
}

如果你想只返回 inner_hits 下的第一个数据结果，你可以使用size参数。通过设置size为 1，你可以限制inner_hits返回的结果数量。

返回结果：