Elasticsearch向量数据存储与搜索

1. 向量数据存储

Elasticsearch 支持向量数据类型，可以通过 dense_vector 字段类型来存储固定长度的浮点数数组，这些数组通常代表向量。这种类型的字段可以用于机器学习模型的特征向量存储。

创建带有向量字段的索引

PUT /my_index
{"mappings": {"properties": {"my_vector": { "type": "dense_vector","dims": 3  // 向量的维度大小。当index为true时，不能超过1024；当index为false时，不能超过2048 。},"my_text": {"type": "keyword"}}}
}

在这个例子中，我们创建了一个名为 my_index 的索引，其中包含一个名为 my_vector 的 dense_vector 字段，该字段用于存储 3 维的向量，还可以添加一些内容比如my_text。

向索引中添加向量数据

POST /my_index/_doc/1
{"my_text": "一段文字描述的内容","my_vector": [4.0, 3.5, 2.5]
}

这将向 my_index 索引中添加一个文档，其中包含一个向量和一些文本。

2. 向量数据搜索

Elasticsearch 允许使用向量字段执行余弦相似度、欧氏距离或点积等相似度度量的搜索查询。

使用脚本查询进行向量相似度搜索

GET /my_index/_search
{"query": {"script_score": {"query": {"match_all": {}},"script": {"source": "cosineSimilarity(params.query_vector, 'my_vector') + 1.0","params": {"query_vector": [4, 3.5, 2.5]}}}}
}

在此查询中，我们使用了 script_score 查询以计算每个文档的 my_vector 字段与查询向量之间的余弦相似度。+1.0 是为了确保脚本返回的分数是非负的，因为余弦相似度的范围是 [-1, 1]。

注意：向量字段下index参数设置false或不要指定，可提高检索效率

使用KNN查询进行向量相似度搜索

注意：创建近似KNN时（近似KNN搜索是在8.0版本新增的），索引mapping必须设置index为true，并指定similarity参数值，Mapping如下

{"mappings": {"properties": {"file-vector": {"type": "dense_vector",//用来存储浮点数的密集向量。需要设置为dense_vector。"dims": 3,//向量的维度大小。当index为true时，不能超过1024；当index为false时，不能超过2048 。"index": true,//是否为kNN生成新的索引。实现近似kNN查询时，需要将index设置为true，默认为false。"similarity": "l2_norm"//文档间的相似度算法。index为true时，此值必须设置，可以是 l2_norm 、dot_product、cosine 其中之一},"title": {"type": "text"},"name": {"type": "keyword"}}}
}

检索

{"knn": {"field": "file-vector","query_vector": [-5, 9, -12],"k": 10,"num_candidates": 100},"fields": [ "title", "name" ]
}

参数	是否必选	说明
field	是	要搜索的向量字段名称。必须是向量字段
query_vector	是	查询向量，必须与field指定的向量数据具有相同的维度。
k	是	返回的最近邻对象的数量。该值必须小于 num_candidates
num_candidates	是	每个分片上需查找的最近邻候选对象的个数，不能超过10000。 Elasticsearch 从每个分片收集 num_candidates 个结果，然后将它们合并以查找前 k 个结果。说明增加 num_candidates 往往会提高最终 k 结果的准确性，但相应搜索速度会变慢
filter	否	通过DSL语句过滤文档。kNN从过滤后的文档中返回前K个文档，如果不指定过滤器，将对所有文档做kNN近似计算。