Milvus的向量索引（内存索引）

版本: v2.3.x
官网: https://milvus.io/docs/index.md

一、简介

Milvus 支持的各种类型的内存索引、每种索引最适合的场景以及用户可以配置以获得更好搜索性能的参数。
索引是有效组织数据的过程，它通过显着加速大型数据集上耗时的查询，在使相似性搜索变得有用方面发挥着重要作用。
为了提高查询性能，您可以为每个向量字段指定索引类型。
注意：目前，向量字段仅支持一种索引类型。 Milvus 在切换索引类型时会自动删除旧索引。

二、ANNS向量索引

Milvus 支持的向量索引类型大部分使用近似最近邻搜索 (ANNS) 算法。与通常非常耗时的准确检索相比，ANNS 的核心思想不再局限于返回最准确的结果，而是仅搜索目标的邻居。 ANNS 通过在可接受的范围内牺牲准确性来提高检索效率。
根据实现方法，ANNS向量索引可以分为四类：

Tree-based index 基于树的索引
Graph-based index 基于图的索引
Hash-based index 基于哈希的索引
Quantization-based index 基于量化的索引

三、Milvus 支持的索引

根据适合的数据类型，Milvus 支持的索引可以分为两类：

浮点嵌入的索引：
- 对于 128 维浮点嵌入，它们占用的存储为 128 * float 的大小 = 512 字节。
- 用于浮点嵌入的距离度量是欧几里德距离（L2）和内积。
- 这些类型的索引包括用于基于 CPU 的 ANN 搜索的 FLAT、IVF_FLAT、IVF_PQ、IVF_SQ8、HNSW 和 SCANN(beta)，以及用于基于 GPU 的 ANN 搜索的 GPU_IVF_FLAT 和 GPU_IVF_PQ。

索引	类型	适合场景
FLAT	N/A	数据集相对较小，需要 100% 的召回率
IVF_FLAT/GPU_IVF_FLAT	量化	高速查询，要求召回率尽可能高
IVF_SQ8	量化	高速查询，有限的内存资源，接受召回率的微小妥协
IVF_PQ/GPU_IVF_PQ	量化	非常高速的查询，有限的内存资源，接受召回率的大幅妥协
HNSW	哈希	非常高速的查询，要求尽可能高的召回率，大内存资源
SCANN	量化	非常高速的查询，要求尽可能高的召回率，大内存资源

3.1 FLAT

对于需要完美精度并依赖于相对较小（百万级）数据集的矢量相似性搜索应用程序，FLAT 索引是一个不错的选择。 FLAT不压缩向量，是唯一能保证精确搜索结果的索引。 FLAT 的结果还可用作召回率低于 100% 的其他索引产生的结果的比较点。
FLAT 是准确的，因为它采用详尽的搜索方法，这意味着对于每个查询，目标输入都会与数据集中的每组向量进行比较。这使得 FLAT 成为我们列表中最慢的索引，并且不太适合查询大量矢量数据。
Milvus 中 FLAT 索引不需要任何参数，使用它不需要数据训练。

3.2 IVF_FLAT/GPU_IVF_FLAT

IVF_FLAT将向量数据划分为 nlist 簇单元（聚类），然后比较目标输入向量与每个簇中心之间的距离。根据系统设置要查询的簇数 (nprobe)，仅根据目标输入与最相似簇中向量之间的比较返回相似性搜索结果，从而大大减少查询时间。
通过调整nprobe，可以在给定场景下找到精度和速度之间的理想平衡。 IVF_FLAT 性能测试的结果表明，随着目标输入向量 (nq) 数量和要搜索的簇数量 (nprobe) 的增加，查询时间急剧增加。 IVF_FLAT是最基本的IVF索引，每个单元存储的编码数据与原始数据一致。
构建索引参数：

nlist，聚类簇的数量，范围1~65536，默认128

搜索索引参数：

nprobe，检索簇的数量，范围1~nlist，默认8
top-K，检索的向量数，<256

3.3 IVF_SQ8

IVF_FLAT 不执行任何压缩，因此它生成的索引文件与原始的原始非索引矢量数据的大小大致相同。
例如，如果原始 1B SIFT 数据集为 476 GB，则其 IVF_FLAT 索引文件会稍小（约 470 GB）。将所有索引文件加载到内存中将消耗 470 GB 的存储空间。当磁盘、CPU 或 GPU 内存资源有限时，IVF_SQ8 是比 IVF_FLAT 更好的选择。
该索引类型可以通过执行标量量化（SQ）将每个 FLOAT（4 字节）转换为 UINT8（1 字节）。这可将磁盘、CPU 和 GPU 内存消耗减少 70-75%。
对于 1B SIFT 数据集，IVF_SQ8 索引文件仅需要 140 GB 存储空间。
参数：nlist、nprobe

3.4 IVF_PQ/GPU_IVF_PQ

PQ（Product Quantization）将原始高维向量空间统一分解为m个低维向量空间的笛卡尔积，然后对分解后的低维向量空间进行量化。
乘积量化不再计算目标向量与所有单元中心的距离，而是计算目标向量与各个低维空间的聚类中心的距离，大大降低了算法的时间复杂度和空间复杂度。
IVF_PQ 在量化向量的乘积之前执行 IVF 索引聚类。它的索引文件甚至比IVF_SQ8还要小，但也会导致搜索向量时精度的损失。

注意：索引构建参数和搜索参数随 Milvus 发布的不同而变化。首先选择您的 Milvus 发行版。
构建索引参数：

nlist
m，乘积量化因子数，dim mod m == 0
nbits，可选，存储每个低维向量的位数。[1, 16] (8 by default)

搜索参数：

nprobe

3.4 SCANN

SCANN（分数感知量化损失）在向量聚类和乘积量化方面与 IVF_PQ 类似。它们的不同之处在于乘积量化的实现细节以及使用SIMD（单指令/多数据）进行高效计算。
构建索引参数：

nlist
with_raw_data，是否将原始数据包含在索引中，默认True.

检索参数：

nprobe
**reorder_k, **待查询候选单位数量，范围 [top_k, ∞]
radius，要查询的单位数，范围[1, nlist]
range_filter，要查询的候选单元数，范围[top_k, ∞]

3.5 HNSW

HNSW（Hierarchical Navigable Small World Graph）是一种基于图的索引算法。它根据一定的规则为图像构建了一个多层导航结构。在这种结构中，上层更稀疏，节点之间的距离更远；越低的层越密集，节点之间的距离越近。搜索从最上层开始，找到该层中最靠近目标的节点，然后进入下一层开始另一次搜索。经过多次迭代，它可以快速接近目标位置。
为了提高性能，HNSW将图形每层上节点的最大次数限制为M。此外，您可以使用efConstruction（构建索引时）或ef（搜索目标时）来指定搜索范围。
构建所以参数：