Milvus 核心设计 (3) ---- metric及index原理详解与示例(1)

目录

背景

Floating point embeddings

特点

适用场景

丈量方式

Euclidean distance (L2)

Inner product (IP)

Cosine similarity (COSINE)

代码写法

索引类型

In-Memory

FLAT 索引

IVF_FLAT

IVF_FLAT的工作流程

平衡准确性与速度

性能考虑

代码写法

IVF_SQ8

原理

参数

代码

适用性小结

IVF_PQ

原理

参数

代码

HNSW

原理

参数

In-GPU

GPU_IVF_FLAT

原理

不同点

GPU_IVF_PQ

In-Disk

DISKANN

原理

feature 配置位置

limitation

代码

finetune


背景

作为向量数据库的重要核心概念,引入与适用场景匹配的相似度,在search 或 query 时至关重要。在前面讲述 Chroma 的相似度计算时,已经说清楚了 Cosine,IP, l2 三种相似度计算的不用及适用场景。Milvus 在相似度的匹配中,也包含了这些核心概念,但应该说 Milvus 在这方面考虑得更细致一些, 下面看下Milvus 在这方面的使用。

Chroma 更加侧重于轻量级的,LLM领域的 vector store 与 search,所以Chroma 更加关注的是 floating vector 的存储。因为熟悉 LLM embedding 的都应该很清楚,无论你使用何种 embedding 模型,包括 google  transfomer,或是其他你在 mode scope 上下载的 embedding model,句子在 embedding 后肯定是一个 dim 维度的 float类型的向量。正因为如此,Chroma 的重点在关注 float vector 的embedding 上。所以还是那句话,应用场景决定了软件设计。

但Milvus 在关注 LLM 的 vector store 与 query 时,同时也关注 Binary 与 Sparse 的 embedding。下面依次详细解释。

Floating point embeddings

其实就是浮点嵌入型。

特点

浮点嵌入使用浮点数(如单精度float或双精度double)来表示向量中的每个元素。
浮点数提供了较高的精度,可以表示非常精确的数值。
存储成本相对较高,因为浮点数需要更多的存储空间。


适用场景

需要高精度计算的场景,如科学研究、金融分析等。
机器学习模型中的embedding层,特别是在处理复杂数据时,如图像、音频等。
适用于对相似度计算精度要求较高的应用,如新闻推荐、商品推荐等。
 

丈量方式

Euclidean distance (L2)


Inner product (IP)


Cosine similarity (COSINE)

在RAG与LLM原理及实践(4)--- 语义相似度距离衡量的三种方式chroma示例_rag 相似度-CSDN博客

已经解释的比较清楚了,这里的核心都是一样的,不明白直接看这里就行,不再熬述。

代码写法

L2, COSINE, IP 自己选择当下场景合适的就行。

索引类型

对于浮点数嵌入型的 vector,Milvus 区分的非常细,实际上在实现的时候,Chroma 也有类似的功能,只是没有明说,放在了代码中而已。下面依次看看。

In-Memory

FLAT 索引

FLAT索引在向量相似性搜索应用中,尤其是在需要完美准确性且数据集相对较小的场景(百万级别)下,是一个很好的选择。其最核心的特点就是FLAT索引不压缩向量,因此它是唯一能够保证精确搜索结果的索引类型。由于这种精确性,FLAT索引的结果也可以作为基准,用于与其他召回率低于100%的索引产生的结果进行比较。

FLAT索引之所以准确,是因为它采用了穷举搜索的方法。对于每个查询,它都会将目标输入与数据集中的每一组向量进行比较。这种方法的缺点是搜索速度较慢,因为它需要遍历整个数据集来查找匹配项。因此,FLAT索引在处理大规模向量数据时效率较低,不适合需要快速响应的场景。

在Milvus中,使用FLAT索引不需要设置任何参数,也无需进行数据训练。这使得FLAT索引的部署和使用变得非常简单直接,特别适用于那些对精确性有严格要求且数据集规模适中的场景。

其实就是在 Chroma 中对应的 暴力所有方式。

IVF_FLAT

inverted File with Flat Index是一种用于大规模向量搜索的高效索引方法,特别适用于处理高维向量数据,如图像、文本或音频的嵌入表示。它通过将向量数据分割成多个集群单元(即nlist个簇),并在每个簇中维护一个中心点,来加速相似度搜索过程。这种方法的关键在于,它仅需在查询时计算目标输入向量与这些簇中心点的距离,然后根据这些距离选择最相似的簇来进一步搜索其中的向量,从而显著减少了查询时间。

IVF_FLAT的工作流程
  1. 数据分割:首先,将所有的向量数据根据某种聚类算法(如K-means)分割成nlist个簇,并计算每个簇的中心点。

  2. 索引构建:为每个簇构建索引,并将簇内的向量数据与对应的簇中心点关联起来。在IVF_FLAT中,数据以原始形式存储,不进行额外的编码或压缩。

  3. 查询处理

    • 粗粒度筛选:当接收到一个目标输入向量时,首先计算它与所有簇中心点的距离。
    • 细粒度搜索:根据这些距离,选择最相似的nprobe个簇(nprobe是系统设置的查询时要搜索的簇的数量)。
    • 相似度计算:在选定的簇中,计算目标输入向量与簇内每个向量的相似度(如余弦相似度或欧氏距离)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/45721.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

栈和队列 OJ (一)

括号匹配问题 题目链接: https://leetcode.cn/problems/valid-parentheses/ 遇到左括号入栈,遇到右括号,我们就出栈看看括号是否匹配 这里要注意如果左括号多于右括号的情况下,字符串循环遍历结束时,栈不为空&#x…

Android --- Kotlin学习之路:自己写一个SDK给别的APP用(暴漏一个接口,提供学生的身高数据)

今天又来肝kotlin了,主题是:用kt写一个SDK给其他人用,这个小技能在项目中会经常用到,应该有很多小伙伴还不会用,不会的请往下看—⬇ 在项目里面新建一个module 选择Android library,然后点击finish就行了 …

React有哪些优点和缺点

React 作为一个广泛使用的 JavaScript 库,在前端开发领域具有显著的优点,但同时也存在一些缺点。以下是对 React 的一些主要优点和缺点的概述: 优点 组件化开发: React 鼓励将 UI 分解为小的、独立的、可复用的组件。这种方式使得…

PostgreSQL UPDATE 命令

PostgreSQL UPDATE 命令 PostgreSQL 是一种功能强大的开源对象关系型数据库管理系统(ORDBMS),它使用并扩展了SQL语言。在处理数据库时,我们经常需要更新现有的记录。在PostgreSQL中,UPDATE命令用于修改表中的现有记录。 基本语法 UPDATE命令的基本语法如下: UPDATE t…

常用的内部排序算法

常用的内部排序算法 简单选择排序、直接插入排序和冒泡排序、折半插入排序、希尔排序算法、快速排序算法(递归和非递归)、堆排序 运行结果: python 输入数据15,5,6,7,8,9,10 [外链图片转存中…(img-60STknHj-1720750359076)] [外链图片转…

【Java】二维数组

文章目录 一、什么是二维数组二、二维数组的声明形式三、二维数组的创建(1)静态初始化(2)动态初始化 四、二维数组的输入五、二维数组在内存中的存储方式 一、什么是二维数组 一维数组的声明是int[] arr,int[] arr {0,1,2,3,…};通过一维数组的形式和表达式 我们…

使用Nginx实现高效负载均衡

概述 Nginx是一款高性能的HTTP和反向代理服务器,广泛用于Web服务的负载均衡。它能有效分发流量至多个后端服务器,提高网站的可用性和响应速度,同时增强系统的可扩展性和安全性。本文将介绍如何配置Nginx进行负载均衡,并提供具体的…

FPGA设计中的流水线 -分割大的计算电路可以更快的处理数据。

FPGA(现场可编程门阵列)设计中的流水线优化是一种提高设计性能的技术,它通过将设计分解为多个阶段或步骤来实现。每个阶段可以并行执行,从而提高整体的吞吐量和效率。以下是流水线优化的一些关键概念和作用: 意思&…

window下tqdm进度条

原代码是linux下运行&#xff0c;修改后可在window下运行。 #ifndef TQDM_H #define TQDM_H#include <chrono> #include <ctime> #include <numeric> #include <ios> #include <string> #include <cstdlib> #include <iostream> #i…

CollectionUtils的使用

1、非空判断 判断集合是否为空 List<String>对象list&#xff0c;可以使用CollectionUtils中的isEmpty方法来判断list是否为空。代码如下 List<String> list new ArrayList<>(); boolean isEmpty CollectionUtils.isEmpty(list); System.out.println(is…

numpy实现sigmoid函数

numpy实现sigmoid函数 在Python中&#xff0c;可以使用NumPy库的numpy.exp函数来计算e的指数&#xff0c;然后通过除法将其映射到0和1之间&#xff0c;实现sigmoid函数。以下是实现sigmoid函数的示例代码&#xff1a; import numpy as npdef sigmoid(x):return 1 / (1 np.ex…

WordPress 主题技巧:给文章页增加“谁来过”模块。

模块功能&#xff1a; 我个人目前在做一个电影类的网站&#xff0c;在开发文章页的模版时候&#xff0c;突然觉得给文章页增加一个“谁对本电影感兴趣”的功能模块可能会比较有趣&#xff0c;这个功能有点类似于‘足迹’的感觉&#xff0c;用户可以通过这个功能&#xff0c;发…

Log4j的原理及应用详解(三)

本系列文章简介&#xff1a; 在软件开发的广阔领域中&#xff0c;日志记录是一项至关重要的活动。它不仅帮助开发者追踪程序的执行流程&#xff0c;还在问题排查、性能监控以及用户行为分析等方面发挥着不可替代的作用。随着软件系统的日益复杂&#xff0c;对日志管理的需求也日…

前端的页面代码

根据老师教的前端页面的知识&#xff0c;加上我也是借鉴了老师上课所说的代码&#xff0c;马马虎虎的写出了页面。如下代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Title</ti…

k8s 部署 metribeat 实现 kibana 可视化 es 多集群监控指标

文章目录 [toc]环境介绍老(来)板(把)真(展)帅(示)helm 包准备配置监控集群获取集群 uuid生成 api_key配置 values.yaml 配置 es 集群获取集群 uuid 和 api_key配置 values.yaml 查看监控 缺少角色的报错 开始之前&#xff0c;需要准备好以下场景 一套 k8s 环境 k8s 内有两套不同…

PostgreSQL 导入 .gz 备份文件

要在PostgreSQL中导入.gz压缩的备份文件&#xff0c;你需要先解压缩该文件&#xff0c;然后使用psql工具导入。以下是步骤和示例代码&#xff1a; 解压缩备份文件&#xff1a; gunzip your_backup_file.gz 确保你有足够的权限来导入数据库。 使用psql导入解压后的文件&…

电脑如何重新分盘——保姆级教程

方法一&#xff1a; 通过此电脑&#xff0c;鼠标右键点击此电脑&#xff0c;点击管理 点击磁盘管理进入 二&#xff0c;磁盘分区 我这里选择的是“磁盘0”的C盘进行操作&#xff0c;一般新电脑拿到手的时候都处于这么一个状态&#xff0c;只有一个磁盘分区。现在我要把C盘拆分…

怎么知道服务器100M带宽可以支持多少人访问?

服务器100M带宽能够支持多少人访问取决于多种因素&#xff0c;包括但不限于网页大小、用户行为、数据传输类型以及预期的使用模式。以下是一些评估100M带宽可以支持多少人访问的考虑因素&#xff1a; 1. 网页大小&#xff1a; - 假设平均网页大小为1MB(虽然实际情况可能更小或更…

从汇编层看64位程序运行——参数传递的底层实现

大纲 小于等于6个参数一个参数总结 两个参数总结 三个参数总结 四个参数总结 五个参数总结 六个参数总结 大于6个参数七个参数总结 在32位系统中&#xff0c;参数的传递主要依靠栈来进行。那么64位系统上&#xff0c;是否依旧符合这个规则呢&#xff1f;答案是“不是”。64位系…

Redis6.2.1版本集群新加副本

测试数据 通过redis-benchmark生成测试数据 ./bin/redis-benchmark -h 172.31.4.18 -p 6381 -a Redis_6.2.1_Sc --cluster -t set -d 128 -n 10000000 -r 100000000 -c 200新加节点 172.31.4.18:6381> AUTH Redis_6.2.1_Sc OK172.31.4.18:6381> cluster meet 172.31.4…