lucene 9.10向量检索基本用法

Lucene 9.10 中的 KnnFloatVectorQuery 是用来执行最近邻(k-Nearest Neighbors,kNN)搜索的查询类,它可以在一个字段中搜索与目标向量最相似的k个向量。以下是 KnnFloatVectorQuery 的基本用法和代码示例。

1. 索引向量字段

首先,你需要一个包含向量字段的索引。你可以使用 KnnFloatVectorField 来添加向量到文档中。

import org.apache.lucene.document.Document;
import org.apache.lucene.document.KnnFloatVectorField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.FSDirectory;import java.io.IOException;
import java.util.ArrayList;
import java.util.List;public class VectorIndexing {public static void main(String[] args) throws IOException {List<Document> docs = new ArrayList<>();String fieldName = "knnFloatField";IndexWriter writer = new IndexWriter(FSDirectory.open(/* ... */), new IndexWriterConfig());for (float[] vector : /* ... */) {Document doc = new Document();doc.add(new KnnFloatVectorField(fieldName, vector, VectorSimilarityFunction.EUCLIDEAN));docs.add(doc);// ... 其他字段的添加 ...writer.addDocument(doc);}writer.close();}
}

2. 执行 kNN 查询

接下来,使用 KnnFloatVectorQuery 来执行查询。你需要指定查询的字段、目标向量以及想要检索的最近邻个数 k。

import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.KnnFloatVectorQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.DirectoryReader;public class VectorSearch {public static void main(String[] args) throws IOException {try (DirectoryReader reader = DirectoryReader.open(/* ... */)) {IndexSearcher searcher = new IndexSearcher(reader);float[] targetVector = { /* ... */ }; // 目标向量int k = 3; // 想要检索的最近邻个数KnnFloatVectorQuery knnQuery = new KnnFloatVectorQuery("knnFloatField", targetVector, k);TopDocs topDocs = searcher.search(knnQuery, 10);for (ScoreDoc scoreDoc : topDocs.scoreDocs) {// 处理检索到的文档}}}
}

3. 结果处理

TopDocs 对象包含了按分数排序的文档列表,其中分数是基于向量相似度计算的。你可以根据需要遍历这些文档。

请注意,KnnFloatVectorQuery 是基于 KnnVectorsReader 的,它使用特定的算法(如 HNSW)来执行高效的向量最近邻搜索。查询时,相似度的计算由字段定义的 VectorSimilarityFunction 决定,例如欧几里得距离(Euclidean distance)。

在实际应用中,你可能还需要考虑如何存储和检索其他相关的文档信息,以及如何处理查询结果以满足你的业务需求。此外,向量字段的索引和搜索可能需要特定的索引配置和优化,以确保性能和准确性。

以上示例代码提供了在 Lucene 9.10 中使用 KnnFloatVectorQuery 进行向量检索的基本框架。具体的实现细节(如索引的创建、字段的配置等)需要根据你的具体应用场景进行调整。

VectorSimilarityFunction 下枚举值解释:

VectorSimilarityFunction 是 Lucene 中用于定义向量相似度计算方法的枚举类型。它提供了几种不同的函数,用于在执行向量搜索时比较向量的相似度。以下是 VectorSimilarityFunction 的一些枚举值及其解释:

  1. EUCLIDEAN: 使用欧几里得距离来衡量向量之间的相似度。这是一种常见的距离度量,用于计算两点之间的直线距离。在 Lucene 中,它用于计算查询向量与索引中向量之间的距离。

  2. COSINE: 使用余弦相似度来衡量向量之间的相似度。余弦相似度测量的是两个向量在方向上的相似性,而不是大小。它通过计算两个向量的点积与它们模的乘积的比值来得到。

  3. DOT_PRODUCT: 点积相似度,与余弦相似度类似,它计算两个向量的点积,但不需要归一化向量。点积相似度对向量的长度敏感,因此在比较之前通常需要将向量标准化到单位长度。

  4. MANHATTAN: 使用曼哈顿距离(也称为城市街区距离)来衡量向量之间的相似度。这种距离度量是各个维度上差的绝对值之和。

  5. HAMMING: 汉明相似度,通常用于二进制向量,它计算两个向量中不同位置的个数。

  6. JACCARD: 杰卡德相似度,用于衡量集合之间的相似度,它定义为两个集合交集大小与并集大小之比。

  7. CHEBYCHEV: 切比雪夫距离,它是向量中对应元素差的绝对值的最大值。

  8. CANBERRA: 坎培拉距离,是一种加权的曼哈顿距离,它考虑了两个元素值的差的绝对值与它们值的和的比率。

  9. BRAY_CURTIS: 布雷-柯蒂斯相似度,它是基于两个向量交集和并集的大小,类似于杰卡德相似度,但权重不同。

  10. ROGERSTANIMOTO: 罗杰斯-谭马托相似度,它是一种基于向量元素差的绝对值的相似度度量。

  11. RUSSELLRAO: 罗素-劳相似度,它是基于两个集合交集大小与各自独有元素大小之和的度量。

  12. SOKALSNEATH: 索卡尔-斯内思相似度,它结合了汉明距离和杰卡德相似度的特点。

这些相似度函数可以用于不同的场景,选择哪一种取决于你的具体需求以及数据的特性。例如,如果你关心的是向量的方向而不是大小,那么余弦相似度可能是一个好选择;如果你关心的是向量间的实际距离,欧几里得距离可能更合适。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/21007.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux 自动化升级Jar程序,指定Jar程序版本进行部署脚本

文章目录 一、环境准备二、脚本1. 自动化升级Jar程序2. 指定Jar程序版本进行部署总结一、环境准备 本文在 CentOS 7.9 环境演示,以springboot为例,打包后生成文件名加上版本号,如下打包之后为strategy-api-0.3.2.jar: pom.xml<?xml version="1.0" encoding=&…

【机器学习】基于OpenCV和TensorFlow的MobileNetV2模型的物种识别与个体相似度分析

在计算机视觉领域&#xff0c;物种识别和图像相似度比较是两个重要的研究方向。本文通过结合深度学习和图像处理技术&#xff0c;基于OpenCV和TensorFlow的MobileNetV2的预训练模型模&#xff0c;实现物种识别和个体相似度分析。本文详细介绍该实验过程并提供相关代码。 一、名…

电涡流的形成范围

电涡流的形成范围涉及多个方面&#xff0c;主要受到导体材料、磁场变化速度、导体形状和尺寸以及磁场方向的影响。以下是对这些因素的详细分析&#xff1a; 导体材料&#xff1a;金属和合金是最容易产生电涡流的材料&#xff0c;而非金属材料&#xff08;如陶瓷、塑料等&#…

JVM运行时数据区 - 程序计数器

运行时数据区 Java虚拟机在执行Java程序的过程中&#xff0c;会把它管理的内存划分成若干个不同的区域&#xff0c;这些区域有各自的用途、创建及销毁时间&#xff0c;有些区域随着虚拟机的启动一直存在&#xff0c;有些区域则随着用户线程的启动和结束而建立和销毁&#xff0…

前端组件业务数据选择功能优雅写法

1. 业务场景 后台管理在实际业务中&#xff0c;经常可见的功能为&#xff1a;在当前的页面中从其他列表中选择数据。 例如&#xff0c;在一个商品活动列表页面中 需要选择配置的商品。 2. 遇到问题 从代码划分的角度来说&#xff0c;每个业务列表代码首先分散开来&#xff0…

LeetCode刷题之HOT100之在排序数组中查找元素的第一个和最后一个位置

下午雨变小了&#xff0c;但我并未去实验室&#xff0c;难得的一天呆在宿舍。有些无聊&#xff0c;看看这个&#xff0c;弄弄那个&#xff0c;听听歌&#xff0c;消磨时间。不知觉中时间指针蹦到了九点&#xff0c;做题啦&#xff01;朋友推荐了 Eason 的 2010-DUO 演唱会&…

修改el-select默认样式

在开发过程中&#xff0c;我们一般遇到特殊的UI效果图&#xff0c;不得不修改<el-select>默认样式了。 修改el-select框样式 <template><el-selectv-model"yearValue"class"select_box"multipleplaceholder"请选择年份支持多选"…

Python 字符串索引和切片

在 Python 编程语言中&#xff0c;字符串是一种不可变的序列&#xff0c;可以通过索引和切片来访问字符串中的字符或子串。 索引&#xff1a;字符串中的每个字符都有一个对应的索引&#xff0c;索引从0开始&#xff0c;依次递增。通过索引可以访问字符串中特定位置的字符。例如…

如何利用python下载原创力文档

原创力文档是一个文档资源共享平台&#xff0c;文档内容类型丰富&#xff0c;包含计算机、高等教育、金融投资、医药卫生、汽车机械、外语学习、报告分析、法律法规、研究生考试、电子工程、经济贸易、建筑施工、幼儿小学教育、中学教育、文学历史、资格认证考试、人力资源、学…

2024年06月数据库流行度最新排名

点击查看最新数据库流行度最新排名&#xff08;每月更新&#xff09; 2024年06月数据库流行度最新排名 TOP DB顶级数据库索引是通过分析在谷歌上搜索数据库名称的频率来创建的 一个数据库被搜索的次数越多&#xff0c;这个数据库就被认为越受欢迎。这是一个领先指标。原始数…

低代码是什么?开发系统更有什么优势?

低代码&#xff08;Low-Code&#xff09;是一种应用开发方法&#xff0c;它采用图形化界面和预构建的模块&#xff0c;使得开发者能够通过少量的手动编程来快速创建应用程序。这种方法显著减少了传统软件开发中的手动编码量&#xff0c;提高了开发效率&#xff0c;降低了技术门…

描述Python中的命名空间和作用域。

在Python中&#xff0c;命名空间&#xff08;Namespace&#xff09;和作用域&#xff08;Scope&#xff09;是两个重要的概念&#xff0c;它们帮助程序员理解和管理变量的可见性和生命周期。 命名空间 命名空间是一个从名字到对象之间的映射。Python中的每一个模块、函数和类…

thingsboard物联网平台快速入门教程

第一步&#xff0c;搭建服务器 使用我已经建好的服务器&#xff0c;thingsboard测试账号,租户管理员账号&#xff0c;物联网测试平台-CSDN博客 第二步&#xff0c;创建一个设备&#xff0c;获取设备Token 用租户管理员账户登录&#xff0c;左侧找到实体->设备&#xff0c…

持续总结中!2024年面试必问 20 道 Kafka面试题(二)

上一篇地址&#xff1a;持续总结中&#xff01;2024年面试必问 20 道 Kafka面试题&#xff08;一&#xff09;-CSDN博客 三、什么是 Topic 和 Partition&#xff0c;它们在 Kafka 中的作用是什么&#xff1f; 在 Kafka 中&#xff0c;Topic 和 Partition 是两个核心概念&…

Oracle导出clob字段到csv

使用UTL_FILE ref: How to Export The Table with a CLOB Column Into a CSV File using UTL_FILE ?(Doc ID 1967617.1) --preapre data CREATE TABLE TESTCLOB(ID NUMBER, MYCLOB1 CLOB, MYCLOB2 CLOB ); INSERT INTO TESTCLOB(ID,MYCLOB1,MYCLOB2) VALUES(1,Sample row 11…

Fiddler抓包工具的使用

目录 1、抓包原理&#xff1a;&#x1f447; 2、抓包结果&#x1f447; 1&#xff09;如何查看一个http请求的原始摸样&#xff1a; 2&#xff09;分析数据格式&#xff1a; 3、请求格式分析&#x1f447; 4、响应格式分析&#x1f447; 官网下载&#xff1a;安装过程比较…

Java Web前端日志:深度解析、挑战与最佳实践

Java Web前端日志&#xff1a;深度解析、挑战与最佳实践 在Java Web开发的世界里&#xff0c;前端日志的管理是一项至关重要且富有挑战性的任务。前端日志不仅有助于开发者深入了解应用的运行状况&#xff0c;更能协助排查潜在问题&#xff0c;提升用户体验。本文将深入探讨Ja…

C#按钮样式设置XMAL

统一按钮样式 <Window.Resources> <!--按钮样式统一设置&#xff0c;个别按钮单独定义样式的话则需要在定义按钮位置单独设置--><Style TargetType"Button"><Setter Property"Background" Value"Red"/><Setter Prop…

【评价类模型】Topsis

综合赋权法&#xff1a;Topsis法&#xff1a; 主要适用情况&#xff1a;题目提供了足够的评价指标和数据&#xff0c;数据已知&#xff0c;评价指标的类型差异较大 基本思想&#xff1a;将所有方案与理想解和夫理想解进行比较&#xff0c;通过激素那方案与这两个解的举例去欸的…

深度学习复盘与论文复现B

文章目录 1、Knowledge Review1.1 NLLLoss vs CrossEntropyLoss1.2 MNIST dataset1.2.1 Repare Dataset1.2.2 Design Model1.2.3 Construct Loss and Optimizer1.2.4 Train and Test1.2.5 Training results Pytorch-Lightning MNIST :rocket::fire:1.3 Basic Convolutional Neu…