Springboot整合Milvus向量库

1. Milvus的Maven依赖， 配置如下

        <dependency><groupId>io.milvus</groupId><artifactId>milvus-sdk-java</artifactId><version>2.3.4</version><exclusions><exclusion><artifactId>log4j-slf4j-impl</artifactId><groupId>org.apache.logging.log4j</groupId></exclusion></exclusions></dependency>

PS: 请注意！引入的版本要看你部署的milvus服务的版本是多少，然后milvus官网上会有milvus服务对应的java sdk版本的版本号，版本号一定要对应的上  这样相应的版本api文档接口才可以用

milvus官方文档：Milvus v2.3.x documentation

然后2.3.4版本的java sdk的milvus还需要引用google 的protobuf包，不然会报错提示找不到此包

此包也要注意对应milvus的版本  这里官网没说明，我自行尝试可用的是3.24.1版本对应milvus的2.3.4版本的， 配置如下：

        <dependency><groupId>com.google.protobuf</groupId><artifactId>protobuf-java</artifactId><version>3.24.1</version></dependency>

2. 向量库的配置类 获取向量库服务地址 登录用户密码等

import io.milvus.client.MilvusServiceClient;
import io.milvus.param.ConnectParam;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Configuration
public class MilvusConfig {@Value("${milvus.host}")private String host;@Value("${milvus.port}")private Integer port;@Value("${milvus.username}")private String username;@Value("${milvus.password}")private String password;@Beanpublic MilvusServiceClient milvusServiceClient() {return new MilvusServiceClient(ConnectParam.newBuilder().withHost(host).withPort(port).withAuthorization(username, password).build());}
}

application.yml配置文件里配置相应的数据信息

3. 根据milvus 2.3.5 java SDK提供的API接口  调测相关使用的接口 

如：创建集合，创建索引，加载集合到内存，插入向量数据，查询向量数据并返回结果 删除集合

import java.util.List;/*** milvus向量数据库相关业务接口** @author Jx* @version 2024-3-18*/
public interface IMilvusService {Boolean hasCollect(String collectionName);void create(String collectionName, String desc);Boolean insert(String name, List<Long> textIds, List<List<Float>> vectorList);List<Long> search(String name, int topK, List<List<Float>> vectorList);void dropCollect(String name);void createIndex(String name);void dropVectors(String name, List<Long> indexIds);
}

实现类

import com.beust.jcommander.internal.Lists;
import com.geb.config.FaceArchive;
import com.geb.service.IMilvusService;
import io.milvus.client.MilvusServiceClient;
import io.milvus.common.clientenum.ConsistencyLevelEnum;
import io.milvus.grpc.DataType;
import io.milvus.grpc.GetLoadStateResponse;
import io.milvus.grpc.MutationResult;
import io.milvus.grpc.SearchResults;
import io.milvus.param.IndexType;
import io.milvus.param.MetricType;
import io.milvus.param.R;
import io.milvus.param.RpcStatus;
import io.milvus.param.collection.*;
import io.milvus.param.dml.DeleteParam;
import io.milvus.param.dml.InsertParam;
import io.milvus.param.dml.SearchParam;
import io.milvus.param.highlevel.collection.ListCollectionsParam;
import io.milvus.param.highlevel.collection.response.ListCollectionsResponse;
import io.milvus.param.highlevel.dml.DeleteIdsParam;
import io.milvus.param.highlevel.dml.response.DeleteResponse;
import io.milvus.param.index.CreateIndexParam;
import io.milvus.response.SearchResultsWrapper;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import java.util.ArrayList;
import java.util.List;
import java.util.Map;@Slf4j
@Service
public class MilvusServiceImpl implements IMilvusService {@Autowiredprivate MilvusServiceClient milvusServiceClient;final IndexType INDEX_TYPE = IndexType.IVF_FLAT;   // IndexTypefinal String INDEX_PARAM = "{\"nlist\":1024}";     // ExtraParam/*** 创建集合的字段* text_id  对应的文本id* vector  向量字段* tag  标签*/private final String TEXTID = "text_id";private final String VECTOR = "vector";private final String TAG = "tag";private final int dimension = 1024;/*** 创建集合  指定集合名称*/@Overridepublic void create(String collectionName, String desc){log.info("Miluvs create collectionName:{}, desc:{}", collectionName, desc);boolean has = hasCollect(collectionName);log.info("Miluvs hasCollect:{}", has);// 不存在此集合才进行创建集合if(!has){//  创建集合 设置索引 加载集合到内存中FieldType fieldType1 = FieldType.newBuilder().withName(TEXTID).withDataType(DataType.Int64).withPrimaryKey(true).withAutoID(false).build();FieldType fieldType2 = FieldType.newBuilder().withName(VECTOR)  // 设置向量名称.withDataType(DataType.FloatVector)  // 设置向量类型.withDimension(dimension) // 设置向量维度.build();FieldType fieldType3 = FieldType.newBuilder().withName(TAG).withDataType(DataType.Int64).build();CreateCollectionParam createCollectionReq = CreateCollectionParam.newBuilder().withCollectionName(collectionName).withDescription(desc).withShardsNum(2).addFieldType(fieldType1).addFieldType(fieldType2).addFieldType(fieldType3).withEnableDynamicField(true).withConsistencyLevel(ConsistencyLevelEnum.BOUNDED).build();R<RpcStatus> response = milvusServiceClient.createCollection(createCollectionReq);if (response.getStatus() != R.Status.Success.getCode()) {log.info("milvus create fail message:{}", response.getMessage());}else{// 创建集合索引并加载集合到内存  插入数据和搜索的前置操作！！createIndex(collectionName);}}}/*** 创建集合索引 -- 加在向量字段上* @param collectionName*/public void createIndex(String collectionName){milvusServiceClient.createIndex(CreateIndexParam.newBuilder().withCollectionName(collectionName).withFieldName(VECTOR).withIndexType(INDEX_TYPE).withMetricType(MetricType.L2).withExtraParam(INDEX_PARAM).withSyncMode(Boolean.FALSE).build());// 加载所创建的集合loadCollection(collectionName);}/*** 加载集合* @param collectionName*/public void loadCollection(String collectionName){milvusServiceClient.loadCollection(LoadCollectionParam.newBuilder().withCollectionName(collectionName).build());// You can check the loading statusGetLoadStateParam param = GetLoadStateParam.newBuilder().withCollectionName(collectionName).build();R<GetLoadStateResponse> stateResponse = milvusServiceClient.getLoadState(param);if (stateResponse.getStatus() != R.Status.Success.getCode()) {System.out.println(stateResponse.getMessage());}}/*** 集合是否存在* @return*/@Overridepublic Boolean hasCollect(String collectionName){R<Boolean> hasResult = milvusServiceClient.hasCollection(HasCollectionParam.newBuilder().withCollectionName(collectionName).build());if (hasResult.getStatus() == R.Status.Success.getCode()) {return hasResult.getData();}return false;}/*** 向量库中插入数据*/@Overridepublic Boolean insert(String name, List<Long> textIds, List<List<Float>> vectorList){log.info("milvus insert name:{}, textIds:{}, vectorList:{}", name, textIds, vectorList);List<Long> tagList = new ArrayList<>();for (Long textId : textIds) {tagList.add(0L);}List<InsertParam.Field> fieldsInsert = new ArrayList<>();fieldsInsert.add(new InsertParam.Field(TEXTID, textIds));  // 文本对应的ids数据listfieldsInsert.add(new InsertParam.Field(VECTOR, vectorList));  // 转换后的向量数据listfieldsInsert.add(new InsertParam.Field(TAG, tagList));  // 标签占位符  给个0InsertParam param = InsertParam.newBuilder().withCollectionName(name).withFields(fieldsInsert).build();R<MutationResult> response = milvusServiceClient.insert(param);if (response.getStatus() != R.Status.Success.getCode()) {log.info("milvus insert vector fail! message:{}", response.getMessage());return false;}else{return true;}}/*** 删除集合* @param collectionName*/@Overridepublic void dropCollect(String collectionName){milvusServiceClient.dropCollection(DropCollectionParam.newBuilder().withCollectionName(collectionName).build());}/*** 根据ids删除向量* @param collectionName* @param indexIds*/@Overridepublic void dropVectors(String collectionName, List<Long> indexIds){String expr =  TEXTID + " in " + indexIds;DeleteParam param = DeleteParam.newBuilder().withCollectionName(collectionName).withExpr(expr).build();R<MutationResult> response = milvusServiceClient.delete(param);if (response.getStatus() != R.Status.Success.getCode()) {System.out.println(response.getMessage());}}/*** 向量搜索 - 向量库中用具体向量搜索 - 返回indexIds*/@Overridepublic List<Long> search(String collectionName, int topK , List<List<Float>> vectorList){// 构建查询条件  进行向量字段查询   待测试1024维度向量SearchParam searchParam = io.milvus.param.dml.SearchParam.newBuilder().withCollectionName(collectionName).withVectorFieldName(VECTOR).withOutFields(Lists.newArrayList("*")).withVectors(vectorList).withTopK(topK).build();R<SearchResults> searchResults = milvusServiceClient.search(searchParam);if (searchResults.getStatus() != R.Status.Success.getCode()) {log.info(searchResults.getMessage());}List<Long> textIdList = new ArrayList<>() ;SearchResultsWrapper wrapper = new SearchResultsWrapper(searchResults.getData().getResults());for (int i = 0; i < vectorList.size(); ++i) {List<SearchResultsWrapper.IDScore> scores = wrapper.getIDScore(i);for (SearchResultsWrapper.IDScore score:scores) {Map<String, Object> filedsMap = score.getFieldValues();textIdList.add(Long.valueOf(String.valueOf(filedsMap.get(TEXTID))));}}return textIdList;}/*** 删除集合中的 id对应的向量*/public void deleteEmbedingById(){List<String> ids = Lists.newArrayList("441966745769900131","441966745769900133");DeleteIdsParam param = DeleteIdsParam.newBuilder().withCollectionName(FaceArchive.COLLECTION_NAME_MILVUS_TESTONE).withPrimaryIds(ids).build();R<DeleteResponse> response = milvusServiceClient.delete(param);if (response.getStatus() != R.Status.Success.getCode()) {System.out.println(response.getMessage());}for (Object deleteId : response.getData().getDeleteIds()) {System.out.println(deleteId);}}// 测试用的向量数据类型public List<List<Float>> getListVector(){List<Float> vectorData = new ArrayList<>();for (int i = 0; i < 1; i++) {vectorData.add((float) Math.random());}List<List<Float>> vectors = new ArrayList<>();vectors.add(vectorData);return vectors;}
}

以上，跟业务进行结合  直接调用操作向量库的API接口即可~

PS：milvus  集成在springboot项目中踩的坑：

#首先就是milvus和protobuf的版本要对应上  可以查下官网api提供的服务端的milvus版本对应的java sdk milvus版本    然后根据milvus sdk版本再找到对应的protobuf版本

#其次  根据官网文档api创建完集合后是无法自动加载集合的  需要手动为集合创建一个索引  比如IVF类型的索引  再进行集合加载到内存  然后才可以对该集合查询插入数据等操作

插入过程中： 所有字段值都不能为空 且 所有字段值条数都需一样  也就是统一字段条数  一致！！

#还有就是，创建集合时候  确定好向量字段的维度，

后面插入向量数据以及查询向量数据的数据维度要与创建向量字段的维度相同！！

注意！ milvus向量库只负责向量的操作存储及查询这些，并不负责文本or视频音频转为向量数据的过程，此过程需要专门模型转换进行数据处理为向量数据才可用milvus向量数据库操作！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/789146.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

百度语音识别

百度语音识别

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 一、建号—获取试用KEY二、测试代码三、运行四、运行结果五、验证五、总结 一、建号—获取试用KEY https://console.bce.baidu.com/ai/#/ai/speech/overview/index…
阅读更多...
Tomcat部署及安全加固

Tomcat部署及安全加固

一、安装步骤 tomcat版本(8.5.81)&#xff1a; tar -zxvf apache-tomcat-8.5.81.tar.gz -C /app/ cd /app/ mv apache-tomcat-8.5.81/ tomcat/ chown -R webapp:app /app/tomcat二、安全加固 1. 禁止默认页面登录 rm -rf /app/tomcat/webapps mkdir -p /app/tomcat/webapps2…
阅读更多...
阿里云python-SDK配置

阿里云python-SDK配置

OSS管理控制台 (aliyun.com) SDK地址 GitHub - aliyun/aliyun-oss-python-sdk: Aliyun OSS SDK for Python 下载文件并运行 python setup.py install oss2包配置完成。 上传、下载开发文档&#xff1a; Python SDK快速入门_对象存储(OSS)-阿里云帮助中心 (aliyun.com)
阅读更多...
mybatis-plus-join,一个可以让mybatis-plus实现联表的插件

mybatis-plus-join,一个可以让mybatis-plus实现联表的插件

mybatis-plus-join mybatis-plus-join是mybatis plus的一个多表插件&#xff0c;上手简单&#xff0c;十分钟不到就能学会全部使用方式&#xff0c;只要会用mp就会用这个插件&#xff0c;仅仅依赖了lombok&#xff0c;而且是扩展mp的构造器并非更改原本的构造器&#xff0c;不会…
阅读更多...
记一次Cannot deploy POJO class [xxx$$EnhancerBySpringCGLIB$$xxx]的错误

记一次Cannot deploy POJO class [xxx$$EnhancerBySpringCGLIB$$xxx]的错误

最近项目上需要使用websocket做服务端&#xff0c;那好说啊&#xff0c;直接springboot集成的websocket 引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId><versi…
阅读更多...
赛氪网在长沙宣布启动“徽文化外宣翻译大赛”

赛氪网在长沙宣布启动“徽文化外宣翻译大赛”

2024年3月30日下午&#xff0c;在美丽的星城长沙&#xff0c;赛氪网作为承办方&#xff0c;在中国翻译协会年会期间成功举办了备受瞩目的“AI科技时代竞赛与就业分论坛”。此次论坛汇聚了众多翻译界、科技界和教育界的专家学者&#xff0c;共同就科技、实践、就业与竞赛人才培养…
阅读更多...
一些关于机器学习的练习

一些关于机器学习的练习

为了加深机器学习基础并通过实践学习&#xff0c;收集了以下练习&#xff0c;覆盖了从数据探索、预处理到模型构建和评估的整个流程。这些练习按照机器学习的主要类型分为三部分&#xff1a;监督学习、无监督学习和强化学习。 监督学习练习 房价预测&#xff08;线性回归&…
阅读更多...
使用C++调用讯飞星火API的详细指南

使用C++调用讯飞星火API的详细指南

正文&#xff1a; 科大讯飞是中国领先的人工智能公司&#xff0c;其讯飞星火API为开发者提供了丰富的接口和服务&#xff0c;支持各种语音和语言技术的应用。下面是使用C接入讯飞星火API的步骤和代码示例。 步骤一&#xff1a;注册账号并创建应用 首先&#xff0c;您需要访问科…
阅读更多...
蓝色wordpress外贸建站模板

蓝色wordpress外贸建站模板

蓝色wordpress外贸建站模板 https://www.mymoban.com/wordpress/7.html
阅读更多...
ES 7.12官网阅读-ILM（index lifecycle management）

ES 7.12官网阅读-ILM（index lifecycle management）

官网文档&#xff1a;ILM: Manage the index lifecycle | Elasticsearch Guide [7.12] | Elastic ILM&#xff1a;管理 index 的生命周期 可以根据你的性能、弹性、保存时长需求&#xff0c;使用ILM策略来自动管理你的index&#xff1b;比如 1. 当一个index达到确定的大小&a…
阅读更多...
保护你的 Java 代码：深入了解代码混淆

保护你的 Java 代码：深入了解代码混淆

在当今数字化时代&#xff0c;软件开发领域竞争激烈&#xff0c;而保护你的代码免受恶意攻击和盗用是至关重要的。代码混淆是一种常用的技术&#xff0c;用于增加攻击者分析和逆向工程代码的难度&#xff0c;从而提高代码的安全性。本文将介绍代码混淆的基本概念和详细办法&…
阅读更多...
element-ui badge 组件源码分享

element-ui badge 组件源码分享

今日简单分享 badge 组件的源码实现&#xff0c;主要从以下两个方面&#xff1a; 1、badge 组件页面结构 2、badge 组件属性 一、badge 组件页面结构 二、badge 组件属性 补充几个标签的用途&#xff1a; sub&#xff1a;下标、sup&#xff1a;上标、var 变量 代码如下&am…
阅读更多...
＜网络＞ 网络Socket 编程基于UDP协议模拟简易网络通信

＜网络＞ 网络Socket 编程基于UDP协议模拟简易网络通信

目录 前言&#xff1a; 一、预备知识 &#xff08;一&#xff09;IP地址 &#xff08;二&#xff09;端口号 &#xff08;三&#xff09;端口号与进程PID &#xff08;四&#xff09;传输层协议 &#xff08;五&#xff09;网络字节序 二、socket 套接字 &#xff08;…
阅读更多...
Java基础知识总结（第八篇）：集合：Collection(List、Set)、Map、Collections 工具类

Java基础知识总结（第八篇）：集合：Collection(List、Set)、Map、Collections 工具类

声明: 1. 本文根据韩顺平老师教学视频自行整理&#xff0c;以便记忆 2. 若有错误不当之处, 请指出 系列文章目录 Java基础知识总结&#xff08;第一篇&#xff09;&#xff1a;基础语法 Java基础知识总结&#xff08;第二篇&#xff09;&#x…
阅读更多...
Kaggle:收入分类

Kaggle:收入分类

先看一下数据的统计信息 import pandas as pd # 加载数据&#xff08;保留原路径&#xff0c;但在实际应用中建议使用相对路径或环境变量&#xff09; data pd.read_csv(r"C:\Users\11794\Desktop\收入分类\training.csv", encodingutf-8, encoding_errorsrepl…
阅读更多...
STC8H8K64U 学习笔记 - 基础代码

STC8H8K64U 学习笔记 - 基础代码

STC8H8K64U 学习笔记 - 基础代码 环境说明引脚说明 基础代码电动马达蜂鸣器小蓝灯LED 灯走马灯来回灯流水灯流水逐灭灯相遇灯 独立按键 串口串口接收查询按键反馈 环境说明 该内容仅针对我自己学习的开发板做的笔记&#xff0c;在实际开发中需要针对目标电路板的原理图进行针对…
阅读更多...
STM32-02基于HAL库（CubeMX+MDK+Proteus）GPIO输出案例（LED流水灯）

STM32-02基于HAL库（CubeMX+MDK+Proteus）GPIO输出案例（LED流水灯）

文章目录 一、功能需求分析二、Proteus绘制电路原理图三、STMCubeMX 配置引脚及模式&#xff0c;生成代码四、MDK打开生成项目&#xff0c;编写HAL库的GPIO输出代码五、运行仿真程序&#xff0c;调试代码 一、功能需求分析 在完成开发环境搭建之后&#xff0c;开始使用STM32GP…
阅读更多...
Pandas处理缺省数据

Pandas处理缺省数据

背景&#xff1a; SQL查询数据为空或者null的字段&#xff0c;如果查询字段为或者NULL需要设置为NULL 解决方案&#xff1a; 只处理指定字段 在 Pandas 中处理缺失数据&#xff08;如 SQL 查询结果中的空字符串或 NULL 值&#xff09;可以通过 fillna() 方法来实现。您可以将…
阅读更多...
玩机进阶教程-----高通9008线刷XML脚本修改备份 檫除的操作步骤解析

玩机进阶教程-----高通9008线刷XML脚本修改备份 檫除的操作步骤解析

在高通9008官方固件中我们可以看到刷写需要的脚本rawprogram0.xml和辅助脚本patch0.xml&#xff0c;脚本的作用在于将固件内各个分区对应写入手机内。根据分区地址段。然后判断脚本中那些分区不写入。以下步骤将分析emmc字库为例来讲解如何将默认刷入脚本修改为备份 檫除脚本。…
阅读更多...
2013年认证杯SPSSPRO杯数学建模B题(第二阶段)流行音乐发展简史全过程文档及程序

2013年认证杯SPSSPRO杯数学建模B题(第二阶段)流行音乐发展简史全过程文档及程序

2013年认证杯SPSSPRO杯数学建模 B题 流行音乐发展简史 原题再现&#xff1a; 随着互联网的发展&#xff0c;流行音乐的主要传播媒介从传统的电台和唱片逐渐过渡到网络下载和网络电台等。网络电台需要根据收听者的已知喜好&#xff0c;自动推荐并播放其它音乐。由于每个人喜好…
阅读更多...
最新文章

Copyright @ 2022~2023