Spring AI Embeddings 和 Vector 入门

在这里插入图片描述

在前面 Spring AI Chat 简单示例 中介绍了 Chat 的基本用法，本文在此基础（主要是pom.xml）上继续探索 Embedding 和 Vector。

官方文档：

  • embeddings: https://docs.spring.io/spring-ai/reference/api/embeddings/openai-embeddings.html
  • redis: https://docs.spring.io/spring-ai/reference/api/vectordbs/redis.html

Embeddings 介绍

文本嵌入（Embeddings）将文本转换为数值数组或向量，使人工智能模型能够处理和理解语言数据。这种从文本到数字的转换以及反向转换，是人工智能如何与人类语言互动和理解它的关键要素。对于探索人工智能的 Java 开发者来说，没有必要理解这些向量表示背后复杂的技术原理或是具体实现细节。只要基本了解它们在人工智能系统中的作用和功能就足够了，尤其是在将人工智能功能集成到应用程序中的时候。

文本嵌入在诸如检索增强生成 (RAG) 模式等实际应用中尤为重要。它们可以让数据在语义空间中表示为点，类似于欧几里得几何中的二维空间，只不过维度更高。这意味着就像欧几里得几何平面上的点可以根据其坐标相近或较远一样，在语义空间中，点的相近程度反映了含义的相似性。相似主题的句子在这个多维空间中会更靠近，就像图表上彼此靠近的点一样。这种相近性有助于文本分类、语义搜索甚至产品推荐等任务，因为它允许人工智能根据这些概念在扩展语义空间中的“位置”来识别和分组相关概念。

您可以将语义空间理解为一个具有多个维度的向量。每个维度代表一个语义特征，例如词性、主题、情感等。在语义空间中，每个词或句子都表示为一个向量。向量的各个分量代表该词或句子在各个语义特征上的得分。例如，一个表示“猫”的向量可能在“动物”维度上得分很高，而在“颜色”维度上得分较低。

Vector Databases 介绍

向量数据库（Vector Databases）是一种在人工智能应用中扮演着重要角色的特殊数据库类型。

与传统的关系型数据库不同，向量数据库中的查询不是进行精确匹配，而是执行相似性搜索。当使用向量作为查询时，向量数据库会返回与查询向量“相似”的向量。有关如何计算相似度的高级细节可以在 “向量相似性” 中找到。

向量数据库用于将您的数据与人工智能模型集成。使用它们的第一步是将您的数据加载到向量数据库中。然后，当用户查询需要发送到人工智能模型时，首先会检索一组相似的文档。然后，这些文档连同用户的查询一起作为用户问题的上下文发送到人工智能模型。这种技术称为检索增强生成 (Retrieval Augmented Generation, RAG)。

准备工作

在前一批 pom.xml 基础上增加依赖：

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-redis</artifactId>
</dependency><dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>5.1.0</version>
</dependency>

Spring AI 支持下面几种向量数据库：

  • Azure Vector Search - The Azure vector store.
  • ChromaVectorStore - The Chroma vector store.
  • MilvusVectorStore - The Milvus vector store.
  • Neo4jVectorStore - The Neo4j vector store.
  • PgVectorStore - The PostgreSQL/PGVector vector store.
  • PineconeVectorStore - PineCone vector store.
  • QdrantVectorStore - Qdrant vector store.
  • RedisVectorStore - The Redis vector store.
  • WeaviateVectorStore - The Weaviate vector store.
  • SimpleVectorStore - A simple implementation of persistent vector storage, good for educational purposes.

在本文示例中我们使用 RedisVectorStore 和 SimpleVectorStore，RedisVectorStore 可以通过 Docker compose 快速启动一个测试环境：

version: '3'
services:redis:image: redis/redis-stackports:- "6379:6379"volumes:- redis_data:/datavolumes:redis_data:

如果你不方便使用 Docker，SimpleVectorStore 就是就简单的选择，一个纯内存实现，不需要任何中间件。

EmbeddingClient 示例

代码如下：

// HTTPS 代理
System.setProperty("https.proxyHost", "localhost");
System.setProperty("https.proxyPort", "7890");
// 和前面创建方式一样
var openAiApi = new OpenAiApi(System.getenv("OPENAI_API_KEY"));
// 在Api基础上创建 Embedding 客户端
var embeddingClient = new OpenAiEmbeddingClient(openAiApi,MetadataMode.EMBED,OpenAiEmbeddingOptions.builder().withModel("text-embedding-ada-002").withUser("user-1").build(),RetryUtils.DEFAULT_RETRY_TEMPLATE);

可以看到这里仍然复用了 openAiApi，通过组合可以很方便的复用公共类，公共类基于接口使得实现可以被替换，组合后的类可以扩展出更多职责单一的方法。

下面是 EmbeddingClient 常用的几个方法示例：

//单个文档
List<Double> list = embeddingClient.embed("MyBatis 分页插件 PageHelper");
//多个文档
List<List<Double>> lists = embeddingClient.embed(List.of("MyBatis 分页插件 PageHelper", "MyBatis 通用Mapper", "MyBatis 最新的 mybatis-mapper"));
//指定额外参数
EmbeddingResponse embeddingResponse = embeddingClient.call(new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),OpenAiEmbeddingOptions.builder().withModel("Different-Embedding-Model-Deployment-Name").build()));
List<Embedding> embeddings = embeddingResponse.getResults();
for (Embedding embedding : embeddings) {List<Double> output = embedding.getOutput();// Do something with the output.
}

上面的方法返回了一个 Double 集合，需要将这个结果存入到向量数据库中，需要在数据库中记录向量数据还有原始内容，通过向量查询匹配后还需要取出原始内容。Spring AI 中定义了 Document：

public class Document {public static final ContentFormatter DEFAULT_CONTENT_FORMATTER = DefaultContentFormatter.defaultConfig();private final String id;private Map<String, Object> metadata;private String content;@JsonProperty(index = 100)private List<Double> embedding;@JsonIgnoreprivate ContentFormatter contentFormatter;//省略其他
}

VectorStore 示例

配合Spring AI 的 VectorStore 使用的时候，我们不需要手动通过 EmbeddingClient 获取 Embedding，这里分别提供基于 RedisVectorStore 和 SimpleVectorStore 的实现：

private static VectorStore redisVectorStore(EmbeddingClient embeddingClient) {RedisVectorStore.RedisVectorStoreConfigconfig = RedisVectorStore.RedisVectorStoreConfig.builder().withURI("redis://localhost:6379").withMetadataFields(RedisVectorStore.MetadataField.numeric("year")).build();RedisVectorStore vectorStore = new RedisVectorStore(config, embeddingClient);//手动创建时必须执行下面方法，这会初始化 spring-ai-index 索引vectorStore.afterPropertiesSet();return vectorStore;
}private static VectorStore simpleVectorStore(EmbeddingClient embeddingClient) {return new SimpleVectorStore(embeddingClient);
}

在前面创建完成 var embeddingClient 后，我们可以创建 VectorStore 来存储文档的向量数据：

VectorStore vectorStore = redisVectorStore(embeddingClient);List<Document> documents = List.of(new Document("MyBatis 分页插件 PageHelper", Map.of("year", 2014)),new Document("MyBatis 通用Mapper", Map.of("year", 2014)),new Document("MyBatis 最新的 mybatis-mapper", Map.of("year", 2019)));vectorStore.add(documents);

在调用 vectorStore.add 方法的内部会根据 documents 循环调用 embeddingClient.embed(document) 获取向量数据并存储向量存储中。在使用 redisVectorStore 实现时需要注意，由于 Redis 持久化，反复执行会存入多次数据，因此如果已经添加过文档，后续执行当前代码时可以考虑注释 vectorStore.add 行代码，如果使用的 SimpleVectorStore，内存会在每次启动时初始化，需要反复计算向量数据才能使用。

有了数据之后就可以通过向量数据库进行查询：

List<Document> results = vectorStore.similaritySearch(SearchRequest.query("插件").withTopK(5));
results.forEach(d -> System.out.println(d.getContent()));

输出结果：

MyBatis 分页插件 PageHelper
MyBatis 通用Mapper
MyBatis 最新的 mybatis-mapper

使用 redis 时的数据：

127.0.0.1:6379> keys *
1) "embedding:e9f7cea2-b296-4674-abba-d2611360afac"
2) "embedding:3d8c0f61-2192-452c-a8db-884277dcbf7d"
3) "embedding:8e1b0cb8-c125-40e2-9cdb-5ab9a6f4705d"
127.0.0.1:6379> ft._list
1) spring-ai-index

上面的查询在使用 SimpleVectorStore 的时候也可以正常运行，但是 SimpleVectorStore 不支持下面针对元数据的表达式查询（定义时也没有元数据相关的选项）：

results = vectorStore.similaritySearch(SearchRequest.query("MyBatis").withFilterExpression("year == 2014"));

有了向量数据和向量查询后，后续可以结合 Chat 在使用过程中将自己的数据放到上下文中使用，本文后续会继续介绍 Spring AI 相关的内容。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/762195.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

断点重训教程：如何有效地保护深度学习模型训练进度

断点重训教程：如何有效地保护深度学习模型训练进度

在深度学习领域&#xff0c;长时间训练是常见的需求&#xff0c;然而&#xff0c;在训练过程中可能会面临各种意外情况&#xff0c;比如计算机故障、断电等&#xff0c;这些意外情况可能导致训练过程中断&#xff0c;造成已经投入的时间和资源的浪费。为了应对这种情况&#xf…
阅读更多...
Avue框架实现图表的基本知识 | 附Demo（全）

Avue框架实现图表的基本知识 | 附Demo（全）

目录 前言1. 柱状图2. 折线图3. 饼图4. 刻度盘6. 仪表盘7. 象形图8. 彩蛋8.1 饼图8.2 柱状图8.3 折线图8.4 温度仪表盘8.5 进度条 前言 以下Demo&#xff0c;作为初学者来说&#xff0c;会相应给出一些代码注释&#xff0c;可相应选择你所想要的款式 对于以下Demo&#xff0c…
阅读更多...
GStreamer简单看看

GStreamer简单看看

主要是现在弄摄像头&#xff0c;要用到这东西。所以学学。 最权威主页&#xff1a;GStreamer: open source multimedia framework 大概看了下&#xff0c;好像命令也不难。 gst-launch-1.0 v4l2src device/dev/video0 ! video/x-raw,formatYUY2,width640,height480,framerat…
阅读更多...
说说你对webpack的理解？解决了什么问题？

说说你对webpack的理解？解决了什么问题？

文章目录 一、背景二、问题三、是什么参考文献 一、背景 Webpack 最初的目标是实现前端项目的模块化&#xff0c;旨在更高效地管理和维护项目中的每一个资源 模块化 最早的时候&#xff0c;我们会通过文件划分的形式实现模块化&#xff0c;也就是将每个功能及其相关状态数据各…
阅读更多...
Batch Normalization（批量归一化）和 Layer Normalization（层归一化）

Batch Normalization（批量归一化）和 Layer Normalization（层归一化）

Batch Normalization（批量归一化）和 Layer Normalization（层归一化）都是深度学习中用于改善网络训练过程的归一化技术。尽管它们的目标相似，即通过规范化中间层的激活值来加速训练过程并提高性能，但它们在细节上有所不同。 Batch Normalization (批量归一化) Batch Nor…
阅读更多...
谷歌地图TMS地图服务地址收集2024，测试可用

谷歌地图TMS地图服务地址收集2024，测试可用

对于普通的开发者或者GIS从业者来说&#xff0c;免费的底图影像服务&#xff0c;太重要了。之前写过一篇谷歌地图的TMS地址收集的博文&#xff0c;由于谷歌网站关闭已经不能用。最近又发现了谷歌在国内开放了其他地址&#xff0c;在这里给大家分享一下。 https://gac-geo.googl…
阅读更多...
Ant Design Vue和VUE3下的upload组件使用以及文件预览

Ant Design Vue和VUE3下的upload组件使用以及文件预览

Ant Design Vue和VUE3下的upload组件使用以及文件预览 文章目录 Ant Design Vue和VUE3下的upload组件使用以及文件预览一、多文件上传1.需求2.样例3.代码 二、单文件上传1. 需求2. 样例3.代码 二、多文件上传产生的时间超时问题三、文件系统名称更改1. 修改文件index.html2. 修…
阅读更多...
Leetcode热题100：图论

Leetcode热题100：图论

Leetcode 200. 岛屿数量 深度优先搜索法&#xff1a; 对于这道题来说&#xff0c;是一个非常经典的图的问题&#xff0c;我们可以先从宏观上面来看问题&#xff0c;也就是说在不想具体算法的前提下&#xff0c;简单的说出如何找到所有的岛屿呢&#xff1f; 如图中所示&#x…
阅读更多...
oracle 19c单机版本补丁升级

oracle 19c单机版本补丁升级

文章目录 一、补丁包概述二、备份opatch三、替换高版本opatch四、打DB补丁1、关闭数据库2、关闭监听3、解压补丁4、冲突检测5、补丁空间检查6、执行补丁升级7、将更新内容加载到数据库8、最后查看数据库版本9、卸载补丁包 一、补丁包概述 补丁升级包 链接&#xff1a;https://…
阅读更多...
【系统架构设计师】计算机系统基础知识 03

【系统架构设计师】计算机系统基础知识 03

系统架构设计师 - 系列文章目录 01 系统工程与信息系统基础 02 软件架构设计 03 计算机系统基础知识 文章目录 系统架构设计师 - 系列文章目录 文章目录 前言 一、计算机系统概述 1.计算机组成 ​编辑2.存储系统 二、操作系统 ★★★★ 1.进程管理 2.存储管理 1.页式存储 …
阅读更多...
Golang Gorm 自动分批查询

Golang Gorm 自动分批查询

场景&#xff1a; 目标查询全量数据&#xff0c;但需要每次Limit分批查询&#xff0c;保护数据库 文档&#xff1a; https://gorm.io/zh_CN/docs/advanced_query.html // Param: // dest 目标地址 // batchSize 大小 // fc 处理函数func (db *DB) FindInBatc…
阅读更多...
安卓 Android Activity 生命周期

安卓 Android Activity 生命周期

文章目录 Intro生命周期方法 & 执行顺序结论code Intro 本文提供一个测试类通过打印的方式展示在多个Activity之间互相跳转的时候&#xff0c;各个Activity的生命周期相关方法的执行顺序。 生命周期方法 & 执行顺序结论 下图出自 郭霖 《第一行代码&#xff08;第二…
阅读更多...
电网的正序参数和等值电路（一）

电网的正序参数和等值电路（一）

本篇为本科课程《电力系统稳分析》的笔记。 本篇为第二章的第一篇笔记。 电力系统正常运行中&#xff0c;可以认为系统的三相结构和三相负荷完全对称。而对称三相的计算可以用一相来完成&#xff0c;其中所有给出的标称电压都是线电压的有效值&#xff0c;假定系统全部是Y-Y型…
阅读更多...
【网站项目】291校园疫情防控系统

【网站项目】291校园疫情防控系统

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0c;帮助大学选题。赠送开题报告模板&#xff…
阅读更多...
The 2023 Guangdong Provincial Collegiate Programming Contest

The 2023 Guangdong Provincial Collegiate Programming Contest

I. Path Planning 嗯&#xff0c;怎么说呢&#xff0c;一般二维图&#xff0c;数据不是很大的比如n*m*log级别允许的&#xff0c;如果一眼不是bfs&#xff0c;可以考虑结合一下二分 本题可知&#xff0c;只能向下或者向右&#xff0c;那么我们就像如果答案为x&#xff0c;那么…
阅读更多...
windows下使用压缩包安装mysql8.0数据库

windows下使用压缩包安装mysql8.0数据库

获取安装包 可以访问mysql 官网下载压缩安装包 &#xff08;官网地址&#xff1a;https://downloads.mysql.com/archives/community/&#xff09; 根据自己的需要&#xff0c;下载对应mysql版本&#xff0c;我选择是是8.0.16版本 安装 解压之后&#xff0c;可以看到压缩包…
阅读更多...
文章解读与仿真程序复现思路——中国电机工程学报EI\CSCD\北大核心《基于老化成本实时次梯度的异构储能系统功率分配策略》

文章解读与仿真程序复现思路——中国电机工程学报EI\CSCD\北大核心《基于老化成本实时次梯度的异构储能系统功率分配策略》

本专栏栏目提供文章与程序复现思路&#xff0c;具体已有的论文与论文源程序可翻阅本博主免费的专栏栏目《论文与完整程序》 论文与完整源程序_电网论文源程序的博客-CSDN博客https://blog.csdn.net/liang674027206/category_12531414.html 电网论文源程序-CSDN博客电网论文源…
阅读更多...
Vue3 大量赋值导致reactive响应丢失问题

Vue3 大量赋值导致reactive响应丢失问题

问题阐述 如上图所示&#xff0c;我定义了响应式对象arrreactive({data:[]})&#xff0c;尝试将indexedDB两千条数据一口气赋值给arr.data。但事与愿违&#xff0c;页面上的{{}}在展示先前数组的三秒后变为空。 问题探究 vue3的响应应该与console.log有异曲同工之妙&#xff0…
阅读更多...
如何系统的入门大模型？

如何系统的入门大模型？

GPT图解&#xff0c;从0到1构建大模型。 本书将以生动活泼的笔触&#xff0c;将枯燥的技术细节化作轻松幽默的故事和缤纷多彩的图画&#xff0c;引领读者穿梭于不同技术的时空&#xff0c;见证自然语言处理技术的传承、演进与蜕变。在这场不断攀登技术新峰的奇妙之旅中&#xf…
阅读更多...
如何进行软件测试

如何进行软件测试

1、测试用例带给我们的好处 &#xff08;1&#xff09;测试执行者的依据 &#xff08;2&#xff09;使得工作可重复&#xff0c;自动化测试的基础 &#xff08;3&#xff09;评估需求覆盖率 &#xff08;4&#xff09;用例的复用 &#xff08;5&#xff09;积累测试的方法思…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023