SpringAI介绍及本地模型使用方法

博客原文地址

前言

Spring在Java语言中一直稳居高位，与AI的洪流碰撞后也产生了一些有趣的”化学反应“，当然你要非要说碰撞属于物理反应也可以，

在经历了一系列复杂的反应方程后，Spring家族的新成员——SpringAI，就此诞生。

需要注意的是，springai目前仍处于试验阶段，可能会出现许多不稳定因素，希望各位使用者能放平心态面对BUG（或者去issues里发表自己的见解）

简介

Spring AI 项目为开发 AI 应用程序提供了 Spring 友好的 API 和抽象类。

其目标是将 Spring 生态系统设计原则（如可移植性和模块化设计）应用于 AI 领域，并将使用 POJO 作为应用程序的构建块推广到 AI 领域。

github仓库：spring-projects/spring-ai: An Application Framework for AI Engineering

目前该项目已经集成了OpenAI、Azure OpenAI、Hugging Face、Ollama等API。

我们一般对于AI类项目嵌入JAVA的做法为：

  1. 开发java后端和前端部分代码

  2. 确定功能需求，如文本生成类项目，即接收部分参数，返回一个String文本

  3. 确定模型主题，如BERT/T5等等

  4. 对模型进行训练或微调，并编写使用方法代码

  5. 使用web框架（如：FastAPI/Flask）开放接口，规范接参收参格式

  6. java使用webclient（也可以用别的）请求接口调用AI服务

  7. 测试联调（你也可以选择一步一测试，都可以）

对于具体的模型对接代码可以参考我的Transformers文章中有详细的对于模型使用和训练的代码：transformer库 | ADulcimer Blog

所以SpringAI也就相当于是集合了大部分厂商的API接口，提供调用，再进行一些java适配和代码优化等等。最终也是通过接惨（文本和key等等）然后传参，被java接收

请注意：springai的API调用并不能让你在离线模式进行大模型的访问，如果你是AI开发人员，那么springai可以让你在java中离线运行本地torch或其他模型，但是相比于python还是较为局限，但如果你只是通过此技术调用大模型API，那么离线模式下是无法实现对话功能的

应该足够清楚的表明了： springAI到底是个什么技术，总结一下：

Spring AI 是一个强大的工具，适合那些已经在使用 Spring 框架的开发者，并且希望将 AI 能力集成到他们的企业级应用中。它的优势在于与 Spring 生态系统的无缝集成和企业级支持，但对于初学者或者需求较简单的 AI 项目来说，它可能过于复杂

Python开AI接口区别

SpringAI在解决复杂问题时，会比传统的AI开接口更加优秀，请注意，这里说的是复杂的业务逻辑，如果是复杂的AI功能，比如，需求不断微调，训练，或者更换模型，对模型进行更改等等等等，Python开接口的方式还是会更加灵活，如果说业务复杂，但AI需求功能单一，则使用SpringAI，如果业务逻辑简单，则都可以使用python接口的方式，因为SpringAI是一个很重的框架

1、企业级架构与可扩展性

  • Spring AI 是构建在 Spring 框架 上的，Spring 本身就是为企业级、分布式、高并发系统设计的框架。因此，如果你的需求涉及到复杂的业务逻辑、大规模的用户交互或者高可用、高并发的环境，Spring AI 提供的 可扩展性 和 可靠性 将使得系统更加稳定。

  • Spring Cloud 和 Spring Boot 等工具，使得它在微服务架构中的表现非常出色，这对于那些需求复杂的系统（如需要多个模块、服务和组件的系统）来说，是一个很大的优势。

2. 集成能力

  • Spring AI 能够无缝集成 Java 生态系统中的其他工具和技术，比如数据库、消息队列、缓存系统、认证与授权、安全等模块。如果你的系统已经在使用 Spring 框架，这使得 Spring AI 能够与现有的基础设施进行更好的集成。

  • 如果需要和传统的 Java 后端服务、企业级应用 或 第三方服务（如支付、ERP 系统） 进行集成，Spring 提供的成熟的解决方案和丰富的生态系统使得这种集成更加顺畅。

3. 高并发和高可靠性

  • Spring 框架和相关工具（如 Spring Boot、Spring Cloud）具有极强的 高并发 支持和 高可用 设计。对于大规模用户请求、海量数据处理等需求，Spring 框架能够通过 多线程、异步处理、负载均衡、服务容错、分布式系统管理等技术 来确保系统的稳定性和高效运行。

  • 在这些场景下，Spring AI 提供的 性能优化 和 容错机制 使得系统更加可靠，而 Python 写的模型可能需要通过额外的优化和工具来应对这些挑战。

4. 生产环境的成熟度与稳定性

  • Spring 框架已经在 生产环境 中得到了广泛的应用，尤其是在 大型企业级应用 中，具有非常高的稳定性和可靠性。Spring 提供了很多企业级功能，如 事务管理、缓存、日志记录、调试工具 等，这些功能对于复杂需求的应用至关重要。

  • 对比之下，传统的 Python 接口通常更多用于 原型开发、快速部署 或 中小规模应用，虽然在灵活性和开发速度上有优势，但在大规模生产环境中的稳定性和可维护性上可能没有 Spring 那么强。

5. 安全性

  • 在涉及到 敏感数据、权限管理、认证与授权 的复杂需求时，Spring 提供了丰富的 安全机制。通过 Spring Security 等工具，可以高效地管理和控制用户权限、进行身份验证、数据加密等，确保系统的安全性。

  • Python 虽然也有相关的库（如 Flask-Security、Django Security 等），但在集成和管理方面可能没有 Spring 的安全框架那么成熟和全面。

6. DevOps 支持与自动化部署

  • Spring 在 DevOps 和自动化部署方面也有很强的支持，Spring Boot 和 Spring Cloud 的集成功能使得部署、监控、日志管理和版本管理等任务更加自动化，极大地提高了运维效率。

  • Python 部署方面也可以使用 Docker、Kubernetes 等工具，但由于 Spring 提供的微服务架构和生产环境支持更加丰富，Spring AI 在大规模应用部署和运维上表现更佳。

7. 维护与支持

  • 对于 大型团队 和 长期项目，Spring 框架提供了成熟的企业级支持，文档和社区也非常强大。对于一些需求复杂、时间长的项目，使用 Spring AI 可以更容易进行 长期维护 和 团队协作。

  • Python 的开发者社区虽然庞大，但在企业级开发、集成和维护方面，可能不如 Spring 框架在行业中的积淀和支持那么全面。

代码部分

根据官方文档，分为两种方式调用，一种是springboot项目，交给spring管理

参考官方文档：transforms（我们以它为例）

（ONNX）变形金刚 ((ONNX) Transformers) _ Spring AI 1.0.0-SNAPSHOT 中文文档(官方文档中文翻译) —— CADN开发者文档中心

参考maven文档：

repo.spring.io

1、Springboot管理
1、引入依赖：
    <repositories><repository><id>spring-milestones</id><name>Spring Milestones</name><url>https://repo.spring.io/milestone</url><snapshots><enabled>false</enabled></snapshots></repository><repository><id>spring-snapshots</id><name>Spring Snapshots</name><url>https://repo.spring.io/snapshot</url><releases><enabled>false</enabled></releases></repository></repositories><dependencyManagement><dependencies><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-bom</artifactId><version>1.0.0-SNAPSHOT</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencyManagement><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-transformers-spring-boot-starter</artifactId>
</dependency>
2、编写application.yml配置文件
spring:ai:embedding:transformer:onnx:model-uri: https://huggingface.co/intfloat/e5-small-v2/resolve/main/model.onnxtokenizer:uri: https://huggingface.co/intfloat/e5-small-v2/raw/main/tokenizer.jsoncache:directory: /tmp/ai-embedding-transformerenabled: true

部分的配置详情如下：

Property

Description

spring.ai.embedding.transformer.enabled

启用 Transformer Embedding 模型。

spring.ai.embedding.transformer.tokenizer.uri

Transformer分词器地址

spring.ai.embedding.transformer.tokenizer.options

模型的一些参数，max_length这些

spring.ai.embedding.transformer.cache.enabled

是否启用缓存

spring.ai.embedding.transformer.cache.directory

缓存路径

spring.ai.embedding.transformer.onnx.modelUri

Transformers预训练模型地址

spring.ai.embedding.transformer.onnx.gpuDeviceId

GPU设备ID

这些是一些常用的，具体请参考官方文档

3、搭建controller和service层
import com.adulcimer.ai.service.ToxicityService;
import jakarta.annotation.Resource;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;@RestController
class MyController {@Resourceprivate ToxicityService toxicityService;@PostMapping("/test")public String test() throws Exception {toxicityService.modelTest();return "Hello, World!";}
}import jakarta.annotation.Resource;
import org.springframework.ai.transformers.TransformersEmbeddingModel;
import org.springframework.stereotype.Service;import java.util.Arrays;@Service
public class ToxicityService {@Resourceprivate TransformersEmbeddingModel transformersEmbeddingModel;public void modelTest() throws Exception {float[] embed = transformersEmbeddingModel.embed("Hello World");System.out.println(Arrays.toString(embed));}
}
4、结果

我们已经得到模型的返回值了，成功使用springboot调用了AI模型

具体的业务逻辑也可以轻松嵌入，是不是很轻松？

2、自定义配置

当然你也可以不使用spring的管理

TransformersEmbeddingModel embeddingModel = new TransformersEmbeddingModel();embeddingModel.setTokenizerResource("classpath:/onnx/all-MiniLM-L6-v2/tokenizer.json");embeddingModel.setModelResource("classpath:/onnx/all-MiniLM-L6-v2/model.onnx");embeddingModel.setResourceCacheDirectory("/tmp/onnx-zoo");embeddingModel.setTokenizerOptions(Map.of("padding", "true"));embeddingModel.afterPropertiesSet();List<List<Double>> embeddings = this.embeddingModel.embed(List.of("Hello world", "World is big"));

然后正常使用架构搭建即可

最后

以上部分内容和图片来自于官方文档，本文中已声明原作地址。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/894800.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ip地址是手机号地址还是手机地址

ip地址是手机号地址还是手机地址

在数字化生活的浪潮中&#xff0c;IP地址、手机号和手机地址这三个概念如影随形&#xff0c;它们各自承载着网络世界的独特功能&#xff0c;却又因名称和功能的相似性而时常被混淆。尤其是“IP地址”这一术语&#xff0c;经常被错误地与手机号地址或手机地址划上等号。本文旨在…
阅读更多...
车载以太网__传输层

车载以太网__传输层

车载以太网中&#xff0c;传输层和实际用的互联网相差无几。本篇文章对传输层中的IP进行介绍 目录 什么是IP&#xff1f; IP和MAC的关系 IP地址分类 私有IP NAT DHCP 为什么要防火墙穿透&#xff1f; 广播 本地广播 直接广播 本地广播VS直接广播 组播 …
阅读更多...
wxWidgets生成HTML文件，带图片转base64数据

wxWidgets生成HTML文件，带图片转base64数据

编译环境大家可以看我之前的文章，CodeBlocks + msys2 + wx3.2，win10 这里功能就是生成HTML文件，没用HTML库，因为是自己固定的格式，图片是一个vector，可以动态改变数量的。 效果如下： #include <wx/string.h> #include <wx/file.h> #include <wx/ima…
阅读更多...
网络原理一＞数据链路层协议-＞以太网协议

网络原理一＞数据链路层协议-＞以太网协议

目录 以太网协议的结构&#xff1a;类型&#xff1a;ARP请求应答报文&#xff1a;CRC&#xff1a;MTU: 为什么需要mac地址&#xff1a;mac地址和IP地址的区别&#xff1a; 以太网协议的结构&#xff1a; 以太网是数据链路层和物理层的主要协议 源IP&#xff0c;目的IP就不多说…
阅读更多...
售后板子HDMI无输出分析

售后板子HDMI无输出分析

问题&#xff1a; 某产品售后有1例HDMI无输出。 分析&#xff1a; 1、测试HDMI的HPD脚&#xff08;HDMI座子的19pin&#xff09;&#xff0c;测试电压4.5V&#xff0c;属于正常。 2、用万用表直流电压档&#xff0c;测试HDMI的3对数据脚和1对时钟脚&#xff08;板子通过HDM…
阅读更多...
【声音转文字CapsWriter】声音随时转化为文字，CapsWriter提高工作效率

【声音转文字CapsWriter】声音随时转化为文字，CapsWriter提高工作效率

文章目录 前言1. 软件与模型下载2. 本地使用测试3. 异地远程使用3.1 内网穿透工具下载安装3.2 配置公网地址3.3 修改config文件3.4 异地远程访问服务端 4. 配置固定公网地址4.1 修改config文件 5. 固定tcp公网地址远程访问服务端 前言 今天我要给大家安利一个神器——CapsWrit…
阅读更多...
十二、Docker Compose 部署 SpringCloudAlibaba 微服务

十二、Docker Compose 部署 SpringCloudAlibaba 微服务

一、部署基础服务 0、项目部署结构 项目目录结构如下: /home/zhzl_hebei/ ├── docker-compose.yml └── geochance-auth/└── Dockerfile└── geochance-auth.jar └── geochance-system/└── Dockerfile└── geochance-system.jar └── geochance-gateway/…
阅读更多...
Games104——游戏引擎Gameplay玩法系统：基础AI

Games104——游戏引擎Gameplay玩法系统：基础AI

这里写目录标题 寻路/导航系统NavigationWalkable AreaWaypoint NetworkGridNavigation Mesh&#xff08;寻路网格&#xff09;Sparse Voxel Octree Path FindingDijkstra Algorithm迪杰斯特拉算法A Star&#xff08;A*算法&#xff09; Path Smoothing Steering系统Crowd Simu…
阅读更多...
Win11非虚拟机安装ISE14.7

Win11非虚拟机安装ISE14.7

官网下载6.18GB 的 Full Installer for Windows 7/XP/Server解压后运行安装程序不勾选Enable WebTalk to send software, IP ...安装程序卡死在ISE:Configure WebTalk&#xff0c;此时打开任务管理器&#xff0c;在详情中找到xwebtalk&#xff0c;右键结束任务。安装程序继续进…
阅读更多...
从0开始达芬奇（3.8）

从0开始达芬奇（3.8）

剪视频有主次之分&#xff0c;主就是Aroll&#xff0c;次就是Broll。 智能媒体夹&#xff1a; 媒体池的智能媒体夹部分可以很好区分主次。这个相当于智能搜索&#xff0c;当有大量的素材时&#xff0c;可以为这些素材标明信息&#xff0c;下次使用不需要反复看&#xff0c;直…
阅读更多...
python算法和数据结构刷题[3]：哈希表、滑动窗口、双指针、回溯算法、贪心算法

python算法和数据结构刷题[3]：哈希表、滑动窗口、双指针、回溯算法、贪心算法

回溯算法 「所有可能的结果」&#xff0c;而不是「结果的个数」&#xff0c;一般情况下&#xff0c;我们就知道需要暴力搜索所有的可行解了&#xff0c;可以用「回溯法」。 回溯算法关键在于:不合适就退回上一步。在回溯算法中&#xff0c;递归用于深入到所有可能的分支&…
阅读更多...
基于Java（SpringBoot）+MySQL+Vue实现的平行志愿录取系统

基于Java（SpringBoot）+MySQL+Vue实现的平行志愿录取系统

基于spring bootvue实现的平行志愿录取系统 1.项目简介 这两天干上高考出成绩&#xff0c;有不少亲戚家的孩子今年高考&#xff0c;和我询问关于报志愿的问题。老家河北今年是采用所谓的平行志愿。我看了很多的资料才明白什么叫所谓的“平行志愿”。 整个流程好像很是复杂。…
阅读更多...
chrome浏览器chromedriver下载

chrome浏览器chromedriver下载

chromedriver 下载地址 https://googlechromelabs.github.io/chrome-for-testing/ 上面的链接有和当前发布的chrome浏览器版本相近的chromedriver 实际使用感受 chrome浏览器会自动更新&#xff0c;可以去下载最新的chromedriver使用&#xff0c;自动化中使用新的chromedr…
阅读更多...
Redis常见数据类型与编码方式

Redis常见数据类型与编码方式

⭐️前言⭐️ 本小节围绕Redis中常见的数据类型与编码方式展开。 &#x1f349;欢迎点赞 &#x1f44d; 收藏 ⭐留言评论 &#x1f349;博主将持续更新学习记录收获&#xff0c;友友们有任何问题可以在评论区留言 &#x1f349;博客中涉及源码及博主日常练习代码均已上传GitHu…
阅读更多...
win编译openssl

win编译openssl

一、perl执行脚本 1、安装perl脚本 perl安装 2、配置perl脚本 perl Configure VC-WIN32 no-asm no-shared --prefixE:\openssl-x.x.x\install二、编译openssl 1、使用vs工具编译nmake 如果使用命令行nmake编译会提示“无法打开包括文件: “limits.h”“ 等错误信息 所以…
阅读更多...
【Kubernetes Pod间通信-第2篇】使用BGP实现Pod到Pod的通信

【Kubernetes Pod间通信-第2篇】使用BGP实现Pod到Pod的通信

Kubernetes中Pod间的通信 本系列文章共3篇： 【Kubernetes Pod间通信-第1篇】在单个子网中使用underlay网络实现Pod到Pod的通信【Kubernetes Pod间通信-第2篇】使用BGP实现Pod到Pod的通信（本文介绍）【Kubernetes Pod间通信-第3篇】Kubernetes中Pod与ClusterIP服务之间的通信…
阅读更多...
＜ 自用文儿 ＞ 下载 MaxMind GeoIP Databases 对攻击的 IP 做 地理分析

＜ 自用文儿 ＞ 下载 MaxMind GeoIP Databases 对攻击的 IP 做 地理分析

起因 两个 VPM/VPS&#xff0c;安装了 fail2ban 去拦截密码穷举攻击。每天的记录都在增长&#xff0c;以前复制屏幕输出就行&#xff0c;一屏的内容还容易粘贴出来的。昨天已经过 500 条&#xff0c;好奇 fail2ban 是如何存储这些内容的&#xff1f;就发现它在使用 SQLite3 数…
阅读更多...
SpringCloudGateWay和Sentinel结合做黑白名单来源控制

SpringCloudGateWay和Sentinel结合做黑白名单来源控制

假设我们的分布式项目&#xff0c;admin是8087&#xff0c;gateway是8088&#xff0c;consumer是8086 我们一般的思路是我们的请求必须经过我们的网关8088然后网关转发到我们的分布式项目&#xff0c;那我要是没有处理我们绕过网关直接访问项目8087和8086不也是可以&#xff1…
阅读更多...
C#面试常考随笔12：游戏开发中常用的设计模式【C#面试题（中级篇）补充】

C#面试常考随笔12：游戏开发中常用的设计模式【C#面试题（中级篇）补充】

C#面试题&#xff08;中级篇&#xff09;&#xff0c;详细讲解&#xff0c;帮助你深刻理解&#xff0c;拒绝背话术&#xff01;-CSDN博客 简单工厂模式 优点&#xff1a; 根据条件有工厂类直接创建具体的产品 客户端无需知道具体的对象名字&#xff0c;可以通过配置文件创建…
阅读更多...
数字人｜通过语音和图片来创建高质量的视频

数字人｜通过语音和图片来创建高质量的视频

简介 arXiv上的计算机视觉领域论文&#xff1a; AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation AniPortrait&#xff1a;照片级真实感肖像动画的音频驱动合成 核心内容围绕一种新的人像动画合成框架展开。 研究内容 提出 AniPortrait 框架&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023