spring整合openAI大模型之Spring AI

文章目录

  • 一、SpringAI简介
    • 1.什么是SpringAI
    • 2.SpringAI支持的大模型类型
      • （1）聊天模型
      • （2）文本到图像模型
      • （3）转录（音频到文本）模型
      • （4）嵌入模型
      • （5）矢量数据库
    • 3.SpringAI版本
  • 二、SpringAI框架使用，对接OpenAI
    • 1.环境信息
    • 2.初始化
    • 3.配置文件
      • （1）application.yml
      • （2）pom文件
    • 4.聊天代码测试
      • （1）聊天接口
      • （2）流式响应
      • （3）chatModel api
      • （4）文字生成图片
      • （5）文字生成语音
      • （6）预先定义角色
      • （7）functionCall功能
      • （8）如何通过代理的方式访问接口

一、SpringAI简介

1.什么是SpringAI

Spring AI 是一个面向 AI 工程的应用框架，其目标是将 Spring 生态系统的可移植性和模块化设计等设计原则应用到 AI 领域，并推动将 POJO 作为应用的构建块应用于 AI 领域。
简单地说，就是不再需要我们再去封装各种各样的类或者方法，直接用spring框架内置的方法，和大模型进行通信

官网地址https://spring.io/projects/spring-ai

2.SpringAI支持的大模型类型

（1）聊天模型

  • OpenAI
  • Azure Open AI
  • Amazon Bedrock
  • Cohere’s Command
  • AI21 Labs’ Jurassic-2
  • Meta’s LLama 2
  • Amazon’s Titan
  • Google Vertex AI Palm
  • Google Gemini
  • HuggingFace - access thousands of models, including those from Meta such as Llama2
  • Ollama - run AI models on your local machine
  • MistralAI

（2）文本到图像模型

  • OpenAI with DALL-E
  • StabilityAI

（3）转录（音频到文本）模型

  • OpenAI

（4）嵌入模型

  • OpenAI
  • Azure OpenAI
  • Ollama
  • ONNX
  • PostgresML
  • Bedrock Cohere
  • Bedrock Titan
  • Google VertexAI
  • Mistal AI

（5）矢量数据库

  • Azure Vector Search
  • Chroma
  • Milvus
  • Neo4j
  • PostgreSQL/PGVector
  • PineCone
  • Redis
  • Weaviate
  • Qdrant

3.SpringAI版本

目前只出了一个版本1.0.0-M1
请添加图片描述

二、SpringAI框架使用，对接OpenAI

1.环境信息

  • Maven： apache-maven-3.9.6
  • springBoot： 3.3.0
  • JAVA：JDK17

2.初始化

server url里面如果是阿里云的链接，给换掉，因为阿里云的构建springboot里面选不了AI模块
jdk一定要选17
请添加图片描述
引入springweb和openAI两个依赖模块就可以
请添加图片描述

3.配置文件

（1）application.yml

这里面你要去百度上找，或者自己去买openai的api-key，贴在api-key后面就可以，
base-url可以通过代理方式去调用，后面会讲到。

spring:application:name: springAIai:openai:api-key: base-url: https://api.chatanywhere.tech  #国内中转访问

（2）pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>3.3.0</version><relativePath/> <!-- lookup parent from repository --></parent><groupId>com.kdx</groupId><artifactId>springAI</artifactId><version>0.0.1-SNAPSHOT</version><name>springAI</name><description>Demo project for Spring Boot</description><properties><java.version>17</java.version><spring-ai.version>1.0.0-M1</spring-ai.version></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-openai-spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency></dependencies><dependencyManagement><dependencies><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-bom</artifactId><version>${spring-ai.version}</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencyManagement><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.8.1</version><configuration><compilerVersion>17</compilerVersion><source>16</source><target>16</target><encoding>UTF-8</encoding><!-- maven 3.6.2及之后加上编译参数，可以让我们在运行期获取方法参数名称。 --><parameters>true</parameters><skip>true</skip></configuration></plugin></plugins></build><repositories><repository><id>spring-milestones</id><name>Spring Milestones</name><url>https://repo.spring.io/milestone</url><snapshots><enabled>false</enabled></snapshots></repository></repositories></project>

4.聊天代码测试

新建Controller类，通过接口调用测试

（1）聊天接口

    @Autowiredprivate ChatClient chatClient;//交流@RequestMapping("/chat")public String generation(@RequestParam(value = "message", defaultValue = "讲个笑话") String message) {//prompt：提示词return this.chatClient.prompt()//用户信息.user(message)//请求大模型.call()//返回文本.content();}

启动项目访问接口测试
请添加图片描述

（2）流式响应

流式响应的意思就是，调用接口一次响应太多文字给浏览器需要等很久，使用流式响应真正的像GPT

    @Autowiredprivate ChatClient chatClient;
//流式响应@RequestMapping(value = "/stream", produces = "text/html;charset=UTF-8")public Flux<String> stream(@RequestParam(value = "message", defaultValue = "讲个笑话") String message) {Flux<String> output = chatClient.prompt().user(message)//流式调用.stream().content();return output;}

启动项目访问接口测试
请添加图片描述

（3）chatModel api

chatModel API比ChatClient 更灵活，但是底层还是用的ChatClient ，可以去参考一下chatModel的API，可以设置很多参数，因为下面设置的是gpt-4，api-key必须要和版本对应

    @Autowired(required = false)private ChatModel chatModel;//chatModel api@RequestMapping(value = "/ChatResponse", produces = "text/html;charset=UTF-8")public String ChatResponse(@RequestParam(value = "message") String message) {ChatResponse response = chatModel.call(new Prompt(message,OpenAiChatOptions.builder()//选择gpt版本.withModel("gpt-4-32k").withTemperature(0.4f).build()));return response.getResult().getOutput().getContent();}

（4）文字生成图片

它也是只有特定的模型才能使用，需要对应的api-key

    @Autowired(required = false)private OpenAiImageModel openaiImageModel;//文生图@RequestMapping(value = "/openaiImageModel", produces = "text/html;charset=UTF-8")public String openaiImageModel(@RequestParam(value = "message") String message) {ImageResponse response = openaiImageModel.call(new ImagePrompt(message,OpenAiImageOptions.builder()//图片质量.withQuality("hd")//生成几张.withN(1)//尺寸.withHeight(1024).withWidth(1024).build()));return response.getResult().getOutput().getUrl();}

（5）文字生成语音

它也是只有特定的模型才能使用，需要对应的api-key

	//文生语音@RequestMapping(value = "/writeByte", produces = "text/html;charset=UTF-8")public String writeByte(@RequestParam(value = "message") String message) {OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder().withModel(OpenAiAudioApi.TtsModel.TTS_1.value).withVoice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY).withResponseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3).withSpeed(1.0f).build();SpeechPrompt speechPrompt = new SpeechPrompt(message, speechOptions);SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);byte[] body = response.getResult().getOutput();try {writeByte(body,"D:\\Project");} catch (Exception e) {System.out.println(e);}return "ok";}public static void writeByte(byte[] audioBytes, String outputFilePath) throws IOException {FileOutputStream fileOutputStream = new FileOutputStream(outputFilePath + "111.mp3");fileOutputStream.write(audioBytes);fileOutputStream.close();}

（6）预先定义角色

意思就是在调用聊天模型的时候，预先给他设定好一个角色
比如调用聊天接口，他是怎么知道他是java开发工程师的呢？就是通过预先定义角色
请添加图片描述
新建一个AIConfig 配置类，通过一段文字在springboot启动时，预先给他定义他的角色

@Configuration
public class AIConfig {//角色预设@BeanChatClient chatClient(ChatClient.Builder builder) {return builder.defaultSystem("你现在不是chatGPT了,我希望你以一个java工程师的身份来和我对话，你是一个在卡迪熊公司工作的java开发工程师，你叫小鹏！").build();}
}

（7）functionCall功能

目的是可以让其他的应用程序结合GPT使用，可以更精准的返回信息，下面的apply方法就可以调用别的程序，收集信息。

  • 在AIConfig的配置类中加入代码，这里的Description注解就是触发该Function方法的关键字
    @Bean@Description("有多少人")LocationNameFunction LocationNameFunction() {return new LocationNameFunction();}
  • 然后再新建一个LocationNameFunction类，通过关键字"有多少人"触发动作，执行类中apply方法
package com.kdx.springai.functions;import java.util.Objects;
import java.util.function.Function;public class LocationNameFunction implements Function<LocationNameFunction.Request, LocationNameFunction.Response> {@Overridepublic Response apply(Request request) {if (Objects.isNull(request.location) || Objects.isNull(request.name)) {return new Response("缺少参数");}return new Response("有10个人");}//接收提取关键信息public record Request(String name,String location) {@Overridepublic String name() {return name;}@Overridepublic String location() {return location;}}//最终响应给gptpublic record Response(String message) {}}
  • 定义接口
	//functionCall@RequestMapping(value = "/functionCall", produces = "text/html;charset=UTF-8")public String functionCall(@RequestParam(value = "message") String message) {OpenAiChatOptions aiChatOptions = OpenAiChatOptions.builder()//设置实现了function接口的bean名称.withFunction("LocationNameFunction").withModel(OpenAiApi.ChatModel.GPT_3_5_TURBO).build();ChatResponse response = chatModel.call(new Prompt(message, aiChatOptions));return response.getResult().getOutput().getContent();}
  • 测试
    请添加图片描述

（8）如何通过代理的方式访问接口

现在是通过访问国内中转代理的方式，访问GPT的接口，但是怎么直接访问他的接口呢？
可以通过在启动类中加入代理信息。

    public static void main(String[] args) {System.setProperty("proxyType", "4");   //类型System.setProperty("proxyPort", "7890");    //端口System.setProperty("proxyHost", "127.0.0.1");   //ipSystem.setProperty("proxySet", "true");SpringApplication.run(SpringAiApplication.class, args);}

这个时候yaml文件的url就可以配置https://api.chatanywhere.cn，直接访问了

------------------------------------------------------需要源码，可以留言------------------------------------------------------

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/857448.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Guava-EventBus 源码解析

Guava-EventBus 源码解析

EventBus 采用发布订阅者模式的实现方式&#xff0c;它实现了泛化的注册方法以及泛化的方法调用,另外还考虑到了多线程的问题,对多线程使用时做了一些优化&#xff0c;观察者模式都比较熟悉&#xff0c;这里会简单介绍一下&#xff0c;重点介绍的是如何泛化的进行方法的注册以及…
阅读更多...
dial tcp 10.96.0.1:443: connect: no route to host

dial tcp 10.96.0.1:443: connect: no route to host

1、创建Pod一直不成功&#xff0c;执行kubectl describe pod runtime-java-c8b465b98-47m82 查看报错 Warning FailedCreatePodSandBox 2m17s kubelet Failed to create pod sandbox: rpc error: code Unknown desc failed to setup network for…
阅读更多...
数据挖掘与分析——数据预处理

数据挖掘与分析——数据预处理

数据探索 波士顿房价数据集&#xff1a;卡内基梅隆大学收集&#xff0c;StatLib库&#xff0c;1978年&#xff0c;涵盖了麻省波士顿的506个不同郊区的房屋数据。 一共含有506条数据。每条数据14个字段&#xff0c;包含13个属性&#xff0c;和一个房价的平均值。 数据读取方法…
阅读更多...
昨天gitee网站访问不了，开始以为电脑哪里有问题了

昨天gitee网站访问不了，开始以为电脑哪里有问题了

昨天gitee网站下午访问不了&#xff0c;开始以为是什么毛病。 结果同样的网络&#xff0c;手机是可以访问的。 当然就ping www.gitee.com 结果也下面那样是正常的 以为是好的&#xff0c;但就是访问www.gitee.com也是不行&#xff0c;后来用阿里云的服务器curl访问是下面情况&…
阅读更多...
LabVIEW机器视觉在质量控制中的应用

LabVIEW机器视觉在质量控制中的应用

基于LabVIEW的机器视觉系统在质量控制中应用广泛&#xff0c;通过图像采集、处理和分析&#xff0c;自动检测产品缺陷、测量尺寸和识别标记&#xff0c;提高生产效率和产品质量。下面介绍LabVIEW机器视觉系统在质量控制中的实现方法、应用场景及其优势。 项目背景 在现代制造业…
阅读更多...
github连接报本地

github连接报本地

一、创建GIthub账号 这里默认大家已经创建好了并且有加速器&#xff0c;能正常上网&#xff0c;然后才能进行下面的操作。 二、创建ssh公钥 网址&#xff1a;Sign in to GitHub GitHub Sign in to GitHub GitHub 进入下面的界面&#xff1a; 然后创建新的密钥 三、官方文…
阅读更多...
MCT Self-Refine：创新集成蒙特卡洛树搜索 （MCTS）提高复杂数学推理任务的性能，超GPT4，使用 LLaMa-3 8B 进行自我优化

MCT Self-Refine：创新集成蒙特卡洛树搜索 （MCTS）提高复杂数学推理任务的性能，超GPT4，使用 LLaMa-3 8B 进行自我优化

&#x1f4dc; 文献卡 题目&#xff1a; Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B作者: Di Zhang; Xiaoshui Huang; Dongzhan Zhou; Yuqiang Li; Wanli OuyangDOI: 10.48550/arXiv.2406.07394摘要: This pape…
阅读更多...
kettle无法启动问题_PENTAHO_JAVA_HOME

kettle无法启动问题_PENTAHO_JAVA_HOME

1&#xff0c;遇到spoon.bat启动报错&#xff1a;先增加pause看清错误信息 1.1&#xff0c;错误信息 1.2&#xff0c;因为本地安装jdk1.6无法支持现有版本kettle。只能手动执行kettle调用的java路径&#xff1b;如下 系统--高级系统设置--高级--环境变量 启动成功
阅读更多...
fastapi教程（一）：初识 fastapi

fastapi教程（一）：初识 fastapi

FastAPI 是一个用于构建 API 的现代、快速&#xff08;高性能&#xff09;的 web 框架&#xff0c;使用 Python 并基于标准的 Python 类型提示。 关键特性: 快速&#xff1a;可与 NodeJS 和 Go 并肩的极高性能&#xff08;归功于 Starlette 和 Pydantic&#xff09;。最快的 …
阅读更多...
甘肃旅游服务平台的设计

甘肃旅游服务平台的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;管理员管理&#xff0c;公告信息管理&#xff0c;景点管理&#xff0c;酒店管理&#xff0c;基础数据管理&#xff0c;美食管理 前台账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0…
阅读更多...
HTML静态网页成品作业(HTML+CSS)——故宫介绍网页(4个页面)

HTML静态网页成品作业(HTML+CSS)——故宫介绍网页(4个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;未使用Javacsript代码&#xff0c;共有4个页面。 二、作品演示 三、代…
阅读更多...
Docker：安装RediSearch全文搜索

Docker：安装RediSearch全文搜索

1、简述 在本文中&#xff0c;我们将介绍如何使用Docker快速、简便地安装RediSearch&#xff0c;Redis的全文搜索模块。RediSearch提供了高效的全文搜索功能&#xff0c;通过Docker安装&#xff0c;可以轻松地在任何环境中部署和管理RediSearch。 官网地址&#xff1a;https:/…
阅读更多...
【GUI】LVGL无操作系统移植以及移植过程错误处理

【GUI】LVGL无操作系统移植以及移植过程错误处理

目录 介绍 1. 删除源码 2. 导入lvgl到项目screen_mcu中 3. keil添加分组和头文件 4. 移植显示 5. 移植触摸 6. 添加测试案例 6.1. 测试按钮 6.2. 测试音乐界面 7. 提供时钟 错误处理 L6218E错误 出现花屏 屏幕颜色不对 内存分配 介绍 本文 主要介绍GD32移植…
阅读更多...
BlockingQueue详解(含动画演示)

BlockingQueue详解(含动画演示)

目录 BlockingQueue详解0、BlockingQueue简介BlockingQueue接口中方法注释BlockingQueue的实现&#xff0c;总结计划 1、ArrayBlockingQueue简介2、ArrayBlockingQueue的继承体系3、ArrayBlockingQueue的构造方法①、 ArrayBlockingQueue(int capacity)②、ArrayBlockingQueue(…
阅读更多...
计算机组成原理 —— 存储系统（概述）

计算机组成原理 —— 存储系统（概述）

计算机组成原理 —— 存储系统&#xff08;概述&#xff09; 存储系统按层次划分按照存储介质分类按照存储方式分类按照信息可更改性分类根据信息的可保存性分类存储器性能指标 我们今天来学习计算机组成原理中的存储系统&#xff1a; 存储系统 存储系统是计算机系统中用于存…
阅读更多...
vue实现的商品列表网页

vue实现的商品列表网页

一、商品列表效果如下 二、代码&#xff1b; vue实现的商品列表网页 &#xff0c; 图片在vue项目的Public文件夹里的 imgs中 <template><div class"common-layout"><!-- el-container:外层容器。 当子元素中包含 <el-header> 或 <el-foo…
阅读更多...
mysql：简单理解mysql mvcc的可重复读

mysql：简单理解mysql mvcc的可重复读

# 原理 假设有这样的sql begin select&#xff08;或update、insert、delete&#xff09; ... commit当执行【begin】的时候&#xff0c;标记有一个新事务要开始&#xff0c;但是事务还没有真正开始&#xff0c;事务id还没有产生当执行事务里面的第一个sql语句时&#xff08;…
阅读更多...
java之url任意跳转漏洞

java之url任意跳转漏洞

1 漏洞介绍 URLRedirect url重定向漏洞也称url任意跳转漏洞&#xff0c;网站信任了用户的输入导致恶意攻击&#xff0c;url重定向主要用来钓鱼&#xff0c;比如url跳转中最常见的跳转在登陆口&#xff0c;支付口&#xff0c;也就是一旦登陆将会跳转任意自己构造的网站&#xf…
阅读更多...
Xshell7免费版下载安装使用

Xshell7免费版下载安装使用

​一、下载安装​ 1.打开官网下载 https://www.xshell.com/zh/free-for-home-school/ 2.选择合适的下载路径&#xff0c;点击下载按钮&#xff0c;然后按照提示完成安装。 二、Xshell7的使用&#xff0c;Xhell连接Linux 1.连接之前&#xff0c;确保在Linux中开启SSH。参考&a…
阅读更多...
YOLOv8中的C2f模块

YOLOv8中的C2f模块

文章目录 一、结构概述二、模块功能 一、结构概述 C2f块:首先由一个卷积块(Conv)组成&#xff0c;该卷积块接收输入特征图并生成中间特征图特征图拆分:生成的中间特征图被拆分成两部分&#xff0c;一部分直接传递到最终的Concat块&#xff0c;另一部分传递到多个Botleneck块进…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023