springCloudalibabaAI孵化(一)

1、what

1、简介

2、核心概念

3、高级特性 Prompt 和 AiResponse

4、功能

2、How

1、前言

2、在项目 pom.xml 中加入 2023.0.1.0 版本 Spring Cloud Alibaba 依赖：

3、在配置文件中加入以下配置：application.yml

4、编写聊天服务实现类，由 Spring AI 自动注入、屏蔽底层通义大模型交互细节。ChatClientStreamingChatClientChatClient

5、提供具体聊天逻辑实现

6、编写 Spring 入口类并启动应用

7、验证

4、发展

1、what

1、简介

Spring AI 与通义千问集成，使用 Spring AI 开发 Java AI 应用。
Spring Cloud Alibaba AI 目前基于 Spring AI 0.8.1 版本 API 完成通义系列大模型的接入。通义接入是基于阿里云灵积模型服务，灵积模型服务建立在“模型即服务”（Model-as-a-Service，MaaS）的理念基础之上，围绕 AI 各领域模型，通过标准化的API提供包括模型推理、模型微调训练在内的多种模型服务。
在当前最新版本中，Spring Cloud Alibaba AI 主要完成了几种常见生成式模型的适配，包括对话、文生图、文生语音等，开发者可以使用 Spring Cloud Alibaba AI 开发基于通义的聊天、图片或语音生成 AI 应用，框架还提供 OutParser、Prompt Template、Stuff 等实用能力。

2、核心概念

在开始之前，我们先回顾一下一些关键领域术语和概念。 Spring AI 最初专注于设计用于处理语言输入和生成语言输出的模型。该项目背后的想法是为开发人员提供一个抽象接口，这是将生成式 AI API 作为独立组件添加到应用程序中的基础。其中一种抽象是接口 AiClient，它有两个基本实现 - OpenAI 和 Azure OpenAI。而 Spring Cloud Alibaba AI 提供了对通义系列的全面支持。

public interface AiClient { default String generate(String message); AiResponse generate(Prompt prompt); }

AiClient为生成功能提供了两种选择。简化的 -generate（String message） -使用 String 作为输入和输出，它可以用来避免 Promt 和 AiResponse 类的额外复杂性。现在，让我们仔细看看它们的区别。

3、高级特性 Prompt 和 AiResponse

1、在AI领域，提示是指提供给AI的短信。它由上下文和问题组成，该模型用于生成答案。从 Spring AI 项目的角度来看，Prompt 是参数化_Message_s 的列表。

 public class Prompt { private final List messages; // constructors and utility methods }public interface Message { String getContent(); Map getProperties(); MessageType getMessageType(); }

2、提示使开发人员能够更好地控制文本输入。一个很好的例子是提示模板，它由预定义的文本和一组占位符构成。然后，我们可以使用传递给 Message 构造函数的 Map 值来填充它们。

告诉我一个关于{content}的{形容词}笑话。

3、消息接口还保存有关 AI 模型可以处理的消息类别的高级信息。例如，OpenAI 实现区分对话角色，并通过 MessageType 有效映射。对于其他模型，它可以反映消息格式或一些其他自定义属性。更多详情请参考官方文档。

public class AiResponse { private final List generations; // getters and setters }public class Generation { private final String text; private Map info; }

AiResponse 由 Generation 对象列表组成，每个对象都保存相应提示的输出。此外，Generation对象提供AI响应的元数据信息。

4、功能

聊天对话应用
文生图应用
文生语音应用
模型输出解析OutputParser（实现从 String 到自动 POJO 映射）
使用 Prompt Template
让 AI 模型接入外部数据（Prompt Stuff）

2、How

Getting Started :: Spring AI Reference

1、前言

本项目演示如何使用完成一个在线聊天 AI 应用，底层使用通义千问提供的模型服务。可在此查看完整示例源码。spring-cloud-starter-alibaba-ai
为使示例能够正常接入通义大模型，需要在阿里云开通 DashScope 灵积模型服务，申请有效的 API-KEY 并更新到应用配置文件。具体操作步骤可参见如下文档：如何开通DashScope并创建API-KEY_模型服务灵积(DashScope)-阿里云帮助中心

2、在项目 pom.xml 中加入 2023.0.1.0 版本 Spring Cloud Alibaba 依赖：

<dependencyManagement><dependencies><dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-alibaba-dependencies</artifactId><version>2023.0.1.0</version><type>pom</type><scope>import</scope></dependency></dependencies>
</dependencyManagement><dependencies><dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-ai</artifactId></dependency>
</dependencies>

3、在配置文件中加入以下配置：application.yml

spring:cloud:ai:tongyi:chat:options:# Replace the following key with a valid API-KEY.api-key: sk-a3d73b1709bf4a178c28ed7c8b3b5axx

4、编写聊天服务实现类，由 Spring AI 自动注入、屏蔽底层通义大模型交互细节。ChatClientStreamingChatClientChatClient

@Service
public class TongYiSimpleServiceImpl extends AbstractTongYiServiceImpl {private final ChatClient chatClient;private final StreamingChatClient streamingChatClient;@Autowiredpublic TongYiSimpleServiceImpl(ChatClient chatClient, StreamingChatClient streamingChatClient) {this.chatClient = chatClient;this.streamingChatClient = streamingChatClient;}
}

5、提供具体聊天逻辑实现

@Service
public class TongYiSimpleServiceImpl extends AbstractTongYiServiceImpl {// ......@Overridepublic String completion(String message) {Prompt prompt = new Prompt(new UserMessage(message));return chatClient.call(prompt).getResult().getOutput().getContent();}@Overridepublic Map<String, String> streamCompletion(String message) {StringBuilder fullContent = new StringBuilder();streamingChatClient.stream(new Prompt(message)).flatMap(chatResponse -> Flux.fromIterable(chatResponse.getResults())).map(content -> content.getOutput().getContent()).doOnNext(fullContent::append).last().map(lastContent -> Map.of(message, fullContent.toString())).block();log.info(fullContent.toString());return Map.of(message, fullContent.toString());}}

6、编写 Spring 入口类并启动应用

@SpringBootApplication
public class TongYiApplication {public static void main(String[] args) {SpringApplication.run(TongYiApplication.class);}
}

7、验证

1、方式一

浏览器地址栏输入：http://localhost:8080/ai/example

返回如下响应：

{ "Tell me a joke": "Sure, here's a classic one for you:\n\nWhy was the math book sad?\n\nBecause it had too many problems.\n\nI hope that made you smile! If you're looking for more, just let me know." }

2、方式二

进入目录下，使用浏览器打开 index.html 文件，输入问题，即可获得输出响应（确保 API-key 有效）：resources/static