Java对接AI大模型

随着AI大模型技术的升起,人们越来越感觉到生活上的便捷以及人机对话照进现实.什么是大模型呢?

大模型（Large Model），通常是指参数量非常庞大的深度学习模型，特别是在自然语言处理（NLP）、计算机视觉（CV）等领域中，模型参数数量达到数十亿甚至数千亿的规模。

为了弥补Java在AI领域的工具短板,现在市面上出现了几款针对Java的AI开发工具.

一. AI开发工具

1.1 LangChain4J

提供标准化API，支持超过15个主流大模型提供商和嵌入存储，
提供工具箱，从低级提示词模板到高级AI服务，适合构建聊天机器人和检索增强生成(RAG)管道。
社区支持活跃，能够快速整合最新的AI技术，便于Java开发者将AI功能集成到现有项目中

1.2 Spring Al

深度集成到Spring框架中，Java开发者可以轻松将AI功能嵌入到现有Spring项目中。
尽管Spring Al仍处于发展阶段，尚未发布正式版本，但其凭借Spring生态系统，具备了极强的扩展性和集成能力。

1.3 Spring AI Alibaba

提供多种大模型服务对接能力，包括主流开源与阿里云通义大模型服务（百炼）等支持的模型类型包括聊天、文生图、音频转录、文生语音等

本文详解Langchain4j的使用.

二. 基本使用

由于现在Java开发都是基于SpringBoot整合开发,所以langchain4j也提供了对应的依赖包.除此我们也需要引入web的依赖

<dependencies><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-open-ai-spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency>
</dependencies>

版本管理

<properties><maven.compiler.source>17</maven.compiler.source><maven.compiler.target>17</maven.compiler.target><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><spring-boot.version>3.3.4</spring-boot.version>
</properties><dependencyManagement><dependencies><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-bom</artifactId><version>0.35.0</version><type>pom</type><scope>import</scope></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-dependencies</artifactId><version>${spring-boot.version}</version><type>pom</type><scope>import</scope></dependency></dependencies>
</dependencyManagement>

接下来我们需要注入对话服务的模型,这列我们以阿里百炼的模型作为基础模型.

2.1 环境准备

在引入百炼的大模型前,我们需要配置一些环境.访问百炼大模型的官网.

阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台

我们需要获取一个API-KEY

然后这里可能需要你去充值,不用充值多了,几块就够啦.然后我们去到模型广场

点击查看详情.获取到model-name和baseUrl

获取到,去SpringBoot的application.yml配置文件配置

langchain4j:open-ai:chat-model:api-key: 你的api-keymodel-name: qwen-maxbase-url: 对应的url

LangChain4j本身提供了一个语言模型(ChatLanguageModel),我们注入使用即可,创建一个Controller类测试

@RestController
public class ChatController {ChatLanguageModel chatLanguageModel;public ChatController(ChatLanguageModel chatLanguageModel) {this.chatLanguageModel = chatLanguageModel;}@GetMapping("/chat")public String model(@RequestParam(value = "message", defaultValue = "Hello") String message) {return chatLanguageModel.generate(message);}
}

调用Postman或者其他测试工具测试

完成基本的模型对接使用.

三.常规使用

3.1 配置类配置

刚刚我们是基于yml配置文件配置的,实际上我们还可以通过配置类来完成配置.

@Configuration
public class LLMConfig {/*** 构建 LLM 模型* @return*/@Beanpublic ChatLanguageModel chatLanguageModel(){return OpenAiChatModel.builder().apiKey("").modelName("qwen-max").baseUrl("").build();}
}

3.2 AI-Service

之前这种自动注入LangChain4j给我们提供的类来完成模型调用,不太灵活,我们若想不同的服务使用不同的大模型,这种方式就不太可取,实际上他还提供了AI-Service的工具类来帮助我们可以灵活更换大模型.

编写一个接口

public interface IChatAssistant {String chat(String message);
}

我们修改一下我们的配置类

@Configuration
public class LLMConfig {/*** 构建 LLM 模型* @return*/@Beanpublic ChatLanguageModel chatLanguageModel(){return OpenAiChatModel.builder().apiKey("").modelName("qwen-max").baseUrl("").build();}/*** 构建 LLM 服务,AI助手,基于配置的大模型来使用* @return*/@Beanpublic IChatAssistant chatAssistant(){return AiServices.builder(IChatAssistant.class).chatLanguageModel(chatLanguageModel()).build();}
}

测试,依旧能够访问

3.3 日志打印

去执行上述测试的小伙伴应该发现了,控制台没有任何的日志输出,我们不知道用户具体输入了什么,对于排查问题来讲肯定是不友好的.Langchain4j为我们提供了日志的开关,让我们可以查看到日志的打印.

修改yml配置文件

logging:level:dev:langchain4j: DEBUGai4j:openai4j: DEBUG

修改配置类

/*** 构建 LLM 模型* @return*/
@Bean
public ChatLanguageModel chatLanguageModel(){return OpenAiChatModel.builder().apiKey("").modelName("qwen-max")// 是否打印请求日志.logRequests(true)// 是否打印响应日志.logResponses(true).baseUrl("").build();
}

当然还有一步,Langchain4j是基于SLF4j的日志框架,所以我们需要引入logback日志框架

<dependency><groupId>ch.qos.logback</groupId><artifactId>logback-classic</artifactId><version>1.5.8</version>
</dependency>

测试,控制台打印

3.4 流式响应

测试过后的同学应该发现了,我们需要等待很久,最后才把输出的结果给到我们.这样对用户的体验肯定是不友好的.我们平常使用的一些ai大模型,是可以感受到他是慢慢的打印出来回复你的答案,而不是一口气讲所有的文本返回回来.

Langchain4j也为我们提供了这样的流式响应的功能.我们需要引入新的依赖

<dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-reactor</artifactId><version>0.35.0</version>
</dependency>

然后需要引入新的配置,Langchain4j提供了流式大模型.我们什么都不用改,只需要修改注入的类就行,其他的配置与原来的相同.以及再配置一个AI-Service.

@Bean
public StreamingChatLanguageModel streamingChatLanguageModel(){return OpenAiStreamingChatModel.builder().apiKey("").modelName("qwen-max")// 是否打印请求日志.logRequests(true)// 是否打印响应日志.logResponses(true).baseUrl("").build();
}
@Bean
public IChatStreamAssistant chatStreamAssistant(){return  AiServices.builder(IChatStreamAssistant.class).streamingChatLanguageModel(streamingChatLanguageModel()).build();
}

对接的AI-Service需要修改其的返回类型.

package org.kuchen.service;import reactor.core.publisher.Flux;/*** @author kuchen*/
public interface IChatStreamAssistant {Flux<String> chat(String message);
}

controller层编写