Spring AI 第二讲 之 Chat Model API 第九节 watsonx.ai Chat

通过 watsonx.ai,你可以在本地运行各种大型语言模型(LLM),并从中生成文本。Spring AI 通过 WatsonxAiChatModel 支持 watsonx.ai 文本生成。

您首先需要拥有一个 watsonx.ai 的 SaaS 实例(以及一个 IBM 云帐户)。

请参阅免费试用,免费试用 watsonx.ai

更多信息请点击此处

自动配置

Spring AI 为 watsonx.ai 聊天客户端提供了 Spring Boot 自动配置功能。要启用它,请在项目的 Maven pom.xml 文件中添加以下依赖项:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-watsonx-ai-spring-boot-starter</artifactId>
</dependency>

 或 Gradle build.gradle 构建文件。

dependencies {implementation 'org.springframework.ai:spring-ai-watsonx-ai-spring-boot-starter'
}

聊天属性

连接属性

前缀 spring.ai.watsonx.ai 用作属性前缀,可让您连接到 watsonx.ai。

PropertyDescriptionDefault

spring.ai.watsonx.ai.base-url

要连接的 URL

us-south.ml.cloud.ibm.com

spring.ai.watsonx.ai.stream-endpoint

流媒体端点

generation/stream?version=2023-05-29

spring.ai.watsonx.ai.text-endpoint

文本终端

generation/text?version=2023-05-29

spring.ai.watsonx.ai.project-id

项目 ID

-

spring.ai.watsonx.ai.iam-token

IBM 云账户 IAM 令牌

-

配置属性

spring.ai.watsonx.ai.chat 前缀是让你配置 Watsonx.AI 聊天模型实现的属性前缀。 

PropertyDescriptionDefault

spring.ai.watsonx.ai.chat.enabled

启用 Watsonx.AI 聊天模型。

true

spring.ai.watsonx.ai.chat.options.temperature

模型的温度。温度越高,模型的答案越有创意。

0.7

spring.ai.watsonx.ai.chat.options.top-p

与 top-k 一起使用。较高的值(如 0.95)将产生更多样化的文本,而较低的值(如 0.2)将产生更集中和保守的文本。

1.0

spring.ai.watsonx.ai.chat.options.top-k

降低产生无意义答案的概率。数值越大(如 100),答案就越多样化,而数值越小(如 10),答案就越保守。

50

spring.ai.watsonx.ai.chat.options.decoding-method

解码是模型在生成的输出中选择标记的过程。

greedy

spring.ai.watsonx.ai.chat.options.max-new-tokens

设置 LLM 遵循的标记上限。

20

spring.ai.watsonx.ai.chat.options.min-new-tokens

设置 LLM 必须生成的令牌数量。

0

spring.ai.watsonx.ai.chat.options.stop-sequences

设置 LLM 停止的时间。(例如,["\n\n\n"]),那么当 LLM 产生三个连续的换行符时就会终止。在生成 Min tokens 参数中指定的标记数之前,停止序列将被忽略。

-

spring.ai.watsonx.ai.chat.options.repetition-penalty

设置对重复的惩罚力度。数值越大(如 1.8),对重复的惩罚力度就越大,而数值越小(如 1.1),惩罚力度就越宽松。

1.0

spring.ai.watsonx.ai.chat.options.random-seed

产生可重复的结果,每次设置相同的随机种子值。

randomly generated

spring.ai.watsonx.ai.chat.options.model

模型是要使用的 LLM 模型的标识符。

google/flan-ul2

运行时选项

WatsonxAiChatOptions.java 提供了模型配置,如使用的模型、温度、频率惩罚等。

启动时,可使用 WatsonxAiChatModel(api, options) 构造函数或 spring.ai.watsonxai.chat.options.* 属性配置默认选项。

在运行时,你可以通过向提示调用添加新的、针对特定请求的选项来覆盖默认选项。例如,覆盖特定请求的默认模型和温度:

ChatResponse response = chatModel.call(new Prompt("Generate the names of 5 famous pirates.",WatsonxAiChatOptions.builder().withTemperature(0.4).build()));

除了特定于模型的 WatsonxAiChatOptions.java 之外,你还可以使用通过 ChatOptionsBuilder#builder() 创建的便携式 ChatOptions实例。

 使用示例

public class MyClass {private final static String MODEL = "google/flan-ul2";private final WatsonxAiChatModel chatModel;@AutowiredMyClass(WatsonxAiChatModel chatModel) {this.chatModel = chatModel;}public String generate(String userInput) {WatsonxAiOptions options = WatsonxAiOptions.create().withModel(MODEL).withDecodingMethod("sample").withRandomSeed(1);Prompt prompt = new Prompt(new SystemMessage(userInput), options);var results = chatModel.call(prompt);var generatedText = results.getResult().getOutput().getContent();return generatedText;}public String generateStream(String userInput) {WatsonxAiOptions options = WatsonxAiOptions.create().withModel(MODEL).withDecodingMethod("greedy").withRandomSeed(2);Prompt prompt = new Prompt(new SystemMessage(userInput), options);var results = chatModel.stream(prompt).collectList().block(); // wait till the stream is resolved (completed)var generatedText = results.stream().map(generation -> generation.getResult().getOutput().getContent()).collect(Collectors.joining());return generatedText;}}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/850531.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Elasticsearch高效检索:基础查询详解

在当今大数据和云计算的时代&#xff0c;信息的快速检索和高效处理成为了企业竞争的关键。Elasticsearch&#xff0c;作为一款基于Lucene构建的开源、分布式、RESTful搜索引擎&#xff0c;以其强大的全文搜索和结构化搜索能力&#xff0c;赢得了众多开发者和企业的青睐。今天&a…

web前端复试经验:深度解析与实用指南

web前端复试经验&#xff1a;深度解析与实用指南 在Web前端开发领域的求职过程中&#xff0c;复试无疑是一个至关重要的环节。它既是对求职者技术实力的全面检验&#xff0c;也是展现个人能力与潜力的绝佳机会。本文将围绕四个方面、五个方面、六个方面和七个方面&#xff0c;…

C++STL(四)priority_queue的详细用法及仿函数实现

目录 一&#xff1a;&#x1f525;介绍二&#xff1a;&#x1f525;priority_queue 的基本操作三&#xff1a;&#x1f525;priority_queue 的原型定义四&#xff1a;&#x1f525;重写仿函数4.1.仿函数的介绍4.2.priority_queue仿函数代码示例 五&#xff1a;&#x1f525;pri…

Recognize Anything: A Strong Image Tagging Model(RAM模型使用方法)

一、RAM模型介绍 这篇论文介绍了一个名为“Recognize Anything Model”&#xff08;RAM&#xff09;的新型基础模型&#xff0c;专用于图像标签识别&#xff08;图像分类&#xff09;。这一模型采用大规模图像-文本配对数据进行训练&#xff0c;无需手动注释&#xff0c;能够在…

关于焊点检测(SJ-BIST)模块实现

关于焊点检测&#xff08;SJ-BIST&#xff09;模块实现 语言 &#xff1a;Verilg HDL 、VHDL EDA工具&#xff1a;ISE、Vivado、Quartus II 关于焊点检测&#xff08;SJ-BIST&#xff09;模块实现一、引言二、焊点检测功能的实现方法&#xff08;1&#xff09; 输入接口&#x…

数据库(28)——联合查询

对于union查询&#xff0c;就是把多次查询的结果合并起来&#xff0c;形成一个新的查询结果集。 语法 SELECT 字段列表 FROM 表A... UNION [ALL] SELECT 字段列表 FROM 表B...; 演示 select * from user where age > 22 union all select * from user where age < 50; u…

oracle linux和ubuntu的区别

Oracle Linux和Ubuntu是两种不同的Linux发行版&#xff0c;它们有一些区别&#xff1a; 背景和支持&#xff1a; Oracle Linux是由Oracle公司开发和支持的&#xff0c;它是基于Red Hat Enterprise Linux (RHEL)的一个分支。Ubuntu是由Canonical Ltd.开发和支持的&#xff0c;它…

【Python机器学习】PCA——特征提取(2)

上一篇写过了用单一最近邻分类器训练后的精度只有0.22. 现在用PCA。想要度量人脸的相似度&#xff0c;计算原始像素空间中的距离是一种相当糟糕的方法。用像素表示来比较两张图像时&#xff0c;我们比较的是每个像素的灰度值与另一张图像对应位置的像素灰度值。这种表示与人们…

Vue3 组合式 API:依赖注入(四)

provide() provide() 函数是用于依赖注入的一个关键部分。这个函数允许你在组件树中提供一个值或对象&#xff0c;使得任何子组件&#xff08;无论层级多深&#xff09;都能够通过 inject() 函数来访问这些值。 import { provide, ref } from vue; export default { setup(…

iOS Universal Links 配置

前言 Universal Links 通用链接&#xff0c;我的理解就是通过点击这个链接&#xff0c;能够打开应用&#xff0c;还可以根据配置的路径和参数跳转到App内指定页面和传递参数。我们做微信QQ登录分享时会要求配置这个链接。网上有很多文章介绍了如何配置&#xff0c;但是每次随便…

力扣经典面试题-旋转链表(Java)

1.题目描述&#xff1a;给你一个链表的头节点 head &#xff0c;旋转链表&#xff0c;将链表每个节点向右移动 k 个位置。 示例 1&#xff1a; 输入&#xff1a;head [1,2,3,4,5], k 2 输出&#xff1a;[4,5,1,2,3] 示例 2&#xff1a; 输入&#xff1a;head [0,1,2], k …

python数据分析-连云港石化基地2023年用电量分析

接下来对连云港石化基地2023年用电量进行分析&#xff0c;首先导入数据分析基本的包&#xff1a; import pandas as pd import matplotlib.pyplot as plt# Load the data from the provided Excel files file_path1 data1.xlsx file_path2 data2.xlsxdata1 pd.read_excel(f…

设计模式之观察者模式ObserverPattern(十一)

一、概述 观察者模式 (Observer Pattern) 是一种行为型设计模式&#xff0c;又被称为发布-订阅 (Publish/Subscribe) 模式&#xff0c;它定义了对象之间的一种一对多的依赖关系&#xff0c;使得当一个对象的状态发生变化时&#xff0c;所有依赖于它的对象都会自动收到通知并更新…

Leetcode 力扣109. 有序链表转换二叉搜索树 (抖音号:708231408)

给定一个单链表的头节点 head &#xff0c;其中的元素 按升序排序 &#xff0c;将其转换为 平衡 二叉搜索树。 示例 1: 输入: head [-10,-3,0,5,9] 输出: [0,-3,9,-10,null,5] 解释: 一个可能的答案是[0&#xff0c;-3,9&#xff0c;-10,null,5]&#xff0c;它表示所示的高…

arm架构下torch环境的安装(主要是conda,torch,torchvision以及tensorflow)

以前装过arm架构下的深度学习环境还是有点麻烦的&#xff0c;在此记录一下 参考&#xff1a;https://blog.csdn.net/condom10010/article/details/128139401?ops_request_misc&request_id&biz_id102&utm_termorin%E5%B9%B3%E5%8F%B0%E6%9E%B6%E6%9E%84%E9%85%8D%E…

ubuntu22.04防火墙策略

1. 安装和配置UFW 1.1 安装UFW 如果UFW尚未安装&#xff0c;可以使用以下命令进行安装&#xff1a; sudo apt update sudo apt install ufw1.2 启用UFW 启用UFW并允许SSH流量&#xff0c;以防止自己被锁定在系统之外&#xff1a; sudo ufw allow OpenSSH sudo ufw enable2…

2 程序的灵魂—算法-2.2 简单算法举例-【例 2.4】

【例 2.4】求 100 1 - 1/2 - 1/3 … 1/100 算法可表示如下&#xff1a; S1: sigh1 S2: sum1 S3: deno2 S4: sigh(-1)sigh S5: term sigh(1/deno ) S6: termsumterm S7: deno deno 1 S8:若 deno≤100&#xff0c;返回 S4&#xff1b;否则&#xff0c;结束。 double sum 1.0; …

C++11 列表初始化(initializer_list),pair

1. {} 初始化 C98 中&#xff0c;允许使用 {} 对数组进行初始化。 int arr[3] { 0, 1, 2 };C11 扩大了 {} 初始化 的使用范围&#xff0c;使其可用于所有内置类型和自定义类型。 struct Date {int _year;int _month;int _day;Date(int year, int month, int day):_year(year…

线性数据结构-栈

在JavaScript中&#xff0c;栈&#xff08;Stack&#xff09;是一种遵循后进先出&#xff08;Last In First Out, LIFO&#xff09;原则的数据结构。这意味着最后进入栈的元素将会是第一个被移除的元素。栈通常被用于限制线性数据的访问顺序&#xff0c;使得数据的插入和删除操…

【MySQL】(基础篇二) —— MySQL初始用

MySQL初始用 目录 MySQL初始用基本语法约定选择数据库查看数据库和表其它的SHOW 在Navicat中&#xff0c;大部分数据库管理相关的操作都可以通过图形界面完成&#xff0c;这个很简单&#xff0c;大家可以自行探索。虽然Navicat等图形化数据库管理工具为操作和管理数据库提供了非…