LangChain4j支持的API类型

本文描述了底层的大语言模型(LLM)API。高级的LLM API参见AI服务。

1 LLM API的类型

1.1 LanguageModel

非常简单—,接受一个String作为输入,并返回一个String作为输出。

该API现正逐渐被聊天API(第二种API类型)取代。

1.2 ChatLanguageModel

这种API接受一或多个ChatMessage作为输入,并返回一个AiMessage作为输出。 ChatMessage通常包含文本,但有些LLM还支持混合文本和Image的输入。如OpenAI的gpt-4o-mini和Google的gemini-1.5-pro都属于这种。

LangChain4j中,将不再扩展对LanguageModel的支持,因此所有新功能采用ChatLanguageModel API。

ChatLanguageModel是LangChain4j中的底层API,提供了最大的功能和灵活性。还有高级API(如ChainAiServices)。

除了ChatLanguageModelLanguageModel,LangChain4j还支持以下类型的模型:

  • EmbeddingModel:可将文本转换为Embedding
  • ImageModel:可生成和编辑Image
  • ModerationModel:可检查文本中是否包含有害内容。
  • ScoringModel:可根据查询对多段文本进行评分(或排名),以确定每段文本与查询的相关性。这在RAG(检索增强生成)中非常有用。

2 ChatLanguageModel API

public interface ChatLanguageModel {String generate(String userMessage);...
}

generate接受一个String作为输入并返回一个String作为输出,类似LanguageModel。这是一个便捷方法,可快速使用它,无需将String包装在UserMessage中。

但这才是实际的聊天API:

...Response<AiMessage> generate(ChatMessage... messages);Response<AiMessage> generate(List<ChatMessage> messages);...

这些generate接受一或多个ChatMessage作为输入。ChatMessage是一个表示聊天消息的基础接口。

3 ChatMessage的类型

目前有四种聊天消息类型,每种消息对应不同的“来源”:

  • UserMessage:这是来自用户的消息。用户可以是您的应用程序的最终用户(人类)或应用程序本身。 根据LLM支持的模态,UserMessage可以包含仅文本(String)或文本和/或图像(Image)。
  • AiMessage:AI生成的消息,通常是对UserMessage的响应。 如你所见,generate返回一个包含在Response中的AiMessageAiMessage可包含文本响应(String)或请求执行工具(ToolExecutionRequest)。
  • ToolExecutionResultMessageToolExecutionRequest的结果
  • SystemMessage:系统的消息。通常,作为开发者应定义此消息的内容。可在此编写关于LLM在对话中的角色、应如何表现、以何种风格回答等指令。 LLM被训练得更关注SystemMessage,因此要小心,最好不要让最终用户随意定义或注入一些输入到SystemMessage中。 它通常位于对话的开始。

如何在对话中组合它们?

最简单的场景,可在generate方法中提供一个UserMessage实例。 这与第一个版本的generate方法类似,它接受一个String作为输入。 主要区别在于它现在返回的不是String,而是Response<AiMessage>

Response是一个包装了内容(负载)的对象,经常看到它作为*Model类的返回类型。 除了内容(在这种情况下是AiMessage),Response还包含生成的元信息:

  • TokenUsage,统计了输入(提供给generate方法的所有ChatMessage)中包含的token数及输出(AiMessage)中生成的token数,并给出总数(输入 + 输出)。需要这些信息来计算每次调用LLM的成本
  • FinishReason,枚举类型,表示生成停止的各种原因。通常,如果LLM自行决定停止生成,则原因会是FinishReason.STOP

创建UserMessage

有多种方式,取决于内容。最简单的new UserMessage("Hi")UserMessage.from("Hi")`。

4 多个ChatMessage

为啥要提供多个ChatMessage作为输入,而不仅是一个? 因为LLM本质上是无状态的,这意味着它们不会维护对话的状态。 因此,如果你想支持多轮对话,则需要自己管理对话的状态。

假设想构建一个聊天机器人。想象一下用户和聊天机器人(AI)之间的简单多轮对话:

  • 用户:你好,我叫JavaEdge
  • AI:你好JavaEdge,我能帮你什么?
  • 用户:我叫什么名字?
  • AI:JavaEdge

这就是与ChatLanguageModel交互的样子:

UserMessage firstUserMessage = UserMessage.from("Hello, my name is JavaEdge");
AiMessage firstAiMessage = model.generate(firstUserMessage).content(); // JavaEdge,我能帮你什么?
UserMessage secondUserMessage = UserMessage.from("What is my name?");
AiMessage secondAiMessage = model.generate(firstUserMessage, firstAiMessage, secondUserMessage).content(); // JavaEdge

如你所见,在第二次调用generate方法时,不仅提供了secondUserMessage,还提供了对话中的前几条消息。

手动维护和管理这些消息比较繁琐,因此引入ChatMemory

关注我,紧跟本系列专栏文章,咱们下篇再续!

作者简介:魔都架构师,多家大厂后端一线研发经验,在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。

各大技术社区头部专家博主。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。

负责:

  • 中央/分销预订系统性能优化

  • 活动&券等营销中台建设

  • 交易平台及数据中台等架构和开发设计

  • 车联网核心平台-物联网连接平台、大数据平台架构设计及优化

  • LLM Agent应用开发

  • 区块链应用开发

  • 大数据开发挖掘经验

  • 推荐系统项目

    目前主攻市级软件项目设计、构建服务全社会的应用系统。

参考:

  • 编程严选网

    本文由博客一文多发平台 OpenWrite 发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/54409.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Delphi】通过 LiveBindings Designer 链接控件示例

本教程展示了如何使用 LiveBindings Designer 可视化地创建控件之间的 LiveBindings&#xff0c;以便创建只需很少或无需源代码的应用程序。 在本教程中&#xff0c;您将创建一个高清多设备应用程序&#xff0c;该应用程序使用 LiveBindings 绑定多个对象&#xff0c;以更改圆…

十七、RC振荡电路

振荡电路 1、振荡电路的组成、作用、起振的相位条件以及振荡电路起振和平衡幅度条件&#xff0c; 2、RC电路阻抗与频率、相位与频率的关系曲线; 3、RC振荡电路的相位条件分析和振荡频率

【数据结构】线性数据结构-顺序栈

栈&#xff08;Stack&#xff09;是一种基本的数据结构&#xff0c;具有以下特点&#xff1a; 后进先出&#xff08;LIFO, Last In First Out&#xff09;&#xff1a;栈内的数据项遵循后进先出的原则&#xff0c;即最后存入的项最先被取出。 操作限制&#xff1a;栈通常只允许…

【yolo算法打架行为检测行人检测】

yolo打架行为检测 yolo算法打架行为检测yolo行人检测 yolo算法打架行为检测 数据集和模型YOLO算法打架行为检测数据集1万数据集 分两个类别&#xff1a;正常&#xff0c;打架行为&#xff1b; train: ../train/images val: ../valid/images test: ../test/images nc: 2 names…

一次RPC调用过程是怎么样的?

注册中心 RPC&#xff08;Remote Procedure Call&#xff09;翻译成中文就是 {远程过程调用}。RPC 框架起到的作用就是为了实现&#xff0c;调用远程方法时&#xff0c;能够做到和调用本地方法一样&#xff0c;让开发人员更专注于业务开发&#xff0c;不用去考虑网络编程等细节…

项目实战 (15)--- 代码区块重构及相关技术落地

目录 背景 思想与技术方案 概述 路由及socket 封装模式 技术描述 方案 1 方案2 各类连接资源管理封装 vector db connection cache management web socket 管理 service 封装 代码实现 service 层 router层 resource层 小结 背景 到目前为止,视频搜索系统功…

演示jvm锁存在的问题

文章目录 1、AlbumInfoApiController --》testLock()2、redis添加键值对3、AlbumInfoServiceImpl --》testLock() 没有加锁4、使用ab工具测试4.1、安装 ab 工具4.2、查看 redis 中的值 5、添加本地锁 synchronized6、集群情况下问题演示 jvm锁&#xff1a;synchronized lock 只…

golang学习笔记27——golang 实现 RPC 模块

推荐学习文档 golang应用级os框架&#xff0c;欢迎stargolang应用级os框架使用案例&#xff0c;欢迎star案例&#xff1a;基于golang开发的一款超有个性的旅游计划app经历golang实战大纲golang优秀开发常用开源库汇总想学习更多golang知识&#xff0c;这里有免费的golang学习笔…

golang学习笔记3-变量的声明

声明&#xff1a;本人已有C&#xff0c;C,Python基础&#xff0c;只写本人认为的重点&#xff0c;方便自己回顾。 一、变量的三种声明方式 func main() {//方式1&#xff0c;指定数据类型&#xff0c;声明后若不赋值&#xff0c;使用默认值//比如int的默认值是0&#xff0c;st…

尚品汇-H5移动端整合系统(五十五)

目录&#xff1a; &#xff08;1&#xff09;运行前端页面 &#xff08;2&#xff09;启动前端页面 &#xff08;3&#xff09;添加搜索分类接口 &#xff08;4&#xff09;购物车模块修改 &#xff08;5&#xff09;登录模块 &#xff08;6&#xff09;订单模块 &#…

Golang | Leetcode Golang题解之第423题从英文中重建数字

题目&#xff1a; 题解&#xff1a; func originalDigits(s string) string {c : map[rune]int{}for _, ch : range s {c[ch]}cnt : [10]int{}cnt[0] c[z]cnt[2] c[w]cnt[4] c[u]cnt[6] c[x]cnt[8] c[g]cnt[3] c[h] - cnt[8]cnt[5] c[f] - cnt[4]cnt[7] c[s] - cnt[6]…

【Verilog学习日常】—牛客网刷题—Verilog快速入门—VL16

使用8线-3线优先编码器Ⅰ实现16线-4线优先编码器 描述 ②请使用2片该优先编码器Ⅰ及必要的逻辑电路实现16线-4线优先编码器。优先编码器Ⅰ的真值表和代码已给出。 可将优先编码器Ⅰ的代码添加到本题答案中&#xff0c;并例化。 优先编码器Ⅰ的代码如下&#xff1a; module…

【CentOS 7 】设置密码命令

好久没用虚拟机&#xff0c;今天打开忘了密码&#xff0c;还好设置了快照&#xff0c;赶紧改密码 1.切换到 root 用户 sudo su -2.输入以下命令以更改 root 用户的密码&#xff1a; passwd root3.按照提示输入新的密码&#xff0c;然后再次输入以确认。

MyBatis 源码解析:TypeHandler 设计与自定义实现

引言 在 MyBatis 中&#xff0c;TypeHandler 是一个非常重要的接口&#xff0c;它的作用是将 Java 类型和数据库类型进行互相转换。当我们执行 SQL 查询或插入操作时&#xff0c;TypeHandler 决定了如何将 Java 对象转换为数据库字段类型&#xff0c;或将数据库字段转换为 Jav…

[python]从零开始的PySide安装配置教程

一、PySide是什么&#xff1f; PySide 是 Qt for Python 项目的一部分&#xff0c;它提供了与 PyQt 类似的功能&#xff0c;使开发者能够使用 Python 编程语言来构建基于 Qt 的图形用户界面 (GUI) 应用程序。PySide 是由 Qt 公司官方维护的&#xff0c;而 PyQt 则是由第三方开发…

【Pyside】pycharm2024配置conda虚拟环境

知识拓展 Pycharm 是一个由 JetBrains 开发的集成开发环境&#xff08;IDE&#xff09;&#xff0c;它主要用于 Python 编程语言的开发。Pycharm 提供了代码编辑、调试、版本控制、测试等多种功能&#xff0c;以提高 Python 开发者的效率。 Pycharm 与 Python 的关系 Pycharm 是…

【JavaEE】——多线程(join阻塞,计算,引用,状态)

阿华代码&#xff0c;不是逆风&#xff0c;就是我疯&#xff0c;你们的点赞收藏是我前进最大的动力&#xff01;&#xff01;希望本文内容能够帮助到你&#xff01; 目录 一&#xff1a;join等待线程结束 1&#xff1a;知识回顾 2&#xff1a;join的功能就是“阻塞等待” …

PyTorch 实现手写数字识别

PyTorch 实现手写数字识别 在本教程中&#xff0c;我们将使用 PyTorch 实现经典的手写数字识别任务。我们将使用 MNIST 数据集&#xff0c;这是一个包含手写数字的图像数据集。我们将介绍如何使用 PyTorch 构建、训练和评估一个简单的卷积神经网络&#xff08;CNN&#xff09;…

【linux】kill命令

kill 命令在 Linux 和类 Unix 系统中用于向进程发送信号&#xff0c;默认情况下是发送 SIGTERM&#xff08;信号 15&#xff09;&#xff0c;请求程序终止运行。如果程序没有响应 SIGTERM 信号&#xff0c;可以使用 SIGKILL&#xff08;信号 9&#xff09;强制终止进程&#xf…

java之斗地主部分功能的实现

今天我们要实现斗地主中发牌和洗牌这两个功能&#xff0c;该如何去实现呢&#xff1f; 1.创建牌类&#xff1a;52张牌每一张牌包含两个属性:牌的大小和牌的花色。 故我们优先创建一个牌的类(Card)&#xff1a;包含大小和花色。 public class Card { //单张牌的大小及类型/…