LangChain---大型语言模型(LLM)的标准接口和编程框架

1.背景说明

        公司在新的一年规划中突然提出要搞生成式AI(GenAI)的相关东西,在公司分享的参考资料中了解到了一些相关的信息,之所以想到使用LangChain,是因为在应用中遇到了瓶颈问题,除了已经了解和研究过的OpenAI的ChatGpt,基本再没有别的生成AI的相关应用落地。一方面,gpt的目前使用仅限于通过接口秘钥去调用将结果返回到页面上,而公司希望能够通过代码接口的方式传入数据调用不同的开源大语言模型,然后实时返回解析结果。另一方面,OpenAI的所有预训练模型及使用都是收费的,尽管每个token的收费为$0.002~$0.005,但如果输入和输出的内容较多,特别在调试阶段,需要反复测试不同情况下系统的响应,这样积累下来的花费是非常大的。因此决定尝试使用其它的LLM模型代替OpenAI模型,例如Meta于2月份推出的LLaMa模型以及Google的flan-t5-xxl模型。而不管要使用别的任意开源模型,都需要依赖一个访问接口才可以。

2.LangChain

        介绍

        LangChain是一个围绕大型语言模型(Large Language Models, LLMs)建立的开源框架。LangChain不是LLM的提供者,而是提供了一个标准接口,它简化了提示(prompt)管理和优化,通过这个接口,用户可以与各种LLM进行交互,并包括与LLM一起工作的通用工具。LangChain为链(chains)提供了一个标准接口,使开发者能够创建超越单一LLM调用的调用序列。此外,它能够对长篇文字进行总结和对特定数据源的提问进行回答。

        特性

        大型语言模型 (LLMs) 是一种日益变革的技术,使开发者能够建立以前无法想象的应用程序。然而,孤立地使用LLM往往不足以创建真正强大的应用程序,LLMs的真正力量在于它们与其他计算或知识来源的整合。Langchain是一个尖端的开源Python库,专门提供先进的LLM链、代理、工具和索引,它以创新的面向对象的方式创建提示 (prompts),并将工具的输出链化。LangChain和Llama-index正试图准确地解决这些挑战。LangChain为开发者提供了以下功能,其复杂程度依次递增:

(1) LLMs and Prompts

(2) Chains

(3) Data Augmented Generation

(4) Agents

(5) Memory

(6) Evaluation

LangChain的其他一些特点包括它对数据增强生成、代理、内存和评估的支持。它为链提供了一个标准的接口,并与其他工具进行了大量的整合。LangChain还提供了一个标准的代理(agents)接口,提供了一些可供选择的代理,以及端到端的代理实例。这些代理可用于更接地气的问题回答、与API的互动,甚至采取行动。在LangChain中,代理是使用语言模型与其他工具互动的系统。这些代理可以用来为下一代个人助理提供动力--这些系统可以智能地理解用户的意思,然后采取行动来帮助完成目标。内存是LangChain的另一个特点,它允许在链或代理的调用之间持久保存状态。

3 测试

        为了取代OpenAI,首先想到的是HuggingFace库中的模型,在GPT-2时代,我们一直使用该库中的模型,本公众号在2021年写了大量这方面的文章,下面是一个简单应用例子,在这个例子中,共使用了3个类:PromptTemplate用来创建创建提示行的格式prompt,HuggingFaceHub用来建立预训练模型hub_llm,LLMChain用来产生模型链llm_chain。在本例中,使用了google/flan-t5-xxl模型,该模型是在T5【生成摘要(Summarization)的新方法】的基础上发展而来的。

from langchain import PromptTemplate, HuggingFaceHub, LLMChaintemplate = """Question: {question}Answer: Let's think step by step."""prompt = PromptTemplate(template=template, input_variables = ["question"])hub_llm = HuggingFaceHub(        repo_id = model_id,    model_kwargs={"temperature":1, "max_length":364})llm_chain = LLMChain(prompt=prompt, llm=hub_llm)question = "What is mining engineering?"print(llm_chain.run(question))

问题:What is mining engineering?

回答:Mining engineering is the engineering discipline that applies science and technology to the extraction of minerals from the earth.(采矿工程是将科学和技术应用于从地球上提取矿物的工程学科) [first.py]

4 结束语

        本文讨论了LangChain的使用,LangChain是一个围绕大型语言模型(LLM)建立的开源框架,是为了解决成本问题预先训练好的模型。LangChain简化了提示管理和优化,允许用户与各种LLM互动,并创建调用链以超越单一的LLM。该框架还支持数据生成文章。提供了一个使用LangChain的例子,用HuggingFace库中的模型作为预训练模型,用LLMChain生成一个模型链。这个例子的应用成功地回答了"什么是采矿工程"的问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/713533.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

蓝桥杯Java B组历年真题(2013年-2019年)

一、2013年真题 1、世纪末的星期 使用日期类判断就行,这里使用LocalDate,也可以使用Calendar类 答案 2099 使用LocalDate import java.time.LocalDate; import java.time.format.DateTimeFormatter; // 1:无需package // 2: 类名必须Main, 不可修改p…

1小时网络安全事件报告要求,持安零信任如何帮助用户应急响应?

12月8日,国家网信办起草发布了《网络安全事件报告管理办法(征求意见稿)》(以下简称“办法”)。拟规定运营者在发生网络安全事件时应当及时启动应急预案进行处置。 1小时报告 按照《网络安全事件分级指南》&#xff0c…

速盾:动态网站用cdn更慢吗

当谈到网站速度时,内容传递网络(Content Delivery Network,CDN)是不可忽视的一个因素。很多人可能有疑惑,动态网站使用CDN是否会导致加载速度变慢。为了解决这个问题,我们需要了解动态网站和CDN的工作原理&…

mybatis动态加载mapper.xml

mybatis动态加载mapper.xml mybatis动态加载mapper.xml、springboot mybatis动态加载mapper.xml 教程连接:https://blog.csdn.net/weixin_44480167/article/details/136356398

测试linux系统某些文件属性之test命令

要检测系统上某些文件或相关属性时,我们可以使用test命令,比如:检查/root/ztj.txt文件是否存在,可以使用test -e /root/ztj.txt命令,不过执行结果不会显示任何信息,需配合$?或&&及||来展现具体结果…

Find My扫地机器人|苹果Find My技术与机器人结合,智能防丢,全球定位

扫地机器人又称自动打扫机、智能吸尘、机器人吸尘器等,是智能家电的一种,能凭借人工智能,自动在房间内完成地板清理工作。一般采用刷扫和真空方式,将地面杂物先吸纳进入自身的垃圾收纳盒,从而完成地面清理的功能。现今…

[AutoSar]BSW_Com07 CAN报文接收流程的函数调用

目录 关键词平台说明一、背景二、顺序总览三、函数说明3.1 Com_RxIndication() 关键词 嵌入式、C语言、autosar、OS、BSW 平台说明 项目ValueOSautosar OSautosar厂商vector ,芯片厂商TI 英飞凌编程语言C,C编译器HighTec (GCC)…

贝叶斯定理与条件独立假设:朴素贝叶斯分类方法深度解读

今天给大家分享的是朴素贝叶斯算法,这个算法在实际使用中不是很多,因为现在很多算法已经发展的很好,性能上也比朴素贝叶斯算法的好很多,因此在实际中我们其实看到在实际应用中朴素贝叶斯算法的使用已经比较少,即使出现…

HotFix原理学习 IL2CPP 学习

原文链接:Unity 游戏用XLua的HotFix实现热更原理揭秘-CSDN博客 本文通过对XLua的HoxFix使用原理的研究揭示出来这样的一套方法。这个方法的 第一步:通过对C#的类与函数设置Hotfix标签。来标识需要支持热更的类和函数。第二步:生成函数连接器…

好视通视频会议系统存在任意文件读取漏洞复现 [附POC]

漏洞简介 好视通视频会议是由深圳市华视瑞通信息技术有限公司开发,其在国内率先推出了3G互联网视频会议,并成功应用于SAAS领域。 资产 FOFA:app"好视通-视频会议" POC GET /register/toDownload.do?fileName../../../../../../../../../.…

代码随想录-回溯算法

组合 //未剪枝 class Solution {List<List<Integer>> ans new ArrayList<>();Deque<Integer> path new LinkedList<>();public List<List<Integer>> combine(int n, int k) {backtracking(n, k, 1);return ans;}public void back…

MySql安全加固:可信IP地址访问控制 设置密码复杂度

MySql安全加固&#xff1a;可信IP地址访问控制 & 设置密码复杂度 1.1 可信IP地址访问控制1.2 设置密码复杂度 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; 1.1 可信IP地址访问控制 当您在创建用户时使用’%作为主机部分&#xff0c;…

【C语言】字符型变量and整型变量的类型转换

一、将字符型变量转换为整型变量 char c A; int i (int)c; 二、将整型变量转换成字符型变量 int i 65; char c (char)i;

Unity 实战一:这几年被广告刷屏的沙雕跑酷游戏

姐就是女王&#xff0c;功夫跑酷&#xff0c;拣枪干架跑酷等 核心不用说了吧&#xff1a; 就是一个人不断地跑&#xff0c;获取不同属性&#xff0c;判断是否过关 好的&#xff0c;以下是一篇基于Unity 开发简易版有障碍物的跑酷游戏的教程博客&#xff1a; 在这篇博客中&…

static在c语言中的作用

1、关键字static的作用是什么&#xff1f; 这个简单的问题很少有人能回答完全。在C语言中&#xff0c;关键字static有三个明显的作用&#xff1a; 1). 在函数体&#xff0c;一个被声明为静态的变量在这一函数被调用过程中维持其值不变。 2). 在模块内(但在函数体外)&#xf…

Linux tload 命令教程:实时监控系统负载(附案例详解和注意事项)

Linux tload 命令介绍 tload 是一个用于监控系统负载的命令行工具。它以图形化的方式显示系统的负载情况&#xff0c;帮助你了解 CPU 和内存的使用情况。 Linux tload 命令适用的 Linux 版本 tload 在大多数 Linux 发行版中都可用。如果你在某些特定的 Linux 发行版上找不到…

java数据结构与算法刷题-----LeetCode437. 路径总和 III(前缀和必须掌握)

java数据结构与算法刷题目录&#xff08;剑指Offer、LeetCode、ACM&#xff09;-----主目录-----持续更新(进不去说明我没写完)&#xff1a;https://blog.csdn.net/grd_java/article/details/123063846 文章目录 1. 深度优先2. 前缀和 1. 深度优先 解题思路&#xff1a;时间复…

kibana7.17.7 将数据导出csv文件

配置kibana文件 首先先配置kibana.yaml内容如下&#xff0c;这里假设我的服务器ip地址为192.168.130.128&#xff0c;elasticsearch的ip地址为&#xff1a;192.168.130.129:9200&#xff0c;192.168.130.130:9200&#xff1a; server.host: "192.168.130.128" serv…

每日OJ题_分治归并③_力扣315. 计算右侧小于当前元素的个数

目录 315. 计算右侧小于当前元素的个数 解析代码 力扣315. 计算右侧小于当前元素的个数 315. 计算右侧小于当前元素的个数 难度 困难 给你一个整数数组 nums &#xff0c;按要求返回一个新数组 counts 。数组 counts 有该性质&#xff1a; counts[i] 的值是 nums[i] 右侧…

MongoDB 未授权访问

开启 MongoDB 服务时不添加任何参数时,默认是没有权限验证的,而且可以远程访问数据库&#xff0c; 登录的 用户可以通过默认端口无需密码对数据库进行增、删、改、查等任意高危操作。 防护 为 MongoDB 添 加 认 证 &#xff1a; 1)MongoDB 启动时添加–auth参数 2)给 MongoD…