OpenAI项目爆改GLM——以基于llama_index的pdf阅读助手

最近在做大模型agent构建,看了许多不错的开源项目,但是clone下来就是一整个不能用,因为github上开源的项目基本都是基于openai做的。而如果想要转成国内大模型backbone,需要修改的地方挺多的。

现在以一个简单的pdf reader agent为例来做一下相关的解读

原始项目地址:GitHub - gabacode/chatPDF: Load a PDF file and ask questions via llama_index and GPT

代码写的非常简单:

import logginglogging.basicConfig(level=logging.CRITICAL)import os
from pathlib import Pathimport openai
from dotenv import load_dotenv
from langchain.chat_models import ChatOpenAI
from llama_index import GPTVectorStoreIndex, LLMPredictor, ServiceContext, StorageContext, download_loader, load_index_from_storage
from utils import CACHE, FILES, models, cls, handle_save, handle_exit, initialize, select_fileload_dotenv()
#openai.api_key = os.environ["OPENAI_API_KEY"]
history = []llm_predictor = LLMPredictor(llm=ChatOpenAI(temperature=0.618, model_name=models["gpt-3"], max_tokens=256))service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor, chunk_size_limit=1024)def make_index(file):cls()print("👀 Loading...")PDFReader = download_loader("PDFReader")loader = PDFReader()documents = loader.load_data(file=Path(FILES) / file)if os.path.exists(Path(CACHE) / file):print("📚 Index found in cache")returnelse:print("📚 Index not found in cache, creating it...")index = GPTVectorStoreIndex.from_documents(documents, service_context=service_context)index.storage_context.persist(persist_dir=Path(CACHE) / file)def chat(file_name, index):while True:prompt = input("\n😎 Prompt: ")if prompt == "exit":handle_exit()elif prompt == "save":handle_save(str(file_name), history)query_engine = index.as_query_engine(response_mode="compact")response = query_engine.query(prompt)print("\n👻 Response: " + str(response))history.append({"user": prompt, "response": str(response)})def ask(file_name):try:print("👀 Loading...")storage_context = StorageContext.from_defaults(persist_dir=Path(CACHE) / file_name)index = load_index_from_storage(storage_context, service_context=service_context)cls()print("✅ Ready! Let's start the conversation")print("ℹ️ Press Ctrl+C to exit")chat(file_name, index)except KeyboardInterrupt:handle_exit()if __name__ == "__main__":initialize()file = select_file()if file:file_name = Path(file).namemake_index(file_name)ask(file_name)else:print("No files found")handle_exit()

假设你的环境已经配置好了,即通过以下代码进入

python main.py

现在进行更改,首先是llm predictor,这个构建直接是chatopenai的配置,我们可以做如下更改

#原始代码
#llm_predictor = LLMPredictor(llm=ChatOpenAI(temperature=0.618, model_name=models["gpt-3"], max_tokens=256))#替换为如下
llm = ChatOpenAI(temperature=0.95,model="glm-4",openai_api_key="你的key",#这个是glm的调用地址openai_api_base="https://open.bigmodel.cn/api/paas/v4/"
)llm_predictor = LLMPredictor(llm)

运行后,可以继续运行,但是到选择pdf后会报错,大致错误意思是try超过范围,调试后发现应该是调用的向量模型网络不通。安装的是llama_index内置的embedding模型是调用openai,进行更改

#需要修改的包文件路径如下(假设你是anaconda)
#/opt/anaconda3/envs/chatpdf/lib/python3.9/site-packages/llama_index/embeddings/openai.py#需要修改的是get_embeddings()和get_embedding()
#get_embeddings()是批量查询返回向量
#get_embedding()是单独的查询返回向量# def get_embeddings():
# ... 
#     data = openai.Embedding.create(input=list_of_text, model=engine, **kwargs).data 这是原始调用,是openai的
# ...#更改为如下,当然你需要注意你的缩紧
#!pip install zhipuaifrom zhipuai import ZhipuAIclient = ZhipuAI(api_key="你的glm key")
data = client.embeddings.create(input=list_of_text, model = "embedding-2").data#get_embeddings()也需要做同样的修改

现在测试一下,可能会跳出因为禁用词不能进行正常对话,但是后面通过更改pdf后可以完成项目拉通!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/32032.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Qt】QList<QVariantMap>中数据修改

1. 问题 QList<QVariantMap> 类型中&#xff0c;修改QVariantMap中的值。 2. 代码 //有效代码1QVariantMap itemMap itemList.at(0);itemMap.insert("title", "test");itemList.replace(0, itemMap);//有效代码 2itemList.operator [](0).insert(…

17岁中专生姜萍数学竞赛成绩可信吗?

数学竞赛已经消失很久&#xff0c;但是因为焦虑家长存在需求&#xff0c;”赢在赛跑起点“的认知偏见&#xff0c;以及学术象牙塔为自己存在寻求存在理由和荣誉感&#xff0c;等诸多因素&#xff0c;最近一名17岁女中专生闯入某个互联网企业举办的民间数学决赛&#xff0c;引发…

Python3简单实现与Java的Hutool库SM2的加解密互通

1、背景&#xff1a; 因业务需求&#xff0c;需要与某平台接口对接。平台是Java基于Hutool库实现的SM2加密解密&#xff0c;研究了下SM2的加解密算法&#xff0c;网上找的资料&#xff0c;都是说SM2【椭圆曲线】 公钥长【x,y分量 64字节】&#xff0c;私钥短【32字节】&#x…

华为---OSPF被动接口配置(四)

9.4 OSPF被动接口配置 9.4.1 原理概述 OSPF被动接口也称抑制接口&#xff0c;成为被动接口后&#xff0c;将不会接收和发送OSPF报文。如果要使OSPF路由信息不被某一网络中的路由器获得且使本地路由器不接收网络中其他路由器发布的路由更新信息&#xff0c;即已运行在OSPF协议…

FuTalk设计周刊-Vol.031

&#x1f525;AI漫谈 热点捕手 1、如何用自然语言 5 分钟构建个人知识库应用&#xff1f;我的 GPTs builder 尝试 开发者的想象力闸门一旦打开&#xff0c;迎接我们的必然是目不暇接的 AI 应用浪潮冲击。 链接https://sspai.com/post/84325 2、GPT-4 Turbo、功能融合&#x…

Android的OverlayFS原理与作用

标签: OverlayFS; Android;Overlay Filesystem; Android的OverlayFS原理与作用 概述 OverlayFS(Overlay Filesystem)是一种联合文件系统,允许将一个或多个文件系统叠加在一起,使它们表现为一个单一的文件系统。Android系统利用OverlayFS来实现动态文件系统的叠加和管…

Java延迟初始化Logger日志对象

开源项目SDK&#xff1a;https://github.com/mingyang66/spring-parent 个人文档&#xff1a;https://mingyang66.github.io/raccoon-docs/#/ 将日志Logger对象定义在静态内部类中是一种常见的做法&#xff0c;这样做是有它特殊的好处&#xff0c;示例如下&#xff1a; privat…

MDPI期刊汇总(AI方向)

前言 本blog统计了计算机和工程领域的期刊&#xff0c;常见分区包括三种&#xff0c;中科院分区&#xff0c;JCR分区&#xff0c;CiteScore分区&#xff0c;下面分别介绍这三种分区的区别&#xff1a; 1. 中科院分区 中科院分区是中国科学院发布的期刊评价体系&#xff0c;涵…

【机器学习】大模型驱动下的医疗诊断应用

摘要&#xff1a; 随着科技的不断发展&#xff0c;机器学习在医疗领域的应用日益广泛。特别是在大模型的驱动下&#xff0c;机器学习为医疗诊断带来了革命性的变化。本文详细探讨了机器学习在医疗诊断中的应用&#xff0c;包括疾病预测、图像识别、基因分析等方面&#xff0c;并…

Qt 技术博客:深入理解 Qt 中的 delete 和 deleteLater 与信号槽机制

在 Qt 开发中&#xff0c;内存管理和对象生命周期的处理是至关重要的一环。特别是在涉及信号和槽机制时&#xff0c;如何正确删除对象会直接影响应用程序的稳定性。本文将详细讨论在使用 Qt 的信号和槽机制时&#xff0c;delete 和 deleteLater 的工作原理&#xff0c;并给出最…

IOS Swift 从入门到精通: For 循环, While 循环, 重复循环, 退出循环, 退出多重循环, 跳过项目, 无限循环

文章目录 For 循环While 循环重复循环退出循环退出多重循环跳过项目无限循环总结 For 循环 Swift 有几种编写循环的方法&#xff0c;但它们的底层机制是相同的&#xff1a;重复运行一些代码&#xff0c;直到条件计算为假。 Swift 中最常见的循环是一个for循环&#xff1a;它将…

LCR 142.训练计划IV

1.题目要求: /*** Definition for singly-linked list.* struct ListNode {* int val;* struct ListNode *next;* };*/ int compare(const void* a,const void* b) {return (*(int*)a - *(int*)b); } struct ListNode* trainningPlan(struct ListNode* l1, struct Li…

【数据结构】第十九弹---C语言实现冒泡排序算法

✨个人主页&#xff1a; 熬夜学编程的小林 &#x1f497;系列专栏&#xff1a; 【C语言详解】 【数据结构详解】【C详解】 目录 1、冒泡排序基本思想 2、代码的初步实现 3、代码的优化 4、代码的测试 5、时空复杂度分析 6、模拟实现qsort 6.1、冒泡排序函数 6.2、交换数…

针对 AI 优化数据湖仓一体:使用 MinIO 仔细了解 RisingWave

RisingWave 是现代数据湖仓一体处理层中的开源流数据库&#xff0c;专为性能和可扩展性而构建。RisingWave 旨在允许开发人员在流数据上运行 SQL。鉴于 SQL 是数据工程的通用语言&#xff0c;此功能非常重要。它具有强大的架构&#xff0c;包括计算节点、元节点和压缩器节点&am…

分享一个 Fail2ban 过滤规则

今天明月给大家分享个 Fail2ban 的过滤&#xff08;Filter&#xff09;规则&#xff0c;有关 Fail2ban 的文章大家可以参考【服务器全面使用 Fail2Ban 初见成效】和【使用 Fail2ban 禁止垃圾采集爬虫&#xff0c;保护 Nginx 服务器】等文了解&#xff0c;总之 Fail2ban 是 Linu…

分流井设备的监测控制和智慧运维

分流井是一种用于将雨水和污水进行分离的设施&#xff0c;通常设置在雨水管和污水管的汇合处。它可以根据不同的情况&#xff0c;将雨水和污水分别排放到不同的管道中&#xff0c;从而实现雨污分流的目的。 以下是一些常见的分流井类型和工作原理&#xff1a; 1、智能分流井&a…

java-SpringBoot执行定时任务-任务调度-@EnableScheduling和@Scheduled

文章目录 java借助springBoot框架&#xff0c;执行定时任务0. 项目地址1. 需求分析2、新建springBoot项目3. 编写定时任务3.1 开启调度任务3.2 编写定时任务方法 java借助springBoot框架&#xff0c;执行定时任务 0. 项目地址 https://github.com/OrangeHza/JavaDemo 1. 需求…

Elasticsearch bool 查询:组合多个查询(must, should, must_not)

在Elasticsearch中&#xff0c;bool查询是一种强大的工具&#xff0c;它允许我们将多个查询子句组合在一起&#xff0c;以实现复杂的搜索逻辑。通过使用must、should和must_not等子句&#xff0c;我们可以构建出精确且灵活的查询语句&#xff0c;以满足各种搜索需求。本文将详细…

Redis小对象压缩

小对象压缩存储 如果Redis内部管理的集合数据结构很小&#xff0c;他会使用紧凑存储形式压缩存储。 Redis的ziplist是一个紧凑的字节数组结构&#xff0c;如下图所示&#xff0c;每个元素之间都是紧挨着的。 如果他存储的是hash结构&#xff0c;那么key和value会作为两个ent…

竞赛 机器视觉的试卷批改系统 - opencv python 视觉识别

文章目录 0 简介1 项目背景2 项目目的3 系统设计3.1 目标对象3.2 系统架构3.3 软件设计方案 4 图像预处理4.1 灰度二值化4.2 形态学处理4.3 算式提取4.4 倾斜校正4.5 字符分割 5 字符识别5.1 支持向量机原理5.2 基于SVM的字符识别5.3 SVM算法实现 6 算法测试7 系统实现8 最后 0…