CP03大语言模型ChatGLM3-6B特性代码解读(1)

CP03大语言模型ChatGLM3-6B特性代码解读(1)

文章目录

  • CP03大语言模型ChatGLM3-6B特性代码解读(1)
    • 总述
    • 提示词及UI交互基础conversation.py
      • 提示词相关角色Role的处理
      • 对话内容字符里的提示词处理
    • 对话基础client.py
      • 模型路径等参数设置
      • 创建processor,并定义EOS token
      • 定义stream_chat对话函数
      • 相关参数备查:
    • 补充知识,辅助理解上述stream_chat实现

总述

对话模式、工具模式、代码解释器模式例程阅读理解。
ChatGLM3-6B已经进行了中文场景的训练,可以直接运用于中文场景。本次学习的示例,提供了三种模式。包括:

  • Chat: 对话模式,在此模式下可以与模型进行对话;
  • Tool: 工具模式,模型除了对话外,还可以通过工具进行其他操作;
  • Code Interpreter: 代码解释器模式,模型可以在一个 Jupyter 环境中执行代码并获取结果,以完成复杂任务。

对话模式下,可以直接修改 top_p, temperature, System Prompt 等参数来调整模型的行为;工具模式下,可以通过在 tool_registry.py 中注册新的工具来增强模型的能力;代码解释器模式下,模型能够执行更为复杂的任务,例如绘制图表、执行符号运算等等。

本示例代码包括以下7个:

conversation.py
demo_ci.py
main.py
client.py
demo_chat.py
demo_tool.py
tool_registry.py

受篇幅影响,本文先解读client.py和conversation.py。

提示词及UI交互基础conversation.py

在conversation.py中处理streamlit相关以及prompt提示词处理相关的内容。使之符合本次demo的逻辑和结构。

提示词相关角色Role的处理

在之前的文章中介绍过,LLM的提示词角色一般包括system、user、assistant、obervation。以下代码是例程中的条件处理:

# Get the message block for the given roledef get_message(self):# Compare by value here, because the enum object in the session state# is not the same as the enum cases here, due to streamlit's rerunning# behavior.match self.value:case Role.SYSTEM.value:returncase Role.USER.value:return st.chat_message(name="user", avatar="user")case Role.ASSISTANT.value:return st.chat_message(name="assistant", avatar="assistant")case Role.TOOL.value:return st.chat_message(name="tool", avatar="assistant")case Role.INTERPRETER.value:return st.chat_message(name="interpreter", avatar="assistant")case Role.OBSERVATION.value:return st.chat_message(name="observation", avatar="user")case _:st.error(f'Unexpected role: {self}')

对话内容字符里的提示词处理

对包含system、user、assistant、obervation等字符的处理:

def preprocess_text(system: str | None,tools: list[dict] | None,history: list[Conversation],
) -> str:if tools:tools = json.dumps(tools, indent=4, ensure_ascii=False)prompt = f"{Role.SYSTEM}\n"prompt += system if not tools else TOOL_PROMPTif tools:tools = json.loads(tools)prompt += json.dumps(tools, ensure_ascii=False)for conversation in history:prompt += f'{conversation}'prompt += f'{Role.ASSISTANT}\n'return prompt

对话基础client.py

在client.py中import transformers相关接口,包括AutoModel, AutoTokenizer, AutoConfig,LogitsProcessor,LogitsProcessorList等。

模型路径等参数设置

MODEL_PATH = os.environ.get('MODEL_PATH', 'THUDM/chatglm3-6b')
PT_PATH = os.environ.get('PT_PATH', None)
PRE_SEQ_LEN = int(os.environ.get("PRE_SEQ_LEN", 128))
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)

创建processor,并定义EOS token

LogitsProcessor的作用就是在生成过程中修改score,改变模型输出的概率分布的工具。

if logits_processor is None:
logits_processor = LogitsProcessorList()
logits_processor.append(InvalidScoreLogitsProcessor())
eos_token_id = [tokenizer.eos_token_id, tokenizer.get_command("<|user|>"),
tokenizer.get_command("<|observation|>")]

定义stream_chat对话函数

此方法其实就是ChatGLM3-6B的model.stream_chat实现。不太理解为什么挪到一个demo里使用。参考:

ChatGLM3/THUDM/chatglm3-6b/modeling_chatglm.py

def stream_chat(self, tokenizer, query: str,history: list[tuple[str, str]] = None,role: str = "user",past_key_values=None,max_new_tokens: int = 256,do_sample=True, top_p=0.8,temperature=0.8,repetition_penalty=1.0,length_penalty=1.0, num_beams=1,logits_processor=None,return_past_key_values=False,**kwargs
):

在该方法中,调用的方法不是之前的model.chat、model.streamchat,而是tokenizer.build_chat_input等更底层的方法:
处理输入:

    if past_key_values is None:inputs = tokenizer.build_chat_input(query, history=history, role=role)else:inputs = tokenizer.build_chat_input(query, role=role)

处理输出:

    for outputs in self.stream_generate(**inputs, past_key_values=past_key_values,eos_token_id=eos_token_id, return_past_key_values=return_past_key_values,**gen_kwargs):if return_past_key_values:outputs, past_key_values = outputsoutputs = outputs.tolist()[0][len(inputs["input_ids"][0]):]response = tokenizer.decode(outputs)if response and response[-1] != "�":new_history = historyif return_past_key_values:yield response, new_history, past_key_valueselse:yield response, new_history

相关参数备查:

inputs (torch.Tensor of varying shape depending on the modality,optional):
生成使用的序列或模型输入到编码器。如果None,方法将它初始化为bos_token_id和一个大小为1的批次大小。对于只包含解码器的模型,inputs应该以input_ids的形式输入。对于编码器-解码器模型,inputs可以代表input_ids,input_values,input_features或pixel_values的任何一种。
generation_config (~generation.GenerationConfig,optional):
用于生成的基参数化。如果generation_config不可用,则默认值将使用模型配置中的默认值。如果提供的参数与generation_config中的参数匹配,则将使用这些参数。如果不提供generation_config,则将使用以下加载顺序:1)从generation_config.json模型文件中获取;2)从模型配置中获取。请注意,未指定的参数将继承~generation.GenerationConfig的默认值,其文档应该用于参数化生成。
logits_processor (LogitsProcessorList,optional):
用于补充默认logits处理器的自定义logits处理器。如果提供的logits处理器已经使用了相同的参数或生成配置,则会引发错误。此功能旨在为高级用户提供便利。
stopping_criteria (StoppingCriteriaList,optional):
用于补充默认停止准则的自定义停止准则。如果提供的停止准则已经使用了相同的参数或生成配置,则会引发错误。此功能旨在为高级用户提供便利。
prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], List[int]],optional):
如果提供,则此函数仅约束搜索到的令牌。如果未提供,则不应用任何约束。此函数需要两个参数:批次IDbatch_id和input_ids。它应该返回一个条件为batch_id和以前生成的令牌inputs_ids的令牌列表。此功能可用于约束带前缀的生成,如自回归实体检索中所述。
synced_gpus (bool,*optional,默认为False):
是否继续运行循环直到最大长度(需要ZeRO阶段3)
kwargs:
随机参数化generate_config和/或特定于模型的

补充知识,辅助理解上述stream_chat实现

导入模型并合并:


from transformers import AutoTokenizer, AutoModel
from peft import LoraConfig, PeftModel, get_peft_modeltokenizer = AutoTokenizer.from_pretrained("./chatglm3-6b-base", trust_remote_code=True)
model = AutoModel.from_pretrained("./chatglm3-6b-base", trust_remote_code=True).half().cuda()peft_model_id = './trained_model/checkpoint-35'
model = PeftModel.from_pretrained(model, peft_model_id)

LLM的文本续写步骤:

history = []
query = "你是谁"
role = "user"
inputs = tokenizer.build_chat_input(query, history=history, role=role)
inputs = inputs.to('cuda')
eos_token_id = [tokenizer.eos_token_id, tokenizer.get_command("<|user|>"),tokenizer.get_command("<|observation|>")]
gen_kwargs = {"max_length": 500, "num_beams": 1, "do_sample": True, "top_p": 0.8,"temperature": 0.8}
outputs = model.generate(**inputs, **gen_kwargs, eos_token_id=eos_token_id)
outputs = outputs.tolist()[0][len(inputs["input_ids"][0]):-1]
response = tokenizer.decode(outputs)
history = []
history.append({"role": "user", "content": "你是谁"})
response, history = model.process_response(response, history)
print(response)

继续问答:

query = "你能干什么"
role = "user"
inputs = tokenizer.build_chat_input(query, history=history, role=role)
inputs = inputs.to('cuda')
outputs = model.generate(**inputs, **gen_kwargs, eos_token_id=eos_token_id)
outputs = outputs.tolist()[0][len(inputs["input_ids"][0]):-1]
response = tokenizer.decode(outputs)
history.append({"role": role, "content": query})
response, history = model.process_response(response, history)
print(response)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/692950.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HTTPS(超文本传输安全协议)被恶意请求该如何处理。

HTTPS&#xff08;超文本传输安全协议&#xff09;端口攻击通常是指SSL握手中的一些攻击方式&#xff0c;比如SSL握手协商过程中的暴力破解、中间人攻击和SSL剥离攻击等。 攻击原理 攻击者控制受害者发送大量请求&#xff0c;利用压缩算法的机制猜测请求中的关键信息&#xf…

防火墙——计算机网络

前述基于密码的安全机制不能有效解决以下安全问题&#xff1a; 用户入侵&#xff1a; 利用系统漏洞进行未授权登录&#xff1b; 授权用户非法获取更高级别权限等。 软件入侵&#xff1a; 通过网络传播病毒、蠕虫和特洛伊木马。 拒绝服务攻击等。 解决方法&#xff1a; 防火墙&a…

LabVIEW压电驱动迟滞补偿控制

LabVIEW压电驱动迟滞补偿控制 随着精密控制技术的迅速发展&#xff0c;压电陶瓷驱动器因其高精度和快速响应特性&#xff0c;在微纳精密定位系统中得到了广泛应用。然而&#xff0c;压电材料固有的迟滞非线性特性严重影响了其定位精度和重复性。开发了一种基于LabVIEWFPGA的压…

Hive数据仓库行转列

查了很多资料发现网上很多文章都是转发和抄袭&#xff0c;有些问题。这里分享一个自己项目中使用的行转列例子&#xff0c;供大家参考。代码如下&#xff1a; SELECTmy_id,nm_cd_map[A] AS my_cd_a,nm_cd_map[B] AS my_cd_b,nm_cd_map[C] AS my_cd_c,nm_num_map[A] AS my_num_…

MySQL安装教程(详细版)

今天分享的是Win10系统下MySQL的安装教程&#xff0c;打开MySQL官网&#xff0c;按步骤走呀~ 宝们安装MySQL后&#xff0c;需要简单回顾一下关系型数据库的介绍与历史&#xff08;History of DataBase&#xff09; 和 常见关系型数据库产品介绍 呀&#xff0c;后面就会进入正式…

C语言OJ题——1091装箱问题

装箱问题 1.题目2.解题思路3.代码实现4.细节补充说明 1.题目 题目描述 一个工厂生产的产品形状都是长方体&#xff0c;高度都是h&#xff0c;主要有1 * 1&#xff0c;2 * 2&#xff0c;3 * 3&#xff0c;4 * 4&#xff0c;5 * 5&#xff0c;6 * 6等6种。这些产品在邮寄时被包装…

Java使用Redis实现分页功能

分页功能实现应该是比较常见的&#xff0c;对于redis来说&#xff0c;近期刷题就发现了lrange、zrange这些指令&#xff0c;这个指令怎么使用呢&#xff1f; 我们接下来就来讲解下。 目录 指令简介lrangezrange Java实现Redis实现分页功能 指令简介 lrange lrange 是 Redis 中…

Cesium for Unreal 从源码编译到应用——插件编译

一、安装环境 Unreal Engine 5.3 CMake 3.17.5 Microsoft Visual Studio 2019 二、源码准备 下载cesium-unreal-samples工程。 git clone https://github.com/CesiumGS/cesium-unreal-samples.git 然后在工程目录创建Plugins文件夹&#xff0c;并下载cesium-unreal工程。 …

keepalived双主模式测试

文章目录 环境准备部署安装keepavlived配置启动测试模拟Nginx宕机重新启动问题分析 环境准备 测试一下keepalived的双主模式&#xff0c;所谓双主模式就是两个keepavlied节点各持有一个/组虚IP&#xff0c;默认情况下&#xff0c;二者互为主备&#xff0c;同时对外提供服务&am…

ubuntu系统个人部署LangChain过程

官方教程&#xff0c;github和huggingface都需要梯子&#xff1a; 开发环境部署 chatchat-space/Langchain-Chatchat Wiki (github.com) 具体参考官方的&#xff0c;这里额外记录一下官方文档里面没有写的。 安装前&#xff0c;确保openSSL版本是新的 查看当前环境下是否有…

从宏观到微观——泽攸科技ZEM系列台式扫描电子显微镜在岩石分析中的应用

岩石作为地球地壳的主要构成物质之一&#xff0c;其微观结构对于了解地质过程、资源勘探以及工程建设具有重要意义。按照岩石的成因&#xff0c;可以把它们分为三类&#xff1a;岩浆岩、沉积岩和变质岩。在地球表面&#xff0c;沉积岩占据75%的份额&#xff0c;而在地壳深度&am…

简单计算器的实现

思路&#xff1a; 1.记录输入的中缀表达式(运算符在中间&#xff0c;我们正常写的式子) 2.将中缀表达式——>后缀表达式 由左到右遍历中缀表达式&#xff0c;若是数字&#xff0c;用数组或队列记录(记录后缀表达式)&#xff1b;若是符号&#xff0c;与操作符栈中的栈顶元素…

SVN服务备份

hotcopy备份 window批处理 保存以下内容到svn_buckup.bat&#xff0c;确保内容的路径正确&#xff0c;最后双击bat文件进行备份即可 echo offrem SVN安装路径 set svn"C:\Program Files\VisualSVN Server\bin"rem 仓库根目录 set homeE:\Repositories\WorkSpacere…

vue2的ElementUI的form表单报错“Error: [ElementForm]unpected width”修复

1. 问题 ElementUI的form表单&#xff0c;当动态切换显示表单时报错 Error: [ElementForm]unpected width。 翻译过来就是form表单的label宽度width出了问题。 2. 分析 参数说明类型可选值默认值label-width表单域标签的宽度&#xff0c;例如 ‘50px’。作为 Form 直接子元…

【Simulink系列】——动态系统仿真 之 连续系统线性连续系统

声明&#xff1a;本系列博客参考有关专业书籍&#xff0c;截图均为自己实操&#xff0c;仅供交流学习&#xff01; 一、连续系统定义 连续系统输出在时间上连续变化&#xff0c;而非间隔采样取值&#xff0c;满足以下条件&#xff1a; ①输出连续变化&#xff0c;变化的间隔…

OpenAI 的 Sora AI 视频生成器太疯狂了

毫不夸张地说&#xff0c;当我第一次看到 Sora 生成的前几个视频时&#xff0c;我的下巴都惊掉了。 Sora是什么&#xff1f; Sora 是一种人工智能模型&#xff0c;可以根据简单的文本提示生成视频。它能够生成一分钟的高保真视频。 Sora 是一种扩散模型&#xff0c;一种先进的…

阿赵UE学习笔记——15、灯光的移动性概念和构建光照信息

阿赵UE学习笔记目录   大家好&#xff0c;我是阿赵。   继续学习虚幻引擎&#xff0c;这次来学习一下UE里面灯光的移动性概念和构建光照信息。 1、灯光移动性 打开一个带有灯光的场景 在大纲面板里面找到其中一个灯光&#xff1a; 会发现灯光的细节面板里面&#xff0c;…

智慧环卫建设方案

三、软件工程的总体构架 3.1框架构建基准 3.2框架设计 四、业务应用层主要功能模块 4.1数据字典管理模块 数据字典主要包含有&#xff08;GIS&#xff09;地理信息管理系统、信息安全管理系统、平台接口管理系统等三个方面的管理应用&#xff1b; 1).&#xff08;GIS&#…

「Python系列」Python字典

文章目录 一、Python字典创建字典访问字典中的元素修改字典删除字典中的元素遍历字典字典推导式 二、Python字典内置函数&方法内置函数字典方法 三、Python简介四、相关链接 一、Python字典 在Python中&#xff0c;字典&#xff08;dict&#xff09;是一个无序的键值对集合…

springboot/ssmHome F家居系统Java家居商城购物管理系统

springboot/ssmHome F家居系统Java家居商城购物管理系统 开发语言&#xff1a;Java 框架&#xff1a;springboot&#xff08;可改ssm&#xff09; vue JDK版本&#xff1a;JDK1.8&#xff08;或11&#xff09; 服务器&#xff1a;tomcat 数据库&#xff1a;mysql 5.7&…