离线AI聊天清华大模型(ChatGLM3)本地搭建

在特定的情况下,要保证信息安全的同时还能享受到AIGC大模型带来的乐趣和功能,那么,离线部署就能帮助到你,最起码,它是一个真正可用的方案。

大模型本身清华的 (ChatGLM3),为的是对中文支持友好,另外就是我也很看好它,毕竟一直在优化自己的模型,提升模型的质量。

如果基础环境没有布置好可以参考我上篇文章《Ubuntu 22.04 Tesla V100s显卡驱动,CUDA,cuDNN,MiniCONDA3 环境的安装》。

ChatGLM3 (ChatGLM3-6B)

项目地址

https://github.com/THUDM/ChatGLM3

大模型是很吃CPU和显卡的,所以,要不有一个好的CPU,要不有一块好的显卡,显卡尽量13G+,内存基本要32GB+。

清华大模型分为三种(ChatGLM3-6B-Base,ChatGLM3-6B,ChatGLM3-6B-32K)

图片

从上图也可以看到,ChatGLM3-6B-32K的话是最高配的模型,而ChatGLM3-6B-Base是最低配的模型。

一般会选择 ChatGLM3-6B普通模型来使用,当然,如果配置高,可以用32K的,会更好。

ChatGLM3 部署

如果不能访问github,那么就不容易下载资源了,主要是资源也比较大,可以自己想办法。

ChatGLM3 项目git clone

很简单一句命令就下载下来了。

git clone https://github.com/THUDM/ChatGLM3

执行完,就下载完毕了

图片

但是,默认里面是没有模型的,只有自带的简单的聊天项目以及相关的接口示例项目,还得继续下载模型。

ChatGLM3-6B 模型下载

当然,如果你自己不下载这些模型,这些模型就会在运行的时候自动下载(网络不好的话会影响使用体验,所以,建议提前下载)

图片

模型下载提供了两个地址来下载,第一个不可以,那就选择第二个。

图片

打开地址后,发现这个文件还挺大,而且还是 git项目的方式来进行展现的。

其中 LFS那种可以直接点击然后,保存的方式来下载,也可以用git命令来下载。

git lfs install

需要 git增加 lfs 的功能,才能直接下载这么大的文件

 git clone https://huggingface.co/THUDM/chatglm3-6b

或者

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

下载完毕后,就有很多文件

图片

图片

看一下大小 11.6GB ,还挺大的

项目配置和部署

把下载的服务直接放到需要运行的地方 然后,执行上节的python 环境管理

conda create --name chatglm3 python=3.10
conda activate chatglm3

然后,进入到主项目中,开始配置一些环境

cd ChatGLM3

第一步是要安装python 的依赖包

pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

图片

它会自己安装一些依赖包,很快就安装完了

也可以查询自己安装了什么包

pip list                  //查看安装了什么包
pip show openai // 查看包安装到了哪里

当然,我也是按照 README.md 里面的部署方式来部署的,具体以README.md为准。

修改配置

图片

可以看到,实际上我们可以运行8种案例。

  1. 1. 基础例子(cli_demo , web_demo_streamlit )

  2. 2. 综合例子(聊天,工具,代码解释)

  3. 3. 基础模型微调

  4. 4. 聊天模型微调

  5. 5. 类似于langchain的案例

  6. 6. openai接口的案例

  7. 7. TensorRT-LLM推理部署

  8. 8. 工具调用

目前,只有第二种的综合例子,是比较有趣的,就以它为案例进行配置修改。

composite_demo

看到,这个demo下还有requirements.txt 文件,我们把他给安装了

pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

演示中使用 Code Interpreter 还需要安装 Jupyter 内核:

pip install ipykernel -i https://mirror.sjtu.edu.cn/pypi/web/simpleipython kernel install --name chatglm3 --user

接着修改client.py里面的配置信息

图片

修改里面的模型地址为你的模型地址即可,我这边直接写了个绝对路径。

然后,执行以下命令启动服务

streamlit run main.py

正常情况下,控制台会出现以下信息

图片

而网页会出现以下信息

图片

左侧就像OpenAI那种的参数细节的调整,右侧是三种不同的使用方式选择。

效果展示

对话模式

图片

输入你是谁,它就输自动的输出信息,速度还挺快。

图片

而控制台也会显示你输入的信息以及返回的信息。

图片

根据这个问题可以看到,这个模型,虽然对中文的支持度很高,但是,也掺杂一些英文信息。

工具模式

图片

工具模式,需要自己先定义工具,我这边没有定义,有兴趣的可以整一下。

以下是自带的工具进行的演示:

图片

我调用了一个查询天气的工具(tool_registry.py) 文件可以看到 get_weather的代码

@register_tool
def get_weather(city_name: Annotated[str, 'The name of the city to be queried', True],
) -> str:"""Get the current weather for `city_name`"""if not isinstance(city_name, str):raise TypeError("City name must be a string")key_selection = {"current_condition": ["temp_C", "FeelsLikeC", "humidity", "weatherDesc", "observation_time"],}import requeststry:resp = requests.get(f"https://wttr.in/{city_name}?format=j1")resp.raise_for_status()resp = resp.json()ret = {k: {_v: resp[k][0][_v] for _v in v} for k, v in key_selection.items()}except:import tracebackret = "Error encountered while fetching weather data!\n" + traceback.format_exc()return str(ret)
代码解释器模式

我尝试了很久也没有得到以下的效果。

图片

可能是我的打开姿势不对,我只能获取这样的。

图片

但是,给出的代码,还是很合理的,看着就能执行。

感兴趣的可以参考

https://zhipu-ai.feishu.cn/wiki/VdYWwcZfmiNBnlkwYf1cqytcngf
异常:

如果没有修改配置就会出现这个问题,当然,如果网络好的话,它会自己去安装。

图片

总结

至此 ChatGLM3就演示完了,效果还是不错的说。比之前版本好太多了,我还会继续关注它的。

它也可以通过Web api的方式,自己搞个前端进行展现。

总体来讲,清华ChatGLM3-6B大模型对中文支持度还是蛮高的。

参考资料地址

《清华ChatGLM3 ChatGLM3-6B 大模型》
https://github.com/THUDM/ChatGLM3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/611167.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

kotlin的接口详解

在 Kotlin 中,接口(Interface)是一种定义了一组方法的抽象类型。与类不同,接口不能包含状态或字段。接口中的方法可以有默认实现,也可以是抽象的需要在实现类中提供具体实现的方法。 为什么要使用接口? 多…

2696. 删除子串后的字符串最小长度 --力扣 --JAVA

题目 给你一个仅由 大写 英文字符组成的字符串 s 。 你可以对此字符串执行一些操作,在每一步操作中,你可以从 s 中删除 任一个 "AB" 或 "CD" 子字符串。 通过执行操作,删除所有 "AB" 和 "CD" 子串&a…

pythonnumpy十三:借助numpy解方程

使用NumPy进行解方程可以涉及线性方程组和非线性方程的求解。下面将给出详细的示例: 1.解线性方程组: 考虑以下线性方程组: 2x 3y 6 4x 5y 7我们可以使用NumPy的linalg.solve()函数求解该线性方程组。 import numpy as np# 定义系数矩…

Unity Editor实用功能:Hierarchy面板的对象上绘制按按钮并响应

目录 需求描述上代码打个赏吧 需求描述 现在有这样一个需求: 在Hierarchy面板的对象上绘制按钮点击按钮,弹出菜单再点击菜单项目响应自定义操作在这里的响应主要是复制对象层级路路径 看具体效果请看动图: 注: 核心是对Edito…

【2024系统架构设计】 系统架构设计师第二版-安全架构设计理论与实践

目录 一 安全架构概述 二 安全模型 三 系统安全体系架构规划框架 四 信息安全整体架构设计 五 网络安全体系架构设计 六 数据库系统安全设计

霹雳吧啦Wz《pytorch图像分类》-p6MobileNet网络

《pytorch图像分类》p6MobileNet网络结构详解 1 MobileNet v1网络1.1 Depthwise convolution(DW卷积)1.1.1Depthwise separable convolution(深度可分的卷积操作) 1.2 增加超参数α和β 2 MobileNet v2网络2.1 Inverted Residuals…

无标题无标题

ABC Puzzle 326D 题意:给两个长n的仅由ABC组成的字符串s1,s2,是否在n*n阵列中满足以下条件,若满足则输出,不满足输出No 条件1:每行每列仅包含一个A,一个B,一个C &#x…

传统 VC 机构,是否还能在 Fair launch 的散户牛市中胜出?

LaunchPad 是代币面向市场的重要一环,将代币推向市场,加密项目将能够通过代币的销售从市场上募集资金,同时生态也开始进入全新的发展阶段。而对于投资者来说,早期打新市场同样充满着机会,参与 LaunchPad 对于每一个投资…

2023年十大零日漏洞攻击

2023年,随着勒索软件和APT组织纷纷调整攻击策略,零日漏洞攻击快速升温并有望在2024年延续这一趋势。 根据谷歌威胁分析小组今年7月发布的报告,2021年野外利用零日漏洞数量(69个)创下历史新高后,2022年有所…

Leetcode的AC指南 —— 字符串 :459. 重复的子字符串

摘要: **Leetcode的AC指南 —— 字符串 :459. 重复的子字符串 **。题目介绍:给定一个非空的字符串 s ,检查是否可以通过由它的一个子串重复多次构成。 文章目录 一、题目二、解析 (go语言版)1、KMP的next数…

ubuntu 18.04网络问题

ubuntu 18.04网络问题汇总 准备工作一、有线网卡不可用二、无法访问外网 准备工作 安装好系统之后,检查gcc和make是否已经安装 $ which gcc /usr/bin/gcc $ which make /usr/bin/make如果未安装,则安装gcc和make $ apt install gcc $ apt install mak…

Python学习之路-编码风格

Python学习之路-编码风格 设计哲学 Python的设计哲学是“优雅”、“明确”、“简单”。它的重要准则被称为“Python之禅”。Python之禅又名PEP 20,在Python解释器内运行import this可以获得完整的列表,下面是我的翻译与解读: 提姆彼得斯&a…

基于ssm个性化旅游攻略定制系统设计与实现+jsp论文

摘 要 在如今社会上,关于信息上面的处理,没有任何一个企业或者个人会忽视,如何让信息急速传递,并且归档储存查询,采用之前的纸张记录模式已经不符合当前使用要求了。所以,对个性化旅游攻略信息管理的提升&…

GO语言笔记2-变量与基本数据类型

变量使用步骤 声明赋值使用 package main import "fmt" func main(){var age int //声明一个 int类型的变量叫ageage 18 //给变量用 赋值fmt.Println(age) //使用变量 输出变量的值 } 编译运行输出变量值 变量的四种使用方式 package main import "fmt&q…

InnoDB引擎

一、逻辑存储结构 ① 表空间(ibd文件),一个mysql实例可以对应多个表空间,用于存储记录、索引等数据。 ② 段,分为数据段(Leaf node segment)、索引段(Non-leaf node segment&#x…

【力扣100】【好题】155.最小栈

添加链接描述 class MinStack:def __init__(self):self.stack[]def push(self, val: int) -> None:if not self.stack:self.stack.append([val,val])else:self.stack.append([val,min(val,self.stack[-1][1])])def pop(self) -> None:self.stack.pop()def top(self) -&g…

特征工程(二)

特征工程(二) 特征理解 理解手上的数据,就可以更好的明确下一步的方向。从繁杂的切入点中,主要着眼于一下几个方面: 结构化数据与非结构化数据;数据的4个等级;识别数据中存在的缺失值&#xf…

古典吉他教师阿木:来自新疆的音乐才子

阿木,全名木合汤夏甫依克,于 1990 年 10 月 8 日出生在新疆这片美丽的土地上,是一位哈萨克族人。他是英皇认证古典吉他教师、中国社会艺术吉他考级考官、中国智慧工程研究会艺术教育委员会执行委员、新疆吉他艺术节发起人之一兼评审组组长。 阿木自幼受到哥哥的影响,对吉他产生…

强化学习第1天:马尔可夫过程

☁️主页 Nowl 🔥专栏 《强化学习》 📑君子坐而论道,少年起而行之 ​​ 一、介绍 什么是马尔可夫过程?马尔可夫过程是马尔可夫决策过程的基础,而马尔可夫决策过程便是大部分强化学习任务的抽象过程,本文…

206. 反转链表(Java)

题目描述: 给你单链表的头节点 head ,请你反转链表,并返回反转后的链表。 输入: head [1,2,3,4,5] 输出: [5,4,3,2,1] 代码实现: 1.根据题意创建一个结点类: public class ListNode {int val…