用通俗易懂方式讲解：快速部署大模型 ChatGLM3 并进行推理

在深入了解了一些大模型的知识之后，最好的方法是亲自动手搭建一个开源的大模型，以更深入地理解其工作原理。

在此基础上，我们将以 ChatGLM3 为例进行部署及推理，从而进一步探索大模型的应用和实践。

ChatGLM3简介：

ChatGLM3是由智谱AI与清华大学KEG实验室联合发布的第三代大型对话预训练模型。ChatGLM3具备高度的语言理解能力，能够准确理解用户的自然语言输入，并以流畅、连贯的方式生成回复，进行多轮对话。除了传统的文本交互，ChatGLM3还能够直接执行用户提供的代码片段，并调用外部工具或API来处理特定任务。这种能力极大地扩展了模型的应用范围，使其能直接参与到编程指导、数据分析、问题诊断等实际工作流程中。

ChatGLM3模型：

ChatGLM3-6B：这是ChatGLM3系列中的一个具体型号，表明模型拥有约60亿参数。ChatGLM3-6B在各种评测中表现出色，特别是在10B以下的基础模型中，其性能被评价为最强。

ChatGLM3-6B-Base：作为ChatGLM3-6B的基础模型，采用了多样化的训练数据、充足的训练步数以及优化的训练策略，这使得ChatGLM3-6B在语义理解、数学计算、逻辑推理、代码处理及知识应用等多个维度上展现出卓越的能力。

技术交流&资料

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了大模型算法面试和技术交流群，相关资料、技术交流&答疑，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：来自CSDN + 技术交流

ChatGLM3官方推荐硬件要求

运行 Int4版本的 ChatGLM3-6B配置：

内存：>= 8GB

显存: >= 5GB（1060 6GB,2060 6GB）

# int4 模型加载示例
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda()

运行 FP16版本的ChatGLM3-6B配置：

内存：>= 16GB

显存: >= 13GB（4080 16GB）

# FP16 模型加载示例
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).half().cuda()

ChatGLM3延续了前两代模型的低部署门槛特性，使得用户能够较为便捷地在不同的环境中设置并运行模型。

ChatGLM3官方推荐软件要求：

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能

ChatGLM3程序获取：

ChatGLM3是开源的，用户可以通过访问相关GitHub仓库获取模型源码和使用指南。

ChatGLM3 github地址：https://github.com/THUDM/ChatGLM3

本次部署环境：

操作系统：

在这里插入图片描述

CPU: 8核

内存：32GB

GPU：1 * NVIDIA V100

在这里插入图片描述

Python：3.11.5

PyTorch：2.1+cu118

ChatGLM3部署及推理步骤：

1. 下载ChatGL3

!git clone https://github.com/THUDM/ChatGLM3

# 输出
Cloning into 'ChatGLM3'...
remote: Enumerating objects: 1261, done.
remote: Counting objects: 100% (683/683), done.
remote: Compressing objects: 100% (250/250), done.
remote: Total 1261 (delta 537), reused 433 (delta 433), pack-reused 578
Receiving objects: 100% (1261/1261), 17.27 MiB | 10.77 MiB/s, done.
Resolving deltas: 100% (743/743), done.

2. 依赖安装

!cd ChatGLM3 && pip install -r requirements.txt

# 输出
Looking in indexes: https://mirrors.cloud.aliyuncs.com/pypi/simple
Collecting protobuf>=4.25.3 (from -r requirements.txt (line 3))Downloading https://mirrors.cloud.aliyuncs.com/pypi/packages/2c/2a/d2741cad35fa5f06d9c59dda3274e5727ca11075dfd7de3f69c100efdcad/protobuf-5.26.1-cp37-abi3-manylinux2014_x86_64.whl (302 kB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 302.8/302.8 kB 22.0 MB/s eta 0:00:00
Collecting transformers>=4.38.1 (from -r requirements.txt (line 4))Downloading https://mirrors.cloud.aliyuncs.com/pypi/packages/e2/52/02271ef16713abea41bab736dfc2dbee75e5e3512cf7441e233976211ba5/transformers-4.39.2-py3-none-any.whl (8.8 MB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 8.8/8.8 MB 122.8 MB/s eta 0:00:0000:0100:01
Collecting tokenizers>=0.15.0 (from -r requirements.txt (line 5))Downloading https://mirrors.cloud.aliyuncs.com/pypi/packages/15/0b/c09b2c0dc688c82adadaa0d5080983de3ce920f4a5cbadb7eaa5302ad251/tokenizers-0.15.2-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (3.6 MB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.6/3.6 MB 117.8 MB/s eta 0:00:00
# 不再展示......

3. 模型下载

考虑到从Hugging Face Hub下载需要花费大量时间，我们选择从ModelScope下载：

# modelscope API下载
!pip install modelscope
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")

# 输出
# ......上面输出信息不展示
Downloading: 100%|██████████| 1.29k/1.29k [00:00<00:00, 6.51MB/s]
Downloading: 100%|██████████| 40.0/40.0 [00:00<00:00, 221kB/s]
Downloading: 100%|██████████| 2.28k/2.28k [00:00<00:00, 11.6MB/s]
Downloading: 100%|██████████| 4.04k/4.04k [00:00<00:00, 14.2MB/s]
Downloading: 100%|██████████| 54.3k/54.3k [00:00<00:00, 37.4MB/s]
Downloading: 100%|█████████▉| 1.70G/1.70G [00:07<00:00, 244MB/s]
Downloading: 100%|█████████▉| 1.83G/1.83G [00:08<00:00, 234MB/s]
Downloading: 100%|█████████▉| 1.80G/1.80G [00:08<00:00, 237MB/s]
Downloading: 100%|█████████▉| 1.69G/1.69G [00:07<00:00, 244MB/s]
Downloading: 100%|█████████▉| 1.83G/1.83G [00:08<00:00, 227MB/s]
Downloading: 100%|█████████▉| 1.80G/1.80G [00:07<00:00, 241MB/s]
Downloading: 100%|█████████▉| 0.98G/0.98G [00:04<00:00, 221MB/s]
Downloading: 100%|██████████| 20.0k/20.0k [00:00<00:00, 73.6MB/s]
Downloading: 100%|██████████| 14.3k/14.3k [00:00<00:00, 52.6MB/s]
Downloading: 100%|██████████| 4.37k/4.37k [00:00<00:00, 18.3MB/s]
Downloading: 100%|██████████| 11.0k/11.0k [00:00<00:00, 44.0MB/s]
Downloading: 100%|██████████| 995k/995k [00:00<00:00, 18.3MB/s]
Downloading: 100%|██████████| 244/244 [00:00<00:00, 1.34MB/s]
# 模型已下载完成

4. 进行推理测试

from modelscope import AutoTokenizer, AutoModel, snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好，你是？", history=[])
print(response)
response, history = model.chat(tokenizer, "用Python写一个小时钟。", history=history)
print(response)

你好，我是 ChatGLM3-6B，是清华大学KEG实验室和智谱AI公司共同训练的语言模型。我的任务是针对用户的问题和要求提供适当的答复和支持。

好的，这里有一个使用 Python 实现的小时钟程序：

from datetime import datetimedef show_time():now = datetime.now()hours = now.hourminutes = now.minutereturn f"现在是{hours:02d}:{minutes:02d}"if __name__ == "__main__":while True:show_time()

这个程序会显示当前的小时和分钟，每过一秒钟就会更新一次。如果你希望程序能够运行一段时间后再退出，可以在程序最后添加一个无限循环。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/37812.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Alibaba Cloud Linux详解_操作系统兼容性_alinux稳定性全解析

Alibaba Cloud Linux详解_操作系统兼容性_alinux稳定性全解析

Alibaba Cloud Linux是阿里云自研的稳定、安全、高性能的服务器Linux操作系统&#xff0c;完全兼容CentOS/RHEL生态和操作方式&#xff0c;又阿里云提供免费提供长期支持和维护LTS。Alibaba Cloud Linux是目前阿里云服务器最大规模使用的操作系统之一&#xff0c;可部署在Web网…
阅读更多...
无刷直流电机(BLDCM)位置识别SVPWM控制

无刷直流电机(BLDCM)位置识别SVPWM控制

无刷直流电机&#xff0c;即BLDCM&#xff0c;在各个行业应用非常广泛。我们最熟悉的是在四轴飞行器中的应用&#xff0c;其中的电机基本都是BLDCM。除此之外&#xff0c;汽车电子、家用电器、航空航天、办公自动化、机器人等领域都有重要应用。 梯形波/方波无刷直流电机被称为…
阅读更多...
基于单片机技术的按键扫描电路分析

基于单片机技术的按键扫描电路分析

摘　要&#xff1a; 单片机应用技术被广泛应用于各种智能控制系统中&#xff0c;是电子信息类专业学生必修的一门专业课。在单片机端口信息输入模块中&#xff0c;按键是主要元器件之一&#xff0c;笔者主要介绍矩阵键盘的电路设计及控制程序编写&#xff0c;分析了单片机端口连…
阅读更多...
asyncawait

asyncawait

参考&#xff1a; 并发&#xff1a;并发基本概念 python 使用 async 和 await 语法的东西来写”异步代码“。 import asyncio import httpxasync def fetch_baidu():url "https://www.baidu.com"async with httpx.AsyncClient() as client:try:response await c…
阅读更多...
使用Java Executors框架处理并发任务

使用Java Executors框架处理并发任务

一、并发与Java Executors框架简介 一、并发编程的重要性 并发编程是现代编程中最重要的概念之一。在更多的核心和更快的处理器出现的今天，如何充分利用这些资源就变得异常重要。并发编程允许你的程序同时处理多个任务，从而使程序更有效地利用系统资源，提高执行效率。 提…
阅读更多...
Oracle给用户单个表查询权限

Oracle给用户单个表查询权限

Oracle给用户单个表查询权限 1. 创建用户 --创建用户thfj_test,密码为thfj_test create user thfj_test identified by thfj_test;2. 用户授权 --授权连接数据库权限给thfj_test grant create session to thfj_test; --授权查询表USER_INFO 的权限给thfj_test grant sele…
阅读更多...
python-20-零基础自学python-用类和while设计一个掷多次、多面骰子的工具的基础

python-20-零基础自学python-用类和while设计一个掷多次、多面骰子的工具的基础

学习内容&#xff1a;《python编程&#xff1a;从入门到实践》第二版 知识点&#xff1a;类、random、while循环、把while循环和类结合起来 练习内容&#xff1a; 练习9-13&#xff1a;骰子 创建一个Die类&#xff0c;它包含一个名为sides的属性&#xff0c;该属性的默认值…
阅读更多...
汽车电子行业知识：什么是电子后视镜

汽车电子行业知识：什么是电子后视镜

文章目录 1.什么是电子后视镜2.有哪些汽车用到了电子后视镜3.电子后视镜的原理及算法4.电子后视镜的优点5.电子后视镜的未来市场将继续增长 1.什么是电子后视镜 电子后视镜是一种集成了电子元件和显示屏的汽车后视镜&#xff0c;用于替代传统的机械后视镜。它通过内置的摄像头捕…
阅读更多...
C++期末练习

C++期末练习

1. 多态 要求 动态多态性 题目描述 定义一个抽象类shape&#xff0c;用于代表几何图形&#xff0c;设置计算几何图形体积的外部接口&#xff1b;由shape类派生出圆柱类cylinder、球sphere&#xff1b;圆柱体类型有私有数据成员半径r&#xff0c;高h&#xff1b;球类有私有数…
阅读更多...
外星人存在的观点

外星人存在的观点

以下是一些具体的证据来支持外星人存在的观点&#xff1a; 一、宇宙中的生命适宜条件 行星多样性&#xff1a;宇宙中存在着数以亿计的恒星和行星&#xff0c;其中许多行星位于恒星宜居带内&#xff0c;拥有适宜的温度和液态水等生命必需条件。例如&#xff0c;开普勒-452b行星…
阅读更多...
数字信号处理实验一（离散信号及离散系统的MATLAB编程实现）

数字信号处理实验一（离散信号及离散系统的MATLAB编程实现）

实验要求&#xff1a; 离散信号及离散系统的MATLAB编程实现&#xff08;2学时&#xff09; 要求&#xff1a; 编写一程序&#xff0c;输出一定长度&#xff08;点数&#xff09;&#xff0c;具有一定幅度、&#xff08;角&#xff09;频率和初始相位的实&#xff08;或复&…
阅读更多...
grpc学习golang版（ 一、基本概念与安装 ）

grpc学习golang版（ 一、基本概念与安装 ）

系列文章目录 第一章 grpc基本概念与安装 第二章 grpc入门示例 第三章 proto文件数据类型 第四章 多服务示例 第五章 多proto文件示例 第六章 服务器流式传输 第七章 客户端流式传输 第八章 双向流示例 文章目录 一、基本介绍1.1 什么是rpc1.2 什么是grpc1.3 grpc的作用1.4 grp…
阅读更多...
PG备份与恢复

PG备份与恢复

一、开启WAL归档 1、创建归档目录 我们除了存储数据目录pgdata之外&#xff0c;还要创建backups&#xff0c;scripts&#xff0c;archive_wals文件 mkdir -p /home/mydba/pgdata/arch mkdir -p /home/mydba/pgdata/scripts mkdir -p /home/mydba/backups chown -R mydba.myd…
阅读更多...
docker网络功能介绍

docker网络功能介绍

一、 网络启动过程二、 修改容器dns和主机名① 临时处理&#xff08;容器终止或重启后不会保存&#xff09;② 通过参数指定 三、 容器内访问控制① 容器访问外部网络② 容器间互相访问&#xff08;1&#xff09;访问所有端口&#xff08;2&#xff09;访问指定端口 四、 docke…
阅读更多...
解读环境工程乙级资质中对专业技术人员职称与执业资格的双重要求

解读环境工程乙级资质中对专业技术人员职称与执业资格的双重要求

1. 职称要求 职称是中国专业技术人员职业资格的一种体现&#xff0c;反映了个人在某一专业领域的学术水平、专业技能和工作经验。职称分为初级&#xff08;助理级&#xff09;、中级、副高级&#xff08;高级&#xff09;和正高级&#xff08;教授级&#xff09;。在环境工程乙…
阅读更多...
SpringDataJPA系列(1)JPA概述

SpringDataJPA系列(1)JPA概述

SpringDataJPA系列(1)JPA概述 SpringDataJPA似乎越来越流行了&#xff0c;我厂的mysql数据库和MongoDB数据库持久层都依赖了SpringDataJPA。为了更好的使用它&#xff0c;我们内部还对MongoDB的做了进一步的抽象和封装。为了查漏补缺&#xff0c;温故而知新&#xff0c;整理下…
阅读更多...
工作中常用的linux命令整理-文本和文件处理

工作中常用的linux命令整理-文本和文件处理

VI 显示行号“: set number”统计查找字符串“ORA”个数&#xff1a;“:%s/ORA//gn”复制&#xff1a;yy粘贴&#xff1a;p删除: dd删除第一行到第十行: :1,10d删除第5行至最后一行: :5,$d跳转到指定行&#xff1a;“:n”跳转到最后一行&#xff1a;ShiftGS向下查找&#xff1…
阅读更多...
Dataway，又一款告别 Controller、Service、Dao...的神器

Dataway，又一款告别 Controller、Service、Dao...的神器

Dataway 让 Spring Boot 不再需要 Controller、Service、DAO、Mapper... Dataway介绍 Dataway 是基于 DataQL 服务聚合能力&#xff0c;为应用提供的一个接口配置工具。使得使用者无需开发任何代码就配置一个满足需求的接口。 整个接口配置、测试、冒烟、发布。一站式都通过 D…
阅读更多...
统计分析利器：深入解读卡方检验与单因素方差分析的应用案例【练习题】

统计分析利器：深入解读卡方检验与单因素方差分析的应用案例【练习题】

一、卡方检验 1.对400人进行问卷调查&#xff0c;询问对于教学改革的看法&#xff0c;调查结果如下表所示&#xff0c;请问不同学科不同性别的人意见是否相同。 学科 男生 女生 工科 80 40 理科 120 160 &#xff08;性别&#xff0c;学科均无序分类>卡方检验&am…
阅读更多...
grpc学习golang版（ 二、入门示例 ）

grpc学习golang版（ 二、入门示例 ）

系列文章目录 第一章 grpc基本概念与安装 第二章 grpc入门示例 第三章 proto文件数据类型 第四章 多服务示例 第五章 多proto文件示例 第六章 服务器流式传输 第七章 客户端流式传输 第八章 双向流示例 文章目录 一、环境二、编写protobuf文件三、编写server服务端四、编写Clie…
阅读更多...
最新文章

Copyright @ 2022~2023