【学习心得】算力云平台上的大模型部署并实现远程调用

以AutoDL算力云平台为例，部署国产开源ChatGLM3b模型。

一、准备工作

（1）准备一台算力服务器

首先，进入AutoDL官网的算力时长选择算力服务器资源。

创建好后会自动跳转控制台的“容器实例”界面，稍等片刻后选择“快捷工具 > JupyterLab”开始部署。

通过jupyter lab的形式远程访问算力服务器后点击“终端”。

（2）准备开源大模型的部署环境 

你想部署哪个大模型就事先去GitHub或者Hugging face找到代码仓库，然后在终端中克隆项目，本文以ChatGLM3为例。

THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型icon-default.png?t=O83Ahttps://github.com/THUDM/ChatGLM3

如果你按照本文的方式，通过Github来进拉取项目的话，还必须开启一下学术资源加速。输入命令开启学术资源加速（此方法只能用在AutoDL中）

 

在终端中输入命令进行项目克隆。

# 开启学术加速
source /etc/network_turbo# 克隆ChatGLM3的项目仓库
git clone https://github.com/THUDM/ChatGLM3.git# 关闭学术加速
unset http_proxy && unset https_proxy

使用conda命令来创建一个虚拟环境。

conda create -n glm3_env python=3.10

创建虚拟环境成功，记得先初始化conda再激活进入虚拟环境。

# 初始化conda
conda init# 进入刚刚创建好的虚拟环境
conda activate glm3_env

进入项目路径后，更新一下python的pip包，为安装requirements.txt中的环境依赖库做准备。

# 进入ChatGLM3大模型的项目路径
cd ChatGLM3/# 更新一下pip包
pip install --upgrade pip

输入命令安装所需的库，这个过程比较久有很多的东西需要下载，耐心等待。

pip install -r requirements.txt

如果安装环境依赖包的过程中失败了，重新执行一次上面这个命令就好。 

二、下载模型

我们把大模型下载到指定的位置，比如autodl-tmp路径下。所以先进入这个路径，然后更新一下apt软件包管理工具，并下载git-lfs扩展。

AutoDL的目录名称速度说明
/系统盘一般实例关机数据不会丢失，可存放代码等。会随保存镜像一起保存。
/root/autodl-tmp数据盘快实例关机数据不会丢失，可存放读写IO要求高的数据。但不会随保存镜像一起保存（所以我们把模型下载到这里面）
# 进入想要存放下载下来的大模型的路径中
cd /root/autodl-tmp# 更新apt软件包
sudo apt update# 更新软件包的目的是为了下载安装git-lfs
sudo apt-get install git-lfs

补充说明一下什么是git-lfs？Git Large File Storage (LFS) 是一个 Git 扩展，用于管理大文件，如图像、视频、大型数据集、二进制文件等（在本文中就是GLM3模型）。这些文件通常不适合直接存储在 Git 仓库中，因为它们会导致仓库变得非常庞大，影响性能和版本控制的效率。Git LFS 通过将大文件的实际内容存储在远程服务器上，而在本地仓库中只保留指向这些文件的指针，从而解决了这些问题。

之前我们去了国外的github去下载ChatGLM3的项目路径需要打开学术资源加速，现在我们去下载ChatGLM模型，如果是从hugging face上下载，那么也许要打开学术资源加速。但我现在演示去魔塔社区下载，因此就不需要加速了。直接输入命令进行模型下载。

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

 进入刚刚git clone过来的chatglm3-6b目录中，使用git lfs pull命令拉取模型文件。

# 进入模型存放路径
cd /root/autodl-tmp/chatglm3-6b# 下载模型
git lfs pull

然后就是耐心等待模型下载完成。

三、验证模型是否部署成功

ChatGLM3的项目仓库中自带了demo文件可以帮助开发者快速测试一下模型是否部署成功。我只需要找到对应文件夹下的demo文件执行即可。

（1）命令行CLI测试

# 进入存放demo的路径下
cd /root/ChatGLM3/basic_demo

 将cli_demo.py代码中的模型路径换成刚刚自己下载保存模型的路径。

在终端运行命令启动cli_demo.py测试模型是否部署成功。

# 在cli_demo.py文件所在路径下执行命令
python cli_demo.py

 

如果你模型下载不完整，命令行就会下面这个错误：

safetensors_rust.SafetensorError: Error while deserializing header: MetadataIncompleteBuffer

此时可以输入命令检查一下文件完整性。

# 星号 * 表示文件已经下载到本地，没有星号表示文件尚未下载。
git lfs ls-files

【注】有两个模型没有下载成功，怎么办呢？使用 git lfs fetch命令可以重新下载没有下成功的模型。如果还是无法下载的话，就直接删掉chatglm3-6b文件夹，重新克隆。

git lfs fetch origin model-00001-of-00007.safetensors

 那我这里出现的问题是数据盘空间用完了，所以还得先去扩容，扩容后需要重启实例才能生效，然后再去执行上面的命令。

 

 

重新克隆下载模型后检查文件完整性终于没问题了！ 

（2）WebUI测试

我们找到指定的demo文件，通过命令启动。这里比cli_demo麻烦一点的是需要做一下ssh端口映射。

补充说明一下SSH的知识点：

SSH（Secure Shell）是一种安全的网络协议，用于在网络上传输加密的数据流，常用于远程登录和管理计算机。在这里，就是使用SSH命令使用自己本地的电脑访问远程AutoDL服务器上跑起来的大模型Web应用。

不要忘记修改源代码中的模型路径。修改完成后保存并在终端中运行命令启动WEB应用。

# 运行streamlit应用
streamlit run web_demo_streamlit.py

接下来，我们在自己的电脑上使用SSH连接远程的算力服务器上的Web应用。

# 在自己的电脑上面打开CMD运行SSH命令
"""
这条命令意思是通过 SSH 协议连接到名为 connect.westb.seetacloud.com 的主机，使用端口 21133 并以用户名 root 登录。
"""
ssh -p 21133 root@connect.westb.seetacloud.com

但复制过来的SSH命令并没有设置端口映射。我们还需要修改一下这个命令。

"""
修改后的命令增加了几个选项：
-C: 表示启用压缩。
-N: 不执行任何命令，仅建立隧道。
-g: 允许远程主机通过隧道转发连接。
-L 6006:127.0.0.1:7860 设置本地端口转发，将本地的 6006 端口转发到远程主机的 8501 端口。
-p 21133 指定使用端口 21133 进行连接。
"""ssh -CNg -L 6006:127.0.0.1:8501 root@connect.westb.seetacloud.com -p 21133

【注】-p参数后面的端口，是你远程服务器SSH命令复制过来的-p端口。

【注】"6006:127.0.0.1:8501"  ==  "（自己电脑访问的端口）:127.0.0.1:（远程算力服务器上启动的Web服务的端口）"

 【注】输入密码不会有提示，并且区分大小写，输入完成后不报错就说明成功了，不是卡主了。当你想断开连接，只需要Ctrl+C终止终端中的SSH就可以了。

 

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/61004.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Linux】—进程地址空间

【Linux】—进程地址空间

大家好呀，我是残念，希望在你看完之后，能对你有所帮助，有什么不足请指正！共同学习交流哦 本文由：残念ing原创CSDN首发，如需要转载请通知 个人主页：残念ing-CSDN博客，欢迎各…
阅读更多...
leetcode-44-通配符匹配

leetcode-44-通配符匹配

题解： 代码： 参考： (1)牛客华为机试HJ71字符串通配符 (2)leetcode-10-正则表达式匹配
阅读更多...
【redis】redis

【redis】redis

1.linux离线安装 解压 redis-6.2.6.tar.gz进入redis-6.2.6执行make编译执行./make install PREFIX/app/soft/redis6安装 2. 使用客户端 redis-cli 启动默认6379 redis-cli -p port指定端口 -h ip -n 仓库号 【redis-cli -p 6379 -h 192.168.23.22】 auth username#passwd 或…
阅读更多...
低成本出租屋5G CPE解决方案：ZX7981PG/ZX7981PM WIFI6千兆高速网络

低成本出租屋5G CPE解决方案：ZX7981PG/ZX7981PM WIFI6千兆高速网络

刚搬进新租的房子，没有网络，开个热点？续航不太行。随身WIFI？大多是百兆级网络。找人拉宽带？太麻烦，退租的时候也不能带着走。5G CPE倒是个不错的选择，插入SIM卡就能直接连接5G网络，千…
阅读更多...
学习日记_20241117_聚类方法（高斯混合模型）

学习日记_20241117_聚类方法（高斯混合模型）

前言 提醒： 文章内容为方便作者自己后日复习与查阅而进行的书写与发布，其中引用内容都会使用链接表明出处（如有侵权问题，请及时联系）。 其中内容多为一次书写，缺少检查与订正，如有问题或其他拓展…
阅读更多...
列出D3的所有交互方法，并给出示例

列出D3的所有交互方法，并给出示例

D3.js 提供了丰富的交互方法，可以用来增强图表的用户交互体验。以下是一些常用的交互方法及其示例： 1. 鼠标事件 on("mouseover", function) 用途: 当鼠标悬停在元素上时触发。示例:svg.selectAll(".bar").on("mouseover&qu…
阅读更多...
设计模式-参考的雷丰阳老师直播课

设计模式-参考的雷丰阳老师直播课

一般开发中使用的模式为模版模式策略模式组合，模版用来定义骨架，策略用来实现细节。 模版模式 策略模式 与模版模式特别像，模版模式会定义好步骤定义好框架，策略模式定义小细节 入口类 使用模版模式策略模式开发支付 以上使用…
阅读更多...
基于BERT的情感分析

基于BERT的情感分析

基于BERT的情感分析 1. 项目背景 情感分析（Sentiment Analysis）是自然语言处理的重要应用之一，用于判断文本的情感倾向，如正面、负面或中性。随着深度学习的发展，预训练语言模型如BERT在各种自然语言处理任务中取得了…
阅读更多...
37.超级简易的计算器 C语言

37.超级简易的计算器 C语言

超级简单&#xff0c;简单到甚至这个计算器输入都比较反人类 但是足够简单 有输入功能有Switch语句支持四种运算还能检查除数是不是0还能打印出完整的式子 #define _CRT_SECURE_NO_WARNINGS// 禁用安全警告 #include <stdio.h>int main() {double num1, num2;// 声明两…
阅读更多...
【tokenization分词】WordPiece, Byte-Pair Encoding(BPE), Byte-level BPE(BBPE)的原理和代码

【tokenization分词】WordPiece, Byte-Pair Encoding(BPE), Byte-level BPE(BBPE)的原理和代码

目录 前言 1、word (词粒度) 2、char (字符粒度) 3、subword (子词粒度) WordPiece Byte-Pair Encoding (BPE) Byte-level BPE(BBPE) 总结 前言 Tokenization&#xff08;分词&#xff09; 在自然语言处理(NLP)的任务中是最基本的一步&#xff0c;将文本处理成一串tok…
阅读更多...
深入解析 MySQL 数据库：数据库时区问题

深入解析 MySQL 数据库：数据库时区问题

在 MySQL 数据库中&#xff0c;时区管理是一个重要且复杂的主题&#xff0c;尤其是在全球化的应用程序中。以下是关于 MySQL 数据库时区问题的深入解析&#xff1a; 1. 时区的概念 时区是指地球表面被分为若干个区域&#xff0c;每个区域的标准时间相对协调世界时 (UTC) 有所…
阅读更多...
技术周总结 11.11~11.17 周日(Js JVM XML)

技术周总结 11.11~11.17 周日(Js JVM XML)

文章目录 一、11.11 周一1.1&#xff09;问题01&#xff1a;js中的prompt弹窗区分出来用户点击的是 确认还是取消进一步示例 1.2&#xff09;问题02&#xff1a;在 prompt弹窗弹出时默认给弹窗中写入一些内容 二、11.12 周二2.1) 问题02: 详解JVM中的本地方法栈本地方法栈的主要…
阅读更多...
模拟实现STL中的list

模拟实现STL中的list

目录 1.设计list的结点 2.设计list的迭代器 3.list类的设计总览 4.list类的迭代器操作 5.list类的四个特殊的默认成员函数 无参的默认构造函数 拷贝构造函数 赋值运算符重载函数 析构函数 6.list类的插入操作 7.list类的删除操作 8.list.hpp源代码 1.设计list的结点…
阅读更多...
spark 设置hive.exec.max.dynamic.partition不生效

spark 设置hive.exec.max.dynamic.partition不生效

spark脚本和程序中设置ive.exec.max.dynamic.partition不生效 正确写法&#xff1a; spark-submit \ --master yarn \ --deploy-mode client \ --driver-memory 1G \ --executor-memory 12G \ --num-executors 8 \ --executor-cores 4 \--conf spark.hadoop.hive.exec.max.dyna…
阅读更多...
.NET SDK 各操作系统开发环境搭建

.NET SDK 各操作系统开发环境搭建

一、Win10&#xff08;推荐&#xff09; 1、VS 2022 社区版 # 下载地址 https://visualstudio.microsoft.com/zh-hans/downloads/ 2、.NET 6 SDK # 下载地址 https://dotnet.microsoft.com/zh-cn/download/dotnet/6.0 3、Hello World 如果需要使用旧程序样式时&#xff0c;则…
阅读更多...
centos7.9安装mysql社区版

centos7.9安装mysql社区版

文章目录 场景安装 场景 今天把家里闲置的笔记本安装了centos&#xff0c;设置内网穿透做个人服务器用&#xff0c; 这里记录下安装mysql的过程 安装 安装mysql源 sudo yum install -y wget wget https://dev.mysql.com/get/mysql80-community-release-el7-5.noarch.rpm sudo r…
阅读更多...
IDEA怎么定位java类所用maven依赖版本及引用位置

IDEA怎么定位java类所用maven依赖版本及引用位置

在实际开发中&#xff0c;我们可能会遇到需要搞清楚代码所用依赖版本号及引用位置的场景&#xff0c;便于排查问题&#xff0c;怎么通过IDEA实现呢&#xff1f; 可以在IDEA中打开项目&#xff0c;右键点击maven的pom.xml文件&#xff0c;或者在maven窗口下选中项目&#xff0c;…
阅读更多...
Sqlserver 操作大数据量表，具体操作时间和服务器的配置等都有关系

Sqlserver 操作大数据量表，具体操作时间和服务器的配置等都有关系

1.select * into #A from TABLEA
阅读更多...
CommandLineRunner、ApplicationRunner和@PostConstruct

CommandLineRunner、ApplicationRunner和@PostConstruct

在Spring Boot中&#xff0c;CommandLineRunner、ApplicationRunner 和 PostConstruct 都是常用的生命周期管理接口或注解&#xff0c;它们有不同的用途和执行时机&#xff0c;帮助开发者在Spring应用启动过程中进行一些初始化操作或执行特定任务。下面分别介绍它们的特点、使用…
阅读更多...
【Golang】——Gin 框架中的模板渲染详解

【Golang】——Gin 框架中的模板渲染详解

Gin 框架支持动态网页开发&#xff0c;能够通过模板渲染结合数据生成动态页面。在这篇文章中&#xff0c;我们将一步步学习如何在 Gin 框架中配置模板、渲染动态数据&#xff0c;并结合静态资源文件创建一个功能完整的动态网站。 文章目录 1. 什么是模板渲染&#xff1f;1.1 概…
阅读更多...
最新文章

Copyright @ 2022~2023