ChatGlm的部署和训练

一、chatGlm的环境部署

1.安装anocoda

下载安装anaconda。具体教程详见官网教程。
在这里插入图片描述

2.安装CUDA

1)首先在终端查看你的Nividian版本,命令如下:
在这里插入图片描述
2)如果你没有下载你要去下载cuda下载网站,这里是12.3是因为我cuda version版本12.3,之后傻瓜式下一步安装
在这里插入图片描述
3)安装完之后,要看系统变量有没有这两个变量。
在这里插入图片描述

3.安装pytorch

1)cmd输入命令,这是创建名为ChatGLMModel 的虚拟环境:

conda create --name ChatGLMModel python==3.8.10
  1. 激活ChatGLMModel的环境
conda activate ChatGLMModel

3)开始安装pytorch
如果电脑配置了GPU,要注意需安装GPU版本的pytorch,具体可登录官网链接:

这里要注意选择你是什么系统,cuda是安装了什么版本(博主前面选择的是12.1),然后复制下面红框中的命令到终端就可以安装了。切记切记要使用pip的,千万,千万,千万不要用conda的安装方式,因为它下载的一直都是CPU版本的。
`
在这里插入图片描述

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

在终端输入python,然后依次输入下面代码,验证torch-GPU版本是不是成功

import torch
torch.cuda.is_available()  ## 输出应该是True

在这里插入图片描述

4.下载模型

1)本来下载模型要到hugging face上的,但是他被封了只能去其他网站可去这个HF Mirror网站下载除pytorch_model之外的文件,然后去这个清华网站下载这个文件pytorch_model
,因为有两个问题第一HF Mirror下载速度很慢,那些模型太大;第二git clone大文件会报错
在这里插入图片描述

5.从github下载

1)从这个github网站下载ChatGLM-6B也可以用git

git clone https://github.com/THUDM/ChatGLM-6B.git

2)部署环境,在终端下打开ChatGLM-6B安装的目录,然后运行下面命令,安装相关库

pip install -r requirements.txt

二、chatGlmd的运行

1.运行前准备

在运行之前,需要先修改web_demo.py文件中的模型地址,具体为第5行与第6行,具体如下:
在这里插入图片描述

tokenizer = AutoTokenizer.from_pretrained("model", trust_remote_code=True)
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda()

根据实际显卡显存,可以更改第6行关于model运行方式:

# 6G 显存可以 4 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(4).cuda()# 10G 显存可以 8 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(8).cuda()# 14G 以上显存可以直接不量化,博主显存为16G选择的就是这个
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda()

2.运行

在终端输入命令,注意不要用python3,因为可能会使用到其它环境下的python或者在pycharm运行即可

python web_demo.py

三.遇到的一些问题

1.grd版本过高

(chatglm) [root@localhost ChatGLM2-6B]# python web_demo.py 
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:37<00:00,  5.31s/it]
Traceback (most recent call last):File "/opt/ChatGLM2-6B/web_demo.py", line 89, in <module>user_input = gr.Textbox(show_label=False, placeholder="Input...", lines=10).style(
AttributeError: 'Textbox' object has no attribute 'style'

1)pip list查看本地已经安装的工具包版本,我的是4.2.0
2)这表示没有style这个参数,所以我们要降版本

pip install gradio==3.40.0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/837825.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【微记录】linux如何使用ebpf观测你的某个命令调用了内核的ioctl?(bpftrace sys_enter_ioctl)

场景 对于工程实践中需要查看某些ioctl是否被调用&#xff0c;尤其是一个新的模块初次调试&#xff0c;在不添加调试命令debug的情况下如何观测&#xff1f; 另外就是对于外部提供的二进制程序&#xff0c;如何观测该程序是否调用ioctl以及何时调用&#xff1f; 这些都通过ebp…

【保姆级】生成式网络模型基础知识(图像合成/语音合成/GPT)

生成式模型基础知识 初步接触生成任务 生成任务&#xff0c;顾名思义就是要去生成一个东西&#xff0c;比如生成图片/音频/文字等等。 大家接触最多比如chatGPT、stable diffusion、还有一些语音合成相关的东西。 那么问题来了&#xff0c;具体生成步骤是什么样的&#xff…

JVM 常见知识点总结

文章目录 一、类加载篇1.1 类加载过程1.2 类加载器分类1.3 双亲委派机制 二、JVM内存结构篇2.1 JVM内存结构2.2 对象的创建过程2.3 强软弱虚引用 三、垃圾回收篇3.1 如何判断对象是否死亡3.2 哪些对象可以作为gcroots3.3 垃圾回收算法3.4 Minor GC和Full GC的区别3.5 HotSpot为…

【计算机毕业设计】基于SSM++jsp的高校专业信息管理系统【源码+lw+部署文档+讲解】

目录 第1章 绪论 1.1 课题背景 1.2 课题意义 1.3 研究内容 第2章 开发环境与技术 2.1 MYSQL数据库 2.2 JSP技术 2.3 SSM框架 第3章 系统分析 3.1 可行性分析 3.1.1 技术可行性 3.1.2 经济可行性 3.1.3 操作可行性 3.2 系统流程 3.2.1 操作流程 3.2.2 登录流程 3.2.3 删除信息流…

ChatGPT-4o发布了,所有人都可以免费用

前言 美国时间 5 月 13 日&#xff0c;在 Sam Altman 缺席的情况下&#xff08;为什么缺席&#xff0c;猜测是可能后面还有更重磅的消息&#xff0c;这次的产品只是一个中间过渡产品&#xff09;&#xff0c;OpenAI CTO Mira Murati 介绍了新的 ChatGPT 产品 ChatGPT-4o。这个…

node安装以及node的包管理工具

node安装以及node的包管理工具 node安装nvm管理工具 node安装 1、下载node链接: 点击这里 2、选择需要下载的版本以及对应的系统版本 nvm管理工具 1、下载nvm链接: 点击这里 2、双击运行.exe文件 全部默认安装即可 3、nvm常用命令 nvm list avaliable 显示所有可以下载的n…

企业管理咨询公司不会选?一文带你避开“坑人”陷阱

近年来&#xff0c;企业管理咨询公司如雨后春笋般涌现&#xff0c;数量之多令人眼花缭乱。所以&#xff0c;面对这么多的企业管理咨询公司&#xff0c;企业该选谁&#xff1f;又该如何选择&#xff1f;本文将从以下几个方面为大家解析。 首先&#xff0c;我们要明确自己的需求和…

每日一练 | 华为认证真题练习 - OSPF NSSA区域配置注意事项础

Day310 - 每日一练 OSPF NSSA区域配置注意事项 01 真题题目 关于配置 NSSA 区域需要注意的事项中,描述正确的是&#xff1a; A. NSSA 区域可以传播来自 OSPF 网络其它区域的外部路由 B. 骨干区域可以配置成为 NSSA 区域 C. 虚连接可以穿越 NSSA 区域 D. 如果将一个区域配置…

调用unity的Application.Quit();方法退出会导致重启问题

最近测试提了一个bug&#xff0c;游戏退出会导致游戏重启 我发现我们是直接调用的unity自带的方法&#xff1a; Application.Quit(); 但是我使用demo工程&#xff0c;调用这个是正常的&#xff0c;摸不着头脑 尝试使用安卓方法&#xff1a; using (AndroidJavaClass system…

正则表达式和Lambda表达式的使用和区别(C++)

在C中&#xff0c;正则表达式和Lambda表达式都是强大的工具&#xff0c;分别用于不同的任务。下面是一些示例代码&#xff0c;展示了如何在C中使用正则表达式和Lambda表达式。 使用正则表达式&#xff08;C11及以上&#xff09; 在C中&#xff0c;正则表达式功能由标准库中的…

R语言:ROC分析

> install.packages("pROC") > library(pROC) > inputFile"结果.txt" > rtread.table(inputFile, headerT, sep"\t", check.namesF, row.names1) > head(rt) con treat TCGA-E2-A1L7-11A-con…

SynchronousQueue 的 常用场景及使用示例

SynchronousQueue 的 常用场景及使用示例 SynchronousQueue 是 Java 并发框架中的一个特殊类型的阻塞队列&#xff0c;它的特点是队列内部容量为零&#xff0c;即不存储元素。每个 put 操作必须等待一个对应的 take 操作&#xff0c;反之亦然&#xff0c;因此它主要用作线程间…

【论文速读】|大语言模型是零样本模糊测试器:通过大语言模型对深度学习库进行模糊测试

本次分享论文&#xff1a;Large Language Models are Zero-Shot Fuzzers: Fuzzing Deep-Learning Libraries via Large Language Models 基本信息 原文作者&#xff1a;Yinlin Deng, Chunqiu Steven Xia, Haoran Peng, Chenyuan Yang, Lingming Zhang 作者单位&#xff1a;U…

vue+vant项目0-1快速发布到--钉钉应用

uniapp开发笔记----vue开发项目配置钉钉应用 一、 vuevant开发项目1. 自定义vuevant项目或者已经有的旧项目1. 自定义vuevant项目1. 创建vue项目2. 安装依赖3. 引入所有组件4. 使用一个组件/效果和代码如下&#xff1a; 2. git官网仓库&#xff0c;直接拉默认dome代码3. 打包项…

Gone是什么—— 一个轻量的,基于Golang的,依赖注入框架

我从头到尾实现了一个Golang的依赖注入框架&#xff0c;并且集成了gin、xorm、redis、cron、消息中间件等功能&#xff1b;自己觉得还挺好用的&#xff0c;推荐给你&#xff01;也欢迎一起维护&#xff01; github地址&#xff1a;https://github.com/gone-io/gone 文档地址&am…

CTF如何学习?

CTF如何学习&#xff1f;打CTF有什么用 CTF本身有几个常见的领域 MISC WEB [逆向 密码学](https://www.zhihu.com/search?q逆向 密码学&search_sourceEntity&hybrid_search_sourceEntity&hybrid_search_extra{“sourceType”%3A"answer"%2C"sourc…

Hadoop 3.4.0+HBase2.5.8+ZooKeeper3.8.4+Hive+Sqoop 分布式高可用集群部署安装 大数据系列二

创建服务器,参考 虚拟机创建服务器 节点名字节点IP系统版本master11192.168.50.11centos 8.5slave12192.168.50.12centos 8.5slave13192.168.50.13centos 8.5 1 下载组件 Hadoop:官网地址 Hbase:官网地址 ZooKeeper:官网下载 Hive:官网下载 Sqoop:官网下载 为方便同学…

【Web前端】JavaScript基本知识

1.Javascript简介 简称JS&#xff0c;是当前最流行、应用最广泛的客户端脚本语言&#xff0c;用来在网页中添加一些动态效果与交互功能。在web开发领域有着举足轻重的地位。 2.JavaScript包含内容 核心ECMAScript(es):提供语言的语法和基本对象(数据类型、运算符、流程控制等…

TypeScript学习日志-第二十六天(weakMap,weakSet,set,map)

weakMap,weakSet,set,map 一、set set 的基本用法如下&#xff1a; 二、map map 与 set 的 区别 就是 map 的 key 可以是引用类型 object array , map 的添加时使用 set 三、weakmap weakset weakmap和weakset 都是弱项 弱引用 其键必须是引用类型&#xff0c;不能是其它类…

数据结构之图的学习

为自己复习时使用 图、树和线性表在数据结构中有显著的区别&#xff0c;主要体现在以下方面&#xff1a; 数据元素名称&#xff1a; 线性表&#xff1a;其中的数据元素被称为元素。树&#xff1a;数据元素被称为结点。图&#xff1a;数据元素被称为顶点&#xff08;Vertex&…