VisualGLM-6B的部署步骤

对于如下命令,你将完全删除环境和环境中的所有软件包

conda remove -n env_name --all 

一、VisualGLM-6B环境安装

1、硬件配置

操作系统:Ubuntu_64(ubuntu22.04.3)

GPU:4050

显存:16G

2、配置环境
建议最好自己新建一个conda环境
pip install -r requirements.txt

(ChatGLM-6B/requirements.txt at main · THUDM/ChatGLM-6B · GitHub)

VisualGLM-6B 下载地址                                                          ChatGLM3下载地址

ChatGLM2-6B  下载地址                                                                CogVLM     下载地址

   THUDM / chatglm2-6b  模型地址                        THUDM / chatglm3-6b  模型地址

   THUDM / visualglm-6b   模型地址

chatglm.cpp  下载地址

chatglm.cpp:类似 llama.cpp 的量化加速推理方案,实现笔记本上实时对话

2、配置环境
自己新建一个conda环境

conda create -n vglm python==3.8

我的cuda==11.8 python==3.8

pytorch2.0.0

conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia

接着

pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple 


 

报错(一直循环下载)

Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/b1/5b/9f85c302c60cf4988b9d87d52812e77ca8ca5f012d81d44d6c501a3ca2a8/boto3-1.34.76-py3-none-any.whl (139 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 139.3/139.3 kB 24.1 MB/s eta 0:00:00
Collecting botocore<1.35.0,>=1.34.76 (from boto3->SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/2a/f5/256c032825d33d1ce45543db46ec30db963cb68c7c45dc0d08335c3862a6/botocore-1.34.76-py3-none-any.whl (12.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 12.1/12.1 MB 14.1 MB/s eta 0:00:00
Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/06/fa/8fb0a124f9c0d22dd918e15df4c4bd42d8f846985a5331783e0a9b612553/boto3-1.34.75-py3-none-any.whl (139 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 139.3/139.3 kB 29.3 MB/s eta 0:00:00
Collecting botocore<1.35.0,>=1.34.75 (from boto3->SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/76/9f/161f74d223a8bdba465a61d9eef16a870bdea80c6c45f822ddb00a499a68/botocore-1.34.75-py3-none-any.whl (12.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 12.1/12.1 MB 14.3 MB/s eta 0:00:00
Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/fe/61/2561a979dabf221724b0de8d5ba9c6f42950fea689ebfca304e8ee943d68/boto3-1.34.74-py3-none-any.whl (139 kB)

 

找到报错的SwissArmyTransformer==0.4.4

添加#SwissArmyTransformer==0.4.4

后在单独下载SwissArmyTransformer==0.4.4

环境到此完成安装!

二、本地加载VisualGLM-6B模型

下载ChatGLM-6B模型文件 

文件可以从这里下载(点击中间的下载按钮即可):https://huggingface.co/THUDM/chatglm-6b

  从本地加载模型

  visualglm-6b模型文件

手动下载模型参数文件,并将下载的文件替换到本地的 chatglm-6b 目录下。

将模型下载到本地之后,将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径,即可从本地加载模型。

Optional 模型的实现仍然处在变动中。如果希望固定使用的模型实现以保证兼容性,可以执行

git checkout v1.1.0

注意:这里都下载在了GPT/VisualGLM-6B下,在后面执行代码的时候需要将文件中的模型文件路径改为自己的

参考:ChatGLM两代的部署/微调/实现:从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现_chatglm微调-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/804.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

授人以渔 选购篇九:扫地机器人(扫拖机器人)选购要点

文章目录 系列文章自动上下水导航技术&#xff1a;立体激光导航视觉导航&#xff0c;多传感器清洁能力&#xff1a;胶条刷、旋转拖布健康卫生&#xff1a;热水洗拖布、热风烘干智能功能品牌其他 系列文章 授人以渔 选购篇一&#xff1a;信用卡选购要点 授人以渔 选购篇二&…

2024华中杯C题光纤传感器平面曲线重建原创论文分享

大家好&#xff0c;从昨天肝到现在&#xff0c;终于完成了2024华中杯数学建模C题的完整论文啦。 给大家看一下目录吧&#xff1a; 目录 摘 要&#xff1a; 10 一、问题重述 12 二&#xff0e;问题分析 13 2.1问题一 13 2.2问题二 14 2.3问题三 14 三、模型假设 15 四、…

HWOD:字符串字符匹配

一、知识点 c语言中&#xff0c;判断一个字符串中是否含有某字符是很容易的&#xff0c;不需要知道字符串的长度 i0; while(c ! str[i] && str[i] ! \0){ i; } if(str[i] \0){ return false; } return true; 二、题目 1、描述 判断短字符串S中的所有字符…

闭包的概念总结与分析

1 定义 闭包又称词法闭包 闭包最早定义为一种包含和的实体. 在计算机科学中&#xff0c;闭包&#xff08;英语&#xff1a;Closure&#xff09;&#xff0c;又称词法闭包&#xff08;Lexical Closure&#xff09;或函数闭包&#xff08;function closures&#xff09;&#…

Redis: 在项目中的应用

文章目录 一、Redis的共享session应用二、分布式缓存1、缓存2、缓存一致性问题解决方案&#xff08;缓存更新策略&#xff09;&#xff08;1&#xff09;作用&#xff08;2&#xff09;三种策略&#xff08;3&#xff09;主动更新策略&#xff08;数据库、缓存不一致解决方案&a…

JavaScript系列:实用的数组比较方法

目录 引用比较的局限性 使用JSON.stringify()方法比较 使用Array.every()方法进行比较 结论 在JavaScript编程中&#xff0c;经常会遇到需要比较两个数组是否相等的场景。但是&#xff0c;由于JavaScript中数组是以引用方式比较&#xff0c;而非值比较&#xff0c;这使得直…

一切皆因数据

大语言模型在自然语言处理&#xff08;NLP&#xff09;领域取得突破性进展的原因&#xff1a;总体上&#xff0c;基本上都与数据集有关&#xff0c;庞大数据集带来巨大的挑战。可以说&#xff0c;数据的量的变化&#xff0c;带来的深度学习的质的飞跃。挑战与收益是并存的&…

汽车研发项目进度管理的挑战与优化策略

随着汽车行业的快速发展和市场竞争的加剧&#xff0c;新车型研发项目的进度管理成为车企赢得市场的关键。然而&#xff0c;由于汽车研发项目通常具有投资大、周期长、技术难度高、参与方众多等特点&#xff0c;项目进度管理面临着诸多挑战。为了提升车型研发效率、缩短研发周期…

Element-UI el-autocomplete带输入建议的输入框组件

文章目录 一、背景二、使用示例三、自定义使用四、全文本模糊匹配一、背景 当我们使用 el-select 可以下拉框搜索选择想要选中的值,但是却不能编辑选中的文本;使用 el-input 可以编辑文本,却没有建议可以选择。 为兼容二者的优点,可以使用 el-autocomplete,el-autocompl…

【K8s】:在 Kubernetes 集群中部署 MySQL8.0 高可用集群(1主2从)

【K8s】:在 Kubernetes 集群中部署 MySQL8.0 高可用集群(1主2从) 一、准备工作二、搭建nfs服务器2.1 安装 NFS 服务器软件包(所有节点执行)2.2 设置共享目录2.3 启动 NFS 服务器2.4 设置防火墙规则(可选)2.5 验证 NFS 服务器三、搭建部署mysql主节点3.1 创建命名空间3.2…

设计模式之创建型模式详解

设计模式 创建型模式 创建型模式(Creational Pattern)对类的实例化过程进行了抽象&#xff0c;能够将软件模块中对象的创建和对象的使用分离。为了使软件的结构更加清晰&#xff0c;外界对于这些对象只需要知道它们共同的接口&#xff0c;而不清楚其具体的实现细节&#xff0…

软考-系统集成项目管理中级--项目质量管理(输入输出很重要!!!本章占分较高,着重复习)

本章历年考题分值统计 本章重点常考知识点汇总清单 5、成本效益分析法:对每个质量活动进行成本效益分析&#xff0c;就是要比较其可能的成本与预期的效益。达到质量要求的主要效益包括减少返工、提高生产率、降低成本、提升干系人满意度及提升赢利能力。(掌握)17下64考题 本章…

贪吃蛇项目实战解析

项目实战 游戏背景​ 贪吃蛇是久负盛名的游戏&#xff0c;它也和俄罗斯方块&#xff0c;扫雷等游戏位列经典游戏的行列。 在编程语言的教学中&#xff0c;我们以贪吃蛇为例&#xff0c;从设计到代码实现来提升学生的编程能力和逻辑能力。 目录&#xff1a; 游戏背景 游戏效…

Java如何用EasyExcel插件对Excel进行数据导入和数据导出

文章目录 一、EasyExcel的示例导入依赖创建实体类数据导入和导出 二、EasyExcel的作用三、EasyExcel的注解 EasyExcel是一个阿里巴巴开源的excel处理框架&#xff0c;它以使用简单、节省内存著称。在解析Excel时&#xff0c;EasyExcel没有将文件数据一次性全部加载到内存中&…

【Flutter】自动生成图片资源索引插件二:FlutterAssetsGenerator

介绍 FlutterAssetsGenerator 插件 &#xff1a;没乱码&#xff0c;生成的图片索引命名是小驼峰 目录 介绍一、安装二、使用 一、安装 1.安装FlutterAssetsGenerator 插件 生成的资源索引类可以修改名字&#xff0c;我这里改成R 2. 根目录下创建assets/images 3. 点击image…

c#+unity基础

序列化&#xff1a; [SerializeField]&#xff0c;点不出来&#xff0c;只能在面板上显示绑定游戏物体 //公有隐藏 特有函数 特有函数&#xff1a;不需要调用&#xff0c;自动执行 Awake最先执行->OnEable 面向对象思想 面向对象思想&#xff1a;分为具体对象和抽象对…

LeetCode in Python 55. Jump Game (跳跃游戏)

跳跃游戏的游戏规则比较简单&#xff0c;若单纯枚举所有的跳法以判断是否能到达最后一个下标需要的时间复杂度为O()&#xff0c;为此&#xff0c;本文采用贪心策略&#xff0c;从最后一个下标开始逆着向前走&#xff0c;若能跳到第一个元素则表明可以完成跳跃游戏&#xff0c;反…

面向对象——类与对象

文章目录 类与对象构造函数、析构函数get/set方法函数&#xff1a;类内声明、类外定义static 类与对象 #include<iostream> #include<string> using namespace std; /* 类与对象 */ class Person{public:string name;// 固有属性&#xff0c;成员变量 int age;pu…

明文scheme拉起此小程序

微信开发文档说明&#xff1a;https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/url-scheme.html 1、开发者无需调用平台接口&#xff0c;在MP平台->设置->隐私与安全->明文Scheme拉起此小程序声明后&#xff0c;可自行根据如下格式拼接app…

Linux-用户身份(概念)

介绍&#xff1a; 1、在Linux的学习过程中如果使用普通用户身份进行操作&#xff0c;则在配置服务之后出现错误时很难判断是系统自身的问题还是因为权限不足而导致的&#xff1b;这无疑会给大家的学习过程徒增坎坷。 一、用户身份 1&#xff09;用户 1、Linux系统中的…