在矩池云使用GLM-4的详细指南(无感连GitHubHuggingFace)

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本,在多项测试中表现出超越已有同等规模开源模型的性能,它能兼顾多轮对话、网页浏览、代码执行、多语言、长文本推理等多种功能,性能更加强大。其多模态语言模型GLM-4V-9B在视觉理解能力中的表现,则显示出堪比几大经典闭源模型的潜能。
在这里插入图片描述

项目地址:https://github.com/THUDM/GLM-4

上传模型和数据

如果租用的亚太区机器可以直接在线下载模型和数据,无需操作以下步骤。

如果租用的机器位于非亚太区,我们需要先上传的模型和数据到矩池云网盘,这样租用机器后就可以直接使用了。

Glm-4-9b-chat 的模型放在Huggingface,租用国内服务器直接运行下载可能很慢,所以我们需要提前本地下载好,然后上传到矩池云网盘再租用机器使用。

https://huggingface.co/THUDM/glm-4-9b-chat

本地下载好后,把相关文件上传到矩池云网盘即可,之后再根据项目需求进行调用。

租用机器

本次复现先使用的是亚太1区 NVIDIA RTX 4090 配置环境,镜像使用的是 CUDA 12.1 ,选择好机器和镜像后,点击高级选项-自定义端口,设置一个8080端口,用于后面访问 GLM-4 服务,配置好点击租用即可。

使用亚太1区的可以无感连 Github 和 HuggingFace,克隆 Github 代码或者下载Huggingface 模型很快。
在这里插入图片描述

租用成功后我们可以在租用页面看到机器的 SSH、Jupyterlab 等链接,矩池云官网有详细的教程介绍了如何使用这些链接连接服务器。

配置环境

clone 代码

经常修改的代码和数据集建议放矩池云网盘,Linux 系统实例中网盘对应机器中的 /mnt目录,永久存储,可以离线上传下载数据。

我们点击 Jupyterlab 链接即可直接访问服务器,新建一个 Terminal,输入以下指令 clone 项目。

# 进入网盘目录,我复现项目代码会归纳在一起 /mnt/example/,你改成自己目录即可
cd /mnt/example/
# clone 代码
git clone https://github.com/THUDM/GLM-4

安装依赖

安装 requirements.txt 里的依赖和 torch,按以下指令输入即可:

# 进入项目目录
cd GLM-4
# 安装依赖
pip install -r requirements.txt 
# 重新从官方源安装 torch
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

看到最后警告信息不用管,意思是不建议你在 root 权限下操作安装,实际是安装成功了的。

运行项目

在程序运行前先修改部分代码,我们打开 basic_demo 下的 trans_web_demo.py 文件,修改以下代码:

  • 注释掉图示3行代码,并加1行 if None:,这个改动是直接让程序从默认路径读取模型,如果没有,就从 huggingface 下载。

  • 修改图示代码,设置 host、port,以及将inbrowser、 share 设置成False,避免不必要安全风险

输入以下指令运行项目:

cd basic_demo
python trans_web_demo.py 

启动成功后,即可访问租用页面 8080 端口链接。

在页面中输入问题,点击Submit即可获得响应。

整体响应速度、回答质量都比GLM3要更好。

glm-4-9b-chat 模型运行大概占用显存18G左右。

保存环境

配置好环境,我点击租用页面-更多-保存到个人环境,如果是团队项目,则保存至团队环境,即可保存我们配置好的环境。

取一个环境名称,然后勾选保存成功后自动释放机器,再点击保存环境即可。

保存成功后下次即可快速从保存环境启动啦。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/853231.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

socket收发数据的处理

1. TCP 协议是一种基于数据流的协议 Socket的Receive方法只是把接收缓冲区的数据提取出来,当系统的接收缓冲区为空,Receive方法会被阻塞,直到里面有数据。 Socket的Send方法只是把数据写入到发送缓冲区里,具体的发送过程由操作系统负责。当操作系统的发送缓冲区满了,Send方法会…

《TCP/IP网络编程》(第十五章)套接字和标准I/O

之前数据通信时,使用的是read&write函数以及其他各种I/O函数,本章将使用标准I/O函数,例如C语言的fopen、fgetc、fputs等等;C语言的cout、cin等等 1.使用标准I/O函数的优点 ①跨平台兼容性: 标准I/O函数通常是跨平…

大数据实训项目(小麦种子)-04、大数据实训项目JavaWeb环境搭建

文章目录 前言运行前准备工作1、安装Hadoop3.1.0配置winutils原因描述配置方式注意点(hadoop.dll拷贝System32目录下) 2、hive运行报错(The dir: /tmp/hive on HDFS should be writable. ) 项目环境搭建参考资料 前言 博主介绍&a…

NPM常用的包

文章目录 npm常用的包1. git-open:直接在终端打开git网站2. http-server:启动本地服务3. 多个CSS类名合并 npm常用的包 1. git-open:直接在终端打开git网站 https://www.npmjs.com/package/git-open 可以直接在终端中使用命令打开项目在github上的网站 安装、使用命令&…

web前端厦门招聘:探索行业趋势、技能需求与职业发展机遇

web前端厦门招聘:探索行业趋势、技能需求与职业发展机遇 在数字化浪潮席卷全球的今天,Web前端技术作为互联网行业的核心驱动力之一,其重要性日益凸显。厦门,作为一座充满活力和创新氛围的城市,Web前端招聘市场同样炙手…

【LLM之RAG】RAFT论文阅读笔记

研究背景 论文针对的主要问题是如何将预训练的大型语言模型(LLMs)适应特定领域的检索增强生成(RAG)。这些模型通常在广泛的文本数据上进行预训练,已经表现出在广义知识推理任务上的优越性能。然而,在特定领…

Google Earth Engine(GEE)——在控制台上答应出一个button按钮

函数: ui.Button(label, onClick, disabled, style) A clickable button with a text label. Arguments: label (String, optional): The buttons label. Defaults to an empty string. onClick (Function, optional): A callback fired when the button is clicked. T…

面试题 17.06. 2出现的次数

题解&#xff1a;. - 力扣&#xff08;LeetCode&#xff09;. - 力扣&#xff08;LeetCode&#xff09; 数位 DP 通用模板_哔哩哔哩_bilibili class Solution { public:int numberOf2sInRange(int n) {std::string str to_string(n);int len str.size();std::vector<std:…

text-underline-offset的作用是什么,怎么使用

text-underline-offset 是一个 CSS 属性&#xff0c;用于控制文本下划线的偏移位置。换句话说&#xff0c;这个属性可以让你指定下划线距离文本基线的垂直距离。默认情况下&#xff0c;下划线会紧贴文本的基线&#xff0c;但通过设置 text-underline-offset&#xff0c;你可以让…

SUSTAINABILITY,SCIESSCI双检期刊还能投吗?

本期&#xff0c;小编给大家介绍的是一本MDPI出版社旗下SCIE&SSCI双检“毕业神刊”——SUSTAINABILITY。据悉&#xff0c;早在2024年1月&#xff0c;ElSEVIER旗下的Scopus数据库已暂停收录检索期刊SUSTAINABILITY所发表文章&#xff0c;同时重新评估是否继续收录该期刊。随…

Pytest 读取excel文件参数化应用

本文是基于Pytest框架&#xff0c;读取excel中的文件&#xff0c;传入页面表单中&#xff0c;并做相应的断言实现。 1、编辑媒体需求 首先明确一下需求&#xff0c;我们需要对媒体的表单数据进行编辑&#xff0c;步骤如下&#xff1a; 具体表单如下图所示 1、登录 2、点击我…

electron基础使用

安装以及运行 当前node版本18&#xff0c;按照官网提供操作&#xff0c;npm init进行初始化操作&#xff0c;将index.js修改为main.js&#xff0c;执行npm install --save-dev electron。&#xff08;这里我挂梯子下载成功了。&#xff09;&#xff0c;添加如下代码至package.…

ORB算法特征提取

声明&#xff1a;学习过程中的知识总结&#xff0c;欢迎批评指正。 ORB算法提取两路输入图像&#xff08;图像A&#xff0c;图像B&#xff09;的特征点&#xff0c;根据提取的特征点进行特征匹配得到特征对。 ​ 图像金字塔 因为在现实世界中&#xff0c;同一个物体可能会以…

青少年编程与数学 01-001开始使用计算机 03课题、键盘操作与打字2_2

青少年编程与数学 01-001开始使用计算机 03课题、键盘操作与打字2_2 五、中文打字六、语音输入&#xff08;一&#xff09;启用Windows语音输入&#xff08;二&#xff09;使用语音输入&#xff08;三&#xff09;提示与注意事项 课题建议课题作业英文词汇英文缩写 本文主题为键…

文生视频新王登场:Luma官宣免费、电影级大片生成,Sora?可灵?SD3.0?(内附网址)

✨点击这里✨&#xff1a;&#x1f680;原文链接&#xff1a;&#xff08;更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号&#xff01;&#xff09; 文生视频新王登场&#xff1a;Luma官宣免费、电影级大片生成&#xff0c;Sora&#xff1f;可灵&am…

Ubuntu server 24 (Linux) 安装部署samba服务器 共享文件目录 windows访问

1 安装 sudo apt update sudo apt-get install samba #启动服务 sudo systemctl restart smbd.service sudo systemctl enable smbd.service #查看服务 2 创建用户 #创建系统用户 sudo useradd test2 #配置用户密码 sudo smbpasswd -a test2 # smbpasswd: -a添加用户 …

[xmake]构建静态库和动态库

xmake 静态库和动态库 在xmake中创建静态库和动态库的方法非常相似。以下是创建静态库和动态库的基本步骤&#xff1a; 创建xmake工程文件&#xff08;xmake.lua&#xff09;。 配置工程属性&#xff0c;包括工程名、版本等。 添加源代码文件到工程中。 设置是创建静态库还…

SD3开源:AI绘画的新纪元,出图效果巨好,不容错过!(附教程)

大家好&#xff0c;我是画画的小强。 这两天&#xff0c;Stability AI 将史上最牛的AI绘画模型SD3开源了&#xff0c;真是有格局&#xff01; 虽说只是中杯的20亿参数版本&#xff0c;但我已经很满足了&#xff0c;再高的版本&#xff0c;我这普通的16G 4070Ti Super 显卡也跑…

C++程序退出时进行资源清理和关闭操作

在 C 程序中&#xff0c;进行资源清理和关闭操作时&#xff0c;通常会使用析构函数或 atexit 函数来执行清理操作。以下是一些方法和示例&#xff0c;展示如何在程序退出时清理 USB 资源或执行其他清理操作 一、使用析构函数 如果你的资源清理操作与某个对象的生命周期相关&am…

虚幻引擎 Apple Vision Pro 快速入门指南

先决条件 需要配备 Apple Silicon(m1、m2、m3)的 Mac 安装了 visionOS 1.1 支持的 Xcode 15.3 Apple Vision Pro 设备设置 这是一个简短的摘要,请参阅 Apple 的文档以获取完整的设置说明。 设置并连接到你的 wifi,或者使用开发者带 由于 wifi 不稳定,建议使用开发者带 更…