ChatGLM3-6B安装

1 CentOS7 安装Python 10

1.1 安装基础环境

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel

1.2 升级 OpenSSL

不升级 OpenSSL,pip install 可能无法使用

# 安装依赖
yum install -y gcc gcc-c++ autoconf automake zlib zlib-devel pcre-devel make perl perl-CPAN# 安装 IPC::Cmd模块,安装过程中其中一项选择“manual”,其他选择“yes”即可
cpan IPC::Cmd# 下载tar -zxvf openssl-3.0.2.tar.gz
cd /opt
wget https://www.openssl.org/source/openssl-3.0.2.tar.gz --no-check-certificate
tar -zxvf openssl-3.0.2.tar.gz
cd openssl-3.0.2/# 执行配置,安装目录前缀是“/usr/local/openssl”,很重要
./Configure --prefix=/usr/local/openssl
# 编译安装
make && make install# 进入安装目录
cd /usr/local/openssl
# 复制lib文件,很重要
cp -rf /usr/local/openssl/lib64 /usr/local/openssl/lib# 配置动态库链接
echo "/usr/local/openssl/lib64/" >> /etc/ld.so.conf# 更新系统的库缓存
ldconfig
# 替换旧版的目录
mv /usr/bin/openssl /usr/bin/openssl.bak
# 创建软连接
ln -s /usr/local/openssl/bin/openssl /usr/bin/openssl# 查看版本
openssl version

1.3 安装Python

# 创建文件夹
mkdir python
cd python# 下载文件,没有wget命令就安装:yum install wget
wget https://www.python.org/ftp/python/3.10.6/Python-3.10.6.tgz
tar -xzf Python-3.10.6.tgz 
cd Python-3.10.6# 编译安装, 注意此处的--with-openssl=/usr/local/openssl,对应openssl的安装目录
./configure --prefix=/usr/local/python3 --with-openssl=/usr/local/openssl --with-openssl-rpath=auto
make && make install# 删除无效数据
rm -rf /usr/local/bin/pip3
rm -rf /usr/local/bin/python3# 创建软连接
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/
ln -s /usr/local/python3/bin/python3 /usr/local/bin/

1.4 创建Python虚拟环境

# 进入opt安装目录
cd /opt# 安装依赖包
pip3 install virtualenv -i https://pypi.tuna.tsinghua.edu.cn/simple# 安装虚拟环境
python3 -m venv pyai# 进入bin目录
cd pyai/bin# 进入虚拟环境
source activate

2 安装ChatGLM3-6B

2.1 参考地址

# GitHub
https://github.com/THUDM/ChatGLM3# HuggingFace
https://huggingface.co/THUDM/chatglm3-6b

使用git下载Huggingface大模型

# 安装lfs
git lfs install# 下载大模型
git clone https://huggingface.co/THUDM/chatglm3-6b

2.2 安装依赖环境

requirements.txt文件

protobuf
transformers>=4.30.2
cpm_kernels
torch>=2.0
gradio~=3.39
sentencepiece
accelerate
sse-starlette
streamlit>=1.24.0
fastapi>=0.95.1
uvicorn~=0.24.0
sse_starlette
loguru~=0.7.2

安装依赖包

# 使用-i 设置安装源,速度会比较快
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 使用ChatGML3-6B

# 导入模型
from transformers import AutoTokenizer, AutoModel# 预先下载chatglm3-6b模型,./model/chatglm3-6b为自定义目录
tokenizer = AutoTokenizer.from_pretrained("./model/chatglm3-6b", trust_remote_code=True)# GPU部署
# model = AutoModel.from_pretrained("./model/chatglm3-6b", trust_remote_code=True).half().cuda()
# CPU部署
model = AutoModel.from_pretrained("./model/chatglm3-6b", trust_remote_code=True).float()
model = model.eval()# 使用模型
response, history = model.chat(tokenizer, "什么是人工智能技术", history=[])
print(response)
response, history = model.chat(tokenizer, "生成一篇关于人工智能技术的报告", history=history)
print(response)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/153877.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【开源】基于Vue.js的车险自助理赔系统的设计和实现

项目编号: S 018 ,文末获取源码。 \color{red}{项目编号:S018,文末获取源码。} 项目编号:S018,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 数据中心模块2.2 角色管理模块2.3 车…

[GFCTF 2021]wordy 编写去花IDAPYTHON

首先查壳 发现没有东西 然后放入ida 发现没有main并且软件混乱 发现这里1144的地方 出错 IDA无法识别数据 报错内容是EBFF 机器码 这里看了wp知道是很常见的花指令 所以我们现在开始去花 这里因为我们需要取出 EBFF 下面的地址也都是 EBFF 所以工作量大 使用IDApython脚本即…

EasyRecovery2024最新永久破解版本安装包下载

当我们处理重要的文件数据时,遇到突然停电导致数据来不及保存,再次打开电脑后,此前处理的数据可能丢失,这无疑会影响我们的工作进度,数据恢复软件在此时就派上用场,那么下面就来具体介绍EasyRecovery软件的…

FL Studio21怎么破解?2024年最新FLStudio21.2.0安装解锁特别版下载使用图文教程

用FL Studio编曲,让音乐成为你的翅膀,飞翔在无尽的创作海洋中吧! FL Studio作为一款功能强大且备受赞誉的音乐制作软件,为你提供了一个独特的创作平台。通过FL Studio,你可以自由地创作、编曲,制作属于自己…

4.6 Windows驱动开发:内核遍历进程VAD结构体

在上一篇文章《内核中实现Dump进程转储》中我们实现了ARK工具的转存功能,本篇文章继续以内存为出发点介绍VAD结构,该结构的全程是Virtual Address Descriptor即虚拟地址描述符,VAD是一个AVL自平衡二叉树,树的每一个节点代表一段虚…

API测试:了解API接口测试与API接口测试指南

本文为您提供API接口测试的全面指南。从基础概念到测试方法,再到最佳实践,本文将帮助您深入了解API测试,确保您的API稳健、高效。 一、API测试的基础概念 API(应用程序编程接口)是不同软件应用程序之间的通信桥梁。A…

【算法】区间调度算法

目录 1.概述2.代码实现3.应用 1.概述 (1)区间调度算法 (Interval Scheduling Algorithm) 是一种在给定的一组任务中,选择尽可能多的相互不冲突的任务的算法。在这个问题中,每个任务都有一个开始时间和结束时间。两个任务是相互冲…

rosnode ping指令

节点是一个可执行文件,它可以通过ROS来与其他节点进行通信(这些节点可以分布在不同设备上面的软件直接,例如一台在Windows上面,一台在Ubuntu,一台在stm32上面) 节点是ROS中非常重要的一个概念,为了帮助初学者理解这个…

springboot中动态api如何设置

1.不需要编写controller 等mvc层,通过接口动态生成api。 这个问题,其实很好解决,以前编写接口,是要写controller,需要有 RestController RequestMapping("/test1") public class xxxController{ ApiOperat…

敏捷DevOps专家王立杰:端到端DevOps持续交付的5P法则 | IDCF

今天有一个流行的英文缩写词用来刻画这个风云变幻的时代:VUCA(乌卡时代)。四个英文字母分别表示动荡性(Volatility)、不确定性(Uncertainty)、复杂性(Complexity)和模糊性…

JavaScript-如何使用变量

更多内容,请访问: 声明和定义区别 JavaScript-变量类型 JavaScript-变量类型判断 JavaScript-undefined和null区别 变量定义 变量的定义,可以通过var、const、let来定义,let和const是ES6新特性,let和const是解决var…

C编译流程

1.预处理 hello.c 经过预处理得到 hello.i gcc -E hello.c -o hello.i -E的含义:说明这是一个预处理操作 生成预处理文件(.i) 预处理阶段做了什么事: 1.1 头文件展开 我们发现 原先只有几行的hello.c变成了上千行的hello.i 实际上 预处理完成的是 将头…

Unity中Shader反射环境

文章目录 前言一、制作反射环境的两种办法法1:属性面板接收一个 Cubemap 作为反射环境法2:把环境烘焙成一张Cubemap 二、在Unity中实现把环境烘焙成一张Cubemap1、先创建一个反射探针(可以直接创建,也可以空物体增加组件&#xff…

【Linux】:进程间通信和日志模拟

进程间通信 一.基本概念二.简单的通信-管道(匿名管道)1.建立通信信道2.通信接口 三.命名管道三.模拟命名管道通信(加上日志)1.完整代码2.基本使用 一.基本概念 是什么 两个或多个进程实现数据层面的交互。 因为进程独立性的存在,导致进程间…

广度优先算法(BFS)

广度优先算法(Breadth-First Search)是在图和树领域的搜索方法,其核心思想是从一个起始点开始,访问其所有的临近节点,然后再按照相同的方式访问这些临近节点的节点,这种访问方式类似涟漪泛起,一…

HINSTANCE是什么?

HINSTANCE 就是 HMODULE:

队列OJ--循环队列

目录 题目链接:622. 设计循环队列 - 力扣(LeetCode)​​​​​ 题解: ​编辑 代码实现: 完整代码: 题目链接:622. 设计循环队列 - 力扣(LeetCode)​​​​​ 题解&#x…

python 对比数据库,生成sql

import pymysqldef get_table_structure(connection, cursor, database, table):# 获取表结构query f"SHOW COLUMNS FROM {database}.{table}"cursor.execute(query)return cursor.fetchall()def generate_create_table(cursor, table_structure, database, table):…

jenkins传参给robotframework

在做自动化的时候,需要使用jenkins传参给rf,rf根据传来的变量运行,在将变量传递给py脚本文件。特此记录。 一、配置jenkins 构建的命令使用如下格式即可(注意空格): cd D:\xxx\test call pybot --variabl…

英语 更新学习英语的过程

吃饭相关 目录 吃饭相关 询问 would 主语 like noun/to do? 询问他人意愿 What would 主语 like ( to do) ? 询 问他人的意愿 餐饮用具 烹饪 询问 would 主语 like noun/to do? 询问他人意愿 Would you like dinner? Would you like meat? Woul…