ZhipuAI/chatglm3-6b     模型文件地址   

        ChatGLM3 代码仓库

        

        ChatGLM3 技术文档

硬件环境

最低要求：

为了能够流畅运行 Int4 版本的 ChatGLM3-6B，最低的配置要求：

内存：>= 8GB

显存: >= 5GB（1060 6GB,2060 6GB）

为了能够流畅运行 FP16 版本的，ChatGLM3-6B，最低的配置要求：

内存：>= 16GB

显存: >= 13GB（4080 16GB）

Mac开发者无需关注GPU的限制。对于搭载了 Apple Silicon 或者 AMD GPU 的 Mac，可以使用 MPS 后端来在 GPU 上运行 ChatGLM3-6B。需要参考 Apple 的 官方说明 安装 PyTorch-Nightly（正确的版本号应该是2.x.x.dev2023xxxx，而不是 2.x.x）。

如果使用CPU加载，可以忽略显存的要求，但是速度非常慢

软件环境

Python环境

请开发者按照仓库中的requirements.txt来安装对应的依赖，并需要注意:

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能

源码安装

克隆代码和模型

模型基础运行代码已经上传到 github 和 SwanHub 两个平台，两个平台的信息同步。开发者通过以下方式下载模型代码。

• 从 github 下载源码

git clone https://github.com/THUDM/ChatGLM3.git

• 从 SwanHub 下载源码

git clone https://swanhub.co/ZhipuAI/ChatGLM3.git

通过以下方式下载模型文件

• 下载模型文件前请先确保`git lfs`命令已安装，安装教程请参考这里。

• 模型文件已上传至 Huggingface, Modelsope , SwanHub 三个平台，用户可以快速安装模型。

  git lfs install git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

  git lfs install git clone https://swanhub.co/ZhipuAI/chatglm3-6b.gi

• 若使用 Huggingface 下载模型

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b.git

• 若使用 Modelscope 下载模型

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

• 若使用 SwanHub 下载模型

git lfs install
git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git

安装依赖

使用 pip 安装依赖：

cd ChatGLM3 
pip install -r requirements.txt

运行demo

使用本地模型加载并使用命令行来问答

python basic_demo/cli_demo.py

使用本地模型加载并使用web_demo来问答

python basic_demo/web_demo_gradio.py

通过以下命令启动基于 Gradio 的网页版 demo

python basic_demo/web_demo_streamlit.py