参考这篇文章在windows笔记本电脑部署GLM4大模型_16g显卡本地部署glm4-CSDN博客
我的环境(PC台式机电脑:
处理器 Intel(R) Core(TM) i9-14900K 3.20 GHz
机带 RAM 32.0 GB (31.8 GB 可用)、32G内存、NVIDIA RTX4080(16G)、Windows 10 专业版)
基本完成处理相关软件的安装,
目前能启动trans_cli_demo.py,
中途出现torch安装错误,导致启动执行效率非常低.
后续再重新卸载torch:pip uninstall torch
pip
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
可以正常 启动,但是报需要下载:
https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_windows_amd64.exe
conda安装
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
ImportError: cannot import name 'CommitOperationAdd' from 'huggingface_hub'
报错:ImportError: cannot import name 'get_full_repo_name' from 'huggingface_hub'