5000元组装一台本地运行中、小模型主机,参考配置 (运行DeepSeek、Qwen)
5000元中、小模型主机 DeepSeek、Qwen 各精度模型推荐启动方式
模型名称 | 参数量 | 精度 | 模型大小 | 推荐运行模式 |
DeepSeek R1 | 7b | Q4 | 5 GB | LM Studio纯GPU |
14b | Q4 | 9 GB | LM Studio纯GPU | |
32b | Q4 | 20 GB | LM Studio纯GPU | |
Q8 | 35 GB | Ollama纯CPU | ||
FP16 | 66 GB | Ollama纯CPU | ||
70b | Q4 | 43 GB | Ollama纯CPU | |
Q8 | 75 GB | |||
FP16 | 141 GB | |||
671b | Q4 | 404 GB | 不能运行 (增大虚拟内存可启动) | |
Q8 | 713 GB | |||
FP16 | 1.3 TB | |||
Qwen qwq | 32b | Q4 | 20GB | LM Studio纯GPU |
Q8 | 35GB | LM Studio GPU+CPU | ||
FP16 | 66GB | Ollama纯CPU |
Ollama下载模型拷贝到 LM Studio \models 目录下需要建立两层子目录,并改文件格式为.gguf
C:\Users\Administrator\.lmstudio\models\Qwen\Qwq\qwq-fp16.gguf