目录
- DeepSeek-R1大模型本地部署及简单测试
- 背景
- 我的测试环境
- 模型参数选择
- 适用场景
- 参数规模
- 本地部署安装
DeepSeek-R1大模型本地部署及简单测试
背景
最近deepseek非常火, 要说2025年震惊科技圈的事件要数DeepSeek这个国产AI的横空出世，这是一款免费、开源且隐私优先的推理 AI，可与 OpenAI 每月 200 美元的 o1 模型相媲美。恰好本人拥有2张GPU，本人简单本地部署测试体验一下~
我的测试环境
测试环境
为了测试DeepSeek-R1，小鱼使用了以下配置的电脑：
- GPU：RTX 4080s 2 张，12G显存
- 系统：Windows11
- 已安装GPU驱动
模型参数选择
deepSeek：r1版本提供了多种参数量的模型，我们可以根据自己运行设备的配置进行选择。
1.5B、7B、8B、14B、32B、70B是蒸馏后的小模型，671B是基础大模型，它们的区别主要体现在参数规模、模型容量、性能表现、准确性、训练成本、推理成本和不同使用场景
适用场景
轻量级应用，需要快速响应需求可以选择1.5B、7B 这样的小模型可以快速加载和运行，能够在较短时间内给出结果，满足用户的即时需求，小模型适合一些对响应速度要求高、硬件资源有限的场景，如手机端的智能助手、简单的文本生成工具等；在科研、学术研究、专业内容创作等对准确性和深度要求较高的领域，选择70B、32B等大模型更适合。
671B：适用于对准确性和性能要求极高、对成本不敏感的场景，如大型科研机构进行前沿科学研究、大型企业进行复杂的商业决策分析等。
1.5B-7B：适合对响应速度要求高、硬件资源有限的场景，如移动端的简单智能助手、轻量级的文本生成工具等，可快速加载和运行。
8B-14B：可用于一些对模型性能有一定要求，但又没有超高性能硬件支持的场景，如小型企业的日常文本处理、普通的智能客服等。
32B-70B：能满足一些对准确性有较高要求，同时硬件条件相对较好的场景，如专业领域的知识问答系统、中等规模的内容创作平台等。
参数规模
参数规模的区别，模型越大参数数量逐渐增多，参数数量越多，模型能够学习和表示的知识就越丰富，理论上可以处理更复杂的任务，对各种语言现象和语义理解的能力也更强。比如在回答复杂的逻辑推理问题、处理长文本上下文信息时，70B的模型可能会比1.5B的模型表现得更出色。
671B：参数数量最多，模型容量极大，能够学习和记忆海量的知识与信息，对各种复杂语言模式和语义关系的捕捉能力最强。
1.5B-70B：参数数量相对少很多，模型容量依次递增，捕捉语言知识和语义关系的能力也逐渐增强，但整体不如671B模型丰富。
本地部署安装
-
下载地址：Ollama官网。下载后直接安装。
-
选择可用的模型
使用 ollama list 命令，可以查看已下载的模型列表。
我的是4070s显卡，选择了14b，可以根据自己显卡的算力选择不同的参数量，在上面的页面中有支持的可选项
https://ollama.com/library/deepseek-r1
- 运行模型
ollama run deepseek-r1:14b
经过测试, 4080s 2张 跑14b模型，很流畅，无压力~
