DeepSeek-V3 的综合能力
DeepSeek-V3 在推理速度上相较历史模型有了大幅提升。在目前大模型主流榜单中,DeepSeek-V3 在开源模型中位列榜首,与世界上最先进OpenAI 闭源模型不分伯仲。
1、下载Ollama运行大数据库
Ollama支持 Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2,等其他数据模型的本地化部署
本文将以在windows环境下部署为例:
Download Ollama on WindowsDownload Ollama for Windowshttps://ollama.com/download/windows
2、拉取DeepSeek R1 AI模型数据库
需要根据本地硬件配置和显卡显存大小来选择拉取的模型库大小。
安装命令——
#5B Qwen Deepseek R1
ollama run deepseek-r1:5b#7B Qwen Deepseek R1
ollama run deepseek-r1:7b#8B Qwen Deepseek R1
ollama run deepseek-r1:8b#14B Qwen Deepseek R1
ollama run deepseek-r1:14b#32B Qwen Deepseek R1
ollama run deepseek-r1:32b#70B Qwen Deepseek R1
ollama run deepseek-r1:70b#671B Qwen Deepseek R1
ollama run deepseek-r1:671b
有条件的小伙伴可以本地部署满血版Deepseek R1 671b原版大模型,它的最低硬件需求:
CPU: 32核心Intel Xeon或者AMD EPYC处理器
内存:512GB RAM
GPU: 4xNVDIA A100\80GB显存
硬盘:2TB Nvme SSD
网络:10Gbps带宽
而本地硬件有限,只能部署蒸馏版的Deepseek R1 8b模型。本人12G的显卡,以拉取8b模型:
查看拉取Deepseek大数据模型库状态:
3、部署本地AnythingLLM UI环境
AnythingLLM 下载——
Github 开源版: 【点击下载】 官方版:【点击下载】