服务器中部署大模型DeepSeek-R1 | 本地部署DeepSeek-R1大模型 | deepseek-r1部署详细教程

0. 部署前的准备

首先我们需要足够算力的机器,这里我在vultr中租了有一张A16显卡一共16GB显存的服务器作为演示。部署的模型参数为14b的。如果需要部署满血版本671b的,需要更大的算力支持,这里由于是个人资金有限,就演示14b的部署过程,671b的也一样的。更多内容请看我的博客。

准备服务配置如下:点击可以访问

硬件软件
1张英伟达A16显卡16GB显存Ubuntu22.04
24核心CPU
64GB运行内存
350GB存储空间

image-20250214144513345

这里需要注意,在选择操作系统的时候,一定要选择支持GPU的操作系统,这里推荐使用Ubuntu。如下图所示。

image-20250214144758883

如果不知道如何进入选择操作系统的页面,可以看我B站中的演示视频,搜索“编程分享录”用户名,进入空间后搜索“DeepSeek-R1服务器部署详细教程”。

1. 安装依赖

进入系统后,我们首先要执行下面命令。

apt-get update -y
apt-get upgrade -y

然后是安装ollama。点击这里访问ollama官方网站。执行下面sh脚本即可安装ollama

curl -fsSL https://ollama.com/install.sh | sh

系统默认安装好了显卡驱动。

nvidia-smi

如下图所示:

image-20250214151321747

image-20250214151620544

image-20250214151654079

使用下面命令下载模型。

ollama run deepseek-r1:14b

那么现在我们就完成了服务器的部署,可以shell界面中进行问答,但是这样很不方便,我们可以借助chatbox的图形界面来对接我们部署的deepseek-r1大模型。

下载chatbox,可以点击这里,支持各种系统的客户端。不单电脑端可以用,手机(安卓和苹果)端也可以用。

下载完成后,直接双击安装就行。

等待安装好之后,配置使用Ollama API方式对接deepseek大模型。

首先我们需要在服务器中安装ufw,然后开启11434端口。

apt-get install ufw
ufw allow 11434/tcp

然后修改Ollama配置文件。

vim /etc/systemd/system/ollama.service

添加下面内容。

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

然后重新加载。

systemctl daemon-reload
systemctl restart ollama

然后就可以在本地电脑或者手机端配置chatbox了,如下图所示。

image-20250214164639131

2. 测试

现在我们就部署完成了,可以在本地访问我们自己的大模型了。

image-20250214164738862

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/71301.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

毕业设计—基于Spring Boot的社区居民健康管理平台的设计与实现

🎓 毕业设计大揭秘!想要源码和文章?快来私信我吧! Hey小伙伴们~ 👋 毕业季又来啦!是不是都在为毕业设计忙得团团转呢?🤔 别担心,我这里有个小小的福利要分享给你们哦&…

基于Go语言 XTA AI聊天界面实现

项目开源地址: XTA-AI-SDK 人工智能技术的迅速发展,AI聊天应用变得越来越流行。本文将介绍如何使用Go语言和LCL库( Lazarus Component Library)创建一个功能丰富的AI聊天界面。项目主要包含以下模块: 项目背景 本项目旨在为开发…

使用 Apache PDFBox 提取 PDF 中的文本和图像

在许多应用中,我们需要从 PDF 文件中提取文本内容和嵌入的图像。为了实现这一目标,Apache PDFBox 是一个非常实用的开源工具库。它提供了丰富的 API,可以帮助我们轻松地读取 PDF 文件、提取其中的文本、图像以及其他资源。 本文将介绍如何使…

MongoDB 7 分片副本集升级方案详解(下)

#作者:任少近 文章目录 1.4 分片升级1.5 升级shard11.6 升级shard2,shard31.7 升级mongos1.8重新启用负载均衡器1.9 推荐MongoDB Compass来验证数据 2 注意事项: 1.4 分片升级 使用“滚动”升级从 MongoDB 7.0 升级到 8.0,即在其他成员可用…

AlmaLinux release 9.4 (Seafoam Ocelot)安装包 build失败

pip 安装失败 显示 build 失败 Building wheels for collected packages: cymem, murmurhashBuilding wheel for cymem (pyproject.toml) ... errorerror: subprocess-exited-with-error Building wheel for cymem (pyproject.toml) did not run successfully.│ exit code: …

CMS DTcms 靶场(弱口令、文件上传、tasklist提权、开启远程桌面3389、gotohttp远程登录控制)

环境说明 攻击机kali:192.168.111.128 信息收集 主机发现 ┌──(root㉿kali-plus)-[~/Desktop] └─# nmap -sP 192.168.111.0/24 Starting Nmap 7.94SVN ( https://nmap.org ) at 2024-11-23 14:57 CST Nmap scan report for 192.168.111.1 Host is up (0.00039s latenc…

vue3.x 的 toRef详细解读

在 Vue 3.x 中,toRef 是一个用于创建响应式引用的工具函数。它可以将一个响应式对象的某个属性转换为一个独立的 ref 对象,同时保持与原始属性的响应式连接。以下是 toRef 的详细解读和示例。 1. toRef 的作用 核心功能 toRef 用于从响应式对象&#x…

Leetcode 424-替换后的最长重复字符

给你一个字符串 s 和一个整数 k 。你可以选择字符串中的任一字符,并将其更改为任何其他大写英文字符。该操作最多可执行 k 次。 在执行上述操作后,返回 包含相同字母的最长子字符串的长度。 题解 可以先做LCR 167/Leetcode 03再做本题 滑动窗口&…

箭头函数的this指向谁

先看1个重要原则: 由Vue管理的函数,一定不要写箭头函数,箭头函数的this就不再是Vue实例了 箭头函数的 this 指向在定义时确定,继承自外层作用域(即定义时的上下文)的 this,且无法通过 call、app…

Linux下的Python开发环境

以下是在Ubuntu 22.04上安装XFCE桌面、配置中文环境、中文输入法、远程桌面;安装anaconda、PyCharm、谷歌浏览器等的步骤: 首先,正常安装完毕 Ubuntu 22.04 Linux。如果选择某些云平台的ECS服务器,可以用十几秒钟完成Ubuntu 22.0…

key-value---键值对

定义 键值对由两部分组成,一个是 “键”(key),另一个是 “值”(value)。“键” 是用于标识和访问 “值” 的唯一标识符,就像是一把钥匙,而 “值” 则是与该键相关联的数据或信息&…

【实战项目】BP神经网络识别人脸朝向----MATLAB实现

(꒪ꇴ꒪ ),Hello我是祐言QAQ我的博客主页:C/C语言,数据结构,Linux基础,ARM开发板,网络编程等领域UP🌍快上🚘,一起学习,让我们成为一个强大的攻城狮&#xff0…

Javascript中null、NaN、undefined区别(JS空值、Javascript空值)(?.链操作符)

文章目录 概述null的本质undefined的两面性系统层面的undefined开发者层面的undefined NaN的特殊性数值运算的异常标识NaN的独特比较行为 深入比较类型比较相等性比较 实践建议变量初始化错误检测属性检查(链操作符) 性能考虑 概述 JavaScript中的null、…

Java 运行时常量池笔记(详细版

📚 Java 运行时常量池笔记(详细版) Java 的运行时常量池(Runtime Constant Pool)是 JVM 方法区的一部分,用于存储编译期生成的字面量和符号引用。它是 Java 类文件常量池的运行时表示,具有动态…

STM32 HAL库USART串口中断编程:演示数据丢失

目录 一、开发环境 二、配置STM32CubeMX 三、代码实现与部署 四、运行结果: ​五、注意事项 上面讨论过,HAL_UART_Receive最容易丢数据了,可以考虑用中断来实现,但是HAL_UART_Receive_IT还不能直接用,容易数据丢失,实际工作中不会这样用,本文介绍STM32F103 HAL库函数…

Javascript网页设计案例:通过PDF.js实现一款PDF阅读器,包括预览、页面旋转、页面切换、放大缩小、黑夜模式等功能

前言 目前功能包括: 切换到首页。切换到尾页。上一页。下一页。添加标签。标签管理页面旋转页面随意拖动双击后还原位置 其实按照自己的预期来说,有很多功能还没有开发完,配色也没有全都搞完,先发出来吧,后期有需要…

缺陷检测之图片标注工具--labme

一、labelme简介 Labelme是开源的图像标注工具,常用做检测,分割和分类任务的图像标注。 它的功能很多,包括: 对图像进行多边形,矩形,圆形,多段线,线段,点形式的标注&a…

Kafka集群,常见MQ面试问题

Kafka 名词介绍 Topic: 消息队列,生产者和消费者面向的都是一个TopicBroker: 一个Kafka服务器就是一个Broker,一个集群由多个Broker组成。一个Broker可以容纳多个TopicProducer: 消息生产者,向Kafka Broker发生消息的客户端Consumer: 消息消…

Unity DeepSeek API 聊天接入教程(0基础教学)

Unity DeepSeek API 聊天接入教程(0基础教学) 1.DeepSeek 介绍 DeepSeek是杭州深度求索人工智能基础技术研究有限公司推出的一款大语言模型。2025年1月20日,DeepSeek-R1正式上线,和当前市面上的主流AI相比,它在仅有极少标注数据的情况下&am…

DeepSeek-R1 蒸馏 Qwen 和 Llama 架构 企业级RAG知识库

“DeepSeek-R1的输出,蒸馏了6个小模型”意思是利用DeepSeek-R1这个大模型的输出结果,通过知识蒸馏技术训练出6个参数规模较小的模型,以下是具体解释: - **知识蒸馏技术原理**:知识蒸馏是一种模型压缩技术,核…