Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问

1. 在Linux服务器上部署DeepSeek模型

要在 Linux 上通过 Ollama 安装和使用模型，您可以按照以下步骤进行操作：

步骤 1：安装 Ollama

  1. 安装 Ollama：
    使用以下命令安装 Ollama：

    curl -sSfL https://ollama.com/download.sh | sh

  2. 验证安装：
    安装完成后，您可以通过以下命令验证 Ollama 是否安装成功：

    ollama --version

在这里插入图片描述

步骤 2：下载模型

ollama run deepseek-r1:32b

这将下载并启动DeepSeek R1 32B模型。
在这里插入图片描述

DeepSeek R1 蒸馏模型列表

模型名称参数量基础架构适用场景
DeepSeek-R1-Distill-Qwen-1.5B1.5BQwen2.5适合移动设备或资源受限的终端
DeepSeek-R1-Distill-Qwen-7B7BQwen2.5适合普通文本生成工具
DeepSeek-R1-Distill-Llama-8B8BLlama3.1适合小型企业日常文本处理
DeepSeek-R1-Distill-Qwen-14B14BQwen2.5适合桌面级应用
DeepSeek-R1-Distill-Qwen-32B32BQwen2.5适合专业领域知识问答系统
DeepSeek-R1-Distill-Llama-70B70BLlama3.3适合科研、学术研究等高要求场景

RTX 4090 显卡显存为 24GB，32B 模型在 4-bit 量化下约需 22GB 显存，适合该硬件。32B 模型在推理基准测试中表现优异，接近 70B 模型的推理能力，但对硬件资源需求更低。

步骤 3：运行模型

在这里插入图片描述
通过上面的步骤，已经可以直接在 Linux服务器通过命令行的形式使用Deepseek了。但是不够友好，下面介绍更方便的形式。

2. 在linux服务器配置Ollama服务

1. 设置Ollama服务配置
设置OLLAMA_HOST=0.0.0.0环境变量，这使得Ollama服务能够监听所有网络接口，从而允许远程访问。

sudo vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"[Install]
WantedBy=default.target

2. 重新加载并重启Ollama服务

sudo systemctl daemon-reload
sudo systemctl restart ollama
  1. 验证Ollama服务是否正常运行
    运行以下命令，确保Ollama服务正在监听所有网络接口：
sudo netstat -tulpn | grep ollama

您应该看到类似以下的输出，表明Ollama服务正在监听所有网络接口（0.0.0.0）：

tcp        0      0 0.0.0.0:11434           0.0.0.0:*               LISTEN      -                   ollama

4. 配置防火墙以允许远程访问

为了确保您的Linux服务器允许从外部访问Ollama服务，您需要配置防火墙以允许通过端口11434的流量。

sudo ufw allow 11434/tcp
sudo ufw reload

5. 验证防火墙规则
确保防火墙规则已正确添加，并且端口11434已开放。您可以使用以下命令检查防火墙状态：

sudo ufw status

状态： 激活至                          动作          来自
-                          --          --
22/tcp                     ALLOW       Anywhere                  
11434/tcp                  ALLOW       Anywhere                  
22/tcp (v6)                ALLOW       Anywhere (v6)             
11434/tcp (v6)             ALLOW       Anywhere (v6)

6. 测试远程访问
在完成上述配置后，您可以通过远程设备（如Mac）测试对Ollama服务的访问。
在远程设备上测试连接：
在Mac上打开终端，运行以下命令以测试对Ollama服务的连接：

curl http://10.70.83.38:11434/api/version

显示

{"version":"0.5.7"}

测试问答

(base) ➜  ~ curl -X POST http://10.70.83.38:11434/api/generate \-H "Content-Type: application/json" \-d '{"model": "deepseek-r1:32b", "prompt": "你是谁?"}'

显示

{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.118616168Z","response":"\u003cthink\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.150938966Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.175255854Z","response":"\u003c/think\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.199509353Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.223657359Z","response":"您好","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.24788375Z","response":"！","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.272068174Z","response":"我是","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.296163417Z","response":"由","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.320515728Z","response":"中国的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.344646528Z","response":"深度","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.36880216Z","response":"求","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.393006489Z","response":"索","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.417115966Z","response":"（","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.441321254Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.465439117Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.489619415Z","response":"）","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.51381827Z","response":"公司","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.538012781Z","response":"开发","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.562186246Z","response":"的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.586331325Z","response":"智能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.610539651Z","response":"助手","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.634769989Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.659134003Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.683523205Z","response":"-R","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.70761762Z","response":"1","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.731953604Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.756135462Z","response":"如","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.783480232Z","response":"您","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.807766337Z","response":"有任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.831964079Z","response":"任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.856229156Z","response":"问题","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.880487159Z","response":"，","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.904710537Z","response":"我会","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.929026993Z","response":"尽","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.953239249Z","response":"我","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.977496819Z","response":"所能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.001763128Z","response":"为您提供","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.026068523Z","response":"帮助","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.050242581Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.074454593Z","response":"","done":true,"done_reason":"stop","context":[151644,105043,100165,30,151645,151648,271,151649,198,198,111308,6313,104198,67071,105538,102217,30918,50984,9909,33464,39350,7552,73218,100013,9370,100168,110498,33464,39350,12,49,16,1773,29524,87026,110117,99885,86119,3837,105351,99739,35946,111079,113445,100364,1773],"total_duration":3872978599,"load_duration":2811407308,"prompt_eval_count":6,"prompt_eval_duration":102000000,"eval_count":40,"eval_duration":958000000}

通过上述步骤，已经成功在Linux服务器上配置了Ollama服务，并通过Mac远程访问了DeepSeek模型。接下来，将介绍如何在Mac上安装Web UI，以便更方便地与模型进行交互。

3. 在Mac上安装Web UI

为了更方便地与远程Linux服务器上的DeepSeek模型进行交互，可以在Mac上安装一个Web UI工具。这里我们推荐使用 Open Web UI，它是一个基于Web的界面，支持多种AI模型，包括Ollama。

1. 通过conda安装open-webui
打开终端，运行以下命令创建一个新的conda环境，并指定Python版本为3.11：

conda create -n open-webui-env python=3.11
conda activate open-webui-env
pip install open-webui

2. 启动open-webui

open-webui serve

在这里插入图片描述

3. 浏览器访问

http://localhost:8080/
  1. 使用管理员身份（第一个注册用户）登录
  2. 在Open webui界面中，依次点击“展开左侧栏”（左上角三道杠）–>“头像”（左下角）–>管理员面板–>设置（上侧）–>外部连接
  3. 在外部连接的Ollama API一栏将switch开关打开，在栏中填上http://10.70.83.38:11434（这是我的服务器地址）在这里插入图片描述
  4. 点击右下角“保存”按钮
  5. 点击“新对话”（左上角），确定是否正确刷出模型列表，如果正确刷出，则设置完毕。

4. 愉快的使用本地deepseek模型
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/894999.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

3D数字化营销：重塑家居电商新生态

3D数字化营销：重塑家居电商新生态

随着电商的蓬勃发展，网上订购家具已成为众多消费者的首选。然而，线上选购家具的诸多挑战，如风格不匹配、尺寸不合适、定制效果不如预期以及退换货不便等，一直困扰着消费者。为解决这些问题，家居行业急需一种全新的展示…
阅读更多...
重塑“景区+商业”模式，打造特色文旅新体验

重塑“景区+商业”模式，打造特色文旅新体验

重塑“景区商业”模式，打造特色文旅新体验 近年来，旅游业蓬勃发展，旅游热潮不断升温，游客消费观念也随之升级。为顺应这一趋势，各大景区纷纷探索打造特色文旅项目，以期吸引更多游客。然而，“景…
阅读更多...
在亚马逊云科技上云原生部署DeepSeek-R1模型(下)

在亚马逊云科技上云原生部署DeepSeek-R1模型(下)

在本系列的上篇中，我们介绍了如何通过Amazon Bedrock部署并测试使用了DeepSeek模型。在接下来的下篇中小李哥将继续介绍，如何利用亚马逊的AI模型训练平台SageMaker AI中的，Amazon Sagemaker JumpStart通过脚本轻松一键式部署DeepSeek预训练模…
阅读更多...
Kubernetes是什么？为什么它是云原生的基石

Kubernetes是什么？为什么它是云原生的基石

从“手工时代”到“自动化工厂” 想象一下，你正在经营一家工厂。在传统模式下，每个工人（服务器）需要手动组装产品（应用），效率低下且容易出错。而Kubernetes（k8s）就像一个…
阅读更多...
Transformer 详解：了解 GPT、BERT 和 T5 背后的模型

Transformer 详解：了解 GPT、BERT 和 T5 背后的模型

目录 什么是 Transformer？ Transformer如何工作？ Transformer 为何有用？ 常见问题解答：机器学习中的 Transformer 在技​​术领域，突破通常来自于修复损坏的东西。制造第一架飞机的人研究过鸟类。莱特兄弟观察了秃鹫如何在气流中保持平衡，意识到稳定性比动力更重要。…
阅读更多...
图片webp格式动图图片

图片webp格式动图图片

这是一个webp动图1 这是一个webp动图2 webp 图像由gif 转换 3
阅读更多...
【R语言】plyr包和dplyr包

【R语言】plyr包和dplyr包

一、plyr包 plyr扩展包主要是实现数据处理中的“分割-应用-组合”（split-apply-combine）策略。此策略是指将一个问题分割成更容易操作的部分，再对每一部分进行独立的操作，最后将各部分的操作结果组合起来。 plyr扩展包中的主要函…
阅读更多...
【DeepSeek】DeepSeek小模型蒸馏与本地部署深度解析DeepSeek小模型蒸馏与本地部署深度解析

【DeepSeek】DeepSeek小模型蒸馏与本地部署深度解析DeepSeek小模型蒸馏与本地部署深度解析

一、引言与背景 在人工智能领域，大型语言模型（LLM）如DeepSeek以其卓越的自然语言理解和生成能力，推动了众多应用场景的发展。然而，大型模型的高昂计算和存储成本，以及潜在的数据隐私风险，限制了…
阅读更多...
【AI】在Ubuntu中使用docker对DeepSeek的部署与使用

【AI】在Ubuntu中使用docker对DeepSeek的部署与使用

这篇文章前言是我基于部署好的deepseek-r1:8b模型跑出来的 关于部署DeepSeek的前言与介绍 在当今快速发展的技术环境中，有效地利用机器学习工具来解决问题变得越来越重要。今天，我将引入一个名为DeepSeek 的工具，它作为一种强大的搜索引擎&a…
阅读更多...
TCP三次握手全方面详解

TCP三次握手全方面详解

文章目录 (1) 三次握手各状态CLOSE状态SYN_SENT状态SYN_RECV状态ESTABLISHED状态 (2) 为什么握手时的seqnum是随机值，以及acknum的功能(3) 三次握手中的半连接队列（SYN队列）和全连接队列（ACCEPT队列）半连接队列全连接队…
阅读更多...
数据结构与算法-递归

数据结构与算法-递归

单路递归 二分查找 /*** 主函数：执行二分查找。* * param a 要搜索的数组（必须是已排序的）* param target 目标值* return 返回目标值在数组中的索引；如果未找到，则返回 -1*/ public static int binarySearch(int[] …
阅读更多...
Termux安装ssh实现电脑ssh

Termux安装ssh实现电脑ssh

Termux下载 点击下载 在 Termux 中安装并使用 SSH，按照以下步骤操作： 1. 更新软件包列表 pkg update && pkg upgrade2. 安装 OpenSSH pkg install openssh3. 设置 SSH 密码（必须，否则无法使用 SSH 服务器&#xff09…
阅读更多...
深入理解 C++17 std::is_swappable

深入理解 C++17 std::is_swappable

文章目录 深入理解 C17 std::is_swappable引言std::is_swappable 概述std::is_swappable 的工作原理std::is_swappable 的变体注意事项结论 深入理解 C17 std::is_swappable 引言 在 C 编程中，交换两个对象的值是一个常见的操作。为了确保代码的通用性和安全性&am…
阅读更多...
51单片机之冯·诺依曼结构

51单片机之冯·诺依曼结构

一、概述 8051系列单片机将作为控制应用最基本的内容集成在一个硅片上，其内部结构如图4-1所示。作为单一芯片的计算机，它的内部结构与一台计算机的主机非常相似。其中微处理器相当于计算机中的CPU，由运算器和控制器两个部分构成；…
阅读更多...
w~Transformer~合集5

w~Transformer~合集5

我自己的原文哦~ https://blog.51cto.com/whaosoft/12406495 #transformer~x1 太可怕了都到6了 太强~~ DeepMind 表示，他们提出的算法蒸馏（AD）是首个通过对具有模仿损失的离线数据进行顺序建模以展示上下文强化学习的方法。同时基于观察…
阅读更多...
c#对接deepseek 聊天AI接口

c#对接deepseek 聊天AI接口

注意：不是免费 对接文档：对话补全 | DeepSeek API Docs 注册地址：DeepSeek 申请key 在线请求示例 apifox deepseek - deepseek
阅读更多...
23.PPT：校摄影社团-摄影比赛作品【5】

23.PPT：校摄影社团-摄影比赛作品【5】

目录 NO12345​ NO6 NO7/8/9/10​ 单元格背景填充表格背景填充文本框背景填充幻灯片背景格式设置添加考生文件夹下的版式 NO12345 插入幻灯片和放入图片☞快速：插入→相册→新建相册→文件→图片版式→相框形状→调整边框宽度左下角背景图片：视图→…
阅读更多...
创新领先！珈和科技获评省级企业技术中心

创新领先！珈和科技获评省级企业技术中心

为充分发挥中小企业创新主体作用，提高自主创新、集成创新和引进消化吸收再创新能力，增强创新驱动发展的动力，做好专精特新“小巨人”企业的培育工作。 近日，湖北省经信厅对申报2024年湖北省中小企业技术中心的企业进行审核认定并…
阅读更多...
初次体验Tauri和Sycamore (2)

初次体验Tauri和Sycamore (2)

原创作者：庄晓立（LIIGO） 原创时间：2025年2月8日（首次发布时间） 原创链接：https://blog.csdn.net/liigo/article/details/145520637 版权所有，转载请注明出处。 关键词：Sy…
阅读更多...
vs封装dll 给C#使用

vs封装dll 给C#使用

一，vs创建控制台应用 创建控制台应用得好处时，我们可以自己测试接口，如果接口没有问题，改成dll重新编译一遍就可以。 二， 创建一个c 类，将所需提供得功能 封装到类中。 这样可以将 所有功能，进…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023