在 Windows WSL 上部署 Ollama 和大语言模型：从镜像冗余问题看 Docker 最佳实践20241208

🛠️ 在 Windows WSL 上部署 Ollama 和大语言模型：从镜像冗余问题看 Docker 最佳实践

⭐ 引言

随着大语言模型（LLM）和人工智能技术的迅猛发展，开发者们越来越多地尝试在本地环境中部署模型进行实验。
但部署过程中常常会遇到 网络限制、资源冲突 和 工具复杂性 等问题。本文聚焦于实际操作中遇到的 Docker 镜像冗余问题，并总结了从问题发现到解决的完整流程。同时，结合 Ollama、Open WebUI 和 Qwen 的联系，分享一套适用于本地 LLM 部署的 Docker 最佳实践工作流，帮助开发者高效部署和管理模型。
在这里插入图片描述

🔍 Ollama、Open WebUI 和 Qwen 的联系

📌 Ollama

  • 定位：本地大语言模型推理工具，支持 RESTful API。
  • 功能：
    • 提供 LLM 模型的高效推理能力。
    • 通过命令行工具快速部署 RESTful 服务。
  • 优势：
    • 轻量化：支持 CPU 和 GPU 环境。
    • 离线能力：无需联网即可本地运行模型。

📌 Open WebUI

  • 定位：基于浏览器的交互界面，方便与模型交互。
  • 功能：
    • 提供文档导入和 RAG（检索增强生成）支持。
    • 可视化界面适合复杂任务的操作。
  • 优势：
    • 用户友好：降低命令行门槛。
    • 高扩展性：与 Ollama 的后端无缝结合。

📌 Qwen

  • 定位：阿里巴巴推出的大语言模型，支持中英文双语。
  • 功能：
    • 文本生成、理解和推理能力强大。
    • 可在 Ollama 或 Hugging Face 环境中部署。
  • 优势：
    • 任务灵活：适用于对话生成、知识问答等。
    • 开放性强：支持自定义训练与开源应用。

📎 三者的协作

  • Ollama 提供模型推理服务，并通过 API 接口供其他工具调用。
  • Open WebUI 作为用户界面，与 Ollama 的 API 交互。
  • Qwen 是核心模型，为用户提供实际生成能力。

🛠️ 镜像冗余问题：从发现到解决的完整分析

📌 问题背景

在通过 Docker 部署 Open WebUI 时，始终无法正常启动容器，日志显示 网络无法访问 Hugging Face。但实际根源是 Docker 镜像冗余 导致的容器冲突。

现象：
1. 多个停止状态的容器残留。
2. 重复镜像未清理，导致新容器启动失败。
3. 错误日志显示：

Error response from daemon: conflict: unable to delete <image_id> - image is being used by stopped container.

📋 问题排查与解决

1. 检查运行状态的容器：

docker ps -a

输出结果显示多个以相同镜像启动的容器，其中一些处于停止状态。

2. 检查镜像状态：

docker images

发现重复镜像未清理，占用存储空间，可能导致冲突。

3. 停止并删除所有相关容器：

docker stop <container_id>
docker rm <container_id>

4. 强制删除镜像：
即使镜像有残留关联容器，docker rmi 也可以强制删除：

docker rmi <image_id>

• 例如：docker rmi 7d2
此命令只需提供镜像 ID 的前几位即可，Docker 会自动匹配。

5. 删除未使用的镜像：
该命令清理所有未被使用的镜像，释放存储空间。

docker image prune -a

6. 重新加载镜像并启动容器：

  • 加载离线镜像：
docker load < x86-64-images.tar.gz
  • 启动 Open WebUI 容器
docker run -d --network=host \-v /home/<user>/.ollama/models:/app/backend/data \-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \--name open-webui \--restart always \ghcr.io/open-webui/open-webui:main
  • 以下是对该 docker run 命令的逐步解读，每个选项和参数的详细说明：

**1. 基本命令：docker run **
• 启动一个新的容器实例，基于指定的镜像运行。
• 这是 Docker 最常用的命令，用于容器化服务的启动。

2. 参数解析

  • -d
    • 含义：以 后台（detached）模式 运行容器。
    • 功能：让容器在后台运行，而不是占用当前终端。
    • 优势：适合需要长期运行的服务，如 API 或 Web 应用。

  • –network=host
    • 含义：让容器直接使用主机的网络栈，而不启用 Docker 默认的桥接网络。
    • 功能：
    • 容器中的服务可直接使用主机的 IP 和端口，而不需要端口映射。
    • 网络性能更高，避免了容器和主机之间的网络虚拟化开销。
    • 注意：
    • 使用 --network=host 时，容器内的端口与主机共用，因此可能引发端口冲突。
    • 在某些场景下可能降低安全性，因为容器直接暴露于主机网络。

  • -v /home//.ollama/models:/app/backend/data
    • 含义：挂载主机目录 /home//.ollama/models 到容器中的 /app/backend/data。
    • 功能：
    • 主机的 ~/.ollama/models 目录用于存储模型文件，将其挂载到容器内的对应目录。
    • 容器运行期间可以访问主机上的模型文件，实现数据共享。
    • 优势：
    • 数据持久化：即使容器删除，模型文件仍保留在主机上。
    • 方便管理：直接在主机上更新模型文件，无需重启容器。

  • -e OLLAMA_BASE_URL=http://127.0.0.1:11434
    • 含义：通过环境变量 -e 为容器中的服务设置配置。
    • 功能：
    • 定义 OLLAMA_BASE_URL 环境变量，指定 Ollama 服务的基地址。
    • 在该示例中，http://127.0.0.1:11434 表示 Ollama 服务运行在主机的 127.0.0.1 地址和 11434 端口上。
    • 优势：
    • 配置灵活：通过环境变量可动态调整服务地址，无需修改代码或重新构建镜像。

  • –name open-webui
    • 含义：为容器指定一个唯一的名字 open-webui。
    • 功能：
    • 方便管理容器，例如 docker stop open-webui。
    • 提高可读性，相比于容器的随机 ID，容器名字更易识别。

  • –restart always
    • 含义：设置容器的重启策略为 always。
    • 功能：
    • 当 Docker 守护进程启动时，自动重启该容器。
    • 如果容器崩溃，也会自动尝试重启。
    • 优势：
    • 提高服务的稳定性和可用性，适合长时间运行的容器化服务。

  • ghcr.io/open-webui/open-webui:main
    • 含义：指定容器镜像来源。
    • 解析：
    • ghcr.io/open-webui/open-webui：镜像的路径，托管于 GitHub Container Registry。
    • main：镜像的标签，通常表示主分支的最新版本。
    • 功能：
    • Docker 会从注册表拉取 open-webui:main 镜像并创建容器。
    • 如果镜像已存在本地，则直接使用，无需重复下载。

技巧总结

    1. 缩短 ID 输入：
      无需完整输入容器或镜像的 ID，只需提供前几位即可，Docker 自动匹配：
docker rm 7eb
docker rmi 7d2
    1. 强制删除镜像：
      若提示镜像被关联容器占用，可先删除关联的容器或直接用 docker rmi 强制删除。
    1. 清理未使用资源：
      使用 docker image prune -a 一次性清理所有未使用的镜像，保持存储空间整洁。

📋 Docker 最佳实践工作流

为避免类似问题，以下是一套 系统化的 Docker 清理与部署工作流，帮助开发者优化操作流程：

📌 1. 项目初始化

1. 检查已有容器和镜像状态：

docker ps -a
docker images

2. 清理未使用的容器和镜像：

docker container prune
docker image prune -a

📌 2. 加载或拉取镜像

  • 加载离线镜像：
tar -xzvf x86-64-images.tar.gz
docker load < x86-64-images.tar.gz
  • 拉取远程镜像：
docker pull ghcr.io/open-webui/open-webui:main

📌 3. 部署并启动容器

1. 启动 Open WebUI：

docker run -d --network=host \-v /home/<user>/.ollama/models:/app/backend/data \-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \--name open-webui \--restart always \ghcr.io/open-webui/open-webui:main

2. 启动 Ollama 服务：

ollama serve

📌 4. 日常维护

  • 查看容器状态：
docker ps
  • 查看容器日志：
docker logs <container_id>
  • 更新镜像：
docker pull ghcr.io/open-webui/open-webui:main

📝 结语

这次部署的最大收获在于：
1. 系统化问题分析：通过逐步排查，从网络问题定位到 Docker 镜像冲突。
2. 工具高效协作：深入理解 Ollama、Open WebUI 和 Qwen 的协作方式，充分发挥其功能。
3. 优化实践工作流：总结出了一套高效的 Docker 清理与部署流程。

希望这篇博客能为遇到类似问题的开发者提供启发和帮助。如果您有任何问题或想法，欢迎留言讨论！ 🚀

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/63733.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

《人工智能安全：挑战与破局之路》

《人工智能安全：挑战与破局之路》

《人工智能安全&#xff1a;挑战与破局之路》 一、人工智能安全现状二、人工智能安全面临的挑战&#xff08;一&#xff09;技术层面的挑战&#xff08;二&#xff09;伦理与社会层面的挑战 四、人工智能安全未来发展趋势&#xff08;一&#xff09;技术创新引领发展&#xff0…
阅读更多...
ContOS7安装完成后的一系列问题

ContOS7安装完成后的一系列问题

问题1&#xff1a;constos7,安装完后&#xff0c;无法使用yum,导致无法安装任何东西&#xff0c; 解决&#xff1a;原因是国外的镜像地址有问题&#xff0c;改为国内的地址。 查看yum的状态 yum repolist 2.执行如下命令&#xff0c;更换yum源 bash <(curl -sSL https://…
阅读更多...
使用JavaScrip和HTML搭建一个简单的博客网站系统

使用JavaScrip和HTML搭建一个简单的博客网站系统

搭建一个简单的博客网站系统&#xff0c;我们需要创建几个基本的页面和功能&#xff1a;登录、注册、文章发布等。这里我们先实现一个基础版本&#xff0c;包括用户登录、注册以及文章发布的功能。由于这是一个简化版的示例&#xff0c;我们将所有逻辑集成在一个HTML文件中&…
阅读更多...
跨域 Cookie 共享

跨域 Cookie 共享

跨域请求经常遇到需要携带 cookie 的场景&#xff0c;为了确保跨域请求能够携带用户的认证信息或其他状态&#xff0c;浏览器提供了 withCredentials 这个属性。 如何在 Axios 中使用 withCredentials 为了在跨域请求中携带 cookie&#xff0c;需要在 Axios 配置中设置 withCr…
阅读更多...
一些前端组件介绍

一些前端组件介绍

wangEditor &#xff1a; 一款开源 Web 富文本编辑器&#xff0c;可用于 jQuery Vue React等 https://www.wangeditor.com/ Handsontable&#xff1a;一款前端可编辑电子表格https://blog.csdn.net/carcarrot/article/details/108492356mitt&#xff1a;Mitt 是一个在 Vue.js 应…
阅读更多...
车载以太网-UDPNM

车载以太网-UDPNM

文章目录 UDPNM定义在车载以太网中的作用网络节点状态监测唤醒和睡眠管理网络拓扑发现工作流程消息发送消息接收与处理与其他车载网络协议的比较和协作UDPNM的工作原理是什么？1.消息构建与发送原理消息格式构建发送机制2.消息接收与响应原理接收过程响应机制3.状态管理与定时器…
阅读更多...
JavaScript操作数组

JavaScript操作数组

push 向数组的 末尾 添加一个或多个元素&#xff0c;并返回新数组的长度。 语法&#xff1a;array.push(element1, element2, ..., elementN) const arr [1, 2, 3]; const newLength arr.push(4, 5); // 添加 4 和 5 console.log(arr); // [1, 2, 3, 4, 5] console.…
阅读更多...
Ubuntu防火墙管理(六)——ARP防火墙过滤防御自定义系统服务

Ubuntu防火墙管理(六)——ARP防火墙过滤防御自定义系统服务

起因 在ubuntu24.04中检查arp表&#xff0c;输出异常 arp -a? (10.162.242.142) 位于 74:3a:20:b9:e8:02 [ether] 在 wlp2s0 ? (10.162.0.1) 位于 在 wlp2s0 ubuntu环境中&#xff0c;这是否表示ARP攻击&#xff0c;本地网关为10.162.0.1&#xff0c;可用arptables防御吗&a…
阅读更多...
uniapp扭蛋机组件

uniapp扭蛋机组件

做了一个uniapp的扭蛋机组件&#xff0c;可以前往下载地址下载 仅测试了vue2、3、h5页面微信小程序&#xff0c;理论支持全平台 使用方法简单&#xff0c;具有待机动效、抽奖中动效、掉落奖品动效&#xff0c;可以替换奖品图片&#xff0c;足以满足大部分抽奖页面需求。 示例图…
阅读更多...
C#实现一个HttpClient集成通义千问-开发前准备

C#实现一个HttpClient集成通义千问-开发前准备

集成一个在线大模型&#xff08;如通义千问&#xff09;&#xff0c;来开发一个chat对话类型的ai应用&#xff0c;我需要先了解OpenAI的API文档&#xff0c;请求和返回的参数都是以相关接口文档的标准进行的 相关文档 OpenAI API文档 https://platform.openai.com/docs/api-…
阅读更多...
用JavaScript实现一个贪吃蛇游戏

用JavaScript实现一个贪吃蛇游戏

原理如下&#xff0c;贪吃蛇的蛇身就是一个数组&#xff0c;数组中的每个元素都是一个坐标&#xff0c;蛇身每次移动时都会在数组前插入一个新坐标&#xff0c;并在数组尾部删掉一条记录&#xff0c;吃到食物后数组的尾部记录就不删。如果移到屏幕边缘会从屏幕的另一边出现。好…
阅读更多...
Unity RectTransUtility工具类

Unity RectTransUtility工具类

这个工具主要是用于动态生成UI的情况。项目中我们通过配置UI的锚点、位置以及大小(位置、大小都是通过蓝湖看到的)&#xff0c;然后通过代码动态生成UI。 大部分情况下只要合理设置锚点&#xff0c;那么生成出来的UI就已经满足了适配的要求。 using UnityEngine;public static…
阅读更多...
红日靶场vulnstack 4靶机的测试报告[细节]（一）

红日靶场vulnstack 4靶机的测试报告[细节]（一）

目录 一、测试环境 1、系统环境 2、注意事项 3、使用工具/软件 二、测试目的 三、操作过程 1、信息搜集 2、漏洞利用Getshell ①Struts 2 s2-045漏洞 手工利用s2-45漏洞 Msf综合利用 ②Tomcat框架(CVE-2017-12615) ③phpMyAdmin(CVE-2018-12613) 构造语句写入冰蝎木…
阅读更多...
Springboot使用纪要

Springboot使用纪要

一、配置文件的加载顺序 1、不同配置文件类型的加载顺序 springboot支持三种类型的配置文件 .yml .yaml .properties当这三种配置文件处于同一目录下时&#xff0c;springboot会优先加载properties文件&#xff0c;如果.properties文件和.yml文件都有某一配置&#xff0c;而…
阅读更多...
Unity协程机制详解

Unity协程机制详解

Unity的协程&#xff08;Coroutine&#xff09;是一种异步编程的机制&#xff0c;允许在多个帧之间分割代码的执行&#xff0c;而不阻塞主线程。与传统的多线程不同&#xff0c;Unity的协程在主线程中运行&#xff0c;并不会开启新的线程。 什么是协程&#xff1f; 协程是一种…
阅读更多...
electron 打包 webview 嵌入需要调用电脑摄像头拍摄失败问题

electron 打包 webview 嵌入需要调用电脑摄像头拍摄失败问题

electron 打包 webview 嵌入需要调用电脑摄像头拍摄失败问题 这篇文章是接我cocos专栏的上一篇文章继续写的&#xff0c;我上一篇文章写的是 cocos 开发触摸屏项目&#xff0c;需要嵌入一个网页用来展示&#xff0c;最后通过 electron 打包成 exe 程序&#xff0c;而且网页里面…
阅读更多...
Android 开发者选项-模拟辅助显示设备

Android 开发者选项-模拟辅助显示设备

目录 概述使用开关的代码实现方式系统部分的处理:参考 概述 在Android开发中&#xff0c;模拟辅助显示设备通常指的是通过Android开发者选项来设置的一种虚拟显示设备&#xff0c;它允许开发者在一个设备上模拟另一个设备的显示特性。这种功能对于测试应用程序在不同屏幕尺寸、…
阅读更多...
android 常用三方框架

android 常用三方框架

说实话&#xff0c; 我是比较讨厌三方框架的&#xff0c; 比如一个eventbus 底层逻辑就是个观察者模式&#xff0c;当然他的场景涵盖的比较丰富&#xff0c; 单从 单一原则来说&#xff0c; 还是一个简单的观察者模式就能解决问题&#xff0c; 何必要添加那么多文件到我们的项目…
阅读更多...
[COLM 2024] V-STaR: Training Verifiers for Self-Taught Reasoners

[COLM 2024] V-STaR: Training Verifiers for Self-Taught Reasoners

本文是对 STaR 的改进方法&#xff0c;COLM 是 Conference On Language Models&#xff0c;大模型领域新出的会议&#xff0c;在国际上很知名&#xff0c;不过目前还没有被列入 ccf list&#xff08;新会议一般不会列入&#xff09;&#xff1b;作者来自高校、微软研究院和 Goo…
阅读更多...
从C#中的结构体和类的区别中看引用和值的问题

从C#中的结构体和类的区别中看引用和值的问题

在 C#中&#xff0c;结构体&#xff08;struct&#xff09;和类&#xff08;class&#xff09;都是用于创建自定义数据类型的方式&#xff0c;但它们在很多方面存在着显著的区别。掌握他们的区别至少不会产生一些我们不了解情况下发生的错误。 文章目录 一、作为参数传递时的差…
阅读更多...
最新文章

Copyright @ 2022~2023