🛠️ 在 Windows WSL 上部署 Ollama 和大语言模型的完整指南
📝 引言
随着大语言模型（LLM）和人工智能的飞速发展，越来越多的开发者尝试在本地环境中部署大模型进行实验。然而，由于资源需求高、网络限制多以及工具复杂性，部署过程常常充满挑战。
本指南基于实际经验，详细讲解如何在 Windows WSL（Windows Subsystem for Linux） 上部署 Ollama 和大语言模型，同时解决端口转发等常见痛点，实现局域网内多设备访问。
无论您是 AI 技术新手、行业从业者，还是 经验丰富的专家，这篇文章都能提供全面的指南、实践经验与优化建议。
⭐ 1.为什么选择 WSL 部署大模型？
1.1 性能优势
👉 WSL 的设计目标是高效：
- WSL 利用 Windows 内核直接运行 Linux 环境，性能接近原生 Linux。
- 支持 NVIDIA GPU 加速（如 4070 Super），运行大语言模型毫无压力。
1.2 易用性
- 轻量级：无需像 VMware 或 VirtualBox 那样安装完整的虚拟机。
- 集成度高：与 Windows 文件系统和网络无缝结合。
- 简单维护：直接通过 Windows Store 更新 WSL。
1.3 实际适用性
- 开发者首选：对于想快速部署和运行模型的开发者，WSL 是简单且高效的选择。
⚙️ 2. 实现目标的挑战与应对策略
2.1 核心目标
🌟 最终实现的核心目标如下：
- 在 WSL 中成功部署 Ollama 服务并加载千问大语言模型。
- 配置 OpenWebUI，提供直观的交互界面，方便用户使用。
- 实现局域网访问，支持家庭设备通过浏览器与服务交互。
2.2 挑战分析
🚧 在实际联网部署中面临的关键挑战包括：
-
大模型下载与镜像获取
- 模型文件和 Docker 镜像较大，需确保网络环境稳定。
- 在线下载过程中可能因网络波动导致超时或中断。
-
端口转发和局域网访问
- WSL 默认服务绑定到
127.0.0.1，局域网设备无法直接访问。 - 动态 IP 问题会导致端口转发规则失效，需频繁手动调整。
- WSL 默认服务绑定到
-
服务性能与配置
- 模型加载占用大量内存与显存，需合理优化系统资源。
- Docker 容器与 Ollama 服务同时运行时，可能出现资源竞争问题。
2.3 应对策略
✅ 在线获取资源，避免复杂的手动传输
- 直接通过
ollama命令下载模型，无需额外离线准备。 - 使用 Docker 官方镜像仓库，确保高效获取最新镜像。
✅ 优化端口转发，实现动态调整
- 编写自动化脚本，动态获取 WSL 的当前 IP，并更新转发规则。
- 利用 Windows 的 Nginx 反向代理，将服务映射到局域网内可用地址。
✅ 服务绑定到 0.0.0.0，开放外部访问
- 修改服务绑定地址为
0.0.0.0，允许外部设备通过 IP 地址直接访问。 - 配置 OpenWebUI 的 Web 服务，提供直观的交互界面。
2.3 应对策略
✅ 在线获取资源，避免复杂的手动传输
- 直接通过
ollama命令下载模型，无需额外离线准备。 - 使用 Docker 官方镜像仓库，确保高效获取最新镜像。
✅ 优化端口转发，实现动态调整
- 编写自动化脚本，动态获取 WSL 的当前 IP，并更新转发规则。
- 利用 Windows 的 Nginx 反向代理，将服务映射到局域网内可用地址。
✅ 服务绑定到 0.0.0.0，开放外部访问
- 修改服务绑定地址为
0.0.0.0，允许外部设备通过 IP 地址直接访问。 - 配置 OpenWebUI 的 Web 服务，提供直观的交互界面。## 📋 3.实践：在 WSL 上部署 Ollama 和千问模型（联网版）
3.1 准备资源与环境
环境准备📂
1.windows电脑安装WSL
wsl --installwsl --set-default-version 2
2. 在WSL 中安装 Docker：
sudo apt update
sudo apt install -y docker.io
sudo service docker start友情提示：
可以通过如下命令实现将windows宿主机资源传输到 WSL：
cp /mnt/c/Users/<your_username>/Downloads/docker-images-openwebui.tar ~/
3. 配置非 root 用户运行 Docker：
sudo usermod -aG docker $USER
newgrp docker
验证 Docker 是否可用
加载 Docker 镜像
docker run hello-world```
3.2部署 Ollama 和千问模型
1.下载并安装 Ollama
curl -O https://ollama.com/downloads/ollama-linux-amd64
chmod +x ollama-linux-amd64
sudo mv ollama-linux-amd64 /usr/local/bin/ollama
2.启动 Ollama 服务
ollama serve
3.下载并运行千问模型
通过 ollama 工具直接在线下载并运行模型：
ollama run qwen2.5
3.3 部署 OpenWebUI
1. 拉取 OpenWebUI 的 Docker 镜像
docker pull ghcr.io/open-webui/open-webui:main
2. 启动 OpenWebUI 容器
docker run -d --name openwebui \-p 8080:8080 \-v ~/.ollama:/app/backend/data \ghcr.io/open-webui/open-webui:main
3. 验证 OpenWebUI 是否运行正常
docker ps
访问服务
确保容器状态为 Up，然后
• 本地访问：http://localhost:8080
• 局域网访问：通过端口转发或绑定所有地址实现http://<WIndows_IP>:8080。
3.4 设置局域网访问
获取 WSL 的 IP 地址
hostname -I
例如，返回的 IP 地址可能是 172.22.203.210。
在 Windows 中设置端口转发
1. 打开 PowerShell（管理员权限），运行以下命令：
netsh interface portproxy add v4tov4 listenaddress=0.0.0.0 listenport=8080 connectaddress=<WSL_IP> connectport=8080
替换 <WSL_IP> 为实际的 WSL IP 地址。
2. 在局域网中的设备上访问：
http://<Windows_IP>:8080
🔧4. WSL 的端口转发问题及优化解决方案
4.1 动态 IP 的困扰
WSL 的 IP 地址可能每次重启后变化，可以在 /etc/wsl.conf 文件中固定 WSL 子网：
[network]
generateResolvConf = false
subnet = 192.168.50.0/24
重启 WSL 后验证新 IP 是否生效。
wsl --shutdown
wsl
验证新 IP 是否生效：
hostname -I
4.2 自动化脚本
每次启动 WSL 自动更新端口转发规则：
创建脚本 setup_portproxy.sh：
#!/bin/bash
wsl_ip=$(hostname -I | awk '{print $1}')
powershell.exe -Command "netsh interface portproxy add v4tov4 listenaddress=0.0.0.0 listenport=8080 connectaddress=$wsl_ip connectport=8080"
赋予执行权限：
chmod +x setup_portproxy.sh
在每次 WSL 启动后运行脚本。
4.3 使用反向代理
在 Windows 主机上安装 Nginx，配置反向代理到 WSL 的服务地址：
1. 安装 Nginx
下载并安装 Nginx for Windows，编辑 conf/nginx.conf 文件，添加以下内容：
server {listen 80;server_name localhost;location / {proxy_pass http://172.22.203.210:8080;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;}
}
2. 重新启动 Nginx
在命令行中执行：
nginx -s reload📊 对比分析：WSL vs VMware vs VirtualBox
| 特性 | WSL | VMware Workstation | VirtualBox |
|---|---|---|---|
| 性能 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ |
| GPU 支持 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐ |
| 易用性 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ |
| 免费使用 | ⭐⭐⭐⭐⭐ | ⭐ | ⭐⭐⭐⭐⭐ |
📝 结论与展望
🌟 总结
通过联网直接使用 ollama 下载并运行千问等大语言模型，同时结合 OpenWebUI 提供的便捷交互界面，用户可以快速搭建 AI 实验环境。借助反向代理和端口转发的优化配置，还能够轻松实现局域网内访问，从而为开发和实验提供更高效的支持。未来可以通过进一步优化自动化脚本和硬件配置，让 WSL 成为本地 AI 部署的最佳选择。
补充亮点
- 增加了 OpenWebUI 的 Docker 镜像加载和启动步骤。
- 强调局域网访问 OpenWebUI 的方法，使得模型在本地和局域网中都能灵活使用。
- 整体简化流程，无离线依赖，完全基于网络操作。
🔍 展望
-
为开发者提供解决问题的思路：
- 聚焦实际开发中的痛点问题，例如 WSL 的端口转发不稳定、资源调度困难等，提供清晰的解决步骤。
- 通过脚本化、自动化配置和硬件资源优化，减少开发者的重复性工作。
-
启发具体问题的解决方案：
- 针对端口映射问题，提出动态脚本更新的方案，避免配置失效。
- 在 GPU 和模型加载方面，利用量化技术降低资源消耗，为硬件条件受限的开发者提供有效的策略。
本文旨在通过分享实践心得与创新思考，助力你在技术探索的征途中，轻松跨越障碍，加速实验进程，让创意与成果璀璨绽放。🎯
![第6章：布局 --[CSS零基础入门]](https://i-blog.csdnimg.cn/direct/3bb7d884628f4e16bda70eafefd23cd5.png#pic_center)
