一、最终效果

中英文对话

生成代码

二、资源配置

本文选择的模型运行内存需要 4G，因此宿主机建议内存大于8G，CPU建议 6 核以上；
参考博主该mac配置可以相对流畅运行。只需要 CPU资源，不需要 GPU。

三、搭建步骤

启动docker容器

采用open-webui启动一个大模型的交互页面

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

由于ghcr.io/open-webui/open-webui:ollama是托管在境外，速度较慢，因此博主把该镜像搬迁到了阿里云。

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always registry.cn-beijing.aliyuncs.com/xihuanyuyee/xihuanyuye:open-webui-ollama

登录页面

输入地址

http://localhost:3000

首次登录请注册

登录后的效果

是不是非常酷炫，一个私有的大模型平台就似乎ok了。

配置模型

尝试使用

但是其实这时候系统还不能使用，例如我们尝试输入问题。
are u ok?

系统报错未选定模型。

选择模型选项

左上角选定模型的下拉菜单，发现为空。

下载模型

操作步骤

step1 点击用户名处，打开配置菜单
step2 点击admin panel，打开配置面板
step3 点击setting，打开配置页面tab
step4 点击 modle选项，打开模块下载页面
step5 输入模型参数版本
step6 点击下载按钮，开始下载

选择适合的模型开始下载

根据你的机器资源情况，你可以选择运行基础版的Meta Llama 3 8B或更大型的Meta Llama 3 70B，但请注意，你需要有足够的内存来在本地运行这些大语言模型。我在一台配备64 GB RAM的M1 Max上测试了Meta Llama 3 70B，性能表现非常好。

模型名称	下载版本号	需要内存
Meta Llama 3 8B	llama3:8b	4.7 GB
Meta Llama 3 70B	llama3:70b	40 GB

下载过程可能会根据你的网络速度耗时一些。

操作步骤

step1 输入模型版本参数llama3:8b
step2 点击下载按钮
step3 查看下载进度

亲测当前国内网络可以直接下载，如果下载失败，可以重试一下试试。

试用效果

返回首页选择模型

中英文对话

生成代码

是不是非常有成就感！大模型之路从此开启！

四、附录

资源监控

在输入交互信息hello后，监控后台资源。本机是采用了虚拟机启动，因此可以看到cpu已经满载了。响应也特别慢。

五、参考网站：

苹果Mac用户的福音：本地运行Meta Llama 3的终极指南
open-webui