文章目录
- Ollama+OpenWebUI+Phi3本地大模型入门
- 一、基础环境
- 二、Ollama
- 三、OpenWebUI + Phi3
Ollama+OpenWebUI+Phi3本地大模型入门
完全不懂大模型的请绕道,相信我李一舟的课程比较适合
Ollama提供大模型运行环境,OpenWebUI提供UI,Phi3就是那个大模型。
当然,Ollama支持超级多开源大模型比如 llama3,如果GPU够用的话。
一、基础环境
Win10 8GB内存 普通办公机器 无GPU全靠CPU撑着
Python11 OpenWebUI用的
二、Ollama
官网:https://ollama.com/
两句话搞定:
启动并运行大型语言模型。
运行 Llama 3、Phi 3、Mistral、Gemma 和其他模型。
下载:https://ollama.com/download
下载安装,一切都那么自然。
更多资料:ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.
三、OpenWebUI + Phi3
直接pip
安装简单粗暴 参考
两行代码搞定,
pip install open-webui
open-webui serve
打开WebUI http://0.0.0.0:8080/
配置ollama
加载phi3,或者你想要的其他模型
看看效果:
有点傻哈,太小的模型真的只能玩玩,下次换台机器llama3
更多资料:open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)