推荐一款AI大模型托管平台-OpenWebUI
1. OpenWebUI
1. OpenWebUI什么?
官网地址:https://openwebui.com/
GitHub地址: https://github.com/open-webui/open-webui
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,旨在完全离线运行。它支持各种 LLM 运行器(如Ollama)和与OpenAI 兼容的 API,并内置RAG 推理引擎,使其成为强大的 AI 部署解决方案。
欲了解更多信息,请务必查看我们的Open WebUI 文档。
2. Open WebUI 的主要功能⭐
- 🚀轻松设置:使用 Docker 或 Kubernetes(kubectl、kustomize 或 helm)无缝安装,获得无忧体验,并支持
:ollama
标记:cuda
图像。 - 🤝 Ollama/OpenAI API 集成:轻松集成 OpenAI 兼容 API,与 Ollama 模型一起实现多功能对话。自定义 OpenAI API URL 以链接到LMStudio、GroqCloud、Mistral、OpenRouter 等。
- 🛡️细粒度的权限和用户组:通过允许管理员创建详细的用户角色和权限,我们确保了安全的用户环境。这种粒度不仅增强了安全性,而且还允许定制用户体验,培养用户的主人翁意识和责任感。
- 📱响应式设计:享受台式电脑、笔记本电脑和移动设备之间的无缝体验。
- 📱适用于移动设备的渐进式 Web 应用程序 (PWA):通过我们的 PWA 在您的移动设备上享受类似原生应用程序的体验,提供本地主机上的离线访问和无缝的用户界面。
- ✒️🔢完全支持 Markdown 和 LaTeX:通过全面的 Markdown 和 LaTeX 功能提升您的 LLM 体验,实现丰富的交互。
- 🎤📹免提语音/视频通话:体验集成的免提语音和视频通话功能的无缝通信,从而实现更加动态和互动的聊天环境。
- 🛠️模型构建器:通过 Web UI 轻松创建 Ollama 模型。通过Open WebUI Community集成轻松创建和添加自定义角色/代理、自定义聊天元素和导入模型。
- 🐍原生 Python 函数调用工具:通过工具工作区中的内置代码编辑器支持增强您的 LLM。只需添加纯 Python 函数即可自带函数 (BYOF),从而实现与 LLM 的无缝集成。
- 📚本地 RAG 集成:借助突破性的检索增强生成 (RAG) 支持,探索聊天交互的未来。此功能将文档交互无缝集成到您的聊天体验中。您可以将文档直接加载到聊天中或将文件添加到文档库中,使用
#
查询前的命令轻松访问它们。 - 🔍 RAG 的网络搜索:使用
SearXNG
、、、、、、、、和等提供商执行网络搜索,Google PSE
并将结果直接注入您的聊天体验。Brave Search``serpstack``serper``Serply``DuckDuckGo``TavilySearch``SearchApi``Bing
- 🌐网页浏览功能
#
:使用命令后跟 URL,将网站无缝集成到您的聊天体验中。此功能允许您将网页内容直接整合到您的对话中,增强互动的丰富性和深度。 - 🎨图像生成集成:使用 AUTOMATIC1111 API 或 ComfyUI(本地)以及 OpenAI 的 DALL-E(外部)等选项无缝整合图像生成功能,通过动态视觉内容丰富您的聊天体验。
- ⚙️多模型对话:轻松同时与各种模型互动,利用其独特优势获得最佳响应。通过同时利用多种模型来增强您的体验。
- 🔐基于角色的访问控制 (RBAC):通过受限的权限确保安全访问;只有授权个人才能访问您的 Ollama,并且为管理员保留独占的模型创建/拉取权限。
- 🌐🌍多语言支持:借助我们的国际化 (i18n) 支持,以您喜欢的语言体验 Open WebUI。加入我们,扩大我们支持的语言!我们正在积极寻找贡献者!
- 🧩 Pipelines、Open WebUI 插件支持:使用Pipelines 插件框架将自定义逻辑和 Python 库无缝集成到 Open WebUI 中。启动您的 Pipelines 实例,将 OpenAI URL 设置为 Pipelines URL,并探索无限可能。示例包括函数调用、用户速率限制以控制访问、使用 Langfuse 等工具进行使用情况监控、****使用 LibreTranslate 进行实时翻译以支持多语言、有毒消息过滤等等。
- 🌟持续更新:我们致力于通过定期更新、修复和新功能来改进 Open WebUI。
想要了解更多有关 Open WebUI 的功能?查看我们的Open WebUI 文档,获得全面概述!
3. Open WebUI Community
Open WebUI的姊妹项目Open WebUI Community,您可以在其中发现、下载和探索自定义的模型文件。Open WebUI Community 提供了各种令人兴奋的可能性,可增强您与 Open WebUI 的聊天互动!🚀