文章目录
- 1、feature
- 2、安装使用
- 2.1 安装过程
- 2.2 安装好后
1、feature
- 可以加载多个大模型 同时回复
模型问答: 使用vLLM框架部署模型，再使用Open WebUI直接进行模型问答
多模型支持: 多模型回复比对（Qwen2-72B-Instruct, llama3-70b-8192, mixtral-8x7b）
RAG场景1: 文档问答
RAG场景2: 使用Web Search进行问答
Function Calling: 需用Python实现工具（Tool）代码
多模态场景: 对图片进行问答（VQA）
Pipelines: pipeline编排，可自定义工作流程
模型问答
2、安装使用
github地址：
https://github.com/open-webui/open-webui
2.1 安装过程
python 3.11
# 1
pip install open-webui
# 2 这样能够下载模型
export HF_ENDPOINT="https://hf-mirror.com"
# 启动端口8081
open-webui serve --port 8081 2.2 安装好后
- 打开 http:\服务器ip:8081\
- 注册账号登录
- 添加了两个模型同时回复问题。
工作空间设置模型
- 新建工具，调用
import os
import requests
from datetime import datetimeclass Tools:def __init__(self):passdef get_current_time(self) -> str:"""Get the current time in a more human-readable format.:return: The current time."""now = datetime.now()current_time = now.strftime("%I:%M:%S %p") # Using 12-hour format with AM/PMcurrent_date = now.strftime("%A, %B %d, %Y") # Full weekday, month name, day, and yearreturn f"Current Date and Time = {current_date}, {current_time}"
选择上就可以调用工具了
参考：https://percent4.github.io/NLP%EF%BC%88%E4%B8%80%E7%99%BE%E9%9B%B6%E4%B8%89%EF%BC%89%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BA%94%E7%94%A8%E5%88%A9%E5%99%A8%E4%B9%8BOpen-WebUI%E5%85%A5%E9%97%A8/
