Llama(二):Open WebUI作为前端界面,使用本机的llama3

目录

背景

Open WebUI是什么

工程能力特性

产品功能特性

用户体验特性

Open WebUI安装并使用


背景

Mac M1芯片,16G 内存

llama3 8B的部署参考Llama(一):Mac M1芯片运行Llama3-CSDN博客在Mac M1 16G内存环境中,部署并使用Llama3 8Bhttps://blog.csdn.net/hugo_lei/article/details/139330252

【Open WebUI是什么】

Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括Ollama和OpenAI兼容的API。

Open WebUI的关键特性

【工程能力特性】

🚀 轻松安装:

  • 使用Docker或Kubernetes(kubectl、kustoize或helm)无缝安装。
  • 也提供了集成ollama的镜像,集成cuda的镜像。

🔐 基于角色的访问控制(RBAC):

  • 确保使用受限权限进行安全访问;
  • 只有经过授权的个人才能访问您的Ollama,并且为管理员保留专属的模型创建/提取权限。

🧩 Pipelines,Open WebUI插件支持:

  • 使用Pipelines插件框架将自定义逻辑和Python库无缝集成到Open WebUI中。
  • 启动你的Pipelines实例,将OpenAI URL设置为Pipelines URL,探索无尽的可能性。示例包括函数调用、控制访问的用户速率限制、使用Langfuse等工具进行使用监控、使用LibreTranslate进行多语言支持的实时翻译、有毒消息过滤等等。(扩展性通过plugin解决)

【产品功能特性】

🤝 Ollama/OpenAI API集成:

  • 兼容OpenAI API。
  • 不仅支持Ollama模型,也支持LMStudio、GroqCloud、Mistral、OpenRouter等。(模型兼容OpenAI API即可)

✒️🔢 全面Markdown和LaTeX支持:通过全面的Markdown和LaTeX功能提升您的LLM体验,丰富互动。

🛠️ Model Builder:通过Web UI轻松创建Ollama模型。通过Open WebUI社区集成,轻松创建和添加自定义角色/代理、自定义聊天元素和导入模型。(它自己还搞了一个模型社区,类似HuggingFace)

📚 本地RAG集成:通过突破性的检索增强生成(RAG)支持,深入聊天交互的未来。此功能将文档交互无缝集成到您的聊天体验中。您可以直接将文档加载到聊天室中,或将文件添加到文档库中,在查询前使用#命令轻松访问它们。(RAG是核心功能)

🔍 RAG的网络搜索:使用SearXNG、Google PSE、Brave Search、serpstack和serper等提供商进行网络搜索,并将结果直接注入您的聊天体验。

🌐 网络浏览功能:使用#命令和URL将网站无缝集成到您的聊天体验中。此功能允许您将网络内容直接融入对话中,增强互动的丰富性和深度。(这个比较有特色,可以直接提供一个URL让它自己分析)

🎨 图像生成集成:使用AUTOMATIC111 API或ComfyUI(本地)和OpenAI的DALL-E(外部)等选项无缝集成图像生成功能,通过动态视觉内容丰富您的聊天体验。(锦上添花)

⚙️ 多模型对话:轻松地同时与各种模型互动,利用它们的独特优势做出最佳反应。通过并行利用一组不同的模型来增强您的体验。(比较有特色,在模型评测时更方便)

【用户体验特性】

🌐🌍 多语言支持:通过我们的国际化(i18n)支持,体验您喜欢的语言的开放式WebUI。目前支持了30+语言。

📱 响应式设计:在台式电脑、笔记本电脑和移动设备上享受无缝体验。(用大白话说就是BS架构,前端交互用浏览器,好吧,学了一个新词:响应式设计)

📱 Progressive Web App(PWA)for Mobile:使用我们的PWA,在的移动设备上享受本机应用程序般的体验,提供本地主机上的离线访问和无缝用户界面。(用web技术开发的移动APP,或者叫多端统一,对于一些交互简单的产品可以这么干,但复杂产品肯定还是Native App的体验更好)


【Open WebUI安装并使用】

推荐docker安装

  1. 若是使用本地llama模型,建议先启动模型ollama run llama3
  2. 确定一个本地文件夹,用户容器持久化数据,以防丢失
  3. 运行docker 镜像
docker run -d -p 3000:8080 -e WEBUI_AUTH=False --add-host=host.docker.internal:host-gateway -v open-webui:你的本地文件夹 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

-e WEBUI_AUTH=False 本地使用,不需要鉴权登录啥的

访问http://localhost:3000/

选择一个模型,使用本地ollama run llama3,Open WebUI会自动识别到本地启动的llama3模型。

Enjoy。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/846461.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

牛客热题:缺失的第一个正整数

牛客热题:数组中出现一次的两个数字> 📟作者主页:慢热的陕西人 🌴专栏链接:力扣刷题日记 📣欢迎各位大佬👍点赞🔥关注🚓收藏,🍉留言 文章目录 …

6月2号总结

刷题记录Codeforces Round 925 (A,B,C) 1.A. Recovering a Small String 问题 - A - Codeforces 输入: 5 24 70 3 55 48 输出: aav rzz aaa czz auz 给定一个3~78的整数,将这个整数分成a,b,c,其中1表示…

数据结构之二叉搜索树(TreeSetTreeMap)

目录 一.搜索树 1.1概念 1.2适用场景 2.二叉搜索树的基本操作 2.1二叉搜索树的定义 2.2查找 2.1.1基本思路 2.3插入 2.3.1基本思路 2.4删除 2.4.1基本思路 2.5遍历 2.6性能分析 二.TreeSet Map和Set 1.概念 2.模型 1.定义 2.基本操作 三.TreeMap 1.定义 2.基…

LLM大语言模型学习资料网站(git、gitee、等)

先上几个关于大模型方面比较好的开源地址吧: 1.清华智普ChatGLM: GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型,详细…

【计算机毕设】基于SpringBoot的医院管理系统设计与实现 - 源码免费(私信领取)

免费领取源码 | 项目完整可运行 | v:chengn7890 诚招源码校园代理! 1. 研究目的 本项目旨在设计并实现一个基于SpringBoot的医院管理系统,以提高医院管理效率,优化医疗服务流程,提升患者就诊体验…

Codeforces Round 949 (Div. 2)(A,B题解)

这场真是给我打的汗流浃背了,这场真的巨难(可能是因为我二进制根本就没学好的原因吧) 反正总共就搞了两道题,第一道题注重于思维,第二道题纯二进制,第三道题看着也是二进制(最后时间不够了&…

Python知识点18---进程和线程

提前说一点:如果你是专注于Python开发,那么本系列知识点只是带你入个门再详细的开发点就要去看其他资料了,而如果你和作者一样只是操作其他技术的Python API那就足够了。 首先我要给大家说一下进程和线程有什么区别,进程包含着线…

详解 Spark SQL 核心编程知识

一、SparkSQL 概述 1. 概念 Spark SQL 是 Spark 用于结构化数据 (structured data) 处理的 Spark 模块,使用 SQL 的方式简化 RDD 的开发 2. Hive VS SparkSQL Hive 是早期唯一运行在 Hadoop 上的 SQL-on-Hadoop 工具,但是 MapReduce 计算过程中大量的中…

URL路由基础

本书1-7章样章及配套资源下载链接: https://pan.baidu.com/s/1OGmhHxEMf2ZdozkUnDkAkA?pwdnanc 源码、PPT课件、教学视频等,可以从前言给出的下载信息下载,大家可以评估一下。 对于高质量的Web应用来讲,使用简洁、优雅的URL设计模式非常…

时间序列的谱分解

refer:15.pdf (berkeley.edu) Stat 153 Fall 2010 (berkeley.edu)

linux mtd分区应用操作sample之某分区擦除

什么是擦除? 把flash相关的区域数据bit置为1的过程 #include <mtd/mtd-user.h> #include <mtd/mtd-abi.h> struct erase_info_user {__u32 start; // 起点 __u32 length; //长度 块大小对齐 不然报参数失败 };struct erase_info_user64 {__u64 sta…

Linux 驱动设备匹配过程

一、Linux 驱动-总线-设备模型 1、驱动分层 Linux内核需要兼容多个平台&#xff0c;不同平台的寄存器设计不同导致操作方法不同&#xff0c;故内核提出分层思想&#xff0c;抽象出与硬件无关的软件层作为核心层来管理下层驱动&#xff0c;各厂商根据自己的硬件编写驱动…

【逻辑回归】Logistic Regression逻辑回归模型学习笔记

文章目录 序言1. 线性回归2. 逻辑回归2.1 引入逻辑回归的原因2.2 逻辑回归2.3 逻辑回归的应用 3. 逻辑函数3.1 sigmoid函数3.2 sigmoid函数的性质3.3 决策边界3.4 对数几率 4. 损失函数4.1 为什么说逻辑回归时概率类模型4.2 为什么要进行极大似然估计4.3 利用MLE如何推导出损失…

Linux下的配置工具menuconfig+配置文件(Kconfig/.config/defconfig)

我们都知道,嵌入式开发中,或者说C语言中,配置基本都是通过宏定义来决定的,在MCU开发中,代码量比较小,配置项也比较少,我们直接修改对应的宏定义即可。 但是,Linux开发中,操作系统、驱动部分还有应用部分加起来,代码量极大,配置项目也非常多,这时候,就需要对这些配…

HackTheBox-Machines--Cronos

文章目录 0x01 信息收集0x02 命令注入漏洞0x03 权限提升 Cronos 测试过程 0x01 信息收集 1.端口扫描 发现 SSH&#xff08;22&#xff09;、DNS&#xff08;53&#xff09;、HTTP&#xff08;80&#xff09;端口 nmap -sC -sV 10.129.227.2112.53端口开启&#xff0c;进行DNS…

【LeetCode刷题】前缀和解决问题:742.寻找数组的中心下标、238.除自身以外数组的乘积

【LeetCode刷题】Day 15 题目1&#xff1a;742.寻找数组的中心下标思路分析&#xff1a;思路1&#xff1a;前缀和思想 题目2&#xff1a;238.除自身以外数组的乘积思路分析思路1&#xff1a;前缀和思想 题目1&#xff1a;742.寻找数组的中心下标 思路分析&#xff1a; 其实题干…

【软件开发规范篇】前言

作者介绍&#xff1a;本人笔名姑苏老陈&#xff0c;从事JAVA开发工作十多年了&#xff0c;带过大学刚毕业的实习生&#xff0c;也带过技术团队。最近有个朋友的表弟&#xff0c;马上要大学毕业了&#xff0c;想从事JAVA开发工作&#xff0c;但不知道从何处入手。于是&#xff0…

Linux——多线程(三)

在上一篇博客中我们讲到了在加锁过程中&#xff0c;线程竞争锁是自由竞争的&#xff0c;竞争能力强的线程会导致其他线程抢不到锁&#xff0c;访问不了临界资源导致其他线程一直阻塞&#xff0c;造成其它线程的饥饿问题&#xff0c;想要解决此问题又涉及一个新概念线程同步 一…

18 EEPROM读写

EEPROM 简介 EEPROM (Electrically Erasable Progammable Read Only Memory&#xff0c;E2PROM)即电可擦除可编程只读存储器&#xff0c;是一种常用的非易失性存储器&#xff08;掉电数据不丢失&#xff09;&#xff0c;EEPROM 有多种类型的产品&#xff0c;此次实验使用的是A…

32位与64位程序下函数调用的异同——计科学习中缺失的内容

前言 今天&#xff0c;通过一个有趣的案例&#xff0c;从反编译的角度看一下C语言中函数参数是如何传递的。 创建main.c文件&#xff0c;将下面实验代码拷贝到main.c文件中。 # main.c #include <stdio.h>int test(int a, int b, int c, int d, int e, int f, int g, …