使用Ollama和Open WebUI管理本地开源大模型的完整指南

🏡作者主页:点击! 

🤖AI大模型部署与应用专栏:点击!

⏰️创作时间:2024年5月27日12点20分

🀄️文章质量:96分


目录

✨️Open-WebUI介绍

优点

💥部署教程

1.打开官网地址

2.安装Docker

3.Open WebUI下载

👁️‍🗨️功能介绍

1.AI编程

2.聊天历史

3.自定义Web的界面

💯趣站💯


该篇接着上篇在本地部署大模型

使用 Ollama框架 下载和使用 Llama3 AI大模型的完整指南

http://t.csdnimg.cn/DKfjLicon-default.png?t=N7T8http://t.csdnimg.cn/DKfjL

✨️Open-WebUI介绍

Open WebUI 是一种基于 Web 的用户界面,用于管理和操作各种本地和云端的人工智能模型。它提供了一个直观的图形化界面,使用户可以方便地加载、配置、运行和监控各种 AI 模型,而无需编写代码或使用命令行界面。

优点

Open-WebUI 是一款功能强大且易于使用的 Web 界面,可让您轻松与大型语言模型 (LLM) 进行交互。它具有以下优点:

用户界面

直观且响应式,可在任何设备上提供卓越的体验。

支持多种主题和自定义选项,以满足您的个人喜好。

性能

快速响应和流畅的性能,即使在处理复杂任务时也是如此。

支持多模型和多模态交互,可实现更强大的功能。

功能

  • 全面的 Markdown 和 LaTeX 支持,可轻松格式化和共享文本。
  • 本地 RAG 集成,可通过文档检索增强 LLM 功能。
  • Web 浏览功能,可直接从聊天中访问和交互网站。
  • 提示预设,可快速启动常见对话。
  • RLHF 注释,可通过提供反馈来帮助改进 LLM。
  • 对话标记,可轻松组织和查找对话。
  • 模型管理功能,可轻松添加、删除和更新模型。
  • 语音输入和文本转语音,可实现自然语言交互。
  • 高级参数微调,可根据您的需要定制 LLM 行为。
  • 图像生成集成,可创建令人惊叹的视觉内容。

API

支持 OpenAI API 和其他兼容 API,可扩展 LLM 功能。

提供 API 密钥生成和外部 Ollama 服务器连接等高级功能。

安全性

基于角色的访问控制 (RBAC),可确保仅授权用户才能访问敏感信息。

模型白名单和受信任的电子邮件身份验证可增强安全性。

后端反向代理支持可保护您的 Ollama 实例。

其他

支持多种语言,可满足全球用户的需求。

定期更新和新功能,确保您始终拥有最佳体验。

官网有更详细的介绍,如想了解去官网查询!

 💯趣站💯

前些天发现了一个巨牛的🤖人工智能学习网站,通俗易懂,风趣幽默,忍不住粉香一下给大家,人工智能, 机器算法等......  

点击跳转网站icon-default.png?t=N7T8https://www.captainbed.cn/sis/

💥部署教程

1.打开官网地址

打开,开源项目Open-WebUI地址放在下方

点击!icon-default.png?t=N7T8https://github.com/open-webui/open-webui

点进去之后里边也是有相应的功能介绍,以及不同环境下的安装(具体看文档介绍)

2.安装Docker

自行去官网安装,安装教程也是十分的简单

3.Open WebUI下载

安装完成之后重启电脑,打开Docker

复制这条命令( Ollama 在您的计算机上使用以下命令)

不同的条件下,有不同的命令,详细见开源地址所述

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

参数详解

  • docker run: 启动一个新的 Docker 容器。
  • -d: 以守护进程模式运行容器,容器将在后台运行。
  • -p 3000:8080: 将本地机器的端口 3000 映射到容器内的端口 8080。这意味着你可以通过访问 http://localhost:3000 来访问运行在容器内的服务。
  • --add-host=host.docker.internal:host-gateway: 将主机名 host.docker.internal 映射到 Docker 网关。这对于在容器内访问主机服务很有用。
  • -v open-webui:/app/backend/data: 将本地的 open-webui 卷映射到容器内的 /app/backend/data 目录。这用于持久化数据,确保即使容器停止或重新启动,数据也不会丢失。
  • --name open-webui: 为容器指定一个名称 open-webui,以便于管理和识别。
  • --restart always: 设置容器的重启策略为 always,这意味着容器如果停止(例如由于崩溃或系统重启),Docker 会自动重启它。
  • ghcr.io/open-webui/open-webui:main: 使用来自 GitHub 容器注册表(GitHub Container Registry)的 open-webui 镜像,并指定使用 main 标签的版本。

复制完成之后打开我们的cmd命令行

复制copy的命令一键运行即可

等待下载完成即可

安装完成之后访问本地的3000端口

也可以点击自己的Docker,点击访问即可

首次登录需要创建用户

注册一个用户

成功的登录到UI界面

成功的进入之后,我们选择相应的模型,因为我本地下载过8B的模型,所以它自动会识别的。

选择好模型之后,我们来对他进行提问

可以看出类似于ChatGPT的聊天框十分的便捷

但是在访问的时候占用的是本地的内存和CPU,大家可以明显的看出 CPU飙升(我个人的笔记本性能没有那么好,并且是集成显卡)。

回答的速度是根据自己电脑的性能挂钩,并且选择的模型,也可以选择自己适合的模型

可以看出回答的也是十分的详细

👁️‍🗨️功能介绍

1.AI编程

测试以下编程能力

问题:

用shell脚本编写一个ping通网段所有主机 要求如果可以访问返回YES,否则就NO

它的回答:

下面是一个 shell 脚本,用于检查指定网络范围内的所有主机是否可访问,并相应地返回“YES”或“NO”:ping

#!/bin/bash# Set the network range (e.g. 192.168.1.0/24)
NETWORK_RANGE="192.168.1.0/24"# Set the number of hosts to ping (e.g. 254 for a /24 subnet)
NUM_HOSTS=$(ipcalc -n $NETWORK_RANGE | awk '{print $2}' | grep -oE '[0-9]+$')# Initialize the result
RESULT="NO"# Ping each host in the network range
for i in $(seq 1 $NUM_HOSTS); doHOST=$NETWORK_RANGE".$iif ping -c 1 -W 1 $HOST &> /dev/null; thenRESULT="YES"breakfi
doneecho "$RESULT"

让我解释一下脚本的工作原理:

  1. 我们使用(一种计算 IP 地址范围的工具)设置要 ping 的网络范围和主机数量。例如,如果我们要检查子网中的所有主机,我们将设置 和 。ipcalc``192.168.1.0/24``NETWORK_RANGE="192.168.1.0/24"``NUM_HOSTS=$(ipcalc -n $NETWORK_RANGE | awk '{print $2}' | grep -oE '[0-9]+$')

  2. 我们将结果初始化为“NO”(假设并非所有主机都可以访问)。

  3. 我们使用循环和命令遍历网络范围内的每个主机,该命令生成从 1 到 的数字序列。对于每个主机,我们通过将网络范围与主机编号(例如,等)连接起来构建完整的IP地址。for``seq``$NUM_HOSTS``192.168.1.1``192.168.1.2

  4. 我们用来检查主机是否可访问。如果是,我们将结果更新为“YES”并打破循环。ping

  5. 最后,我们打印结果。

您可以将此脚本保存到文件(例如 )中,并使用 .然后,您可以通过在终端中执行来运行它。ping_network.sh``chmod +x ping_network.sh``./ping_network.sh

注意:此脚本假定您已安装在系统上。如果没有,您可以使用包管理器安装它(例如,在基于 Ubuntu 的系统上)。此外,如果网络范围较大或主机响应缓慢,则此脚本可能需要一段时间才能运行。您可以修改脚本以使用,或者如果需要加快该过程。ipcalc``apt-get install ipcalc``parallel processing``concurrent ping

可以看的出来回答的也是十分的详细

可以看出回答的十分的仔细,不仅写出了脚本,而且还对于代码进行解释,我仅仅采用的是8B的模型,还有更高的模型。

2.聊天历史

当我们退出网页之后,重新登录,发现聊天记录仍然是在的,十分的便捷

就像官网所说的那样

  • 🔄 再生历史访问:轻松重温和探索您的整个再生历史。

  • 📜 聊天记录:轻松访问和管理您的对话记录。

  • 📬 存档聊天:毫不费力地存储与 LLM 的完整对话以供将来参考,保持整洁整洁的聊天界面,同时允许轻松检索和参考。

3.自定义Web的界面

管理链接更新模型

多的就不在介绍,大家部署完成之后自行实践,设置的项十分的重要。

同时还支持很多功能,自定义模型

上传下载好的模型文件

GGUF 文件模型创建:通过直接从 Web UI 上传 GGUF 文件,轻松创建 Ollama 模型。简化流程,提供从机器上传或从 Hugging Face 下载 GGUF 文件的选项。

同时还支持图像生成集成,OpenAI API集成,外部Ollama服务器链接,多用户管理,等等... 感兴趣的话可以去开源项目的文档去详细的了解,对你十分的有帮助

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/844090.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机视觉与深度学习实战:以Python为工具,基于Hough变化的答题卡识别

一、引言 在信息技术飞速发展的今天,计算机视觉与深度学习已成为许多领域不可或缺的技术。特别是在教育领域,答题卡识别技术的应用极大地提高了阅卷效率和准确性。本文将详细介绍如何利用Python作为工具,结合计算机视觉和深度学习的技术,基于Hough变换实现答题卡识别的实战…

Linux命令 jps(Java Process Status)解释

文章目录 1、第一种解释2、第二种解释3、第三种解释 1、第一种解释 jps 命令本身并不是一个标准的 Unix/Linux 命令,但您可能是想提到 jps 的一个变种或误写了 jps 为 jps,而实际上可能是想提及 jps(Java Virtual Machine Process Status To…

Power Bi 自定义进度条,圆角框,矩阵图标的实现

最近项目在做Power BI,我总结了几个常用的自定义样式,分享一下做法。 比如我们要实现如图这样的一个样式: 这包含了一个带文字的自定义进度条,矩阵有树型展开以及图标显示,最外面有圆角框包围。我觉得这几个样式出现…

海云安两大金融案例入编行业典范,七大安全领域实力登榜《2024中国金融网络安全全景图》

近日,数说安全与《中国信息安全》杂志联合编写并发布了《2024年中国金融行业网络安全研究报告》(以下简称报告)、《2024年中国金融行业网络安全案例集》(以下简称案例集)、《2024年中国金融行业网络安全市场全景图》&a…

VSCode 报错 之 运行 js 文件报错 ReferenceError: document is not defined

1. 背景 持续学习ing 2. 遇到的问题 在VSCode 右键 code runner js 文件报错 ReferenceError: document is not defined eg: // 为每个按钮添加点击事件监听器 document.querySelectorAll(button).forEach(function (button) {button.addEventListener(click, f…

kafka-守护启动

文章目录 1、kafka守护启动1.1、先启动zookeeper1.1.1、查看 zookeeper-server-start.sh 的地址1.1.2、查看 zookeeper.properties 的地址 1.2、查看 jps -l1.3、再启动kafka1.3.1、查看 kafka-server-start.sh 地址1.3.2、查看 server.properties 地址 1.4、再次查看 jps -l 1…

深入探索C++继承机制:从概念到实践的全面指南

目录 继承的概念及定义 继承的概念 继承的定义 定义格式 继承方式和访问限定符 继承基类成员访问方式的变化 默认继承方式 基类和派生类对象赋值转换 继承中的作用域 派生类的默认成员函数 继承与友元 继承与静态成员 继承的方式 菱形虚拟继承 菱形虚拟继承原理 继承…

【嵌入式】RS485通信+硬件

目录 1.物理层 2.协议层 3.收发电路 3.1三极管开关电路 3.2收发原理图解释 1.物理层 对比 CAN 通讯网络,可发现它们的网络结构组成是类似的,每个节点都是由一个通讯控制器和 一个收发器组成,在 RS-485 通讯网络中,节点中的…

Linux 创建 查看 删除 用户和用户组等操作

在Linux系统中,创建、查看和删除用户和用户组等操作通常通过命令行工具完成。以下是一些常用的命令: 用户操作: 创建用户:sudo adduser username修改用户密码:sudo passwd username删除用户:sudo deluser username用户组操作: 创建用户组:sudo addgroup groupname删除…

Java基础:异常(三)

Java基础:异常(三) 文章目录 Java基础:异常(三)1. Java异常体系1.1 错误的分类1.2 异常的分类 2. 异常的捕获与处理2.1 try-catch2.2 finally 3. 异常的抛出4. 自定义异常 1. Java异常体系 Java的异常体系是…

ubuntu20 安装Anaconda

Anaconda官网:Anaconda | The Operating System for AI 然后就开始下载了。下载完 直接打开终端运行 bash Anaconda3-2024.02-1-Linux-x86_64.sh 按回车ENTER 一直空格,直到 yes,回车 确认安装路径,默认即可,直接回车…

SQL Server定期收缩日志文件详细步骤——基于SQL Server 2012

SQL Server定期收缩日志文件详细步骤 一、环境配置1、查看数据库的属性2、文件设置3、备份模式4、查看收缩配置5、查看收缩选项 二、编写作业计划1、选择新建作业2、常规配置3、步骤4、输入内容5、脚本详解6、新建计划7、输入名称、选择执行时间8、查看测试9、查看测试结果 一、…

【最优化方法】实验四 约束最优化方法的MATLAB实现

实验的目的和要求:通过本次实验使学生较为熟练使用MATLAB软件,并能利用该软件进行约束最优化方法的计算。 实验内容: 1、罚函数法的MATLAB实现 2、可行方向法的MATLAB实现 学习建议: 本次实验就是要通…

递归/递归函数

不明白为什么很多学校要从“汉诺塔”讲起,这玩意是真的绕。 递归(函数)的概念: 调用自身来求解问题 不要过多考虑递归细节,宏观层面上的理解递归就行 ps:总不能一直调用下去吧?必须要有一个边界 递归的…

国际标准引脚,宽范围工作温度–40℃ 到 105℃,3W 1.5KVDC 隔离单输出 DC/DC 电源模块 ——TPL-3W系列

TPL-3W系列是一款额定功率为3W的隔离产品,国际标准引脚,宽范围工作温度–40℃ 到 105℃,在此温度范围内都可以稳定输出3W,并且效率非常高,高达88%,同时负载调整率非常低,对于有输出电压精度有要…

失落的方舟台服封号的解决方法 怎么避免封号?

失落的方舟台服封号的解决方法 怎么避免封号? 失落的方舟这款游戏是由Smile Gate研发的MMORPG游戏,这款游戏将于5月30日正式开服。游戏采用虚幻3引擎,为玩家们提供了丰富的游戏玩法与精美的游戏画面。游戏的背景是在中世纪,玩家们…

JS将小数转化为整数

在JavaScript中,有多种方法可以将一个值转化为整数。以下是一些常用的方法: Number.parseInt() 或 parseInt()parseInt() 函数解析一个字符串参数,并返回一个指定基数的整数(基数介于2和36之间)。如果第一个字符不能被转换为数字,parseInt() 会返回 NaN。 let numString…

网络原理-------TCP协议

文章目录 TCP协议TCP协议段格式TCP原理确认应答机制 (安全机制)超时重传机制 (安全机制)连接管理机制 (安全机制)滑动窗口 (效率机制)流量控制 (安全机制)拥塞控制 (安全机制)延迟应答 (效率机制)捎带应答 (效率机制) 基于TCP的应用层协议 TCP协议 TCP, 即 Transmission Contr…

TypeScript 枚举

什么是 TypeScript 枚举? 简单来说,枚举是一种用于命名一组常量的数据类型。在 TypeScript 中,枚举允许我们定义一个命名的常量集合,并为这些常量分配相关的数值。通过枚举,我们可以为一组相关的值提供一个友好的名字…

运维开发之Linux机器码

一、介绍 Linux机器码指的是在Linux操作系统上运行的程序的二进制代码,也称为机器码或目标代码。Linux机器码是对源代码进行编译或汇编后得到的结果,它是一系列由0和1组成的指令,用于直接在计算机硬件上执行。 在Linux中,机器码可以是由C、C++、汇编语言或其他编程语言编…