跟着AI 学AI开发二,本地部署自己的Chat GPT

这里要安装的是Open Web UI ,用一张架构图说明AI 前端与后端的关系。

之前的Python 的方法已经做过多次介绍,这里不做赘述。 

顺序:1,Ollama。 2,Docker。 3,Open WebUI。

  1. Ollama 安装下载地址:Ollama,

直接安装即可,安全成功之后别忘了安装大语言模型。

2. 安装Docker

安装地址: https://www.docker.com/,

在打开的页面里直接单击: Download Docker Desktop 即可安装。

附注:由于有人问Docker,这里做点延申,

Docker 是一个开源的平台,用于开发、交付和运行应用程序。它通过使用**容器(Container)**技术,使应用程序可以在任何环境中一致地运行,无论是在开发者的笔记本电脑上,还是在生产服务器上。容器是一种轻量级、可移植的虚拟化形式,能够将应用程序和它的所有依赖项打包在一起,从而确保运行环境的独立性和一致性。

Docker 的核心概念

  1. 镜像(Image):

    • Docker 镜像是一个轻量级、独立的、可执行的软件包,其中包含运行应用程序所需的所有内容(代码、运行时、库、环境变量等)。
    • 类似于一个模板,用于创建 Docker 容器。
  2. 容器(Container):

    • 容器是镜像的一个运行实例,是一个隔离的环境,确保应用程序的运行不会受到外界的干扰。
    • 容器可以轻松启动、停止、删除,并且运行非常高效。
  3. Docker 引擎(Docker Engine):

    • Docker 的核心组件,用于构建、运行和管理容器。
  4. Docker Hub:

    • 一个官方的在线仓库,存储和共享 Docker 镜像。
    • 开发者可以从 Docker Hub 下载现成的镜像,也可以上传自己的镜像。

Docker 的主要优势

  1. 跨平台一致性:

    • "一次构建,到处运行"。Docker 容器在任何支持 Docker 的系统上都能以相同的方式运行。
  2. 轻量级:

    • Docker 容器使用共享的主机操作系统,比传统虚拟机更加高效,占用资源更少。
  3. 快速部署:

    • 使用镜像启动容器的速度非常快,几乎是即时的。
  4. 隔离性:

    • 每个容器是独立的,拥有自己的文件系统、网络和运行时环境,互相隔离,避免冲突。
  5. 高效的资源利用:

    • 多个容器可以共享主机操作系统资源,减少硬件开销。

Docker 的工作流程

  1. 开发阶段:开发者通过编写 Dockerfile 来定义应用程序的构建过程。
  2. 构建镜像:使用 Docker 命令构建镜像,例如:docker build -t myapp .
  3. 运行容器:从镜像启动容器,例如:docker run -d myapp
  4. 分发镜像:将镜像上传到 Docker Hub 或其他镜像仓库,供团队或生产环境使用。

Docker 的典型应用场景

  1. 开发环境标准化:

    • 为团队创建一致的开发和测试环境。
  2. 微服务架构:

    • 每个微服务运行在自己的容器中,简化部署和扩展。
  3. 持续集成与持续交付(CI/CD):

    • 通过容器化,确保代码从开发到生产环境的流畅过渡。
  4. 快速实验:

    • 试验新技术或框架,而不会影响主机系统。
  • 安装步骤与方法:

Dockers,安装后的效果是:在命令行执行 Docker,

它的 url 是 localhost:3000,

开始使用:当发生选择模型,未找到结果时,要加载它的大语言模型,例如在命令行录入 ollama run lama3。。。。就会有模型共提供选择。

  • 确认 ollama 安装成功

  • 安装Open web UI 

打开: https://github.com/open-webui/open-webui 后下面有安装说明,这里要仔细看。

运行代码和结果: 

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  • To run Open WebUI with Nvidia GPU support,

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

以上三个步骤完成之后:测试效果如下:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/64530.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

204页PPT金税四期监管要求与最新政策及风险防范-培训课件

这份资料是关于金税四期监管要求、最新政策及风险防范的培训课件,包含204页PPT内容。核心内容涉及金税四期的发展历程、与金税三期的主要变化、指挥决策系统、税务风险预警指标、重点监控行为、税务稽查重点领域、避税方法及处罚、以及企业自查和税务风险管控原理。…

线性规划中的几种逻辑表达式

线性规划中的几种逻辑表达式 注意: 摘录字刘博士的《数学建模与数学规划》, 以便用时可查。 实际上Gurobi API 中自身放啊变的逻辑表达式函数,下面列出自定义的实现方式。 1 逻辑与 如果 x 1 1 x_1 1 x1​1, x 2 1 x_2 1 x2​1, 那…

knife4j增强swagger

背景 swagger很好用&#xff0c;但是UI不够友好 导入maven依赖 使用maven-search在common模块中导入依赖 <!-- knife4j --><dependency><groupId>com.github.xiaoymin</groupId><artifactId>knife4j-spring-boot-starter</artifactId&g…

iOS - 超好用的隐私清单修复脚本(持续更新)

文章目录 前言开发环境项目地址下载安装隐私访问报告隐私清单模板最后 前言 在早些时候&#xff0c;提交应用到App Store审核&#xff0c;大家应该都收到过类似这样的邮件&#xff1a; Although submission for App Store review was successful, you may want to correct th…

【WRF教程第四期】WRF 初始化概述:以4.5版本为例

WRF 初始化&#xff08;WRF Initialization&#xff09; Building Initialization Programs编译方式 理想案例初始化&#xff08;Initialization for Idealized Cases&#xff09;理想化案例的输入可用的理想化案例 现实案例初始化&#xff08;Initialization for Real Data Ca…

测试工程师八股文04|计算机网络 和 其他

一、计算机网络 1、http和https的区别 HTTP和HTTPS是用于在互联网上传输数据的协议。它们都是应用层协议&#xff0c;建立在TCP/IP协议栈之上&#xff0c;用于客户端&#xff08;如浏览器&#xff09;和服务器之间的通信。 ①http和https的主要区别在于安全性。http是一种明…

【C++】inline函数(内联函数)

文章目录 前言一、宏函数的缺陷二、inline函数1.inline函数的展开规则2.inline的设计分析3.inline函数不建议声明和定义分离 前言 C程序频繁调用函数会使代码效率降低&#xff0c;因为创建函数栈帧需要消耗时间。于是C语言引入宏函数的概念&#xff0c;使用宏函数来替代一些功能…

Android OpenGLES2.0开发(九):图片滤镜

“当你改变想法的时候&#xff0c;记得也要改变你的世界。”——诺曼文森特皮尔 Android OpenGLES开发&#xff1a;EGL环境搭建Android OpenGLES2.0开发&#xff08;一&#xff09;&#xff1a;艰难的开始Android OpenGLES2.0开发&#xff08;二&#xff09;&#xff1a;环境搭…

易语言OCR证件照文字识别

一.引言 文字识别&#xff0c;也称为光学字符识别&#xff08;Optical Character Recognition, OCR&#xff09;&#xff0c;是一种将不同形式的文档&#xff08;如扫描的纸质文档、PDF文件或数字相机拍摄的图片&#xff09;中的文字转换成可编辑和可搜索的数据的技术。随着技…

指针练习题15道【C语言】

1.利用指针变量将一个数组中的数据反向输出。 声明&#xff1a; void work1(int *, int); // 声明反向遍历 void work1_1(int *, int); // 声明正向遍历实现&#xff1a; // 利用指针变量将一个数组中的数据反向输出&#xff0c;反向遍历 void work1( int *p,int len) {p (…

单节点calico性能优化

在单节点上部署calicov3273后&#xff0c;发现资源占用 修改calico以下配置是资源消耗降低 1、因为是单节点&#xff0c;没有跨节点pod网段组网需要&#xff0c;禁用overlay方式网络(ipip&#xff0c;vxlan),使用route方式网络 配置calico-node的环境变量 CALICO_IPV4POOL_I…

在 Spring Boot 3 中实现基于角色的访问控制

基于角色的访问控制 (RBAC) 是一种有价值的访问控制模型,可增强安全性、简化访问管理并提高效率。它在管理资源访问对安全和运营至关重要的复杂环境中尤其有益。 我们将做什么 我们有一个包含公共路由和受限路由的 Web API。受限路由需要数据库中用户的有效 JWT。 现在用户…

电子系统中用于降噪的接地

当接地系统中存在EMI、RFI 或由焊机、变速驱动器、电器等引起的电脉冲等干扰时&#xff0c;它们会在中性线和接地之间产生共模噪声&#xff0c;可能会影响电子设备。 国家电气规范 (NEC) 允许安装隔离接地插座 (IG)&#xff0c;即磁轭和接地端子之间没有连接。轭是插座后面的金…

SmartX分享:SMTX ZBS 中 RDMA 技术简介

目录 背景如何实现存储网络是什么TCP/IPRDMARDMA 工作原理RDMA 的实现方案 ZBS 支持 RDMA 的要求 参考 背景 我们清楚&#xff0c;分布式存储将利用网络作不同设备的互联。最基础的如TCP/IP的IP SAN&#xff0c;进阶的有FC SAN、IB等等。 SmartX 支持 10G以上的TCP/IP网络作为…

《Vue3实战教程》5:响应式基础

如果您有疑问&#xff0c;请观看视频教程《Vue3实战教程》 响应式基础​ API 参考 本页和后面很多页面中都分别包含了选项式 API 和组合式 API 的示例代码。现在你选择的是 组合式 API。你可以使用左侧侧边栏顶部的“API 风格偏好”开关在 API 风格之间切换。 声明响应式状态…

QT网络(二):TCP通信

传输层概念 传输控制协议&#xff08;transmission control protocol&#xff0c;TCP&#xff09;是一种被大多数 Internet 网络协议用于数据传输的底层网络协议&#xff0c;它是可靠的、面向流和连接的传输协议&#xff0c;特别适合用于连续数据传输。 应用层在网络模型中的…

【记录50】uniapp安装uview插件,样式引入失败分析及解决

SassError: Undefined variable: "$u-border-color". 表示样式变量$u-border-color没定义&#xff0c;实际是定义的 首先确保安装了scss/sass 其次&#xff0c;根目录下 app.vue中是否全局引入 <style lang"scss">import /uni_modules/uview-ui/in…

TypeScript 与 JavaScript

文章目录 一、为 JavaScript 库添加类型定义(一)什么是类型定义文件(.d.ts 文件)(二)手动编写类型定义和使用现有类型定义(如 DefinitelyTyped)手动编写类型定义使用现有类型定义(如 DefinitelyTyped)二、在 TypeScript 项目中使用流行的 JavaScript 库(如 jQuery、…

算法—动态规划

一、简介 动态规划&#xff08;Dynamic Programming&#xff0c;简称 DP&#xff09;是一种通过将原问题分解为若干个子问题来求解最优化问题的算法思想。动态规划常常用于解决那些可以被分解为更小的重叠子问题的场景。 与分治法的区别在于&#xff0c;分治法会将问题分解成独…

Android GO 版本锁屏声音无效问题

问题描述 Android go版本 在设置中打开锁屏音开关&#xff0c;息屏灭屏还是无声音 排查 vendor\mediatek\proprietary\packages\apps\SystemUI\src\com\android\systemui\keyguard\KeyguardViewMediator.java private void setupLocked() {...String soundPath Settings.G…