跟着AI 学AI开发二,本地部署自己的Chat GPT

这里要安装的是Open Web UI ,用一张架构图说明AI 前端与后端的关系。

之前的Python 的方法已经做过多次介绍,这里不做赘述。 

顺序:1,Ollama。 2,Docker。 3,Open WebUI。

  1. Ollama 安装下载地址:Ollama,

直接安装即可,安全成功之后别忘了安装大语言模型。

2. 安装Docker

安装地址: https://www.docker.com/,

在打开的页面里直接单击: Download Docker Desktop 即可安装。

附注:由于有人问Docker,这里做点延申,

Docker 是一个开源的平台,用于开发、交付和运行应用程序。它通过使用**容器(Container)**技术,使应用程序可以在任何环境中一致地运行,无论是在开发者的笔记本电脑上,还是在生产服务器上。容器是一种轻量级、可移植的虚拟化形式,能够将应用程序和它的所有依赖项打包在一起,从而确保运行环境的独立性和一致性。

Docker 的核心概念

  1. 镜像(Image):

    • Docker 镜像是一个轻量级、独立的、可执行的软件包,其中包含运行应用程序所需的所有内容(代码、运行时、库、环境变量等)。
    • 类似于一个模板,用于创建 Docker 容器。
  2. 容器(Container):

    • 容器是镜像的一个运行实例,是一个隔离的环境,确保应用程序的运行不会受到外界的干扰。
    • 容器可以轻松启动、停止、删除,并且运行非常高效。
  3. Docker 引擎(Docker Engine):

    • Docker 的核心组件,用于构建、运行和管理容器。
  4. Docker Hub:

    • 一个官方的在线仓库,存储和共享 Docker 镜像。
    • 开发者可以从 Docker Hub 下载现成的镜像,也可以上传自己的镜像。

Docker 的主要优势

  1. 跨平台一致性:

    • "一次构建,到处运行"。Docker 容器在任何支持 Docker 的系统上都能以相同的方式运行。
  2. 轻量级:

    • Docker 容器使用共享的主机操作系统,比传统虚拟机更加高效,占用资源更少。
  3. 快速部署:

    • 使用镜像启动容器的速度非常快,几乎是即时的。
  4. 隔离性:

    • 每个容器是独立的,拥有自己的文件系统、网络和运行时环境,互相隔离,避免冲突。
  5. 高效的资源利用:

    • 多个容器可以共享主机操作系统资源,减少硬件开销。

Docker 的工作流程

  1. 开发阶段:开发者通过编写 Dockerfile 来定义应用程序的构建过程。
  2. 构建镜像:使用 Docker 命令构建镜像,例如:docker build -t myapp .
  3. 运行容器:从镜像启动容器,例如:docker run -d myapp
  4. 分发镜像:将镜像上传到 Docker Hub 或其他镜像仓库,供团队或生产环境使用。

Docker 的典型应用场景

  1. 开发环境标准化:

    • 为团队创建一致的开发和测试环境。
  2. 微服务架构:

    • 每个微服务运行在自己的容器中,简化部署和扩展。
  3. 持续集成与持续交付(CI/CD):

    • 通过容器化,确保代码从开发到生产环境的流畅过渡。
  4. 快速实验:

    • 试验新技术或框架,而不会影响主机系统。
  • 安装步骤与方法:

Dockers,安装后的效果是:在命令行执行 Docker,

它的 url 是 localhost:3000,

开始使用:当发生选择模型,未找到结果时,要加载它的大语言模型,例如在命令行录入 ollama run lama3。。。。就会有模型共提供选择。

  • 确认 ollama 安装成功

  • 安装Open web UI 

打开: https://github.com/open-webui/open-webui 后下面有安装说明,这里要仔细看。

运行代码和结果: 

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  • To run Open WebUI with Nvidia GPU support,

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

以上三个步骤完成之后:测试效果如下:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/64530.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

204页PPT金税四期监管要求与最新政策及风险防范-培训课件

这份资料是关于金税四期监管要求、最新政策及风险防范的培训课件,包含204页PPT内容。核心内容涉及金税四期的发展历程、与金税三期的主要变化、指挥决策系统、税务风险预警指标、重点监控行为、税务稽查重点领域、避税方法及处罚、以及企业自查和税务风险管控原理。…

超声波流量计的原理及应用简介

一 概念 超声波流量计是利用超声波测量管道或导管中流体流速的装置。 它们由放置在管道或管道相对两侧的两个超声波换能器组成,它们发射和接收超声波。 二 技术路径 1.时差 (TT) 超声波技术 最常见的技术是传输时间测量。超声波穿过流体返回到相反的传感器&#…

线性规划中的几种逻辑表达式

线性规划中的几种逻辑表达式 注意: 摘录字刘博士的《数学建模与数学规划》, 以便用时可查。 实际上Gurobi API 中自身放啊变的逻辑表达式函数,下面列出自定义的实现方式。 1 逻辑与 如果 x 1 1 x_1 1 x1​1, x 2 1 x_2 1 x2​1, 那…

knife4j增强swagger

背景 swagger很好用&#xff0c;但是UI不够友好 导入maven依赖 使用maven-search在common模块中导入依赖 <!-- knife4j --><dependency><groupId>com.github.xiaoymin</groupId><artifactId>knife4j-spring-boot-starter</artifactId&g…

iOS - 超好用的隐私清单修复脚本(持续更新)

文章目录 前言开发环境项目地址下载安装隐私访问报告隐私清单模板最后 前言 在早些时候&#xff0c;提交应用到App Store审核&#xff0c;大家应该都收到过类似这样的邮件&#xff1a; Although submission for App Store review was successful, you may want to correct th…

es使用knn向量检索中numCandidates和k应该如何配比更合适

在Elasticsearch&#xff08;ES&#xff09;中&#xff0c;KNN&#xff08;k-最近邻&#xff09;向量检索是一种高效的向量相似性搜索方法&#xff0c;广泛应用于推荐系统、图像搜索、自然语言处理等领域。在KNN检索中&#xff0c;k 和 numCandidates 是两个关键参数&#xff0…

记录一下自己对网络安全法的笔记

仅记录一下自己对网络安全法的笔记 文章来源&#xff08;https://www.cac.gov.cn/2016-11/07/c_1119867116_2.htm&#xff09;&#xff08;2016年11月7日第十二届全国人民代表大会常务委员会第二十四次会议通过&#xff09;该法自2017年6月1日起施行。《网络安全法》是我国第一…

mvc如何给action传递参数

步骤(常规方法) 新建一个控制器--LarsController.cs using Microsoft.AspNetCore.Mvc; namespace Blog.Controller; public class LarsController:Controller -----继承 {public IActionResult Index(){return View();} }获取id // program.cs中默认值是idpublic IAction…

Java爬虫️ 使用Jsoup库进行API请求有什么优势?

在Java的世界里&#xff0c;Jsoup库以其强大的HTML解析能力而闻名。它不仅仅是一个简单的解析器&#xff0c;更是一个功能齐全的工具箱&#xff0c;为开发者提供了从网页抓取到数据处理的一站式解决方案。本文将深入探讨使用Jsoup库进行API请求的优势&#xff0c;并提供代码示例…

NX二次开发通过内部函数获取面的面积MW_face_ask_area

获取动态库libmold.dll的路径 void TcharToChar(const TCHAR* tchar, char* _char) {int iLength; #if UNICODE//获取字节长度 iLength WideCharToMultiByte(CP_ACP, 0, tchar, -1, NULL, 0, NULL, NULL);//将tchar值赋给_char WideCharToMultiByte(CP_ACP, 0, tchar, -…

2024.12.19总结

今天跑了数据采集和端口扫描&#xff0c;对于容器化和虚拟机的概念不是很理解。然后是北向接口文档&#xff0c;在跟其他人交流时&#xff0c;问原理把我给问住了。在安全这块&#xff0c;要学的的东西很多&#xff0c;确实不是三五个月就能搞定的事。 如今&#xff0c;我要做…

同态加密算法详解及Python实现

目录 同态加密算法详解及Python实现第一部分:同态加密概述与原理1.1 什么是同态加密?同态加密的定义:1.2 同态加密的分类1.3 同态加密的优势与挑战优势挑战第二部分:常见同态加密算法及其应用场景2.1 RSA同态加密支持操作应用场景2.2 Paillier加密支持操作应用场景2.3 Gent…

【WRF教程第四期】WRF 初始化概述:以4.5版本为例

WRF 初始化&#xff08;WRF Initialization&#xff09; Building Initialization Programs编译方式 理想案例初始化&#xff08;Initialization for Idealized Cases&#xff09;理想化案例的输入可用的理想化案例 现实案例初始化&#xff08;Initialization for Real Data Ca…

测试工程师八股文04|计算机网络 和 其他

一、计算机网络 1、http和https的区别 HTTP和HTTPS是用于在互联网上传输数据的协议。它们都是应用层协议&#xff0c;建立在TCP/IP协议栈之上&#xff0c;用于客户端&#xff08;如浏览器&#xff09;和服务器之间的通信。 ①http和https的主要区别在于安全性。http是一种明…

Firewalld 防火墙全面解析与配置指南

在当今网络环境中,网络安全至关重要,而防火墙作为网络安全的关键防线,在Linux系统中扮演着极其重要的角色。本文将深入探讨Firewalld防火墙,涵盖其基础概念,优势特点,配置方法等多面内容,为您提供全面的Firewalld防火墙知识体系 一,Linux防火墙基础 (一) 防火墙内核…

【C++】inline函数(内联函数)

文章目录 前言一、宏函数的缺陷二、inline函数1.inline函数的展开规则2.inline的设计分析3.inline函数不建议声明和定义分离 前言 C程序频繁调用函数会使代码效率降低&#xff0c;因为创建函数栈帧需要消耗时间。于是C语言引入宏函数的概念&#xff0c;使用宏函数来替代一些功能…

.Net_比对Json文件是否一致

简介 该方法用于比较两个Json文件是否完全一致&#xff0c;仅考虑内容若两个文件中的内容只是顺序不一致&#xff0c;内容是一样的&#xff0c;那么也代表这两个文件是相等的 实现代码 调用 using CompareJsonFiles;Console.WriteLine(" 输入信息 ");Console.WriteL…

Android OpenGLES2.0开发(九):图片滤镜

“当你改变想法的时候&#xff0c;记得也要改变你的世界。”——诺曼文森特皮尔 Android OpenGLES开发&#xff1a;EGL环境搭建Android OpenGLES2.0开发&#xff08;一&#xff09;&#xff1a;艰难的开始Android OpenGLES2.0开发&#xff08;二&#xff09;&#xff1a;环境搭…

易语言OCR证件照文字识别

一.引言 文字识别&#xff0c;也称为光学字符识别&#xff08;Optical Character Recognition, OCR&#xff09;&#xff0c;是一种将不同形式的文档&#xff08;如扫描的纸质文档、PDF文件或数字相机拍摄的图片&#xff09;中的文字转换成可编辑和可搜索的数据的技术。随着技…

指针练习题15道【C语言】

1.利用指针变量将一个数组中的数据反向输出。 声明&#xff1a; void work1(int *, int); // 声明反向遍历 void work1_1(int *, int); // 声明正向遍历实现&#xff1a; // 利用指针变量将一个数组中的数据反向输出&#xff0c;反向遍历 void work1( int *p,int len) {p (…