大模型本地化部署2-Docker部署MaxKB

大模型本地化部署2-Docker部署MaxKB

    • 0、MaxKB简介
    • 1、安装docker
    • 2、在docker中拉取MaxKB镜像
    • 3、运行镜像
    • 4、访问MaxKB
    • 5、创建应用
    • 6、使用应用进行对话

0、MaxKB简介

MaxKB是一款基于LLM大预言模型的知识库问答系统。具有以下特点:

  • 多模型支持:支持对接主流的大模型,包括本地私有大模型(如Llama 2)、Azure OpenAI、百度千帆、阿里通义千问大模型等;
  • 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、智能问答交互体验好;
  • 无缝嵌入:支持零编码快速嵌入到第三方业务系统。

1、安装docker

docker的安装不在此讲解,假设您已经安装好了docker环境。我本地电脑是Windows11,采用的WLS的方式,就是在应用商店中安装了Ubuntu20.4,在Ubuntu20.4中安装的docker环境,使用时先启动docker服务,如下图:
在这里插入图片描述

2、在docker中拉取MaxKB镜像

首先通过以下命令搜索都有那些maxkb镜像:

docker search maxkb

执行如下下图:
在这里插入图片描述
然后通过以下命令拉取maxkb镜像

docker pull 1panel/maxkb

如果提示网络未响应,可以改为以下命令尝试最新镜像

docker pull cr2.fit2cloud.com/1panel/maxkb

执行如下图:
在这里插入图片描述

3、运行镜像

拉取镜像完毕后,运行一个容器实例,如下:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

执行结果如下图:
在这里插入图片描述

4、访问MaxKB

启动maxkb容器实例后,就可以在本机打开浏览器,在地址栏输入以下地址进行访问:
http://localhost:8080
运行效果如下图:
在这里插入图片描述

默认登录信息
用户名:admin
默认密码:MaxKB@123…

进入系统后会提示修改默认密码,如下图所示:
在这里插入图片描述
然后输入自己的新密码保存。

5、创建应用

点击下图中的创建应用
在这里插入图片描述
根据提示填写相关信息
在这里插入图片描述
其中AI模型选择,添加模型,在弹出选择供应商界面中选择Ollama,如下图:
在这里插入图片描述
在添加Ollama模型时填写相应信息,如下图所示:
在这里插入图片描述

其中“基础模型”,如果下拉列表中没有你要用的模型,可以直接输入,只要名字对就行,如果ollama还没有安装这个模型,就会自动下载。
其中“API域名”,要填写ollama服务器的IP地址:11434
注意需要关闭windows下的专用网络防火墙,就是能在wsl2中能ping通ollama服务器的ip地址,或者能telnet登录上ollama服务器IP地址 11434。否则会提示API域名无效。

填写应用信息完毕后如下图:
在这里插入图片描述
然后点击“创建”按钮,就可以在应用列表中看到这个应用,如下图:
在这里插入图片描述

6、使用应用进行对话

点击应用下面的演示按钮,就可以打开对话界面了,如下图:
在这里插入图片描述
点击演示后,出现新页面,如下图:
在这里插入图片描述
这样就可以进行知识问答了,如下图:
在这里插入图片描述
在问答的过程中,可以看到GPU的使用情况。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/52693.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开放式耳机怎么戴?佩戴舒适在线的几款开放式耳机分享

开放式耳机的佩戴方式与传统的入耳式耳机有所不同,它采用了一种挂耳式的设计,提供了一种新颖的佩戴体验,以下是开放式耳机的佩戴方式。 1. 开箱及外观:首先,从包装盒中取出耳机及其配件,包括耳机本体、充电…

什么是密码学?

什么是密码学? 密码学是一种通过使用编码算法、哈希和签名来保护信息的实践。此信息可以处于静态(例如硬盘驱动器上的文件)、传输中(例如两方或多方之间交换的电子通信)或使用中(在对数据进行计算时&#…

设计模式-结构性模式-桥接模式

1.桥接模式定义 桥接模式就是将抽象部分与他的实现部分分离,使他们都可以独立的变化; 桥接模式用一种巧妙地方式处理多层继承存在的问题,用抽象关联来取代传统的多层继承,将类之间的静态继承关系转变为动态的组合关系,…

Leetcode JAVA刷刷站(99)恢复二叉搜索树

一、题目概述 二、思路方向 要解决这个问题,我们可以采用中序遍历二叉搜索树(BST)的方法,因为中序遍历BST会返回一个有序的数组。由于只有两个节点被错误地交换了,所以中序遍历的结果中将有两个位置上的元素是逆序的。…

什么是数据库 DevOps?

原文地址 https://www.bytebase.com/blog/what-is-database-devops/ 在深入研究数据库 DevOps 之前,先回顾一下什么是 DevOps。它没有统一的定义,但我们知道它起源于软件开发方法与部署和运维的结合。 大约 2007 年和 2008 年,软件开发和 I…

.NET8 Web 利用BAT命令 一键部署 IIS - CI-CD基础

1. Windows Server 前置准备 1.1 IIS安装好 1.2 .NET8 Sdk 运行时 安装 官方下载地址:https://dotnet.microsoft.com/zh-cn/download/dotnet/8.0 1.3 创建一个.NET8 WebMvc项目 生成发布包 微软MVC这个项目模板直接创建,发布 2. 利用 BAT 来一键部署…

【STM32】FMC

FMC功能与FSMC类似,但比FSMC更强大,但仅在F4 / F7 / H7等高级一点的MCU上支持,F1不支持。虽然我的是F103,但顺便都看了。 大部分图片来源:正点原子HAL库课程 专栏目录:记录自己的嵌入式学习之路-CSDN博客 目…

Vue 和 Element Plus 弹框组件详解:从基本实现到异步数据加载与自定义内容(实战)

目录 前言1. 基本知识2. 模版3. 实战 前言 主要是通过一个按钮触发一个按钮框,多种方式的逻辑,多种场景 原先通过实战总结,基本的知识推荐阅读: 详细分析Element Plus中的ElMessageBox弹窗用法(附Demo及模版&#x…

秋招复习笔记——嵌入式裸机开发

底层相关的内容,之前掌握的不扎实,现在重新把相关重点记录一下,做个笔记记诵。 相关基础知识 ST简单内容 用的F103ZET6,72MHz,FLASH是512KB,SRAM是64KB,144个引脚,2基本定时器&am…

目标 CDC实例数据库更改密码,预定启动报错SQL 错误代码为“-30082”。SQL 状态为:08001。

更改完CDC目标端实例密码后,登录MC更新存储器密码,存储器可正常连接,启动预定报错如下: 源 IBM Data Replication 未获授权,无法复制到该目标。 登录认证失败。 发生 SQL 异常。SQL 错误代码为“-30082”。SQL 状态…

嵌入式学习——ARM学习(1)

1、存储器 高速缓存(Cache)通常分为三级:L1、L2 和 L3。它们的主要功能和特点如下: 这三级缓存的设计旨在通过层次化存储来优化数据访问速度和处理器性能。 1、L1 缓存: 位置:直接集成在处理器核心内。 大小…

打手机检测算法源码样本展示打手机检测算法实际应用场景介绍

打手机检测算法是一种利用计算机视觉技术来监测和识别人们在特定区域如驾驶舱、考场或其他敏感区域非法使用手机的行为。这种算法对于提高安全性和确保规则的遵守具有重要意义。以下是关于打手机检测算法源码及其实际应用的详细阐述: 1. 算法实现 - 深度学习框架&a…

【selenium点选下拉框】解决无法选中对应选项的问题

需求 使用selenium点击下拉框,选中【是】选项。 代码 方法1 # 点击下拉框 driver.find_element(xpath,//*[id"basicProcessDetail"]/div[2]/div[2]/div[1]/div/div[2]/div/div/div/div[1]/div[2]/form/div[11]/div[1]/div/div/div[1]/div[1]/div/i).…

雷达图概述以及实例

目录 一.雷达图概述1.何为雷达图2.雷达图的构成要素 二.实例(以Excel、Python为例 )1.Excel(2021版)2.Python 一.雷达图概述 1.何为雷达图 雷达图,是一种展现多维度数据间相对重要性或程度的可视化图形。以中心点为起…

LabVIEW高速数据采集关键问题

在LabVIEW进行高速数据采集时,需要关注以下几个关键问题: 数据采集硬件的选择: 高速数据采集需要高性能的数据采集硬件,例如NI PXIe、USB DAQ等模块。硬件的选择应根据采集速率、通道数、精度、以及应用场景的具体需求来确定。 采集速率与带…

ByteBuffer详解

文章目录 1. ByteBuffer是抽象类,他的主要实现类为2. 获取方式3. 核心结构4. 核心API5. 字符串操作 1. ByteBuffer是抽象类,他的主要实现类为 HeapByteBuffer 堆ByteBuffer JVM内的堆内存 —> 读写操作 效率低 会受到GC影响MappedByteBuffer(DirectB…

桥接模式-多类型登录方式的思考

桥接模式-SSO单点登录 背景:(业务细节已脱敏)需求:问题:解决方式: OAuth2.0 实现单点登录四种授权模式桥接模式优化问题代码实现 背景:(业务细节已脱敏) 基于实习期间的一个代码重构的思考——业务细节已脱敏 基于内部旧框架实现业务toB管理系统,需要迁移数据并新的…

uni-app 手记集。

1、uni-app 是一个使用 Vue.js 开发的前端应用的框架&#xff0c;所以不会Vue.js的小伙伴可以先去看看Vue.js的基础教学。 2、.vue文件结构 <template><div class"container"></div> </template><script type"text/ecmascript-6&q…

【DiskGenius硬盘分区】

&#x1f3a5;博主&#xff1a;程序员不想YY啊 &#x1f4ab;CSDN优质创作者&#xff0c;CSDN实力新星&#xff0c;CSDN博客专家 &#x1f917;点赞&#x1f388;收藏⭐再看&#x1f4ab;养成习惯 ✨希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出…

TCP系列相关内容

一、TCP上传文件 loop——本地回环测试地址。 void *memset&#xff08;void *s,int c,size_t n&#xff09;——给一个变量设定一个值。 1、“粘包”问题 两次分别发送的数据&#xff0c;被一起接收形成该现象。 原因&#xff1a;TCP流式套接字&#xff0c;数据与数据间没…