搭建本地私有知识问答系统:MaxKB + Ollama + Llama3 (wsl网络代理配置、MaxKB-API访问配置)

目录

  • 搭建本地私有知识问答系统:MaxKB、Ollama 和 Llama3 实现指南
    • 引言
    • MaxKB+Ollama+Llama 3 Start building
      • MaxKB 简介:
      • 1.1、docker部署 MaxKB(方法一)
        • 1.1.1、启用wls或是开启Hyper
      • 使用 WSL 2 的优势
        • 1.1.2、安装docker
        • 1.1.3、docker部署 MaxKB (Max Knowledge Base)
        • MaxKB 默认登录信息
      • 1.2、使用1Panel 部署 MaxKB(方法二)
      • 1.3、wsl启用Linux,在Linux中使用docker 部署 MaxKB(方法三,本文选用)√
        • 1.3.1、启用并设置 wls2
        • 1.3.2、安装ubuntu
        • 1.3.3、登录、退出 ubuntu
        • 1.3.4、配置网络 (如果可以连接网络,跳过 1.3.4 即可)
          • 1)如果无法联网,请配置修改DNS地址可临时生效:
          • 2)配置永久生效
        • 1.3.5、登录Ubuntu 系统中安装docker
          • ①设置Docker的apt存储库。
          • ②安装Docker包。
          • ③给予当前用户docker执行权限。
        • 1.3.6、下载MaxKB
      • 2、部署 OLama
      • 3、选择Llama3进行部署
      • 4、mapping MaxKB + OLlama + Llama 3
        • 4.1、我们可以先导入一个个人的知识库
        • 4.2、添加我们下载好的模型
        • 4.3、如果API域名无效
        • 4.4、创建问答系统应用
      • 参考地址汇总

搭建本地私有知识问答系统:MaxKB、Ollama 和 Llama3 实现指南

引言

在当今信息爆炸的时代,构建一个本地私有知识问答系统可以帮助组织和个人高效管理和利用知识。本文将详细介绍如何在本地 Windows 环境下,利用 MaxKB、Ollama 和 Llama3 搭建一个功能强大的私有知识问答系统。

MaxKB+Ollama+Llama 3 Start building

MaxKB 简介:

MaxKB 是一款基于 LLM 大语言模型的开源知识库问答系统,旨在成为企业的最强大脑,支持从多种数据源导入和管理知识。。

  • 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、RAG(检索增强生成),智能问答交互体验好;
  • 模型中立:支持对接各种大语言模型,包括本地私有大模型(Llama 3 / Qwen 2 等)、国内公共大模型(通义千问 / 智谱 AI / 百度千帆 / Kimi / DeepSeek 等)和国外公共大模型(OpenAI / Azure OpenAI / Gemini 等);
  • 灵活编排:内置强大的工作流引擎,支持编排 AI 工作过程,满足复杂业务场景下的需求;
  • 无缝嵌入:支持零编码快速嵌入到第三方业务系统,让已有系统快速拥有智能问答能力,提高用户满意度。

(1.1 ~ 1.3三种方法三选一即可)

1.1、docker部署 MaxKB(方法一)

1.1.1、启用wls或是开启Hyper
  • 允许创建和管理虚拟机,且允许用户在 Windows 上运行原生的 Linux 命令行工具和应用程序,而无需使用虚拟机或双重启动系统。

方案一:安装wls2 并启用 (Windows 10、Windows 11 ) √

# 输入以下命令来启用 WSL:
wsl --install# 如果已经启用但未安装特定版本,可以使用如下命令启用 WSL 2:
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
# 启用虚拟机平台
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart# 设置 WSL 2 作为默认版本:
wsl --set-default-version 2

可以通过任务管理器 ‘performance CPU’ 界面查看是否开启

  • 使用 WSL 2 的优势

    • 更高的性能:与 Hyper-V 相比,WSL 2 提供了更高的文件系统性能。
    • 完全的系统调用兼容性:WSL 2 使用真正的 Linux 内核,确保了对 Linux 系统调用的完全兼容。
    • 更好的资源利用:WSL 2 更有效地利用主机资源。

方案二:开启Hyper-V (window 7)

在这里插入图片描述

1.1.2、安装docker

下载 windows 版 docker
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

如果docker不是自启动需要手动修改下

在这里插入图片描述

1.1.3、docker部署 MaxKB (Max Knowledge Base)

部署 maxkb

# 我们可以指定本地文件夹挂载,这样可以便于我们维护配置
docker run -d --name=maxkb -p 8080:8080 -v C:\Leojiang\leojiangDocument\AI\maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
MaxKB 默认登录信息
http://目标服务器 IP 地址:目标端口用户名:admin
默认密码:MaxKB@123..

1.2、使用1Panel 部署 MaxKB(方法二)

选择使用 1Panel 部署,安装完后在1Panel中搜索MaxKB安装即可,此处不再赘述。

1.3、wsl启用Linux,在Linux中使用docker 部署 MaxKB(方法三,本文选用)√

某些公司电脑禁用docker desktop可以选用此方法

  • Docker Desktop从2021年8月31日开始收费。‌Docker Desktop的转变是为了提供更好的服务和支持,‌但这也意味着对于那些不符合免费使用条件的用户,‌需要支付一定的费用。‌具体来说,‌Docker Desktop现在被称为Docker Personal,‌主要免费提供给小型企业、‌个人、‌教育机构和非商业开源项目使用。‌对于商业用户,‌特别是那些员工超过250人或年收入超过1000万美元的公司,‌使用Docker Desktop需要进行付费订阅
1.3.1、启用并设置 wls2
# 检查是否WSL运行 distributions
#wsl --list --running
# 检查 WSL 状态:
#wsl --list --verbose
# 输入以下命令来启用 WSL:
#wsl --install# 查看商店提供了哪些发行版
wsl --list --online# 启用Windows子系统,可以使用如下命令启用 WSL 2:
dism

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/50463.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

便携式气象仪:科技赋能,让气象观测更智能

随着科技的快速发展,越来越多的领域受益于技术的进步。其中,气象观测领域也不例外。传统的气象观测设备虽然精确可靠,但往往体积庞大、携带不便,且需要专业人员进行操作和维护。而便携式气象仪的出现,则打破了这一局限…

在WPF中使用WebView2详解

Microsoft Edge WebView2 Microsoft Edge WebView2 控件允许在本机应用中嵌入 web 技术(HTML、CSS 以及 JavaScript)。 WebView2 控件使用 Microsoft Edge 作为绘制引擎,以在本机应用中显示 web 内容。 使用 WebView2 可以在本机应用的不同部分嵌入 Web 代码&…

Golang | Leetcode Golang题解之第284题窥视迭代器

题目: 题解: type PeekingIterator struct {iter *Iterator_hasNext bool_next int }func Constructor(iter *Iterator) *PeekingIterator {return &PeekingIterator{iter, iter.hasNext(), iter.next()} }func (it *PeekingIterator) hasNe…

学习记录day19——数据结构 查找算法

概念 在给定数据元素的某个值,在查找表中确定一个其关键字等于给定值的数据元素的操作,叫做查找 查找的分类 顺序查找:将待查找数据,进行全部遍历一遍,直到找到要查找的元素 折半查找:每次都去除一半的查找范围的查找方式&#x…

vue3响应式用法(高阶性能优化)

文章目录 前言:一、 shallowRef()二、 triggerRef()三、 customRef()四、 shallowReactive()五、 toRaw()六、 markRaw()七、 shallowReadonly()小结: 前言: 翻别人代码时,总结发现极大部分使用vue3的人只会用ref和reactive处理响…

mysql-bin 恢复数据库

能看到这里的同学估计肯定摊上大事了吧!不要慌,一定要冷静,记录一下作者的大事件吧,黑客通过SQL注入的方式执行了一段SQL : DROP DATABASE ****** 后果就是导致整个数据库被删了,当时心是拔凉拔凉的&#x…

在jmeter中使用javascript脚本

工作上遇到一个压力测试的需求,需要测试几个考试相关的接口。其中有一个获取试题详情的接口,和一个提交答题信息的接口。后一个接口以上一接口的返回内容为参数,添加上用户的答案即可。jmeter提供了非常多的方式可以实现该需求,这…

【深度学习】大模型GLM-4-9B Chat ,微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署

文章目录 获取TensorRT-LLM代码:构建docker镜像并安装TensorRT-LLM:运行docker镜像:安装依赖魔改下部分package代码:量化:构建图:全局参数插件配置常用配置参数 测试推理是否可以代码推理CLI推理 性能测试小…

钡铼网关实时数据互联,加速IEC104与MQTT云平台对接

随着工业4.0时代的到来,电力系统中的数据采集、监控与远程控制需求日益增长。IEC 104(IEC 60870-5-104)作为国际电工委员会(IEC)制定的电力自动化通信协议,广泛应用于电力系统的状态监测、数据采集和设备控…

Vue实现简单小案例

一、创建文件夹 二、引用vue.js <script src"../js/vue.js"></script> 三、准备一个容器 <div id"app"><h1>Hello,{{name}}</h1> </div> 四、创建实例 <script>new Vue({el:"#app", //el用于指…

【STM32 FreeRTOS】FreeRTOS的移植

其实这篇文章不侧重移植&#xff0c;因为我们会使用CubeMX配置&#xff0c;那样会自动移植FreeRTOS。 关于FreeRTOS&#xff0c;可以参考官网&#xff1a;FreeRTOS - Quick start guide 当我们在CubeMX中配置了CMSIS_V2后尝试编译的时候会有一个弹窗。 第一个问题就是强烈建议…

【深度学习】yolov8-det目标检测训练,拼接图的分割复原

项目背景 https://blog.csdn.net/x1131230123/article/details/140606459 似乎这个任务是简单的&#xff0c;利用目标检测是否可以完成得好呢? 生成数据集 利用这个代码产生数据集&#xff1a; 为了将标签转换为YOLOv5格式&#xff0c;需要将左上角和右下角的坐标转换为Y…

【性能测试-登录时密码加密存储如何传参】

目的】 登录接口&#xff0c;密码加密传输&#xff0c;开发不做处理的情况下&#xff0c;密码如何加密传输 【方案】 使用前置处理器&#xff1a;JSR223 预处理程序&#xff0c;主要是在执行登录接口前将密码按照加密算法获得对应的加密密码&#xff0c;并传入接口 【说明】前…

如何对视频文件加密_如何加密视频文件_视频文件如何加密

“嘿&#xff0c;小李&#xff0c;你知道咱们公司的新项目资料都是视频形式的吗&#xff1f;这些视频里有很多机密信息&#xff0c;我们需要好好保护起来。” “是啊&#xff0c;我也在想这个问题。你有没有什么好办法来加密这些视频文件呢&#xff1f;” “我听说有个叫域智盾…

生成式AI的双重路径:Chat与Agent的融合与竞争

文章目录 每日一句正能量前言整体介绍对话系统&#xff08;Chat&#xff09;自主代理&#xff08;Agent&#xff09;结论 技术对比技术差异优势与劣势技术挑战结论 未来展望发展趋势Chat与Agent的前景社会和经济影响结论 后记 每日一句正能量 在避风的港湾里&#xff0c;找不到…

代码随想录算法训练营第38天|LeetCode 322. 零钱兑换、279.完全平方数、139.单词拆分

1. LeetCode 322. 零钱兑换 题目链接&#xff1a;https://leetcode.cn/problems/coin-change/description/ 文章链接&#xff1a;https://programmercarl.com/0322.零钱兑换.html 视频链接&#xff1a;https://www.bilibili.com/video/BV14K411R7yv/ 思路&#xff1a; 硬币无限…

实现领域驱动设计(DDD)系列详解:领域模型的持久化

领域驱动设计主要通过限界上下文应对复杂度&#xff0c;它是绑定业务架构、应用架构和数据架构的关键架构单元。设计由领域而非数据驱动&#xff0c;且为了保证定义了领域模型的应用架构和定义了数据模型的数据架构的变化方向相同&#xff0c;就应该在领域建模阶段率先定义领域…

我的世界!

每位冒险家在《我的世界》中的出生点都各不相同&#xff0c; 有的出生在桦木森林&#xff0c;有的出生在草原&#xff0c; 还有的出生在临近海洋的沙滩。 这些环境叫做生物群系&#xff0c;也常被称为生态系统。 在《我的世界》中的不同生物群系具有不同的地域特色—— 不…

本地化部署一个简单的AI大模型,Llama3.1

7 月 23 日消息&#xff0c;Meta 今晚正式发布llama3.1&#xff0c;提供 8B、70B 及 405B 参数版本。 Meta 称 4050 亿参数的 Llama 3.1-405B 在常识、可引导性、数学、工具使用和多语言翻译等一系列任务中&#xff0c;可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型…

Qt遇到qt自身组件找不到

比如在使用qtcharts的时候&#xff0c;找不到 解决方法&#xff1a; 在cmakelist中添加 find_package(Qt${QT_VERSION_MAJOR} COMPONENTS Charts REQUIRED) 是一个 CMake 命令&#xff0c;用于查找并配置 Qt 库中的特定组件。这条命令的作用是找到 Qt 的主要版本&#xff08;…