【大语言模型】私有化搭建-企业知识库-知识问答系统

下面是我关于大语言模型学习的一点记录

目录

人工智能学习路线

MaxKB 系统(基于大语言模型的知识问答系统)

部署开源大语言模型LLM

1.CPU模式(没有好的GPU,算力和效果较差)

2.GPU模式(需要有NVIDIA显卡支持) 

Ollama网络配置

Ollama前台页面配置

使用docker中的ollama下载并运行AI模型

 ollama模型仓库(可以选择自己想用的模型安装体验)

🏆 LMSYS Chatbot Arena Leaderboard(排行榜)


人工智能学习路线

人工智能学习路线(学+测) - 阿里云开发者社区人工智能学习路线,算法原理、框架精讲、机器学习实战、图像识别实战、自然语言处理实战,人工智能技术一站式学习icon-default.png?t=N7T8https://developer.aliyun.com/learning/roadmap/ai

MaxKB 系统(基于大语言模型的知识问答系统)

官网和GitHub链接,可以用于公司知识库

MaxKB - 基于大语言模型的知识库问答系统MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。icon-default.png?t=N7T8https://maxkb.cn/https://github.com/1panel-dev/MaxKBicon-default.png?t=N7T8https://github.com/1panel-dev/MaxKB

docker安装

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

MaxKB是知识问答系统,主要对文档进行分块,内容块和问答框以及匹配度设置和问答记录登记 反馈等等情况。但本身不具有LLM模型,需要另外部署或者接入API,例如千帆

我们自己部署一套开源模型

部署开源大语言模型LLM

1.CPU模式(没有好的GPU,算力和效果较差)

docker部署ollama(给MaxKB调用)

docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.GPU模式(需要有NVIDIA显卡支持) 

 企业级需要4090 2块做推理

安装英伟达容器工具包(以Ubuntu22.04为例)

其他系统请参考:英伟达官方文档

# 1.配置apt源

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \

&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \

sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# 2.更新源

sudo apt-get update

# 3.安装工具包

sudo apt-get install -y nvidia-container-toolkit

docker使用GPU运行ollama

docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollama网络配置

如何在我的网络上暴露Ollama?

Ollama默认绑定127.0.0.1端口11434。通过OLLAMA_HOST环境变量更改绑定地址。

https://docs.dify.ai/v/zh-hans/guides/model-configuration/ollama#zai-windows-shang-she-zhi-huan-jing-bian-liang

Ollama前台页面配置

docker部署ollama web ui(第一次登录需要注册)

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main         

使用docker中的ollama下载并运行AI模型

#通义1.0  4b

docker exec -it ollama ollama run qwen:4b-chat

#中文 lama2-chinese:13b模型

docker exec -it ollama ollama run llama2-chinese:13b

#通义7b-chat-v1.5-q5_K_M

docker exec -it ollama ollama run qwen:7b-chat-v1.5-q5_K_M

#通义千问2.0 Qwen2-7B(2024年6月底更新,当前最好用的开源,推荐用这个模型,下面有排行榜,在有限的资源下Qwen2-7B是开源中的顶流了,70亿的体量能满足企业开展,如果资源不够可以搞小一点的模型,测试下来P100勉强可以跑,A10可以跑5并发 3000token)

docker exec -it ollama ollama run qwen2:72b

#进入容器

docker exec -it ollama bash

root@9592d72fca5b:/# ollama list

NAME                            ID              SIZE    MODIFIED          

llama2-chinese:13b              990f930d55c5    7.4 GB  3 hours ago      

qwen:0.5b-text-v1.5-q6_K        c8c2e4f579df    514 MB  15 minutes ago   

qwen:4b-chat                    d53d04290064    2.3 GB  5 hours ago      

qwen:7b-chat-v1.5-q5_K_M        44ca6b3fda9d    5.5 GB  About an hour ago

root@9592d72fca5b:/# ollama rm qwen:0.5b-text-v1.5-q6_K

deleted 'qwen:0.5b-text-v1.5-q6_K'

root@9592d72fca5b:/# ollama list

NAME                            ID              SIZE    MODIFIED          

llama2-chinese:13b              990f930d55c5    7.4 GB  3 hours ago      

qwen:4b-chat                    d53d04290064    2.3 GB  5 hours ago      

qwen:7b-chat-v1.5-q5_K_M        44ca6b3fda9d    5.5 GB  About an hour ago

 ollama模型仓库(可以选择自己想用的模型安装体验)

ollama模型仓库

🏆 LMSYS Chatbot Arena Leaderboard(排行榜)

https://chat.lmsys.org/?leaderboard

https://cevalbenchmark.com/static/leaderboard.html

上面这个网站收集的模型比较

 SuperCLUE

 这部分是Qwen1.5的比对,目前已经到Qwen2.0了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/45424.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【问卷系统】TDucKX更新速览

TDuck是一款在线表单问卷收集工具,开源地址:https://gitee.com/TDuckApp一款免费的表单问卷系统;可快速创建问卷或业务表单,采用无代码理念支持开发自定义组件。采用SpringBootVueElementUI技术栈,功能强大界面清新&am…

Catena-x标准解读:CX-0007 Minimal Data Provider Service Offering v1.0.2 最小数据提供商服务产品

为了更好地理解,最小数据提供者服务也将被称为“上传工具”。 对于数据供应工具来说,数据主权的概念尤为重要。数据主权是Catena-X网络的核心价值观之一。每个参与者都应该尽可能多地控制自己的数据。这包括 他总是确切地知道他在与谁交换数据。参与者…

【GameFramework扩展应用】6-4、GameFramework框架增加AB包加解密功能

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享简书地址QQ群:398291828大家好,我是佛系工程师☆恬静的小魔龙☆,不定时更新Unity开发技巧,觉得有用记得一键三连哦。 一、前言 【GameFramework框架】系列教程目录: https://blog.csdn.net/q764424567/article/details/1…

软件测试面试200问(全)

1、B/S架构和C/S架构区别 B/S 只需要有操作系统和浏览器就行,可以实现跨平台,客户端零维护,维护成本低,但是个性化能力低,响应速度较慢 C/S响应速度快,安全性强,一般应用于局域网中&#xff0…

【matlab】智能优化算法优化BP神经网络

目录 引言 一、BP神经网络简介 二、智能优化算法概述 三、智能优化算法优化BP神经网络的方法 四、蜣螂优化算法案例 1、算法来源 2、算法描述 3、算法性能 结果仿真 代码实现 引言 智能优化算法优化BP神经网络是一个重要的研究领域,旨在通过智能算法提高…

变量筛选—特征包含信息量

在变量筛选中,通过衡量特征所包含信息量大小,决定是否删除特征,常用的指标有单一值占比、缺失值占比和方差值大小。单一值或缺失值占比越高,表示特征包含信息量越少,不同公司设置不同阈值,一般单一值、缺失值占比高于95%,建议删除。方差值越小,代表特征包含信息量越小。…

入职前回顾一下git-01

git安装 Linux上安装git 在linux上建议用二进制的方式来安装git,可以使用发行版包含的基础软件包管理工具来安装。 红帽系 sudo yum install gitDebian系 sudo apt install gitWindows上安装git 去官网下载和操作系统位数相同的安装包.或者可以直接安装GitHub…

模板引擎是什么?

模板引擎(Template Engine)是一种用于生成文本输出的工具,尤其在Web开发中应用广泛。它的主要目的是将用户界面(通常是HTML等模板文件)与业务数据(内容)分离,从而提供一种高效、灵活…

[图解]SysML和EA建模住宅安全系统-14-黑盒系统规约

1 00:00:02,320 --> 00:00:07,610 接下来,我们看下一步指定黑盒系统需求 2 00:00:08,790 --> 00:00:10,490 就是说,把这个系统 3 00:00:11,880 --> 00:00:15,810 我们的目标系统,ESS,看成黑盒 4 00:00:18,030 --> …

spring管理bean源码解析

1. 从启动类开始 public static void main(String[] args) {// Run the SpringApplication class with the Application class as the first argumentSpringApplication.run(Application.class, args);}2. bean 实例化 // SpringAplication row1294,1295 run() // SpringApli…

Power Apps使用oData访问表数据并赋值前端

在使用OData查询语法通过Xrm.WebApi.retrieveMultipleRecords方法过滤数据时,你可以指定一个OData $filter 参数来限制返回的记录集。 以下是一个使用Xrm.WebApi.retrieveMultipleRecords方法成功的例子,它使用了OData $filter 参数来查询实体的记录&am…

【Parallel SSH】Ubuntu系统配置pssh实现多主机并行执行Master分发的命令

文章目录 一、配置多机免密登录二、ubuntu系统安装pssh三、并行命令脚本编写 一、配置多机免密登录 假设有1台主机作为Master分发命令,3台主机作为Servers执行命令。假设Master主机内网IP地址为192.168.0.12,Servers外网IP及对应的hostname分别为&#…

最新盘点!2024年最值得了解的24款项目管理软件

一、企业该如何选择一款项目管理工具?选择项目管理工具时需要考虑哪些因素? 在选择和对比项目管理工具时,可以通过加权方式进行对比和评估。参考以下模板,可以把自己关注的项目管理工具,进行表格对比,选中…

企业智能制造赋能的环境条件为什么重要?需要准备什么样的环境?

在全球制造业不断演进的今天,智能制造已经成为推动行业创新和转型的关键力量。它不仅代表了技术的革新,更是企业管理模式和运营思路的全面升级。然而,智能制造的落地实施并非一蹴而就,它需要企业在环境条件上做好充分的准备&#…

jail内部ubuntu apt升级失败问题解决-Dynamic MMap ran out of room

在FreeBSD jail 里安装启动Ubuntu jammy系统,每次装好执行jexec ubjammy sh进入Ubuntu系统后,执行apt update报错。 这个问题困惑了好久,突然有一天仔细去看报错信息,查看了(man 5 apt.conf) ,才搞定问题。简单来说就是…

Mybatis拦截器介绍及其应用

Mybatis拦截器介绍及其应用 1、介绍 Mybatis拦截器设计的初衷就是为了供用户在某些时候可以实现自己的逻辑而不必去动Mybatis固有的逻辑。通过Mybatis拦截器我们可以拦截某些方法的调用,我们可以选择在这些被拦截的方法执行前后加上某些逻辑,也可以在执…

Pycharm与Gitlab交互

环境准备 1、下载配置好本地Git 2、配置Pycharm上的Git 3、gitlab账号 Gitlab配置 Gitlab配置中文 账号》设置》偏好设置》简体中文 创建项目 命令行操作 打开项目会展示以下步骤 在pycharm克隆gitlab的项目 通过菜单栏 1、在PyCharm的顶部菜单栏中,选择“V…

本地部署,Flash Diffusion: 加速条件扩散模型实现快速图像生成

目录 引言 技术背景 Flash Diffusion 的架构与原理 Flash Diffusion 的主要特点 本地部署 运行结果 实验结果与分析 应用实例 结论 GitHub - gojasper/flash-diffusion: Official implementation of ⚡ Flash Diffusion ⚡: Accelerating Any Conditional Diffusion M…

Linux系统搭建轻量级个人博客VanBlog并一键发布公网远程访问

文章目录 前言1. Linux本地部署2. VanBlog简单使用3. 安装内网穿透4. 创建公网地址5. 创建固定公网地址 前言 今天和大家分享如何在Linux Ubuntu系统搭建一款轻量级个人博客VanBlog,并结合cpolar内网穿透软件生成公网地址,轻松实现随时随地远程访问本地…

相交链表+判断环型链表+求环型链表的入口节点

链表OJ题 一.相交链表二.判断环型链表三.求环型链表的入口节点 一.相交链表 相交链表 相交:两个链表从头开始遍历,尾节点一定是同一个节点。 情况一:当两个链表长度相同时: 情况二:当两个链表长度不同时&#xff1…