本地离线模型搭建指南-RAG架构实现

搭建一个本地中文大语言模型(LLM)涉及多个关键步骤,从选择模型底座,到运行机器和框架,再到具体的架构实现和训练方式。以下是一个详细的指南,帮助你从零开始构建和运行一个中文大语言模型。

本地离线模型搭建指南将按照以下四个部分展开

  1. 中文大语言模型底座选择依据
  2. 本地运行显卡选择
  3. RAG架构实现
  4. LLaMA-Factory训练框架及工具

3 RAG架构实现

3.1 什么是RAG

检索增强生成(Retrieval Augmented Generation, RAG) 是当前最热门的大语言模型(LLM)应用方案之一。RAG结合了信息检索和生成模型的优势,旨在增强生成式模型的知识覆盖和输出准确性。

3.2 为什么使用RAG

使用RAG的主要原因有以下几点:

  1. 知识的局限性:
    1. 现有的大模型(如ChatGPT、文心一言、通义千问等)的知识来源于它们的训练数据,这些数据主要是公开的网络数据。
    2. 对于一些实时性、非公开或离线的数据,大模型无法直接获取和使用。
  2. 幻觉问题:
    1. 大模型的输出基于数学概率,有时会出现“幻觉”——即生成看似合理但实际上错误的回答。
    2. 这种问题难以区分,尤其是在用户不具备相关领域知识的情况下。
  3. 数据安全性:
    1. 企业非常注重数据安全,不愿意将私有数据上传到第三方平台进行训练。
    2. 使用通用大模型可能会在数据安全和效果之间产生取舍。

RAG通过结合检索和生成的方式,能够有效解决上述问题。

3.3 RAG架构

RAG架构主要包括以下几个部分:

  1. 向量化:
    1. 将文本数据转化为向量矩阵,这个过程会直接影响后续检索的效果。
    2. 常见的embedding模型包括BERT、RoBERTa等,可以满足大部分需求。
    3. 对于特殊场景,可以选择微调现有的开源embedding模型,或直接训练适合自己场景的模型。
  2. 数据入库:
    1. 数据向量化后构建索引,并写入数据库。
    2. 适用于RAG场景的数据库包括FAISS、ChromaDB、Elasticsearch(ES)、Milvus等。
    3. 选择合适的数据库时,需要综合考虑业务场景、硬件和性能需求等因素。
  3. 检索模块:
    1. 在用户提出问题时,首先检索相关的文档或信息片段。
    2. 这些检索到的信息将作为生成模型的辅助输入。
  4. 生成模块:
    1. 利用检索到的信息和用户输入的问题,生成更加准确和相关的回答。
    2. 生成模型可以是预训练的大语言模型,如GPT-3等。
      在这里插入图片描述

3.4 RAG的工作流程

  1. 用户输入问题。
  2. 检索模块从数据库中检索相关信息。
  3. 生成模块结合用户输入和检索到的信息生成答案。
  4. 返回生成的答案给用户。

通过这种方式,RAG不仅能利用大模型的强大生成能力,还能结合实时、私有的数据源,提供更加精准和安全的解决方案。

3.5 embedding模型链接

模型名称描述获取地址
ChatGPT-EmbeddingChatGPT-Embedding由OpenAI公司提供,以接口形式调用。https://platform.openai.com/docs/guides/embeddings/what-are-embeddings
ERNIE-Embedding V1ERNIE-Embedding V1由百度公司提供,依赖于文心大模型能力,以接口形式调用。https://cloud.baidu.com/doc/WENXINWORKSHOP/s/alj562vvu
M3EM3E是一款功能强大的开源Embedding模型,包含m3e-small、m3e-base、m3e-large等多个版本,支持微调和本地部署。https://huggingface.co/moka-ai/m3e-base
BGEBGE由北京智源人工智能研究院发布,同样是一款功能强大的开源Embedding模型,包含了支持中文和英文的多个版本,同样支持微调和本地部署。https://huggingface.co/BAAI/bge-base-en-v1.5

更多详细信息和具体模型的链接,请访问

【关于NLP】那些你不知道的事

大模型RAG问答技术架构及核心模块:从Embedding、prompt-embedding到Reranker

RAG技术全解析:打造下一代智能问答系统

RAG 与微调在大模型应用中如何抉择

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/32770.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于SSM+Vue+微信小程序的大学生就业平台系统+毕业论文

项目包含前台和后台两部分:多角色登录,功能完善,界面优美 前台主要功能实现:首页列表查看、求职信息管理、简历管理、面试邀请管理、个人中心等 后台主要功能实现:首页、个人中心、学生管理、企业管理、企业类型管理…

浏览器插件利器-allWebPluginV2.0.0.14-bata版发布

allWebPlugin简介 allWebPlugin中间件是一款为用户提供安全、可靠、便捷的浏览器插件服务的中间件产品,致力于将浏览器插件重新应用到所有浏览器。它将现有ActiveX插件直接嵌入浏览器,实现插件加载、界面显示、接口调用、事件回调等。支持谷歌、火狐等浏…

【C++】初始化列表、匿名对象、static成员、友元、内部类

文章目录 一、初始化列表构造函数体赋值初始化列表explicit关键字 二、匿名对象三、static成员四、友元友元函数友元类 五、内部类六、练习题 一、初始化列表 构造函数体赋值 实际上,构造函数的函数体内,并不是对 对象 初始化的地方,而是对…

34、shell数组+正则表达式命令

0、课前补充 jiafa () { result$(echo " $1 $2 " | bc ) print "%.2f\n" "$result" } ##保留小数点两位 薄弱加强点 a$(df -h | awk NR>1 {print $5} | tr -d %) echo "$a"一、数组 1.1、定义 数组的定义&am…

数据分析BI仪表盘搭建

BI仪表盘搭建六个原则: 1.仪表盘搭建符合业务的阅读,思考和操作逻辑。 2.明确仪表盘主题,你的用户对什么感兴趣。 普通业务人员:销售:注册,激活,成交投放:消耗,转化率…

只有一个鸿蒙好?还是鸿蒙、安卓、IOS并存好?

这个话题,现在很敏感,为了防止被喷,我提前且清楚的交待我的观点:我双手欢迎鸿蒙、欢迎仓颉,而且我已经用行动来支持,比如2021年刚发布ArkUI时,我就第一时间上手了,且这几年一直在跟进…

教程:LVM操作讲解

LVM简介 在系统运维过程中,对磁盘扩缩容是常见的操作。如何高效的管理磁盘容量,lvm提供了很好的解决方案。 LVM将磁盘抽象成PV、VG、LV,方便用户进行磁盘管理,简单来讲,是由物理磁盘划分成PV,PV加入到具体…

荣耀社招 测试工程师 技术一面

面经哥只做互联网社招面试经历分享,关注我,每日推送精选面经,面试前,先找面经哥 1、自我介绍 2、具体介绍做过的项目,支撑的事什么业务 3、防火墙测试时、平时有写脚本或者使用第三方工具吗 4、对互联网的安全测试规…

BarTender中文版安装包下载及安装教程

​根据大数据结果显示可扩充的大容量卷标数据库:利用大量已设计好的标签库,从数以千计的现成标签尺寸中进行选择,也能够定义并加入自己的标签库尺寸。习惯上来说操作简单:BarTender条码打印软件是目前功能最强大、便捷的标签设计打印软件,在150 多个国家…

力扣-两数之和

文章目录 题目题解方法1-暴力方法2-哈希 题目 原题链接:两数之和 题解 方法1-暴力 我最先想到的方法就是暴力,两层for循环,也能通过。(拿到算法题在没有思路的时候暴力就是思路,哈哈哈) public class T…

坎德拉candela3d光伏电站三维设计软件【无标题】

Candela3D 是一款基于 SketchUp(草图大师)开发的新一代光伏电站三维设计软件。它适用于复杂地形、平坦地形光伏电站的建设项目,同时适用于可研、初设、施工图、项目运营等阶段。这款软件具有多项功能,例如: • 能够突…

【云原生】Docker可视化工具Portainer使用详解

目录 一、前言 二、docker可视化管理概述​​​​​​​ 2.1 什么是docker可视化管理 2.1.1 Docker可视化管理常用功能 2.2 为什么需要docker可视化管理工具 2.3 docker可视化工具带来的好处 三、常用的docker容器可视化管理工具解决方案 3.1 Portainer 3.2 Rancher 3…

【Python机器学习】k均值聚类——矢量量化,或者将k均值看作分解

虽然k均值是一种聚类算法,但在k均值和分解方法之间存在一些相似之处。k均值尝试利用簇中心来表示每个数据点,可以看作仅用一个分量来表示每个数据点,该分量由簇中心给出。这种观点将k均值看作是一种分解方法,其中每个点用单一分量…

可视化大屏开发系列——DataV的使用

以下内容为近期个人学习总结,若有错误之处,欢迎指出! 可视化大屏开发系列——DataV的使用 一、介绍二、注意事项1、技术支持2、兼容性3、状态更新 三、实现效果四、使用(在vue2项目中)1.npm安装2.main.js中引入3.开启愉…

WordPress软件下载主题Inpandora

Inpandora(中文名为潘多拉)是一款基于软件下载站定制的WordPress主题,帮助站长使用WordPress快速搭建一个专业的WordPress软件博客。Inpandora这款WordPress主题可以说是因软件而生,从UI设计到后台设置功能,都充分体现…

设计软件有哪些?贴图插件篇(1),渲染100邀请码1a12

设计师经常要处理贴图,这里介绍一些贴图所用到的插件。 1、Substance 3D Painter Substance 3D Painter是Substance 3D软件套件中的一部分,是一款专业的纹理绘制软件。它提供了直观的界面和强大的工具,用于在3D模型上进行高质量的纹理绘制和…

【七】【QT开发应用】跨UI发送信号,跨线程发送信号

跨UI发送信号 基本框架 新建窗口 自定义信号 跨线程发送信号 新建线程 查看线程号 完整代码 跨UI发送信号 setdialog.h #ifndef SETDIALOG_H #define SETDIALOG_H#include <QDialog>namespace Ui { class setdialog; }class setdialog : public QDialog {Q_OBJECTpub…

1panel OpenResty 设置网站重定向

当我们部署网站时需要&#xff0c;输入"cheshi.com"域名回车&#xff0c;希望他自动跳转https://cheshi.com/indx/&#xff0c;而不是直接跳转https://cheshi.com时可以利用重定向来实现&#xff0c; 这里演示的是 1panel 如何设置&#xff08;nginx 貌似也是这样配…

数据结构9——排序

一、冒泡排序 冒泡排序&#xff08;Bubble Sort&#xff09;&#xff0c;顾名思义&#xff0c;就是指越小的元素会经由交换慢慢“浮”到数列的顶端。 算法原理 从左到右&#xff0c;依次比较相邻的元素大小&#xff0c;更大的元素交换到右边&#xff1b;从第一组相邻元素比较…

ChatGPT-4o也参加高考了,还写了六大考卷的全部作文! |【WeThinkIn出品】

写在前面 【WeThinkIn出品】栏目专注于分享Rocky的最新思考与经验总结&#xff0c;包含但不限于技术领域。欢迎大家一起交流学习&#x1f4aa; 欢迎大家关注Rocky的公众号&#xff1a;WeThinkIn 欢迎大家关注Rocky的知乎&#xff1a;Rocky Ding AIGC算法工程师面试面经秘籍分享…