让天下没有难学的大模型!我整理一份大模型技术知识图谱!

最近陆续有一些同学反馈,感觉大模型知识点太多了,找不到头绪。

今天我整理一份大模型技术以及应用的知识图谱,让大家轻松学习大模型,喜欢点赞、收藏、关注。

另外,技术交流可以文末加入我们。

大模型的预训练技术

大模型的预训练技术(Pre-traning)是大模型性能的根基,这部分技术门槛和成本门槛都很高,我们需要了解以下几个核心技术:

  • Transformer 人工神经网络架构
  • MOE 多专家架构
  • Supervised Fine-tuning、Reinforcement Learning from Human Feedback(RLHF 基于人类反馈的强化学习)
  • 数据工程
  • 分布式预训练并行技术(数据并行、流水线并行、张量并行、序列并行、多维混合并行、自动并行、MOE 并行等)、
  • 分布式预训练并行框架(PyTorch、Megatron、DeepSpeed、Ray)
  • 分布式预训练网络通信(点对点通信、集体通信、AllReduce、AllGather、梯度分桶、计算与通信重叠、跳过梯度同步
  • 分布式预训练流程(前向传递、损失计算、梯度计算、梯度通信、后向传递、优化器更新模型参数、保存模型
  • 分布式预训练策略(Batch Size、epoch、损失精度、梯度方法
  • 预训练评估技术。

大模型的微调技术

大模型微调技术是增强通用大模型能力,降低幻觉的核心技术,也是构建企业私有大模型两大技术手段之一(RAG、微调),因此需要好好掌握,包含以下几个核心技术

  • 微调方法(LoRA、QLoRA、Prompt Tuning、Prefix Tuning、P-tuning V2 等)
  • 高效微调框架(Hugging Face PEFT)
  • 数据工程(数据获取、数据清洗、数据结构化、数据存储、数据查询)
  • 微调评估技术。

大模型的检索增强技术

大模型检索增强生成技术是增强通用大模型能力,也是降低幻觉的大模型微调技术、同样是构建企业私有大模型两大技术手段之一(RAG、微调),因此需要好好掌握,包含以下几个核心技术

  • RAG 整体架构
  • Embedding Model
  • 向量数据库
  • 数据工程(数据获取、数据清洗、数据结构化、数据存储、数据查询)
  • RAG 开发框架(LlamaIndex)
  • RAG 增强评估技术
  • RAG 增强框架(C-RAG)

大模型的推理技术

大模型推理是在线完成用户 Prompt 请求的技术架构,主要由推理效果和推理速度构成,也是必须要掌握的关键技术之一、主要包含以下几个核心技术

  • 推理优化加速服务化框架(vLLM、TensorRT-LLM、Triton)
  • 推理优化技术(PageAttenion、FlashAttention)

大模型的压缩技术

大模型压缩是平衡推理效果和推理成本的主要实施技术,特别是预算有限的中心型公司,大模型的压缩技术就显得更加重要,包含技术如下:

  • LLM 训练量化技术(LLM-QAT、QLoRA)、
  • LLM 推理量化技术(GPTQ、LLM.int8()、SmoothQuant、AWQ、AutoAWQ、SpQR、ZeroQuant)、
  • LLM 结构化剪枝技术(LLM-Pruner)、
  • LLM 非结构化剪枝技术(SpareGPT、LoRAPrune、Wanda)、
  • LLM 知识蒸馏技术(Standard KD、学生模型、老师模型、EA-based-KD(In-Context Learning 上下文学习、Chain-of-Thought 思维链、Instruction Following 指令跟随))、
  • 低秩分解技术(ZeroQuant-FP + 量化、LoRAPrune + 剪枝)。

大模型的应用技术

基于大模型的应用开发是每个 IT 同学都需要掌握的基本技能,这也是构建 AGI 时代新的应用形态 Agent 和产业应用升级的基本条件。主要包含以下几个核心技术

  • 开发框架(LangChain、LlamaIndex、Semantic Kernel)
  • 开发架构模式(面向过程架构设计、面向目标架构设计)
  • Agent 开发模式(Planing、Action、Observation)
  • 向量数据库(Pinecone、Milvus、PgVector、Faiss、Redis、Elasticsearch 等)
  • 应用部署硬件(GPU 选型、GPU / CPU 资源评估)
  • LLMOps(评估、测试、调试、监控、问题定位等)

大模型的基础设施技术

大模型的基础设施技术是大模型应用运行的基座,非常重要。主要包含以下几个核心技术

  • 大模型加速卡(AI 芯片技术、英伟达 GPU 技术、谷歌 TPU 技术)、
  • AI 编译技术、AI 编译优化技术、AI 编译框架( MLIR、XLA、TVM)、
  • LLMOps(Docker、Kubernetes、可观测平台)
  • 基础环境安装(英伟达 A800、英伟达 A100、英伟达 H800、昇腾 910/910B 安装)、
  • 常用工具
    • Linux 常见命令大全

    • Conda 常用命令大全

    • Poetry 常用命令大全

    • Docker 常用命令大全

    • Docker Dockerfile 指令大全

    • Kubernetes 常用命令大全

    • 集群环境 GPU 管理和监控工具 DCGM 常用命令大全

本文来自我的《大模型实战宝典》,喜欢欢迎订阅

实践合集:《大模型实战宝典》(2024版)正式发布!

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型技术交流群, 想要进交流群、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2040。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

方式①、微信搜索公众号:机器学习社区,后台回复:技术交流
方式②、添加微信号:mlc2040,备注:技术交流+CSDN

用通俗易懂的方式讲解系列

  • 用通俗易懂的方式讲解:不用再找了,这是大模型最全的面试题库
  • 用通俗易懂的方式讲解:这是我见过的最适合大模型小白的 PyTorch 中文课程
  • 用通俗易懂的方式讲解:一文讲透最热的大模型开发框架 LangChain
  • 用通俗易懂的方式讲解:基于 LangChain + ChatGLM搭建知识本地库
  • 用通俗易懂的方式讲解:基于大模型的知识问答系统全面总结
  • 用通俗易懂的方式讲解:ChatGLM3 基础模型多轮对话微调
  • 用通俗易懂的方式讲解:最火的大模型训练框架 DeepSpeed 详解来了
  • 用通俗易懂的方式讲解:这应该是最全的大模型训练与微调关键技术梳理
  • 用通俗易懂的方式讲解:Stable Diffusion 微调及推理优化实践指南
  • 用通俗易懂的方式讲解:大模型训练过程概述
  • 用通俗易懂的方式讲解:专补大模型短板的RAG
  • 用通俗易懂的方式讲解:大模型LLM Agent在 Text2SQL 应用上的实践
  • 用通俗易懂的方式讲解:大模型 LLM RAG在 Text2SQL 上的应用实践
  • 用通俗易懂的方式讲解:大模型微调方法总结
  • 用通俗易懂的方式讲解:涨知识了,这篇大模型 LangChain 框架与使用示例太棒了
  • 用通俗易懂的方式讲解:掌握大模型这些优化技术,优雅地进行大模型的训练和推理!
  • 用通俗易懂的方式讲解:九大最热门的开源大模型 Agent 框架来了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/764112.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android Studio 编译报错 ( Could not find com.android.tools.build:gradle:4.2.1.)

检查下根目录下的 build.gradle 配置 , 是否只配置了 jcenter 仓库 ,加上 google()mavenCentral() 重新编译试一下

ArrayList的常用方法

ArrayList是Java中常用的动态数组类&#xff0c;它提供了一系列用于操作和管理数组的方法。下面是一些ArrayList常用方法的介绍&#xff1a; add()方法&#xff1a;向ArrayList中添加元素&#xff0c;可以指定位置添加元素或者在末尾添加元素。 ArrayList<String> list …

全网最靠谱的短网址平台,你知道几个?

在当今互联网时代&#xff0c;短网址平台成为了人们分享链接的常用工具。它们不仅可以将冗长的网址压缩为简洁的短链接&#xff0c;还能提供更多的功能和优势。在众多的短网址平台中&#xff0c;有几个平台以其可靠性和出色的性能脱颖而出。今天&#xff0c;我们就来介绍几个全…

跟我学C++中级篇——STL的中的删除

一、介绍 在STL中一般删除的方式有两类&#xff0c;一种是使用全局的std::remove(remove_if类似)&#xff0c;一种是使用容器自带的erase&#xff0c;前者其实并没有真正的删除数据&#xff0c;而后者则是在移动时&#xff0c;会有一些细节的处理&#xff0c;否则要么程序崩溃…

《数字人》三个灵魂拷问 是什么?为什么?怎么用?

数字人的出现和发展是由于人工智能和计算机图形学等技术的进步&#xff0c;使得我们可以更好地模拟和创造人类的外貌、行为和交流能力。 1.数字人是什么&#xff1f; 数字人通常是指利用计算机技术和人工智能技术创建的虚拟人物或角色。这些数字化的人物可以具有各种外貌、行为…

SOCKS5代理、代理IP、HTTP与网络安全的深层探寻

在这个数字化时代&#xff0c;网络技术的迅猛发展与网络安全的挑战相伴而生。作为一名软件工程师&#xff0c;深入探索SOCKS5代理、代理IP、HTTP协议及其在网络安全领域的应用&#xff0c;不仅是技术提升的必经之路&#xff0c;更是守护网络世界安全的关键。本文将带您深入理解…

计算机网络基础知识

一、网络概述 1.网络定义与功能 利用通信线路物理地将不同的终端连接起来&#xff0c;按照网络协议相互通信&#xff0c;以共享软件、硬件和数据资源为目标的系统 数据通信&#xff1a;在计算机之间传送各种信息 资源共享&#xff1a;硬件资源共享、软件资源共享 负荷均衡&am…

C++ 小玉在游泳

文章目录 一、题目描述小玉在游泳题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示 二、参考代码 一、题目描述 小玉在游泳 题目描述 小玉开心的在游泳&#xff0c;可是她很快难过的发现&#xff0c;自己的力气不够&#xff0c;游泳好累哦。已知小玉第一步能游 …

鸿蒙开发钱途不可限量!万人大厂岗位激增月入2万机会来了

抢人&#xff01;抢人&#xff01;抢人&#xff01; 抢滩鸿蒙&#xff0c;人才先行。2024年鸿蒙人才抢夺大战一触即发&#xff0c;刻不容缓。 随着时代的发展&#xff0c;就业竞争愈加激烈&#xff0c;内卷化越来越严重。如今互联网行业以及计算机软件开发领域成为了很多大学…

transformer的学习:Attention is all you need

目录 整体概述&#xff1a;​编辑​编辑 encoder&#xff1a; embedding&#xff1a; ​编辑 self-attention&#xff1a; 向量的相似度计算&#xff1a; qkv怎么来的​编辑 softmax&#xff1a; code multi-head-attention 位置编码&#xff1a; 残差&&FFN&…

使用ansible剧本进行lvm分盘

使用 Ansible 剧本&#xff08;Playbook&#xff09;进行 LVM 分区管理是一种自动化的方式&#xff0c;可以帮助管理员在多台主机上批量管理逻辑卷。 部署环境 3台主机&#xff0c;添加硬盘 ansible-galaxy collection install community.general 联网执行&#xff0c;下…

leetcode1793--好子数组的最大分数

1. 题意 给定一个数组&#xff0c;求包含 a [ k ] a[k] a[k]的 m i n ( a r r ) a r r . s i z e ( ) , s . t . a [ k ] ∈ a r r min(arr)\times arr.size(),s.t.a[k] \in arr min(arr)arr.size(),s.t.a[k]∈arr 好子数组的最大分数 与柱形图面积相似&#xff0c;只是区间…

Linux课程____Samba文件共享服务

一、 Samba服务基础 SMB协议&#xff0c;服务消息块 CIFS协议&#xff0c;通用互联网文件系统 1.Samba 服务器的主要程序 smbd:提供对服务器中文件、打印资源的共享访问 nmbd:提供基于 NetBlOS 主机名称的解析 2.目录文件 /etc/samba/smb.conf 检查工具&#xff1a;test…

【力扣】387. 字符串中的第一个唯一字符

题目描述 给定一个字符串 s &#xff0c;找到 它的第一个不重复的字符&#xff0c;并返回它的索引 。如果不存在&#xff0c;则返回 -1 。 示例 1&#xff1a; 输入: s “leetcode” 输出: 0 示例 2: 输入: s “loveleetcode” 输出: 2 示例 3: 输入: s “aabb” 输出: -1…

备战蓝桥杯Day30 - 贪心-活动选择问题

问题描述 假设有n个活动&#xff0c;这些活动要占用同一片场地&#xff0c;而场地在某时刻只能供一个活动使用。 每个活动都有一个开始时间 si 和结束时间 fi (题目中时间以整数表示) ,表示活动在[si, f)区间占用场地。 问:安排哪些活动能够使该场地举办的活动的个数最多? 解…

d3dcompiler_47.dll缺失怎么修复?分享五种方法

在计算机编程和游戏开发中&#xff0c;D3DCompiler47.dll文件是一个非常重要的组件。它是由微软公司开发的DirectX SDK的一部分&#xff0c;主要用于编译DirectX的Shader代码。然而&#xff0c;对于许多初学者和开发者来说&#xff0c;他们可能对这个文件的属性和功能并不完全了…

电商数据分析25——电商平台优惠券营销效果的数据分析

目录 写在开头1. 优惠券营销的战略意义1.1 优惠券对消费者行为的影响1.1.1 改变购买决策1.1.2 增加购买意愿 1.2 优惠券在促销活动中的应用1.2.1 提高产品销量1.2.2 增强市场占有率 2. 数据分析在优惠券营销中的应用2.1 优惠券使用率和转化率分析2.2 消费者行为分析与细分2.3 优…

python的O2O生鲜食品订购flask-django-nodejs-php

用户只能通过一些类似软件进行查看生鲜超市&#xff0c;这样的管理方式仍然是比较机械传统的&#xff0c;本文通过对市面上常见的线上管理系统与现实生活中结合问题的讨论&#xff0c;从一个微信小程序的O2O生鲜食品订购角度进行需求分析&#xff0c;提供一些新的思路&#xff…

基于SpringBoot实现文件上传和下载(详细讲解And附完整代码)

目录 一、基于SpringBoot实现文件上传和下载基于理论 二、详细操作步骤 文件上传步骤&#xff1a; 文件下载步骤&#xff1a; 三、前后端交互原理解释 四、小结 博主介绍&#xff1a;✌专注于前后端领域开发的优质创作者、秉着互联网精神开源贡献精神&#xff0c;答疑解惑、坚…

RHCSA(第一天)

1.部署Linux环境&#xff1a; 安装Vmware之后&#xff0c;在windows会产生两个虚拟网卡&#xff1a;vmnet1&#xff0c; vmnet8 部署Linux&#xff1a;需要有网卡&#xff0c;必须要知道root用户的密码&#xff0c;和你普通的用户的用户名和密码 远程连接配置&#xff1a…