大模型算法(一):从Transformer到ViT再到LLaMA

单任务/单领域模型

深度学习最早的研究集中在针对单个领域或者单个任务设计相应的模型。
对于CV计算机视觉领域,最常用的模型是CNN卷积模型。其中针对计算机视觉中的不同具体任务例如分类任务,目标检测任务,图像分割任务,以CNN作为骨干backbone,加上不同的前后处理以及一些辅助层,来达到针对不同任务的更好效果。
对于NLP自然语言处理领域,最常用的模型起初是RNN,后续发展有LSTM,Transformer等。这个方向了解不多,具体自行百度。
在这里插入图片描述
在这里插入图片描述

Transformer:统一架构

Transformer起源于NLP领域,后面人们发现在CV领域Transformer也能用,甚至效果比CNN还要好,使得CV和NLP两个领域的模型架构得到统一,为多模态和大模型打下基础。
Transformer最广为人知的就是它的自注意力机制,要了解为什么创新出了这个机制,还要从RNN谈起。
在NLP领域,第一代模型范式就是RNN,循环神经网络。循环神经网络原理比较简单,RNN中的节点接受两个输入:上个节点的输出以及本次输入对应的词向量:
在这里插入图片描述
但是RNN缺点也很明显,不断地将输出再次输入,这种方法虽然可以关联到上文所包含的信息,但是只能关联到附近的上文信息,较远的上文信息对当下影响较小,而且容易出现梯度消失的问题。所以RNN在90年以后就很少用了,取而代之的是它的两个改进:LSTM长短时记忆网络和GRU门控循环网络。
在这里插入图片描述
但是二者也只是缓解了RNN的问题,并没有从根本上解决,后面又推出了seq2seq结构,依旧是缝缝补补。再后面计算机视觉中90年代提出的注意力机制,被Google mind团队应用在RNN上来做图像分类后,有学者把注意力机制从CV领域拿到了NLP领域来做机器翻译,Attention-based RNN。在这之后才到transformer的兴起,也就是那句“Attention is all your need”。
在这里插入图片描述
transformer简而言之即:将输入向量化,然后通过encoder编码层编码,再经过decoder解码层进行解码得到结果。
encoder的作用是理解和提取输入文本中的相关信息以及上下文的信息。解码器的任务是解码器则根据编码器的输出和先前生成的部分序列来生成输出序列。

注意,由于解码器需要根据先前生成部分的内容来生成输出序列中的下一部分,所以具有自回归的效果,这是encoder没有的,这个特性后面要提到。
在这里插入图片描述

这篇文章写的非常清晰明了,通俗易懂,我就不再班门弄斧了,大家可以直接看这篇文章。

一些细节问题的讲解

ViT:视觉领域的Transformer

Vit李沐大神团队出的讲解非常好:ViT讲解

自注意力和transformer自从提出没多久就有人用在了计算机视觉领域,但是因为如果直接将图像拉长成一个数组,数据复杂度太高,所以提出了stand-alone attention和axial attention等折中方案,分别是将局部窗口输入给transformer和将图像划分为两个维度,分别进行transformer

ViT基本使用了Transformer的原结构,没有什么大的改动。图像数据shape一般都是 C × H × W C\times H \times W C×H×W的,Transformer接受的数据是二维的,所以需要将三维的数据reformat为二维的,原文给出的方法是将图像分为 m × n m\times n m×n个patch,每个patch的尺寸为 H m × W n × C \frac{H}{m} \times \frac{W}{n}\times C mH×nW×C的,将patch拉长为长度为 H m × W n × C \frac{H}{m} \times \frac{W}{n}\times C mH×nW×C的一维数组,这样图像就变成了 [ m × n , H m × W n × C ] [m \times n,\frac{H}{m} \times \frac{W}{n}\times C] [m×n,mH×nW×C]的二维数组,原文是将一个224*224的图像分为了 14 × 14 14\times 14 14×14个patch,每个patch的尺寸为 16 × 16 16\times 16 16×16,输入数据为 196 × 768 196\times 768 196×768。从图像到patch的这个过程,可以直接简单分割,也可以使用768个 16 × 16 × 3 16\times 16 \times 3 16×16×3的卷积核提取,得到的结果是是 14 × 14 × 768 14\times 14\times 768 14×14×768的数据,再将其reformat一下得到 196 × 768 196\times 768 196×768
原文提到Transformer相较于CNN缺少两个归纳偏置,locality和平移等变性

归纳偏置即:从网络结构中就预先存在的偏置,是一种先验知识,所以称为归纳偏置。
locality:潜在的位置信息
平移等变性:f(g(x)) = g(f(x)),先做卷积还是先做平移效果是一样的。

所以要么使用更大的数据集进行训练。
在得到 196 × 768 196\times 768 196×768大小的图像patch序列后,还需要再concat上一个 1 × 768 1\times 768 1×768大小class embedding,用于存储分类结果,形成一个 197 × 768 197\times 768 197×768大小的tensor,再之后还需要添加上一个position embedding,position embedding是一个 197 × 768 197\times 768 197×768的表,直接add到原tensor上,得到最终输入transformer的tensor。
至于ViT的网络结构,跟Transformer是一样的,只不过把Norm层提前到了multi-head attention前面
在这里插入图片描述
decoder的作用是进行序列生成,分类的ViT不需要decoder block,只需要encoder即可。

Transformer大模型类型

Transformer的结构是encoder-decoder模式(编码器-解码器)模式,decoder和encoder相比,多了encoder-decoder注意力机制部分,也就是上面transformer架构图中decoder中多的一个环节,将encoder的输出和decoder自注意力输出作为输入的注意力部分。
基于transformer的大模型根据encoder,decoder的搭配不同分为三种技术路线。目前大部分大模型都是decoder-only路线的。
在这里插入图片描述
图片来自论文

encoder-only[基本不再使用]

只有encoder的大模型,例子是Bert。
在 Transformer 模型中,编码器负责理解和提取输入文本中的相关信息。这个过程通常涉及到处理文本的序列化形式,例如单词或字符,并且用自注意力机制(Self-Attention)来理解文本中的上下文关系。
encoder-only模型使用MLM(Masked Language Modeling)方法进行训练,即:将语料中的一部分遮住,让模型预测出被遮住的部分,这种训练方式使得encoder-only模型对于文本分类和情感分析这种理解类的任务效果较好。

BERT中还用到了next-sentence prediction task训练方式,该方式主要是训练模型理解上下文语义关系的能力

encoder-decoder[较少使用]

同时有encoder和decoder的大模型,代表作有:T5,清华的GLM(General Language Model Pretraining with Autoregressive Blank Infilling)
因为具有decoderblock部分,所以相较于encoder-only模型,这种模型的文本生成能力要更强一些,比较适合做一些生成序列和输入序列强相关的人物,例如翻译,生成的句子和原句强相关。

encoder-decoder的变体:Prefix-decoder架构

decoder-only[主流]

只有decoder部分的大模型,代表作有:ChatGPT,LLAMA
上文我们提到decoder中有一个部分是编码器-解码器注意力机制部分,那只有decoder,这个部分怎么办呢?

又分为Causal Decoder架构(因果解码器架构)和 Prefix Decoder架构(前缀解码器架构)

在这里插入图片描述

图片来源自论文:A survey of Large Language Models
蓝色是指前缀部分的mask,绿色是前缀和目标token之间的mask,黄色是指目标token之间的mask
简而言之就是表示是否能产生关联,能否读取到该token的信息

不同架构,第一个区别是encoder和decoder组合不同,第二个区别是mask的设计不同。
像对于encoder-decoder架构而言,他的mask可以理解为:encoder的token之间是相互可以关联的,decoder可以关联所有的encoder的token,也可以关联在自己前面的token。
对于causal decoder架构的mask,decoder的token只能关联到前面的token,对于自己后面的token无法产生联系,ChatGPT就是使用这这架构,
Prefix decoder架构跟上面的因果解码器架构相比的特点是将前缀部分的注意力机制改成了双向注意力机制,目标token间还是使用单项token,这就跟encoder很像了,实际上这种架构也是有encoder的,只不过和前缀的decoder是公用一套参数的,所以既可以说是deocder-only,也可以说成是encoder-decoder。代表作是GLM。

为什么大家都用decoder-only路线?

以下答案是依据该问题下的答案总结的

  • 对于文本生成类任务效果比较好
  • 相较于encoder-decoder路线,计算量小
  • decoder-only的泛化性能更好,依据论文原因有很多
    • 双向attention[也就是不进行mask,当下token可以接受到所有token的影响]有可能导致低秩问题,反而削弱了模型的表达能力。
    • decoder-only模型接受到的信息更少,训练难度更高,在数据充足时,经过训练,可以有更好的表征信息。
    • decoder-only的架构相比encoder-decoder在In-Context的学习上会更有优势,因为前者的prompt可以更加直接地作用于decoder每一层的参数,微调信号更强。依据

配套技术

归一化

早期:LayerNorm
为了提高LN的训练速度,提出了RMSNorm
为了稳定深度transformer模型训练,提出了DeepNorm

三种归一化位置方案:post-LN,pre-LN,sandwich-LN

优化器

常用优化器为Adam 优化器和 AdamW 优化器

微调技术

指令微调(instruction tuning)和对齐微调(alignment tuning)。前一种方法旨在增强(或解锁) LLM 的能力,而后一种方法旨在将 LLM 的行为与人类的价 值观或偏好对齐。

上下文学习ICL

为了使大模型能够在不进行梯度更新的情况下完成新的任务。
在这里插入图片描述

思维链CoT技术

思维链(Chain-of-Thought,CoT)是一种改进的提示策略,旨在提高 LLM 在复杂推理任务中的性能,例如算术推理,常识推理和符号推理。不同于 ICL 中仅使用输入输出对来构造提示,CoT 将可以导出最终输出 的中间推理步骤纳入提示中。通常情况下,CoT 可以在小样本(few-shot)和零样本(zero[1]shot)设置这两种主要设置下与 ICL 一起使用。

参考文献:
[1] A Survey of Large Language Models[J].
[2] Multimodal Foundation Models: From Specialists to General-Purpose Assistants[J].
[3] https://jalammar.github.io/illustrated-transformer/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/13013.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【传知代码】VRT: 关于视频修复的模型(论文复现)

前言:随着数字媒体技术的普及,制作和传播视频内容变得日益普遍。但是,视频中由于多种因素,例如传输、存储和录制设备等,经常出现质量上的问题,如图像模糊、噪声干扰和低清晰度等。这类问题对用户的体验和观…

hive动态分区

hive动态分区概念:允许插入数据到分区表时,根据插入的数据内容自动创建相应的分区 1.启用动态分区功能 hive.exec.dynamic.partitiontrue; 2.分区字段设置 在insert语句中, 动态分区的字段必须放在select语句的末尾,hive会根据这个字段的值来创建分区目录 示例: --创建分区表…

几个排序器的verilog及其资源占用、延时分析

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 前言 因为课题需要,调研了几个快速排序方法,并手写或者改进了若干待测试对象,包括记分板型冒泡排序(这个是别人的&#xff09…

树莓派|I2C通信

什么是I2C通信 I2C(Inter-Integrated Circuit)是一种串行通信协议,用于在集成电路(IC)之间传输数据。它由飞利浦公司(现在的恩智浦半导体公司)在20世纪80年代开发,并且成为了广泛应用于各种电子设备中的通…

Spring Security 6.x 系列【73】认证篇之同端互斥登录

有道无术,术尚可求,有术无道,止于术。 本系列Spring Boot 版本 3.1.0 本系列Spring Security 版本 6.1.0 源码地址:https://gitee.com/pearl-organization/study-spring-security-demo 文章目录 1. 概述2. 实现方案3. 案例演示3.1 内存会话3.1.1 并发控制流程分析3.1.2 功…

【35分钟掌握金融风控策略28】贷中模型体系策略应用

目录 贷中模型体系策略应用 信用模型体系和模型在策略中的应用 反欺诈模型体系和模型在策略中的应用 运营模型体系和模型在策略中的应用 贷中模型体系策略应用 在贷前模型部分已经讲过,贷前开发的很多模型是可以在贷中直接使用的。贷中与贷前的不同点在于&…

ubuntu升级python

添加Python官方PPA源 sudo add-apt-repository ppa:deadsnakes/ppa 执行会显示各个版本ubuntu可以安装哪些python版本 更新软件包索引 sudo apt update 安装需要版本Python sudo apt install python3.11 检查Python版本: which python11 /usr/bin/python3.11 设置为系统默认Pyt…

自定义一个starter

在Spring Boot中&#xff0c;创建一个自定义starter可以简化特定功能或组件的配置过程&#xff0c;让其他项目能够轻松地重用这些功能。 这里我们以自定义一个xxl-job的starter为例&#xff0c;介绍下如何简化配置。 添加依赖 <dependencies><dependency><gro…

STK中的光照计算模型

本文简要阐述STK中光照计算的模型。 在航天任务中&#xff0c;通常需要分析地面站、飞行器在一定时间内的光照情况&#xff0c;具体包括&#xff1a; 地面站处在光照区和阴影区的具体时间范围&#xff1b;考虑地形遮挡后&#xff0c;地面站的光照区和阴影区的变化情况&#x…

985大学电子信息专硕,考C语言+数据结构!中央民族大学25计算机考研考情分析!

中央民族大学&#xff08;Minzu University of China&#xff09;坐落于北京市学府林立的海淀区&#xff0c;南邻国家图书馆&#xff0c;北依中关村科技园&#xff0c;校园环境典雅&#xff0c;古朴幽美&#xff0c;人文氛围浓郁&#xff0c;具有鲜明的民族特色。由北京市、国家…

Java byte数据类型

在Java中&#xff0c;byte是一种基本的数据类型&#xff0c;用于表示整数值。它是8位带符号的二进制补码&#xff0c;范围从-128到127&#xff08;包括&#xff09;。 以下是一些关于byte数据类型的重要信息&#xff1a; 大小和范围&#xff1a;byte数据类型占用8位&#xff0…

Oracle 日志文件头中的SCN

日志文件头中的SCN主要分以下3类&#xff1a; 1、FIRST_CHANGE 2、NEXT_CHANGE 3、RESETLOGS_CHANGE# FIRST_CHANGE# FIRST_CHANGE#表示该在线日志文件被重用时的SCN。可以从VKaTeX parse error: Expected EOF, got # at position 25: …RY.FIRST_CHANGE#̲列查询&#xff0c;…

Cesium学习_-着色器

着色器GLSL CesiumJS PrimitiveAPI 高级着色入门 - 从参数化几何与 Fabric 材质到着色器 - 下篇 - 知乎 明确一个定义&#xff0c;在 Primitive API 中应用着色器&#xff0c;实际上是给 Appearance 的 vertex- ShaderSource、fragmentShaderSource 或 Material 中的 fabric.…

Java 异步编程——为什么要使用多线程,以及在什么情况下使用多线程?

前言 单线程就是一个工人在搬砖&#xff0c;多线程就是多个工人在搬砖&#xff1b;在相同数量的砖要搬的情况下&#xff0c;多个工人搬砖肯定比一个人搬的快。 那多个工人做事一定比一个工人做事快吗&#xff1f;那不一定&#xff0c;不过大多数情况下是的。多线程只是可以同…

Java并发编程——线程安全

在Java并发编程中&#xff0c;线程安全是一个非常重要的概念。当多个线程同时访问共享数据时&#xff0c;如果没有采取适当的同步措施&#xff0c;就可能会导致数据不一致或其他不可预期的行为&#xff0c;这就是线程不安全的情况。 为了保证线程安全&#xff0c;Java提供了一…

Google Ads谷歌广告账户被封停怎么办?

跨境出海业务少不了需要做Google Ads推广业务&#xff1b;其中让投手们闻风丧胆的消息就是帐户被暂停。当 Google 检测到任何违反其政策且可能损害用户在线体验的行为时&#xff0c;就会发生这种情况。那么如何在做广告推广的同时&#xff0c;保证账号不被封禁呢&#xff1f;看…

【微服务最全详解】

文章目录 微服务微服务的介绍微服务服务架构演变 微服务网关微服务的负载均衡微服务的容灾机制服务崩溃服务容灾机制微服务熔断机制微服务限流Sentinel怎么实现限流微服务限流算法1.令牌桶算法2.漏斗桶算法 服务监控日志收集 微服务 微服务的介绍 微服务是一种软件架构风格&a…

大模型日报2024-05-15

大模型日报 2024-05-15 大模型资讯 OpenAI推出全新AI模型GPT-4o&#xff0c;具备文本、图像和音频处理能力 摘要: OpenAI公司继ChatGPT后&#xff0c;最新推出了名为GPT-4o的AI模型。这一模型不仅能够理解和生成文本&#xff0c;还新增了图像和音频的解释及生成功能。GPT-4o作为…

中国开源 AI 大模型之光-InternLM2

今天给大家带来 AI 大模型领域的国产之光 - InternLM2&#xff0c;在10B量级开源大模型领域取得了全球 Top 3 的成绩&#xff0c;仅次于 Meta 发布的 Llama-3&#xff0c;在国内则是第一名的存在&#xff01; 简介 InternLM2是由上海人工智能实验室和商汤科技联合研发的一款大型…

最大子序列的分数

题目链接 最大子序列的分数 题目描述 注意点 n nums1.length nums2.length从nums1和nums2中选一个长度为k的子序列对应的下标对nums1中下标对应元素求和&#xff0c;乘以nums2中下标对应元素的最小值得到子序列的分数0 < nums1[i], nums2[j] < 1000001 < k < …