大语言模型学习笔记-1

1. GPT发展历程

  • GPT-1:通用文本训练+特定任务微调
  • GPT-2/GPT-3:扩大与训练数据和模型参数规模,显著提升模型性能,并确立了基于自然语言形式的通用任务解决路径。
  • GPT-3.5:在GPT-3的基础上,通过代码训练、人类对其、工具使用等技术对模型性能不断升级推出GPT-3.5系列模型
  • GPT-4:全面提升->GPT-4V:拥有多模态功能

1.1 GPT敲重点:

  1. 可拓展的训练架构和学习范式:transformer架构能够拓展到百亿、千亿甚至万亿的参数规模,并且将预训练任务统一为预测下一个单词这一通用学习范式;
  2. 对于数据质量和数据规模的重视:不同于bert时代的预训练语言模型,这次大语言模型的成功与数据有着更为紧密的关系。

2. 语言模型发展历程

  • 统计语言模型(SLM):
    • 使用马尔可夫假设来建立语言序列的预测模型,通常是根据词序列中若干个连续的上下文单词来预测下一个词的出现概率。具有固定上下文长度n的统计语言模型通常被称为n-gram模型。
    • 缺点:随着n的增加,需要估计的转移概率项数呈现指数级增长,会受到“维数灾难”。
    • 缓解数据稀疏:平滑策略:回退估计/古德-图灵估计
  • 神经语言模型(NLM):
    • 使用神经网络来建模文本序列的生成,如RNN
    • word embedding:word2vec
  • 预训练语言模型(PLM):
    • 训练架构和训练数据做了改进和创新
    • ELMo:使用大量的无标注数据训练双向的LSTM,预训练完成的biLSTM可以用来学习上下文感知的单词表示,可以根据下游任务数据对biLSTM网络进行微调,实现特定任务的模型优化。缺点:对长文本建模能力较弱,不容易并行训练。
    • 基于Self-attention的transformer:通过自注意力机制建模长程序列关系。
      • 优点:对硬件友好,可以通过GPU或者TPU进行加速训练,提供可并行优化的神经网络架构。
    • 基于transformer架构,谷歌提出BERT,采用了仅有编码器的transformer架构,并通过在大规模无标注数据上使用专门设计的预训练任务来学习双向语言模型。
    • 同期,基于transformer架构,GPT-1开始训练,
    • bert vs gpt-1:gpt-1采用了仅有解码器的transformer架构,以及基于下一个词元预测的预训练任务进行模型的训练。
    • 编码器 vs 解码器:编码器架构被人为更加适合解决自然语言理解任务,如完形填空,解码器架构更适合解决自然语言生成任务,如文本摘要等。
    • 确立了预训练+微调的范式
  • 大语言模型(LLM):
    • 增加模型参数或数据规模可以带来下游任务模型性能的提升。即扩展法则:scaling law。

    • GPT-3 175B,PaLM:540B, BERT:330M,GPT-2:1.5B

    • GPT-3可以通过上下文学习(ICL)的方式来利用少样本数据解决下游任务,GPT-2不具备这个能力。

    • 特点:

      • 具有较为丰富的世界知识
      • 具有较强的通用任务解决能力
      • 具有较强的复杂任务推理能力
      • 具有较强的人类指令遵循能力
      • 具有较好的人类对齐能力
      • 具有可拓展的工具使用能力

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/26278.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VCS基本仿真

这里记录三种仿真方式: 第一种是将verilog文件一个一个敲在终端上进行仿真; 第二种是将多个verilog文件的文件路径整理在一个文件中,然后进行仿真; 第三种是利用makefile文件进行仿真; 以8位加法器为例: …

一二三应用开发平台应用开发示例(2)——创建应用、模块、实体及配置模型

创建应用 文档管理系统对于开发平台是一个业务应用。 业务应用是通过平台内置的数据字典来维护的,因此访问系统管理模块下的数据字典管理功能,在实体配置分组下找到“应用编码”,点击行记录上的“字典项”。 在打开的新窗口中,在…

神经网络使用Xavier参数初始化的本质

参数初始化的意义和目的 深度学习中的各种参数初始化方法都旨在保持正向传播时数据流方差的稳定与反向传播时梯度流方差的稳定,从而缓解梯度消失或梯度爆炸问题。 先前在反向传播这篇文章里介绍过参数初始化对于深度学习的重要性,本文不再赘述。 在该文最后的例子中可以看…

ELasticSearch数据迁移方案-elasticdump

前言 在企业实际生产环境中,避免不了要对es集群进行迁移、数据备份与恢复,以此来确保数据的可用性及完整性。因此,就涉及到了数据备份与恢复。本章主要以elasticdump工具为主,来迁移数据;如果按照索引来迁移的话,我们的…

超详解——Python 元组详解——小白篇

目录 1. 元组简介 创建元组 2. 元组常用操作 访问元组元素 切片操作 合并和重复 成员操作符 内置函数 解包元组 元组方法 3. 默认集合类型 作为字典的键 作为函数参数 作为函数的返回值 存储多种类型的元素 4.元组的优缺点 优点 缺点 5.元组的使用场景 数据…

如何降低pcdn的延迟?

要降低P2P CDN的延迟,可以采取以下操作: 一.优化网络连接: 1、使用有线网络连接替代无线连接,因为有线连接通常提供更稳定的数据传输。 2、升级家庭或企业路由器,选择性能更好的路由器以提高网络传输速度…

6月11号作业

思维导图 #include <iostream> using namespace std; class Animal { private:string name; public:Animal(){}Animal(string name):name(name){//cout << "Animal&#xff1b;有参" << endl;}virtual void perform(){cout << "讲解员的…

【FineReport】帆软调用服务器的kettle作业

1、编写自定义函数并编译 package com.fr.function;import ch.ethz.ssh2.ChannelCondition; import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import ch.ethz.ssh2.StreamGobbler; import com.fr.script.AbstractFunction;import java.io.BufferedReader; impo…

【web APIs】快速上手Day02

文章目录 Web APIs - 第2天事件事件监听案例一 :京东点击关闭顶部广告案例二&#xff1a;随机点名案例拓展知识-事件监听版本 双击事件 事件类型鼠标事件综合案例-轮播图完整版 焦点事件综合案例-小米搜索框案例 键盘事件文本事件 事件对象综合案例-按下回车发布评论 环境对象回…

算法day27

第一题 515. 在每个树行中找最大值 首先是遍历每层的节点&#xff0c;将每一层最大值的节点的值保留下来&#xff0c;最后将所有层的最大值的表返回&#xff1b;具体的遍历每层节点的过程如上一篇故事&#xff1b; 综上所述&#xff0c;代码如下&#xff1a; /*** Definition …

openssl工具国际/国密签名命令行流程

openssl工具国际/国密签名命令的流程 国际签名算法(RSA2048 + SHA256)1. 生成privkey2. 生成pubkey3. 生成签名验证签名国密算法签名(SM2 + SM3)1. 生成privkey2. 生成pubkey3. 生成sm34. 生成签名5. 验证签名跳槽文档带不出来,每次开发设计安全启动都要重新调试一边opens…

数据结构与算法题目集(中文) 6-3 求链表的表长

该代码使用循环遍历链表来计算链表的长度。代码首先定义了一个整数变量i用于计数&#xff0c;并初始化为0。然后进入一个while循环&#xff0c;条件为链表L非空。在循环中&#xff0c;通过L L->Next来遍历链表中的每一个节点&#xff0c;并将计数变量i递增。最终返回计数变…

2024海南省大数据教师培训-Hadoop集群部署

前言 本文将详细介绍Hadoop分布式计算框架的来源&#xff0c;架构和应用场景&#xff0c;并附上最详细的集群搭建教程&#xff0c;能更好的帮助各位老师和同学们迅速了解和部署Hadoop框架来进行生产力和学习方面的应用。 一、Hadoop介绍 Hadoop是一个开源的分布式计算框架&…

文献解读-农业系列-第七期|《高粱驯化的基因组足迹和多种最终用途的育种选择》

关键词&#xff1a;高粱基因分析&#xff1b;基因组变异检测&#xff1b;全基因组重测序&#xff1b; 文献简介 标题&#xff08;英文&#xff09;&#xff1a;Genomic footprints of sorghum domestication and breeding selection for multiple end uses标题&#xff08;中文…

【Linux系统化学习】传输层——TCP协议

目录 预备知识 全双工协议 协议缓冲区 TCP协议 TCP协议格式 六个标志位 两个问题 确认应答机制 流量控制 超时重传机制 连接管理机制 CLOSE_WAIT状态 TIME_WAIT状态 滑动窗口 拥塞控制 延迟应答 捎带应答 粘包问题 TCP的异常情况 TCP小结 TCP/UDP协议对比…

python数据处理分析库(二)

目录 一、Scikit-Learn 二、TensorFlow and Keras 三、BeautifulSoup and Requests 一、Scikit-Learn 场景&#xff1a;机器学习建模和评估&#xff0c;分类、回归、聚类、模型评估简单示例&#xff1a; from sklearn.model_selection import train_test_split from sklear…

MAC认证

简介 MAC认证是一种基于接口和MAC地址对用户的网络访问权限进行控制的认证方法&#xff0c;它不需要用户安装任何客户端软件。设备在启动了MAC认证的接口上首次检测到用户的MAC地址以后&#xff0c;即启动对该用户的认证操作。认证过程中&#xff0c;不需要用户手动输入用户名…

成都跃享未来教育抖音小店深度解析靠谱与否

在如今网络购物日益繁荣的时代&#xff0c;抖音小店以其独特的平台优势和庞大的用户基础&#xff0c;吸引了越来越多的商家入驻。成都跃享未来教育咨询有限公司便是其中之一&#xff0c;它的抖音小店究竟靠不靠谱呢&#xff1f;今天&#xff0c;我们就来一起揭开这个谜底。 首…

Web前端开发岗位:深度解析与未来展望

Web前端开发岗位&#xff1a;深度解析与未来展望 Web前端开发岗位&#xff0c;作为互联网行业的核心力量之一&#xff0c;承载着网站与应用的视觉呈现与交互设计。在这个岗位中&#xff0c;开发者们不仅需要掌握丰富的技术知识&#xff0c;还需具备创新的思维和敏锐的审美眼光…

刷题训练之分治归并

> 作者&#xff1a;დ旧言~ > 座右铭&#xff1a;松树千年终是朽&#xff0c;槿花一日自为荣。 > 目标&#xff1a;熟练掌握分治归并算法。 > 毒鸡汤&#xff1a;学习&#xff0c;学习&#xff0c;再学习 ! 学&#xff0c;然后知不足。 > 专栏选自&#xff1a;刷…