李宏毅LLM——ChatGPT原理剖析

文章目录

  • Chat-GPT引言
  • 关键技术——预训练
  • 研究问题
  • 玩文字冒险游戏

ChatGPT原理剖析

Chat-GPT引言

  • 直观感受:结果有模有样、每次输出结果都不同、可以追问、幻想出的答案
  • 误解:罐头回答、答案是网络搜索的结果
  • 真正做的事:文字接龙,function,几率分布 -> 采样
    在这里插入图片描述
    不仅包含现在的输入还有过去的输入,大语言模型 = 文字接龙
    在这里插入图片描述
    训练:寻找函数的过程,使用了网络资料
    测试:没有联网
    在这里插入图片描述

关键技术——预训练

在这里插入图片描述
一般的机器学习:
督导式学习
在这里插入图片描述
在这里插入图片描述

人类提供资料有限,GPT就无法回答
在这里插入图片描述
使用网络上的文字来教GPT学习
在这里插入图片描述

  • GPT:2018年 117M模型,1G数据。单纯用网络资料学习
  • GPT-2:2019年,1542M模型,40G数据。开始像模像样地瞎掰,可以回答问题
  • GPT-3:2020年,175B模型,45T资料筛选出的570G数据(哈利波特全集的30w倍)。可以写程序了。
    参数量越大,正确率越高,但似乎接近极限了
    在这里插入图片描述
    网络资料的缺陷:不受控
    在这里插入图片描述
    解决:督导式学习,微调
    在这里插入图片描述
    预训练的帮助:也许人类不需要教会GPT所有语言。只教会GPT某一个语言的某种任务,自动学会其他语言的相同任务
    在这里插入图片描述
    多种语言预训练,只在某种语言上微调
    在这里插入图片描述
    增强式学习只需要人判断答案好不好就行
    在这里插入图片描述

研究问题

对NLP领域影响很大,也带来了新的研究方向。

  • 如何精准提升需求?催眠(Prompting)。有没有更好的方式找到prompting
    在这里插入图片描述
  • 如何更正错误?把某一个答案弄对,弄错了更多答案

在这里插入图片描述

  • 侦测AI生成的物件
    在这里插入图片描述
  • 不小心泄露人类秘密
    machine unlearning

在这里插入图片描述

玩文字冒险游戏

提供足够的prompting,midjourney生成图片

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/627987.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Cloud中的提供者与消费者

在服务调用关系中,会有两个不同的角色: 服务提供者:一次业务中,被其它微服务调用的服务。(提供接口给其它微服务) 服务消费者:一次业务中,调用其它微服务的服务。(调用…

Artipelag创意艺术展:在斯德哥尔摩的桥边,遇见莫奈!

近期,位于瑞典斯德哥尔摩的Artipelag 艺术博物馆策划了一场名为《想象莫奈》(Imagine Monet)的艺术展。 Artipelag除了通过传统的社交媒体来做宣传,还联合广告公司Sweet在线下策划了一次特别的宣传活动,以此来致敬这位…

openssl3.2 - 官方demo学习 - signature - EVP_ED_Signature_demo.c

文章目录 openssl3.2 - 官方demo学习 - signature - EVP_ED_Signature_demo.c概述笔记END openssl3.2 - 官方demo学习 - signature - EVP_ED_Signature_demo.c 概述 ED25519 签名/验签算法, 现在是最好的. 产生ED25519私钥/公钥 用私钥对明文签名, 得到签名数据 用公钥对明文…

CF1920 D. Array Repetition [细节规律题]

传送门:CF [前题提要]:一道*1800,本题思路很好想,就是找循环,但是细节较多,故写一篇题解 直接进入正题. 模拟一下题意,最后不难发现我们最后的字符串应该是一个字符串S1的循环加上一个S2的形式.(当然可能没有S2). 更具体的举一个小栗子,设 x , y , z , k x,y,z,k x,y,z,k为字…

Javascript——async、await详解

一、async、await是什么? async用于申明一个function是异步的; 而await则可以认为是 async await的简写形式,是等待一个异步方法执行完成的。**async函数** 通过在函数声明前加上async关键字,可以将任何函数转换为返回Promise的异…

nginx基本优化

安装nginx隐藏版本号 查看百度web服务器 [rootcjq11 ~]# curl -I http://www.baidu.com 隐藏nginx服务器版本号 [rootcjq11 ~]# cd /usr/local/src/nginx-1.22.0/ [rootcjq11 nginx-1.22.0]# vim src/core/nginx.h第13、14行修改版本号和服务器名称 [rootcjq11 nginx-1.2…

HAL库配置RS485通信

在配置好串口的基础上完成RS485的配置 一、使能RS485的发送和接收模式引脚 __HAL_RCC_GPIOG_CLK_ENABLE();//高电平是发送模式,低电平是接收模式,默认是接收模式HAL_GPIO_WritePin(PG4_RS485_DIR1_Port, PG4_RS485_DIR1_Pin, GPIO_PIN_RESET);GPIO_Init…

特征工程-特征处理(三)

特征处理 连续型变量处理(二) 多特征 降维 PCA PCA是一种常见的数据分析方式,通过数据分解,将高维数据降低为低维数据,同时最大程度保持数据中保存的信息。 from sklearn.decomposition import PCA A np.array([[84…

6、Pandas处理数据类型和缺失值

文章目录 简介数据类型缺失数据解决最常见的阻碍数据处理进展的问题 本节夸克网盘数据集链接:https://pan.quark.cn/s/07400ba46613 提取码:Z9sZ 简介 在本教程中,您将学习如何查看DataFrame或Series中的数据类型。您还将学习如何查找并替换数据。 数据类型 DataFrame或…

计算机毕业设计----SSH滑雪场场地租赁管理系统

项目介绍 该项目主要包括三个角色:管理员、收银员、用户; 用户角色包含以下功能: 用户登录,修改个人信息,查看我的订单等功能。 管理员角色包含以下功能: 管理员登录,滑雪场管理,订单管理,教练管理,器材管理,会员管理,收银员管…

【手撕C语言 第二集】初识C语言

​​ 一、变量的作用域和生命周期 作用域:一个变量在哪里可以使用它,哪里就是它的作用域。 局部变量的作用域:变量所在的局部范围 全局变量的作用域:整个工程 不管整个工程里面有多少源文件,都可以使用全局变量。这样…

WiFi7: ML建立流程

原文:ML (重)建立在non-AP MLD和AP MLD之间建立链接(link(s)),其基于(重)关联请求和(重)关联响应帧的简化完成。 NOTE-在以上流程之前,non-AP MLD和AP MLD必须进行认证流程。 原文:non-AP MLD可以发起 ML (重)建立,来建立一个或多个链接。Non-AP MLD必须发送(重)关联…

sqlilabs第五十七五十八关

Less-57(GET - challenge - Union- 14 queries allowed -Variation 4) 手工注入 Less-58(GET - challenge - Double Query- 5 queries allowed -Variation 1) 手工注入 报错注入就可以(布尔注入的话次数不够)(所以我们前面需要做够足够的数据支持) 最后…

关于 ant-design-vue resetFields 失效

关于 ant-design-vue resetFields 失效 背景: 遇到这样的问题使用ant-design-vue useForm来制作表单的时候,resetFields()失效 场景: 编辑 -赋值 新增-初始值(问题点:新增的时候他就不初始化) 方案&…

IDEA 常用快捷键(持续更新)

常用操作 快捷键描述Shift F10执行Alt /提示补全Ctrl /单行注释Ctrl Shift /多行注释Alt Enter根据光标所在问题,提供快速修复选择Alt Insert代码自动生成,如生成对象的构造函数等 查看源码 Ctrl Shifti出现类似于预览的小窗口Ctrl Enter完全…

【模板规范】会议纪要模板

文章目录 1、简介2、纪要模板2.1、表格类会议纪要2.2、文档类会议纪要2.3、简易版项目纪要 3、会议纪要3.1、作用3.2、特点3.2.1、工作会议纪要3.2.2、代表会议纪要3.2.3、座谈会议纪要3.2.4、联席会议纪要3.2.5、办公会议纪要3.2.6、汇报会议纪要3.2.7、技术鉴定会议纪要 3.3、…

C++ 之LeetCode刷题记录(十一)

😄😊😆😃😄😊😆😃 开始cpp刷题之旅。 向耗时0s前进。 67. 二进制求和 给你两个二进制字符串 a 和 b ,以二进制字符串的形式返回它们的和。 示例 1: 输入…

笙默考试管理系统-MyExamTest----codemirror(72)

笙默考试管理系统-MyExamTest----codemirror(72) 目录 一、 笙默考试管理系统-MyExamTest----codemirror 二、 笙默考试管理系统-MyExamTest----codemirror 三、 笙默考试管理系统-MyExamTest----codemirror 四、 笙默考试管理系统-MyExamTest--…

JavaScript 中生成二维码,你可以使用第三方库,其中最流行和广泛使用的是 QRCode.js。以下是使用 QRCode.js 生成二维码的基本步骤:

要在 JavaScript 中生成二维码,你可以使用第三方库,其中最流行和广泛使用的是 QRCode.js。以下是使用 QRCode.js 生成二维码的详细的步骤如下: 步骤 1: 引入 QRCode.js 库 首先,将 QRCode.js 库引入到你的 HTML 文件中。你可以从…

【高危】Apache Solr 环境变量信息泄漏漏洞

漏洞描述 Apache Solr 是一款开源的搜索引擎。 在 Apache Solr 受影响版本中,由于 Solr Metrics API 默认输出所有未单独配置保护策略的环境变量。在默认无认证或具有 metrics-read 权限的情况下,攻击者可以通过向 /solr/admin/metrics 端点发送恶意请…