2023春季李宏毅机器学习笔记 01 :正确认识 ChatGPT

资料

  • 课程主页:https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php
  • Github:https://github.com/Fafa-DL/Lhy_Machine_Learning
  • B站课程:https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800

一、对Chatgpt的误解

常见误解

  1. 给出的回答不是已经准备好的(罐头回应×)
  2. 不是网络上搜索得出的答案(甚至有很多幻想出来的答案)

原理
在这里插入图片描述

二、预训练

ChatGPT:chat Generative Pre-trained Transformer
关键技术:

  • Pre-train(预训练)=Self supervised Leaarning(自督导式学习)
  • Foundation Model:基石模型
  • Fintune:微调
    在这里插入图片描述
    在这里插入图片描述

三、ChatGPT带来的研究问题

  1. 如何精准提出需求?
    目前使用的方法:Prompting
    创新点:有没有比人工尝试更加系统性的方法?
  2. 如何更正错误?
    目前没有较好的解决方法
    创新点:新研究题目Neural Editing
  3. 甄别AI生成的内容
  4. 泄露秘密、隐私信息
    创新点:新的研究题目:Machine Unlearning

四、文字冒险游戏

在这里插入图片描述

五、ChatGPT是怎么练成的?

ChatGPT的“兄弟”:InstructGPT,论文地址:https://arxiv.org/abs/2203.02155

ChatGPT学习四阶段

  1. 学习文字接龙
    不需要人工标注,在网络上收集语句,对输入句子(字)后面可以接的字进行概率统计,每次输出高概率的字(每一次输出都不同)

  2. 人类老师引导文字接龙方向
    人来思考问题,并人工提供答案(不需要很多,目的只是为了让GPT知道人们希望得到的答案)

  3. 模仿人类老师的喜好
    训练Teacher Model让希望输出的答案的“分数”大于其他输出

  4. 用增强式学习向模拟老师学习

六、延伸学习

分类
回归

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/592480.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CISSP 第5章 保护资产的安全

1、资产识别和分类 1.1 敏感数据 1.1.1 定义 敏感数据是任何非公开或非机密的信息,包括机密的、专有的、受保护的或因其对组织的价值或按照现有的法律和法规而需要组织保护的任何其他类型的数据。 1.1.2 个人身份信息PII 个人身份信息(PII&#xff09…

python旅游大数据分析可视化大屏 游客分析+商家分析+舆情分析 计算机毕业设计(附源码)Flask框架✅

毕业设计:2023-2024年计算机专业毕业设计选题汇总(建议收藏) 毕业设计:2023-2024年最新最全计算机专业毕设选题推荐汇总 🍅感兴趣的可以先收藏起来,点赞、关注不迷路,大家在毕设选题&#xff…

[GKCTF 2020]ez三剑客-eztypecho

[GKCTF 2020]ez三剑客-eztypecho 考点:Typecho反序列化漏洞 打开题目,发现是typecho的CMS 尝试跟着创建数据库发现不行,那么就搜搜此版本的相关信息发现存在反序列化漏洞 参考文章 跟着该文章分析来,首先找到install.php&#xf…

Ubuntu20.04安装suiteCRM

两篇有用的文章 在ubuntu16.04上安装suitecrm_suitecrm ubuntu-CSDN博客 SuiteCRM搭建安装(apachemsyqlphp)_suitecrm 宝塔安装-CSDN博客 对照着一步步操作就可以了

基于多反应堆的高并发服务器【C/C++/Reactor】(中)处理任务队列中的任务 添加 删除 修改

(1)EventLoop启动 EventLoop初始化和启动 // 启动反应堆模型 int eventLoopRun(struct EventLoop* evLoop) {assert(evLoop ! NULL);// 取出事件分发和检测模型struct Dispatcher* dispatcher evLoop->dispatcher;// 比较线程ID是否正常if(evLoop-&…

grep -A -B -C 输出匹配行及相邻行

grep -A -B -C 输出匹配行及相邻行 grep --help 摘抄&#x1f447; 文件控制&#xff1a; -B, --before-context数值 打印前面 <数值> 行上下文-A, --after-context数值 打印后面 <数值> 行上下文-C, --context数值 打印前后 <数值> 行上下文 文件控制&#…

python小工具之弱密码检测工具

一、引用的python模块 Crypto&#xff1a; Python中一个强大的加密模块&#xff0c;提供了许多常见的加密算法和工具。它建立在pyc.ypodome或pyc.ypto等底层加密库之上&#xff0c;为Python程序员提供了简单易用的API&#xff0c;使其可以轻松地实现各种加密功能。 commands…

STM32MP157D-DK1 Qt程序交叉编译与运行测试

上篇文章介绍了STM32MP157D-DK1开发板Qt镜像的构建&#xff0c;通过在Ubuntu中重新编译带有Qt功能的系统来实现。 本篇在上篇的基础上&#xff0c;继续搭建Qt的交叉编译环境&#xff0c;实现Qt程序在Ubuntu中编译&#xff0c;在STM32MP157板子中运行。 1 编译安装SDK 在上篇…

阿里云和腾讯云服务器系统盘40G或50G空间够用吗?

云服务器系统盘40G或50G空间够用吗&#xff1f;够用&#xff0c;操作系统一般占用几个GB的存储空间&#xff0c;尤其是Linux操作系统占用空间容量更小&#xff0c;阿里云和腾讯云服务器系统盘默认提供的40GB高效云盘或50G通用型SSD云硬盘&#xff0c;阿腾云atengyun.com分享是否…

写你的第一个Vue程序

Vue.js渐进式JavaScript框架&#xff0c;Vue是一款用于构建用户界面的JavaScript框架。它基于标准HTML、CSS和JavaScript构建&#xff0c;并提供了一套声明式的、组件化的编程模型&#xff0c;帮助开发者高效地开发用户界面。 写你的第一个Vue程序 <!DOCTYPE html> <…

【机器学习前置知识】多项式分布

多项式分布是二项式分布的推广。 在二项分布这篇文章中我们曾以抛硬币举例&#xff1a;在一次抛硬币实验中结果只有两种情况&#xff0c;正面或反面向上&#xff1b;在 n n n 次抛硬币实验中&#xff0c;正面向上出现 k k k 次的有 C n k n ! k ! ( n − k ) ! C_{n}^k{n!…

计算机组成原理-总线的性能指标

文章目录 总览总线周期 总线时钟周期 总线工作频率 总线时钟频率总线宽度 总线带宽例题串行总线和并行总线的速度&#xff08;带宽&#xff09;比较总线复用 信号线数总结 总览 总线周期 总线时钟周期 总线工作频率 总线时钟频率 一个总线周期就是指利用总线传输一组数据需要的…

详解进制之间的转换

目录 一、十进制转换 1、十进制转换为二进制 2、十进制转换为八进制 3、十进制转换为十六进制 二、二进制转换 1、二进制转换为八进制 2、二进制转换成十进制 3、二进制转换为十六进制 三、八进制转换 1、八进制转换成二进制 2、八进制转换成十进制 3、八进制转换成…

宝塔面板安装mysql出现最低内存和最低CPU限制的解决方案

当我们服务器配置不高时&#xff0c;在宝塔面板中安装mysql可能会出现&#xff1a;“至少需要2个CPU核心才能安装”或者“至少需要XXX内存才能安装”。这是宝塔面板为了保证服务器的运行&#xff0c;宝塔面板对于低内存和低CPU的服务器&#xff0c;安装mysql时有最低内存和CPU核…

Linux mail自动推送邮件脚本+一键发送邮件脚本

文章目录 说明配置mail安装mail配置mail自动推送邮件脚本定时任务mail_push.shmessage.info效果预览一键发送邮件脚本mail_sent.sh效果预览说明 自动推送邮件脚本:每日定时推送提前定义好的文本数据,以作提醒 mail_push.shmessage.info一键发送邮件脚本:交互式输入邮件主题和…

代价函数详解

代价函数详解 大家好&#xff0c;我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;在计算机科学和机器学习领域中&#xff0c;代价函数&#xff08;Cost Function&#xff09;是一个至关…

Spring Boot中WebMvcConfig配置详解及示例

引言&#xff1a; 在Spring Boot项目中&#xff0c;我们经常需要对Web MVC进行配置&#xff0c;以满足项目的特定需求。例如&#xff0c;设置静态资源映射、自定义消息转换器或生成Swagger接口文档等。今天&#xff0c;我们将详细探讨如何在Spring Boot中通过WebMvcConfig类进行…

C#线程基础(线程启动和停止)

目录 一、关于线程 二、示例 三、生成效果 一、关于线程 在使用多线程前要先引用命名空间System.Threading&#xff0c;引用命名空间后就可以在需要的地方方便地创建并使用线程。 创建线程对象的构造方法中使用了ThreadStart()委托&#xff0c;当线程开始执行时&#xff0c…

JSON 的常见格式总结

目录 1、JSON 数值 2、JSON 字符串 3、JSON 数组 4、JSON 对象 5、JSON 对象为数组 1、JSON 数值 { “age”:20 } 2、JSON 字符串 { “name”:”cyk” } 3、JSON 数组 { “hobay”:[“dd”,”foot”,”basket”] } 4、JSON 对象 { “chongwu”: { “name”:”dog…

LeetCode第32题 : 最长有效括号

题目介绍 给你一个只包含 ( 和 ) 的字符串&#xff0c;找出最长有效&#xff08;格式正确且连续&#xff09;括号子串的长度。 示例 1&#xff1a; 输入&#xff1a;s "(()" 输出&#xff1a;2 解释&#xff1a;最长有效括号子串是 "()" 示例 2&#xf…