1. OpenAI⼤模型⽣态

OpenAI⼤模型⽣态并不只有⼀个模型,⽽是提供了涵盖⽂本、代码、对话、语⾳、图像领域的⼀系列模型。

基本介绍

语⾔类⼤模型:GPT-3、GPT-3.5、GPT-4系列模型。并且,OpenAI在训练GPT-3的同时,训练了参数不同、复杂度各不相同的A、B、C、D四项⼤模型(基座模型),⽤于不同场景的应⽤;

  • 其中,A、B、C、D模型的全称分别是ada、babbage、curie和davinci,四个模型并不是
    GPT-3的微调模型,⽽是独⽴训练的四个模型;
  • 四个模型的参数规模和复杂程度按照A-B-C-D顺序依次递增;
  • 虽不如GPT-3.5和GPT-4那么有名,但A、B、C、D四⼤模型却是⽬前OpenAI⼤模型⽣态中
    功能最丰富、API种类最多的四个模型;
  1. Ada:最小的版本,有 1.25 亿个参数。以艾达·洛芙莱斯(Ada Lovelace)的名字命名,她是查尔斯·巴贝奇(Charles Babbage)的朋友和同事,被认为是世界上第一位程序员。她为巴贝奇的差分机分析了算法,并编写了第一个计算机程序
  2. Babbage:中等规模的版本,有 6.7 亿个参数。以查尔斯·巴贝奇(Charles Babbage)的名字命名,他是19世纪的英国数学家和发明家,被称为“计算机之父”。他设计了差分机和解析机,这些机器被认为是现代计算机的前身。
  3. Curie:较大规模的版本,有 13 亿个参数。以居里夫妇(Marie Curie 和 Pierre Curie)的名字命名,他们是著名的物理学家和化学家,对放射性元素的研究做出了重要贡献。玛丽·居里是唯一一位获得两次诺贝尔奖的女性。
  4. Davinci:最大规模的版本,有 1750 亿个参数。以莱昂纳多·达·芬奇(Leonardo da Vinci)的名字命名,他是意大利文艺复兴时期的全才,以其在艺术、科学、工程和发明等领域的卓越成就而闻名。

图像多模态⼤模型:最新版为DALL·E(达利) v2,是DALL·E模型的第⼆版训练版,能够根据描述⽣成图像;

  • DALL·E模型为基于GPT-3开发的模型,总共包含120亿个参数,不难看出DALL·E对图像的理解能⼒源于⼤语⾔模型;
  • OpenAI将⼤语⾔模型的理解能⼒“复制”到视觉领域的核⼼⽅法:将图像视作⼀种⼀种语⾔,将其转化为Token,并和⽂本Token⼀起进⾏训练

语⾳识别模型:最新版为Whisper v2-large model,是Whisper模型的升级版,能够执⾏多语⾔语⾳识别以及语⾳翻译和语⾔识别;

  • Whisper模型是为数不多的OpenAI的开源模型,改模型通过68万⼩时的多语⾔和多任务监督数据进⾏的训练,⽬前提供了原始论⽂进⾏⽅法介绍;
  • Whisper模型可以本地部署,也可以像其他OpenAI⼤模型⼀样通过调⽤API进⾏在线使⽤,并且根据官⽹介绍,Whisper在线模型会有额外运⾏速度上的优化,通过调⽤API进⾏使⽤,效率更⾼(当然也需要⽀付⼀定的费⽤)

⽂本向化模型:Embedding⽂本嵌⼊模型,⽤于将⽂本转化为词向量,即⽤⼀个数组(向量)来表示⼀个⽂本,该⽂本可以是短语、句⼦或者⽂章;

  • 最新⼀代Embedding模型是基于ada模型微调的text-embedding-ada-002模型;
  • 通过将⽂本转化为词向量,就可以让计算机进⼀步的“读懂⽂本”,通过词向量的计算和分析和相似度计算,可以对其背后的⽂本进⾏搜索、聚类、推荐、异常检测和分类等
  • 最终,Embedding会将词、句⼦或者更⾼级别的语⾔结构,映射到⾼维空间的向ᰁ中,使得语义上相近的词或者句⼦在向ᰁ空间中的距离也较近;
  • 例如Embedding后的句⼦,“⽼⿏在找吃的”将和“奶酪”词向ᰁ接近,因为⼆者表意类似。⽽与之句
    式格式与之相近的“猫在找⻝物”,则距离更远;
  • GPT模型的Embedding层往往是在与训练过程中通过⾃回归训练完成,同时在微调时,也往往会修改Embedding层;

审查模型:Moderation模型,旨在检查内容是否符合 OpenAI 的使⽤政策。 这些模型提供了查找以下类别内容的分类功能:仇恨、仇恨/威胁、⾃残、性、性/未成年⼈、暴⼒和暴⼒/图⽚等。

编程⼤模型:Codex⼤模型,⽤GitHub数⼗亿⾏代码训练⽽成,能够“读懂”代码,并且能够根据⾃
然语⾔描述进⾏代码创建;

  • Codex最擅⻓Python,同时精通JavaScript、Go、Perl、PHP、Ruby、Swift、TypeScript、SQL,甚⾄ Shell 等⼗⼏种编程语⾔;
  • 该模型发布于2021年8⽉10⽇,⽬前代码编写功能已经合并⼊GPT-3.5,官⽹显示该模型为已弃⽤(deprecated)状态,意为后续不再单独维护,但并不表示OpenAI已放弃编程⼤模型,相反越来越多的编程功能被集成到语⾔⼤模型中;
  • ⽬前该模型集成于Visual Studio Code、GitHub Copilot、Azure OpenAI Service等产品中,⽤于提供⾃动编程功能⽀持;

在models->overiew中可查看⽬前OpenAI模型⼤类;
地址:https://platform.openai.com/docs/models/overview

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/663924.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Vue】指令之显示切换,属性绑定

Vue指令【2】 显示切换与属性绑定v-show指令v-if指令v-bind指令 显示切换与属性绑定 v-show指令 作用&#xff1a;根据真假切换元素的显示状态 指令后的内容最终都会解析为布尔值数据改变之后&#xff0c;对应元素的显示状态会同步更新 语法&#xff1a; <div id"…

[NOIP2013 提高组] 货车运输

[NOIP2013 提高组] 货车运输 题目背景 NOIP2013 提高组 D1T3 题目描述 A 国有 n n n 座城市&#xff0c;编号从 1 1 1 到 n n n&#xff0c;城市之间有 m m m 条双向道路。每一条道路对车辆都有重量限制&#xff0c;简称限重。 现在有 q q q 辆货车在运输货物&#x…

c++ STL less 的视角

c less 函数在不同的地方感觉所起的作用是不一样的&#xff0c; 这中间原因是 less 的视角不一样&#xff0c; 下面尝试给出解释下&#xff0c; 方便记忆 1、 左右视角 符合 排序sort less(value, element&#xff09; less 表示一种 “符合关系“&#xff0c; 表示sort 后…

关于Ubuntu下docker-mysql:ERROR 2002报错

报错场景&#xff1a; mysql容器创建好后登录mysql时即使密码正确也是报出下方提示&#xff1a; 原因是在创建mysql容器在创建时本地目录缺失&#xff0c; 先去自建一个目录&#xff0c;例如&#xff1a; /opt/my_sql 正确完整目录如下&#xff1a; docker run --namemys…

一个升级迁移11g到19c使用xtts遇到的小问题

oracle11.2.0.4到19.21 1.系统权限和对象权限&#xff0c;由于大小写对象名问题&#xff0c;如果使用expdp方式迁移可能存在丢失 迁移后需比对对象、权限&#xff0c;避免遗漏 set pagesize 0 set long 90000 set feedback off set echo off spool ddl.sql select dbms_meta…

2024数学建模美赛F题思路代码分享

非法的野生动物贸易会对我们的环境产生负面影响&#xff0c;并威胁到全球的生物多样性。据估 计&#xff0c;它每年涉及高达265亿美元&#xff0c;被认为是全球第四大非法交易。[1]你将开发一个由数 据驱动的5年项目&#xff0c;旨在显著减少非法野生动物贸易。你的目标是说服一…

【misc | CTF】攻防世界 2017_Dating_in_Singapore

天命&#xff1a;这次终于碰到了算是真正的misc题目了 下载附件&#xff0c;打开是PDF&#xff0c;我一开始以为是flag隐写在PDF里面了 虽然也不奇怪&#xff0c;应该是可以的&#xff0c;毕竟PDF有xss漏洞也是可以的 言归正传&#xff0c;打开PDF 看着新加坡的日历&#xff…

ubuntu 上安装和配置Apache2+Subversion

目录 一、安装Apache2和SVN 二、Apache2设置 三、subversion配置 四、创建仓库和设置权限 五、仓库备份和恢复 系统环境 Ubuntu Linux (20.04) apache2 Subversion(1.13.0) 一、安装Apache2和SVN 通过命令在线安装apache2和subversion apt-get install apache2 libap…

2023-12蓝桥杯STEMA考试 C++ 中高级试卷解析

蓝桥杯STEMA考试 C++ 中高级试卷(12月) 一、选择题 第一题 定义字符串 string a = "Hello C++",下列选项可以获取到字符 C 的是(B)。 A、a[7] B、a[6] C、a[5] D、a[4] 第二题 下列选项中数值与其它项不同的是( C)。 A、 B、 C、 D、 第三题 定义变量 int i =…

【Springcloud篇】学习笔记十(十七章):Sentinel实现熔断与限流——Hystrix升级

第十七章_Sentinel实现熔断与限流 1.Sentinel介绍 1.1是什么 随着微服务的流行&#xff0c;服务和服务之间的稳定性变得越来越重要。 Sentinel 以流量为切入点&#xff0c;从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。 用来代替Hystrix Sentinel 具有…

Electron+Vue3+Vite的产品级模板项目

1. electron-vue3-template 基于Vue3 Electron TypeScript的客户端程序模板&#xff0c;使用Vite和Electron Forge构建和打包。 真正做到开箱即用&#xff0c;面向跨平台客户端设计&#xff0c;产品级的项目模板。 项目地址&#xff1a; https://github.com/winsoft666/el…

原子Linux开发板拉流rtsp播放

书接上文&#xff0c;正点原子linux开发板使用ffmpeg api播放视频 现在可以从RTSP拉流了。 视频效果&#xff1a;B站播放拉流的效果 网盘链接 链接&#xff1a;https://pan.baidu.com/s/1ix5OoGJb877tryAETQRMgw 提取码&#xff1a;jc05 上一篇的代码存在内存泄漏的问题&…

第5课 使用FFmpeg将rtmp流再转推到rtmp服务器

本课对应源文件下载链接&#xff1a; https://download.csdn.net/download/XiBuQiuChong/88801992 通过前面的学习&#xff0c;我们已经可以正常播放网络rtmp流及本地mp4文件。这节课&#xff0c;我们将在前面的基础上实现一个常用的转推功能&#xff1a;读取rtmp流或mp4文件并…

架构学习(二):原生scrapy如何接入scrapy-redis,初步入局分布式

原生scrapy如何接入scrapy-redis&#xff0c;实现初步入局分布式 前言scrpy-redis分布式碎语 实现流程扩展结束 前言 scrpy-redis分布式 下图是scrpy-redis官方提供的架构图&#xff0c;按我理解&#xff0c;与原生scrapy的差异主要是把名单队列服务器化&#xff0c;也是存储…

Modbus协议学习第七篇之libmodbus库API介绍(modbus_write_bits等)

写在前面 在第六篇中我们介绍了基于libmodbus库的演示代码&#xff0c;那本篇博客就详细介绍一下第六篇的代码中使用的基于该库的API函数。另各位读者&#xff0c;Modbus相关知识受众较少&#xff0c;如果觉得我的专栏文章有帮助&#xff0c;请一定点个赞&#xff0c;在此跪谢&…

golang网络编程day3

golang网络编程day3 golang TCP聊天室golang UDP聊天室URL组成golang URL编程golang http编程http请求方法golanghttp框架 golang TCP聊天室 看懂例子把它理解好&#xff0c;知道实现的原理是什么&#xff0c;还可以自己实现出来。 忘了就看day2的讲解&#xff0c;里面的函数…

自然语言处理(NLP)—— Dialogflow ES聊天机器人

1. 背景介绍 这个实验室的目标是让你了解并使用Google的Dialogflow服务。Dialogflow是一个可以让你创建聊天机器人的服务&#xff0c;这个过程不需要或者只需要很少的编程技能。 1.1 账号的创建 为了完成这个实验室&#xff0c;你需要在以下网站上创建账号&#xff1a…

网络安全之SSL证书加密

简介 SSL证书是一种数字证书&#xff0c;遵守SSL协议&#xff0c;由受信任的数字证书颁发机构&#xff08;CA&#xff09;验证服务器身份后颁发。它具有服务器身份验证和数据传输加密的功能&#xff0c;能够确保数据在传输过程中的安全性和完整性。 具体来说&#xff0c;SSL证…

three.js CSS3DObject、CSS2DObject、CSS3DSprite、Sprite的作为标签的区别

CSS3DObject、CSS2DObject、CSS3DSprite、Sprite的作为标签的区别 是否面向相机场景缩放时&#xff0c;是否会跟随是否会被模型遮挡CSS2DObject是否否CSS3DObject否是否CSS3DSprite是是是Sprite是是是 CSS3DObject 和 CSS3DRenderer 搭配来渲染标签&#xff1b; CSS2DObject …

excel统计分析——卡方独立性检验(下)

参考资料&#xff1a;生物统计学 书接上文&#xff1a;https://blog.csdn.net/maizeman126/article/details/135893731 2、配对列联表 配对设计的数据&#xff0c;进行列联表检验时&#xff0c;采用McNemar-Bowker检验法进行检验。检验统计量为&#xff1a; 自由度dfk(k-1)/2…