Karpathy认为“LLM”这个名字不准确 马斯克非常赞同

LLM 应该改名吗?你怎么看。在 AI 领域,几乎每个人都在谈论大型语言模型,其英文全称为 Large Language Models,简写为 LLM。因为 LLM 中有“Language”一词,因此,大家默认这种技术和语言密切相关。然而,知名 AI 大牛 Andrej Karpathy 却对此有着独特的见解:

在这里插入图片描述
“大型语言模型(LLM)名字虽然带有语言二字,但它们其实与语言关系不大,这只是历史问题,更确切的名字应该是自回归 Transformer 或者其他。

LLM 更多是一种统计建模的通用技术,它们主要通过自回归 Transformer 来模拟 token 流,而这些 token 可以代表文本、图片、音频、动作选择、甚至是分子等任何东西。因此,只要能将问题转化为模拟一系列离散 token 的流程,理论上都可以应用 LLM 来解决。

实际上,随着大型语言模型技术栈的日益成熟,我们可能会看到越来越多的问题被纳入这种建模范式。也就是说,问题固定在使用 LLM 进行『下一个 token 的预测』,只是每个领域中 token 的用途和含义有所不同。

如果核心问题真的变成了预测下一个 token,那么深度学习框架(例如 PyTorch 及其同类框架, 因为 PyTorch 提供了过于广泛的操作和层的可配置性而显得过于普通)也可能过于普通,无法满足大多数问题随时间推移的需要。如果 80% 的问题只需要使用 LLM 来解决,那么成千上万个可以随意重新配置的操作和层又有什么用呢?我认为这不是真的,但我认为它只对了一半。”

Karpathy 的这番言论引来很多人围观,浏览量高达 20 多万。

在这里插入图片描述
Karpathy 曾是 OpenAI 的早期成员之一,之后加入特斯拉领导其自动驾驶的计算机视觉团队。之后他又回到过 OpenAI,领导着一个专注提升 ChatGPT 的 GPT-4 的小团队。今年 7 月,他宣布创立了一家名为 Eureka Labs 的 AI + 教育公司。

在这里插入图片描述
作为前排吃瓜群众的马斯克非常赞同的表示:这绝对需要一个新名字,“多模态 LLM(Multimodal Large Language Models)”是一个特别愚蠢的名字,因为第一个词与第三个词相矛盾!
在这里插入图片描述

机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 也非常赞同,他表示:如果将 LLM 改为自回归 Transformers 或者其他名字的话,那 Mamba、Jamba、Samba 可以申请加入吗。不管怎样,还是非常赞同 Karpathy 观点。

在这里插入图片描述
不过,来自 OpenAI 的研究者 Clive Chan 却表示:另一方面,也许所有可以用自回归方式表达的东西都可以被视为一种语言。任何事物都可以被转化为一串 token 流,因此从这个角度看,一切都是语言!

对于这种说法,Karpathy 回复到:当然,你可以想象说话纹理、说话分子等等。但我所观察到的是,语言这个词误导了人们认为大型语言模型(LLM)只限于文本应用。

在这里插入图片描述
在 Meta 从事 PyTorch 研究的 Horace He 表示:确实,深度学习框架可能在某些方面过于普遍。尽管如此,即便只是针对大型语言模型(LLM),实际运行的操作也有很大的变化。这包括新的注意力操作、混合专家模型(MoE)、不同变体的激活检查点、不同的位置嵌入等。

在 Horace He 看来,这些技术的多样性说明,即使是在专注于 LLM 的应用中,深度学习框架的通用性也是有其必要性的,以适应不断发展和变化的模型需求。

在这里插入图片描述
“像 LLMs、GPT 和 RLHF 这样的术语现在变成主流,这实在有些奇怪。通常,一个领域向更广泛的世界介绍自己时并不会这样做(在我看来,这也是有些机构品牌推广失败的原因)。”有人发表了这样的观点。

这种情况反映了复杂技术术语的普及可能并不总能有效地代表其真实的应用和影响,有时甚至可能导致公众理解上的困难。

在这里插入图片描述
还有网友认为,“Large”这个词用的也不好,因为今天的“大”在未来会显得“小”。

在这里插入图片描述
“ 同样的情况也适用于电话和计算机领域,看起来最初的术语往往会保持使用。”

在这里插入图片描述
这不由得让我们想起 AI 领域各种命名方式,早期的名称往往因为先入为主的效应而被广泛沿用,即使随着技术的演进,这些名称可能已不再准确描述其功能了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/54259.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Rust:深入浅出说一说 Error 类型

1. Rust 的错误返回机制 Rust 函数计算过程如果发生错误怎么办?Rust没有采取 C 的异常机制,而是允许直接返回错误信息。 这意味着,Rust 提供了错误返回机制,允许函数正常结束时返回计算结果,同时,如果计算…

纯小白安装pytorch(快速上手)

1.首先进入你的虚拟环境(不进入也没关系) 在anaconda prompt中打开,输入activate 虚拟环境2.查看自己的conda源 conda config --show channels3.清空自己的conda源 conda config --remove-key channels4.添加源 conda config --add channels https://mirrors.tu…

蓝桥杯-STM32G431RBT6(解决LCD与LED引脚冲突的问题)

一、LCD与LED为什么会引脚冲突 LCD与LED引脚共用。 网上文章是在LCD_WriteRAM、LCD_WriteRAM_Prepare、LCD_WriteReg中添加,但问题并没有解决。 二、使用步骤 在如下函数中加入uint16_t tempGPIOC->ODR; GPIOC->ODRtemp; LCD_Init(); void LCD_C…

动态规划:07.路径问题_珠宝的最大价值_C++

题目链接:LCR 166. 珠宝的最高价值 - 力扣(LeetCode)https://leetcode.cn/problems/li-wu-de-zui-da-jie-zhi-lcof/description/ 一、题目解析 题目: 解析: 有过做前几道题的经验,我们会发现这道题其实就…

IDEA甚至前进后退跳转键

1:快捷键设置 idea设置前进、后退快捷键_idea后退前进快捷键-CSDN博客 2:界面设置 IDEA添加“前进 后退 ”添加到工具栏_idea 最新社区版 左右箭头怎么设置-CSDN博客

安卓显示驱动

安卓显示驱动是用于在Android设备上提供图形和视频显示的底层软件组件。 显示驱动在Android系统中扮演着至关重要的角色,它们负责将图形和视频内容从系统内存传输到显示屏上。这些驱动程序确保了用户界面、图像、视频和游戏等视觉元素的正常显示。以下是关于安卓显…

SpringBoot2:web开发常用功能实现及原理解析-上传与下载

文章目录 一、上传文件1、前端上传文件给Java接口2、Java接口上传文件给Java接口 二、下载文件1、前端调用Java接口下载文件2、Java接口下载网络文件到本地3、前端调用Java接口下载网络文件 一、上传文件 1、前端上传文件给Java接口 Controller接口 此接口支持上传单个文件和…

如何准备教师资格证科目三“学科知识与教学能力”的考试与面试?(理科导向:数学/物理)

如何准备教师资格证科目三“学科知识与教学能力”的考试与面试?(理科导向:数学/物理) ​ 目录 收起 1 前言 1.1 自身经历 1.2 教师资格证的作用 2 知识点题型分数的分布与学习建议 2.1 科目三的知识点分数分布: …

MessagesPlaceholder

MessagesPlaceholder 在LangChain框架中是一个非常重要的概念,它主要用于在构建自然语言处理(NLP)应用时,实现消息模板的动态插入和格式化。以下是对MessagesPlaceholder的详细解释: 一、定义与作用 MessagesPlacehol…

求和(2)

题目描述 输入两个正整数 l,r,编程计算 l(l1)(l2)...(r−1)r 的结果并输出。 输入格式 一行两个整数 l 和 r 输出格式 一个整数,根据题意计算后的结果 样例数据 样例输入#1 1 5样例输出#1 15样例输入#2 8 10样例输出#2 27数据范围 对于100%的…

Pycharm中虚拟环境依赖路径修改

引言 在pycharm中创建完虚拟环境后,它会自动将同文件夹底下的site_pakages等子文件夹作为该虚拟环境的依赖项。我们可以通过sys.path来查看当前虚拟环境的依赖路径,在这些依赖路径底下的包就可以被import到。但有些情况下,在我们创建了一个虚…

【Ubuntu】虚拟机安装USB摄像头ROS驱动 usb_cam(最新方法)

写在前面: 🌟 欢迎光临 清流君 的博客小天地,这里是我分享技术与心得的温馨角落。📝 个人主页:清流君_CSDN博客,期待与您一同探索 移动机器人 领域的无限可能。 🔍 本文系 清流君 原创之作&…

Nest.js

Nestjs中文文档链接 TypeORM 中文文档 小满视频 1. 安装Nest.js 安装脚手架 npm i -g nestjs/cli创建nestjs工程 nest new工程目录 app.module.ts 根模块用于处理其他类的引用与共享。app.controller.ts 常见功能是用来处理http请求(处理请求的路径&#xff09…

如何升级用 Helm 安装的极狐GitLab Runner?

本分分享如何对 Helm 安装的 Runner 进行升级。整个过程分为三步:1、确定 Runner 最新版本或者想要升级的版本是否存在;2、用 Helm upgrade 命令进行升级;3、升级确认。 极狐GitLab 为 GitLab 的中国发行版,中文版本对中国用户更…

react18基础教程系列-- 框架基础理论知识mvc/jsx/createRoot

react的设计模式 React 是 mvc 体系,vue 是 mvvm 体系 mvc: model(数据)-view(视图)-controller(控制器) 我们需要按照专业的语法去构建 app 页面,react 使用的是 jsx 语法构建数据层,需要动态处理的的数据都要数据层支持控制层: 当我们需要…

1730. 购买贺年卡

代码 #include<bits/stdc.h> using namespace std; struct c {int a,b; }t[1005]; int cmp(c a,c b) {return a.a>b.a; } int main() {int n,m,sum0;cin>>n>>m;for(int i1;i<m;i){cin>>t[i].a>>t[i].b;}sort(t1,t1m,cmp);for(int im;i&g…

如何在Linux下升级R版本和RStudio

一、升级R版本 在Linux上&#xff0c;R的安装通常通过包管理器完成。不同的Linux发行版&#xff08;如Ubuntu、Debian、Fedora等&#xff09;可能略有不同。下面以Ubuntu为例&#xff0c;介绍如何升级R版本。如果你使用其他发行版&#xff0c;步骤可能类似。 二.更新步骤 2.…

【可视化大屏系列】数据列表自动滚动效果

要实现列表的自动滚动效果&#xff0c;这里提供两种解决方案&#xff1a; 1.vue插件 官方文档&#xff1a;链接: vue-seamless-scroll &#xff08;1&#xff09;安装依赖 npm install vue-seamless-scroll --save&#xff08;2&#xff09;全局注册&#xff08;main.js中&a…

H5依赖安装

依赖安装 git和sourceTree编辑器使用vscode下载nvm 和nodejs git和sourceTree 使用 ssh-keygen -t rsa 进行密钥获取 git下载地址&#xff1a;https://git-scm.com/ sourceTree下载地址&#xff1a;https://www.sourcetreeapp.com/ 编辑器使用vscode 最新版网址&#xff1a;…

【机器学习】--- 自监督学习

1. 引言 机器学习近年来的发展迅猛&#xff0c;许多领域都在不断产生新的突破。在监督学习和无监督学习之外&#xff0c;自监督学习&#xff08;Self-Supervised Learning, SSL&#xff09;作为一种新兴的学习范式&#xff0c;逐渐成为机器学习研究的热门话题之一。自监督学习…