【AI学习】什么是token?

在近期举办的Stripe Sessions用户大会上,移动支付巨头Stripe的联合创始人兼CEO帕特里克·克里森(Patrick Collison),与英伟达CEO黄仁勋进行了一场炉边对话。
黄仁勋提到:“我们正在经历一场前所未有的工业革命。这次工业革命的核心在于我们首次大规模生产了一种全新的东西——Token。这些Token,即浮点数,具有巨大的价值,因为它们代表着智能,即人工智能。它们可以被重新组合,转化为语言、蛋白质、化学品、图形、图像、视频、机器人驱动等多种形式。我们正在以前所未有的规模生产Token,并通过人工智能发现了几乎任何类型Token的生产方式。因此,世界将生产大量的Token,这些Token将在新型的数据中心——我们称之为AI工厂中生产。在上一次工业革命中,水被注入机器,转化为蒸汽,进而驱动电子的流动,原子进入循环,而电力则作为最终产物输出。在当时,电子的价值尚未被普遍认知,然而如今,电力已成为我们生活中不可或缺的一部分,被量化并以千瓦时为单位进行交易。类似地,我们正处在一个新的工业革命浪潮之中,其中电子成为输入,而浮点数则作为智能的载体被生产出来。如同电力在上个世纪的普及过程,当前的Token对于许多人而言或许同样难以完全理解其潜在价值。然而,在未来十年内,随着Token在各个领域内创造新产品、新服务,提升行业生产力,并预计产生高达100万亿美元的价值,这一变革将成为常态。面对这样的行业前景,一个高效、安全的支付平台变得至关重要。我要特别提及Stripe,它是我极为欣赏的公司之一。尽管初次接触时,Stripe的概念显得颇为复杂,但其所蕴含的创新和潜力令我深受启发。你们所打造的这一平台,无疑将在这个新时代的变革中占据举足轻重的地位。”
因为黄仁勋指出Token预计产生高达100万亿美元的价值,引发了大众对于token的关注。很多人都在问,什么是token,它为什么会带来如此巨大的变革?下面,就通过大语言模型,让人工智能来亲自回答这个问题。

什么是Token?

假设你的孩子正玩着一套乐高积木,他可以把各种积木拼成一座城堡,也可以拼成一辆赛车,更可以拼成一架宇宙飞船。你会发现,无论是什么作品,都离不开这些基本的乐高积木块,是这些基本的积木块创造了无尽的可能。在这个比喻中,每一建积木就像是一个"Token"。Token,作为信息构成的基础元素,在数字世界里就好比这个乐高积木,承载并传递信息。

再进一步,我们把目光投向互联网巨头们。当你说“Hey Siri, set an alarm for 7 am”,你的iPhone能明白你的命令,将“set an alarm for 7 am”切割成一堆Token,就像拆解乐高积木一样,让计算机能理解每一个Token,并且执行你的命令。

这个现象并不局限于文字,我们使用的各种数字产品,无论是微信语音,抖音短视频,还是我们为大家分析的Spotify音乐推荐,每一个图像、声音和视频剪辑都有其对应的Token。这是因为在这个数字世界里,无论是文字、图像、声音、甚至是视频,都可以看作由一个个Token构成的复杂系统。

现在,我们已经对Token有了基础的了解,接下来让我们一起深入这个概念。Token,这个概念本来源于计算机科学和语言分析领域,其在大型计算机模型中,可以看作是模型理解和生成的最小单位。就好像我们可以把一篇小说拆解成小单元一样,比如章节、段落、句子,甚至单词,这些单元情节之间有千丝万缕的联系,连结起来就讲述了一个完整的故事。而在模型中,这些单元就是Token。比如它可以代表一个单词、一个字母,甚至文本之外的一个图像区域、一个音频片段或者视频帧。这些Token像穿珠子一样被串在一起,形成模型可以理解、学习和创建的有意义的序列。

“那么,Token为什么会有如此之大的价值呢?”你可能会问。答案在于Token不仅是信息的表达,更是智能表现。就如同我们看一篇小说,字在纸上不过是显黑的印痕,可是经过思考和理解,印痕会变成情节,字就有了灵魂。同样,在机器看来,Token不仅包含信息,更重要的是所代表的智能,模型通过理解数以亿计的Token,就能够学习文本的推理和创作、学习图像的结构和组合,甚至能够理解并创作音乐和电影。

Token不仅仅是文本的表达,它已经拓展到其他类型的数据,例如图片、视频和音频。在图片中,Token可以指代一个区域或特征点;在视频中,Token可以被看做一个帧或帧的一部分;在音频处理中,Token可以是音阶、单词或节拍等。在这个新的工业革命中,Token不仅被生产、存储和交流,更被用来驱动AI工厂,为未来的产品和服务提供智能的力量。

那么,Token如何创造价值呢?首先,Token一旦被AI理解和学习,就能赋予AI更强大的能力;其次,这些能力可以应用于实际问题中,如文本写作、图片生成、聊天机器人,甚至是自动驾驶汽车;最后,这些应用在市场中成为了产品,从而创造价值。未来的十年里,Token不仅可能在各个行业中创造一系列新产品、新服务,而且有望带动整体生产效率的提升。

现在,你是否对Token有了更深入的认识?那我们接着从我们日常的生活出发,看看Token如何改变我们的生活。在这里,Token不再仅仅是信息的单元,它也可以代表价值。在互联网的世界里,我们的动作和行为都可以被转化成为Token,比如你在淘宝上的购物记录,你在推特上的点赞,你在王者荣耀的战斗数据,这些信息都以Token的形式被记录并存储。

我们在互联网上的各类活动,无论大小,都是Token的生成源泉,组合堆积起来成为了这个时代的数据矿山。一切都是数据,一切都可以被计算,这些Token在互联网公司的算法中被整理、分析、利用,以便更好地理解和服侍用户。仿佛在一个无尽的海洋中,Token就是那些构成大海的水滴,它们汇聚在一起,构成了我们看到的世界。

而在此之外,Token的魔力并非止于此,当我们将目光投向前沿的科技领域时,我们发现Token的价值正在被进一步开发和挖掘,在材料、能源、生物、医疗甚至数学等基础科学领域带来巨大变革,进而影响到我们生活的方方面面。

当黄仁勋大胆预测Token有可能产生高达100万亿美元的价值时,我们不能只把这当作一句炒作的空话,我们需要认识到,在Token的影响下,我们的经济生活正在发生深刻的变革。不妨设想我们的经济体系转变为一个基于Token的经济体系,在这个体系中,我们的生活日常,从购物到乘车,从工作到娱乐,只需要对应的Token就可以消费,执行,甚至交易。那么这个Token,它不仅传输了信息,更传输了价值,它有可能变得像货币一样具有实打实的价值。

再进一步,Token的普及和流通,能让更多人参与到经济活动中来,这是一个彻底的改变,就像一个世纪前的工业革命一样,预示着一个我们生活方式的重大转变。未来的经济体系可能会基于Token,它可以是一种商品,一种服务,甚至是一项权益,Token化可以使我们的经济体系变得更加高效和普惠。

我们来思考一下,如果有一台机器可以自动帮你写出一篇满分的英文作文,你会觉得这对你的学习多么有帮助!或者,如果有一台机器,能够通过图片识别出你家中需要清洁的地方,然后马上默默地完成清洁工作,这对你的生活有多么的便利!这些都得益于机器通过"Token"的学习和理解,帮助我们提高生活和工作的效率。每个帮你写作文的机器,每个帮你打扫卫生的机器,在助人时,它们的背后就隐藏着"Token"的影子。而这种影响力,远远超过我们现在的想象,正如同古人无法想象到如今的手机会如此强大一样。

总的来说,"Token"就像是一枚生长在AI世界的种子,跃然在世界各地生根发芽,带给我们前所未有的便利和想象。虽然我们现在还无法明确预知所有"Token"能产生的改变,但是已经可以看到,它正在静静地改变着我们的世界。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/18065.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

预训练模型语义相似性计算(十一) - M3E和BGE

M3E m3e由MokaAI 训练,开源和评测。 m3e的详细介绍可以看官方的github介绍。本文简要摘录其中一些点,以便后续的应用。 1.千万级 (2200w) 的中文句对数据(开源)。 2.支持同质相似句计算(s2s)和异质检索(s2p),后续支持代码检索。 3.m3e基座模…

MySQL 满足条件函数中使用查询最大值函数

在实际的数据库操作中,我们常常需要根据某些条件找到最大值并据此进行下一步的操作。例如,在一个包含订单信息的表中,可能需要找到特定客户的最大订单金额,并据此进行某些统计或决策。MySQL 提供了多种函数和查询方法,…

C# 泛型函数

1.非约束 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks;namespace MyGeneirc {public class GeneircMethod{/// <summary>/// 泛型方法解决&#xff0c;一个方法&#xff0c;满足不同参数类型…

JVM学习-彻底搞懂Java自增++

从字节码角度分析i和i的区别 public void method6() {int i 10;i; //在局部变量表上直接加1}public void method7() {int i 10;i; //字节码同i}public void method8() {int i 10;int a i; //通过下图可以看出先将局部变量表中的值push到操作数栈&#xff0c;然…

springboot项目部署到linux服务器

springboot后端 修改前 修改后 vue前端 修改前 将地址中的 localhost改为 ip 重新生成war包 war上传到linux的tomcat的webapps下 其他环境配置和macOS大差不差 Tomcat安装使用与部署Web项目的三种方法_tomcat部署web项目-CSDN博客

rk3568_mutex

文章目录 前言1、什么是mutex?1.1mutex互斥体API函数二、实验2.1实验目的2.2源码2.3结果图前言 本文记录的是rk3568开发板基础上做的mutex实验 1、什么是mutex? mutex是互斥体,它是比信号量semaphore更加专业的机制。 在我们编写Linux驱动的时候遇到需要互斥的地方建议使用…

css3 笔记01

目录 01 css3选择器 02 伪类选择器 03 伪元素选择器 04 文章分割列 05 浏览器hack写法 06 css3中的2D转换 01 css3选择器 选择器选择器{} 表示选择下一个兄弟 选择器1~选择器2{} 表示选中选择1后面所有包含选择器2的元素. [属性名]{} 包含属性名的选择器 选择器[属性名]…

Linux用户管理指令004

1、useradd 是用于创建新用户的命令。以下是 useradd 命令的一些常用选项及其简要说明&#xff0c;以清晰的分点方式表示&#xff1a; -u, --uid UID指定用户的用户ID&#xff08;UID&#xff09;。如果不指定&#xff0c;系统通常会分配一个未使用的最小UID。 -g, --gid GROUP…

Matlab读取Swarm球谐系数,并绘制EWH全球格网图(存在疑问)

ICGEM官网下载 COST-G发布的4040的球谐系数 close all; clearvars -except; % addpath(E:\Code\Tool\Function\GRACE_functions); dir_degree_1 E:\Code\GRACE_data\Degree_1\deg1_coef.txt; dir_c20 E:\Code\GRACE_data\Degree_2\C20_RL06.txt; myDir_Swarm E:…

深入理解栏目函数:从基础结构到实际应用

新书上架~&#x1f447;全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我&#x1f446;&#xff0c;收藏下次不迷路┗|&#xff40;O′|┛ 嗷~~ 目录 一、栏目函数的基本结构解析 代码案例 二、栏目函数的参数理解与返回值探究 参数取值与返…

2024年上半年软件设计师试题及答案(回忆版)

目录 基础知识选择题案例题1.缺陷识别的数据流图2.球队、球员、比赛记录的数据库题3.用户、老师、学生、课程用例图4.算法题5.程序设计题基础知识选择题 树的节点,度为4的有4个,度为3的有8个,度为2个有6个,度为1的有10个,问有几个叶子结点 二位数组,一个元素2个字节,A0…

pgsql 多个模式相同的表获取主键

pgsql 有一个库, 里面有多个模式, 每个模式下可能有相同的表, 如何获取表的主键 SELECT tc.table_schema AS 模式, tc.table_name AS 表名, kcu.column_name AS 列名 FROM information_schema.table_constraints AS tc JOIN information_schema.key_colum…

php TP8 阿里云短信服务SDKV 2.0(跳大坑)

安装&#xff1a;composer require alibabacloud/dysmsapi-20170525 2.0.24 官方文档&#xff1a;短信服务_SDK中心-阿里云OpenAPI开发者门户 (aliyun.com) 特别注意&#xff1a;传入参数获得值形式 这样也不行 $sendSmsRequest new SendSmsRequest($addData); 还有一个大坑…

大模型日报2024-05-28

大模型日报 2024-05-28 大模型资讯 SDAIA的阿拉伯语大模型ALLaM在IBM watsonx上全面运行 摘要: 由沙特数据和人工智能局&#xff08;SDAIA&#xff09;开发的开源阿拉伯语大语言模型ALLaM现已在IBM的watsonx平台上全面运行。 AI公司Anthropic揭示大语言模型内在工作机制 摘要: …

【CSharp】无符号短整型数组ushort[]转化为IntPtr

【CSharp】无符号短整型数组ushort[]转化为IntPtr 1.背景2. 代码1.背景 我们的相机或者探测器是一个感光的传感器,一般将光波打到闪烁体上,闪烁体发光后进行光电转换得到电信号,您可以这么简单的去理解。 这里就设计相机传感器上的AD转换器(模拟信号->数字信号)的bit数…

Nginx实战:https 配置SSL证书

目录 一、上传证书 二、nginx配置 三、生效配置 一、上传证书 将SSL证书文件&#xff08;如.crt或.pem文件&#xff09;和私钥文件&#xff08;如.key文件&#xff09;上传到服务器的某个目录&#xff0c;如/etc/nginx/ssl/ 二、nginx配置 server { listen 443 ssl; se…

输入字符串fgets

输入字符串fgets fgets 是C语言中的一个函数&#xff0c;用于从指定的文件流&#xff08;如标准输入、文件等&#xff09;读取一行字符串。它通常用于读取用户输入或从文件中读取文本行。fgets 函数的原型如下&#xff1a; char *fgets(char *str, int n, FILE *stream);参数说…

Mesa软件框架以及重要数据结构分析

Mesa软件框架以及重要数据结构分析 引言 Mesa的实现比较复杂&#xff0c;其中还有许多的数据结构之间的关系逻辑还不是很清楚。感觉分析了又没有分析一样&#xff0c;这里我们再理一理&#xff01; 1.1 Mesa下EGL/GL核心数据结构和层级关系 MESA的核心数据结构很多很复杂&#…

10.RedHat认证-Linux文件系统(上)

10.RedHat认证-Linux文件系统(上) ⽂件系统&#xff0c;顾名思义&#xff0c;是⼀个组织⽂件的“系统(system)”。file system ⽂件系统是⽤来组织⽂件的&#xff0c;通俗⼀点理解的话&#xff0c;⽂件系统是⽤来存储⽂件的。 硬盘是不能直接存放⽂件或数据。 我们通过将硬…

Xed编辑器开发第三期:使用Rust从0到1写一个文本编辑器

继续Xed编辑器开发第二期:使用Rust从0到1写一个文本编辑器的开发进度&#xff0c;这是第三期的内容&#xff1a; 4.1 逐行清除 在每次刷新之前清除整个屏幕似乎不太理想&#xff0c;最好在重新绘制每行时清除每行。让我们删除 Clear(ClearType::All)&#xff0c;而是在我们绘…