语言模型解构——Tokenizer

1. 认识Tokenizer

1.1 为什么要有tokenizer？

计算机是无法理解人类语言的，它只会进行0和1的二进制计算。但是呢，大语言模型就是通过二进制计算，让你感觉计算机理解了人类语言。

  • 举个例子：单=1，双=2，计算机面临“单”和“双”的时候，它所理解的就是2倍关系。
  • 再举一个例子：赞美=1，诋毁=0， 当计算机遇到0.5的时候，它知道这是“毁誉参半”。
  • 再再举一个例子：女王={1,1}，女人={1,0}，国王={0,1}，它能明白“女人”+“国王”=“女王”。

可以看出，计算机面临文字的时候，都是要通过数字去理解的。

所以，如何把文本转成数字，是语言模型中最基础的一步，而Tokenizer的作用就是完成文本到数字的转换，是大语言模型最基础的组件。

1.2 什么是tokenizer？

Tokenizer是一个词元生成器，它首先通过分词算法将文本切分成独立的token列表，再通过词表映射将每个token转换成语言模型可以处理的数字。
在这里插入图片描述
这里有一个网站，可以在线演示tokenizer的切分，见：tokenizer在线演示

大多数常见的英语单词都分配一个token：

而有的单词却分配不止一个token:
像congratulations就被切分成4个token.

不仅如此，而字母大小写，空格和标点符号对分词结果也有影响，如下面示例：

以上这些分词效果，均与token的切分方式有关。

2. token切分方式

根据切分粒度的不同可以把tokenizer分为:

  • 基于词的切分
  • 基于字的切分
  • 基于subword的切分

2.1 基于词的切分

将文本按照词语进行分割，通过空格或者标点符号来把文本分成一个个单词，这样分词之后的 token 数量就不会太多，比如 It is a nice day -> It, is, a, nice, day。缺点是：

  • 词表规模可能会过大；
  • 一定会存在UNK，造成信息丢失；
  • 不能学习到词根、词缀之间的关系，例如：dog与dogs，happy与unhappy；

UNK是"unknown"（未知）的缩写，表示模型无法识别的单词或标记，对于一些新词、生僻词、专有名词或拼写错误的词可能未被词典收录。

词表规模过大原因：自然语言中存在大量的词汇，而词汇与词汇之间的排列组合又能造出大量的复合词，这会导致词表规模很大，并且持续增长。

2.2 基于字的切分

将文本按照字符进行切分，把文本拆分成一个个字符单独表示，比如 highest -> h, i, g, h, e, s, t。

  • 优点：
    • 词表Vocab 不会太大，Vocab 的大小为字符集的大小，英文只有26个字母；
    • 也不会遇到UNK问题；
  • 缺点：
    • 字符本身并没有传达太多的语义，丧失了词的语义信息；
    • 分词之后的 token序列过长，例如highest 一个单词就可以得到 7 个 token，如果是很长的文本分出来的token数量将难以想象，这会造成语言模型的解码效率很低；

2.3 基于subword的切分

从上可以看出，基于词和基于字的切分方式是两个极端，其优缺点也是互补的。而subword就是一种相对平衡的折中方案，基本切分原则是：

  • 高频词依旧切分成完整的整词，例如It => [ It ]
  • 低频词被切分成有意义的子词，例如 dogs => [dog, s]

它的特点是：

  • 词表规模适中，解码效率较高
  • 不存在UNK，信息不丢失
  • 能学习到词缀之间的关系

因此基于subword的切分是目前的主流切分方式。

3. subword分词流程

分词的基本需求：给定一个句子，基于分词模型切分成一连串token。效果如下：

input: Hello, how are u tday?
output: ['Hello', ',', 'Ġhow', 'Ġare', 'Ġu', 'Ġt', 'day', '?']

整个tokenize的过程可以用下面这个图来理解，分为预分词、基于模型分词、编码三步。
在这里插入图片描述

3.1 预分词

预分词阶段会把句子切分成词单元，可以基于空格或者标点进行切分。

以gpt2为例，预切分结果如下，每个单词变成了[word, (start_index, end_index)]

input: Hello, how are  you?pre-tokenize:
[GPT2]: [('Hello', (0, 5)), (',', (5, 6)), ('Ġhow', (6, 10)), ('Ġare', (10, 14)), ('Ġ', (14, 15)), ('Ġyou', (15, 19)), ('?', (19, 20))]

在GPT2中，空格会保留成特殊的字符“Ġ”。

不同的模型在切分时对于空格和标点的处理方式不同，作为对比：

  • BERT的tokenizer也是基于空格和标点进行切分，但不会保留空格。
[BERT]: [('Hello', (0, 5)), (',', (5, 6)), ('how', (7, 10)), ('are', (11, 14)), ('you', (16, 19)), ('?', (19, 20))]
  • LLama 的T5则只基于空格进行切分，标点不会切分。并且空格会保留成特殊字符"▁"，并且句子开头也会添加特殊字符"▁"。
[t5]: [('▁Hello,', (0, 6)), ('▁how', (7, 10)), ('▁are', (11, 14)), ('▁you?', (16, 20))]

3.2 基于模型分词

上面预分词的结果基本就是一个单词一个token，但这样的切分粒度是很粗的，正如上面切分方式中介绍的问题，容易造成词表规模过大。

而基于模型分词本质上就是对预分词后的每个单词再尝试进行切分，也就是上面提到的subword方式，目前主流大语言模型使用的是BPE算法。

BPE分词的过程可以简单理解为从短到长逐步查找词元的过程，概括为以下三步。

  1. 对于输入序列中的每个单词拆分成一个个字符，以Ġtday为例，拆分结果如下。
('Ġ', 't', 'd', 'a', 'y')

在BPE算法中，每个字母都是最基本的词元，这样能避免UNK问题。

  1. 从输入的字符序列逐步查找是否有更长的词元可以代替，如果找到，就将较短的几个词元替换成这个更长的词元，还是以Ġtday为例替换过程如下所示。
# 第一次替换：'Ġ'和't'->'Ġt'
('Ġt', 'd', 'a', 'y')
# 第二次替换：'a'和'y'->'ay'
('Ġt', 'd', 'ay')
# 第三次替换：'d'和'ay'->'day'
('Ġt', 'day')
# 结束
  1. 这样Ġtday这个预分的词元就被拆分成了Ġt和day两个最终的词元，这两个词元会替换掉先前的Ġtday。

为什么Ġt和day不能进一步合并替换呢？
原因：tday其实是today这个单词的网络用语，这个网络简称在词汇表中并不存在，所以无法合并，最终tday这个单词就在分词阶段拆分成了t和day两个token。

那么，具体哪些字符或子词能合并成更长的词元呢？

这里依据的是分词模型中子词合并记录merges.txt，这个文件是模型训练过程中生成的，其中一段示例如下。

[["]", ",\\u010a"],["\\u0120H", "e"],["_", "st"],["f", "ul"],["o", "le"],[")", "{\\u010a"],["\\u0120sh", "ould"],["op", "y"],["el", "p"],["i", "er"],["_", "name"],["ers", "on"],["I", "ON"],["ot", "e"],["\\u0120t", "est"],["\\u0120b", "et"],["rr", "or"],["ul", "ar"],["\\u00e3", "\\u0122"],["\\u0120", "\\u00d0"],["b", "s"],["t", "ing"],["\\u0120m", "ake"],["T", "r"],["\\u0120a", "fter"],["ar", "get"],["R", "O"],["olum", "n"],["r", "c"],["_", "re"],["def", "ine"],["\\u0120r", "ight"],["r", "ight"],["d", "ay"],["\\u0120l", "ong"],["[", "]"],["(", "p"],["t", "d"],["con", "d"],["\\u0120P", "ro"],["\\u0120re", "m"],["ption", "s"],["v", "id"],[".", "g"],["\\u0120", "ext"],["\\u0120", "__"],["\'", ")\\u010a"],["p", "ace"],["m", "p"],["\\u0120m", "in"],["st", "ance"],["a", "ir"],["a", "ction"],["w", "h"],["t", "ype"],["ut", "il"],["a", "it"],["<", "?"],["I", "C"],["t", "ext"],["\\u0120p", "h"],["\\u0120f", "l"],[".", "M"],["cc", "ess"],["b", "r"],["f", "ore"],["ers", "ion"],[")", ",\\u010a"],[".", "re"],["ate", "g"],["\\u0120l", "oc"],["in", "s"],["-", "s"],["tr", "ib"],

这个合并记录表与我们人类能理解的单词、词根、词缀有一定差别，既有我们常见单词的合并记录： ["def","ine"], ["r", "ight"], ["d", "ay"],也有我们看不明白的： ["\\u0120f", "l"],、 ["cc", "ess"]，这些合并记录不是人工编辑的，而是模型训练阶段根据实际语料来生成的。

这种方式是有效的，它既能保留常见的独立词汇（例如：how), 又能保证未知或罕见的词汇能被拆分为较小的词根或词缀（例如：tday->t和day),即使没有词根或词缀，最后还能以单个字符（例如：?, u) 作为词元保证不会出现UNK。

这样，通过词汇表就可以将预分词后的单词序列切分成最终的词元。

input: Hello, how are u tday?
Model: ['Hello', ',', 'Ġhow', 'Ġare', 'Ġu', 'Ġt', 'day', '?']

3.3 编码

编码本质上就是给每个token分配一个唯一的数字ID，这个数字ID是分词模型训练好后就维护在词汇表中的。

每个分词模型内部都有一个vocab词汇表，以chatgpt为例，目前使用的词表为c100k_base, 它是一个index ——> token的map映射（index表示token对应的数字ID）里面有大概10万个词元，示例如下：

{"0": "!","1": "\"","2": "#","3": "$","4": "%","5": "&","6": "'","7": "(","8": ")","9": "*","10": "+",……"1268": " how","1269": "rite","1270": "'\n","1271": "To","1272": "40","1273": "ww","1274": " people","1275": "index",……"100250": ".allowed","100251": "(newUser","100252": " merciless","100253": ".WaitFor","100254": " daycare","100255": " Conveyor"
}

切分好token后，就可以根据上面示例的词汇表，将token序列转换为数字序列，如下所示：

input: ['Hello', ',', 'Ġhow', 'Ġare', 'Ġu', 'Ġt', 'day', '?']
output: [9906, 11, 1268, 527, 577, 259, 1316, 5380]

关于这个词表vocab以及合并记录merges.txt的由来，与BPE算法的实现和训练过程有关，后续再介绍。

4. 中文分词

4.1 长度疑问

我们在估算token的消耗时，经常听到有同事说汉字要占两个token，是这样吗？我们来验证下：

为何有的汉字一个token，有的汉字两个token? 这和tiktoken对中文分词的实现方式有关。

4.2 实现剖析

举例：‘山东淄博吃烧烤’
在这里插入图片描述
对应词汇表中的词元：

["山", "东", "b'\\xe6\\xb7'", "b'\\x84'", "b'\\xe5\\x8d'", "b'\\x9a'", "b'\\xe5\\x90'", "b'\\x83'", "b'\\xe7'", "b'\\x83'", "b'\\xa7'", "b'\\xe7'", "b'\\x83'", "b'\\xa4'"]

除了“山“、”东”这两个相对比较简单的汉字词表里面直接就有，其他的都是一些非常奇怪的Unicode编码表示。

仔细观察可以发现：tokens[85315, 226] 对应的"b’\xe6\xb7’", “b’\x84’” 拼接起来，然后按照utf-8解码回去 b’\xe6\xb7\x84’.decode(‘utf-8’) 得到的就是“淄”。

原来，OpenAI为了支持多种语言的Tokenizer，采用了文本的一种通用表示：UTF-8的编码方式，这是一种针对Unicode的可变长度字符编码方式，它将一个Unicode字符编码为1到4个字节的序列。

  • 山和东因为比较常见，所以被编码为了独立的词元
  • 而淄、博等字词频较低，所以按照Unicode编码预处理成了独立的3个字节，然后子词的迭代 合并最终分成了两个词元。

\x 表示16进制编码，可以发现淄博分别被编码为6个16进制数字，分别占3个字节。随后，GPT-4将每2个16进制数字，也就是1字节的数据作为最小颗粒度的token，然后进行BPE的迭代、合并词表。

5. tiktoken

tiktoken是OpenAI开源一种分词工具，
采用BPE算法实现，被GPT系列大模型广泛使用。

基于某个模型来初始化tiktoken（不同模型的tiktoken词表不同）：

import tiktoken
enc = tiktoken.encoding_for_model("gpt-3.5-turbo-16k")

字节对编码

encoding_res = enc.encode("Hello, how are u tday?")
print(encoding_res)> [9906, 11, 1268, 527, 577, 259, 1316, 30]

字节对解码

raw_text = enc.decode(encoding_res)
print(raw_text) > Hello, how are u tday?

如果想要控制token数量，则可以通过len函数来判断

length = len(enc.encode("Hello, how are u tday?"))
print(length)> 8

参考资料

  • gpt在线分词演示
  • 探索GPT Tokenizer的工作原理

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/847179.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【传知代码】探索视觉与语言模型的可扩展性（论文复现）

【传知代码】探索视觉与语言模型的可扩展性（论文复现）

前言&#xff1a;在数字化时代的浪潮中&#xff0c;我们见证了人工智能&#xff08;AI&#xff09;技术的飞速发展&#xff0c;其中视觉与语言模型作为两大核心领域&#xff0c;正以前所未有的速度改变着我们的生活和工作方式。从图像识别到自然语言处理&#xff0c;从虚拟现实…
阅读更多...
无人机推流/RTMP视频推拉流EasyDSS无法卸载软件是什么原因？

无人机推流/RTMP视频推拉流EasyDSS无法卸载软件是什么原因？

视频推拉流/直播点播EasyDSS平台支持音视频采集、视频推拉流、播放H.265编码视频、存储、分发等视频能力服务&#xff0c;在应用场景中可实现视频直播、点播、转码、管理、录像、检索、时移回看等。此外&#xff0c;平台还支持用户自行上传视频文件&#xff0c;也可将上传的点播…
阅读更多...
大话设计模式解读01-简单工厂模式

大话设计模式解读01-简单工厂模式

本系列的文章&#xff0c;来介绍编程中的设计模式&#xff0c;介绍的内容主要为《大话设计模式》的读书笔记&#xff0c;并改用C语言来实现&#xff08;书中使用的是.NET中的C#&#xff09;,本篇来学习第一章&#xff0c;介绍的设计模式是——简单工厂模式。 1 面向对象编程 …
阅读更多...
Mixly 开启WIFI AP UDP收发数据

Mixly 开启WIFI AP UDP收发数据

一、开发环境 软件&#xff1a;Mixly 2.0在线版 硬件&#xff1a;ESP32-C3&#xff08;立创实战派&#xff09; 固件&#xff1a;ESP32C3 Generic(UART) 测试工工具&#xff1a;NetAssist V5.0.1 二、实现功能 ESP32开启WIFI AP&#xff0c;打印接入点IP地址&#xff0c;允许…
阅读更多...
模拟堆-java

模拟堆-java

模拟堆也是对堆的一次深入理解和一些其它操作&#xff0c;可以了解一下。 文章目录 前言 一、模拟堆 二、算法思路 1.结点上移 2.结点下移 3.插入一个数 4.输出当前集合的最小值 5.删除当前集合的最小值&#xff08;数据保证此时的最小值唯一&#xff09; 6.删除第k个插入的数 …
阅读更多...
Springboot健身房管理系统-计算机毕业设计源码44394

Springboot健身房管理系统-计算机毕业设计源码44394

摘 要 大数据时代下&#xff0c;数据呈爆炸式地增长。为了迎合信息化时代的潮流和信息化安全的要求&#xff0c;利用互联网服务于其他行业&#xff0c;促进生产&#xff0c;已经是成为一种势不可挡的趋势。在健身房管理的要求下&#xff0c;开发一款整体式结构的健身房管理系统…
阅读更多...
代理 模式

代理 模式

一、什么是代理模式 代理模式指代理控制对其他对象的访问&#xff0c;也就是代理对象控制对原对象的引⽤。在某些情况下&#xff0c;⼀个对象不适合或者不能直接被引⽤访问&#xff0c;⽽代理对象可以在客⼾端和⽬标对象之间起到中介的作⽤。 二、为什么使用代理模式 模式作…
阅读更多...
HW面试常见知识点2——研判分析（蓝队中级版）

HW面试常见知识点2——研判分析（蓝队中级版）

&#x1f340;文章简介&#xff1a;又到了一年一度的HW时刻&#xff0c;本文写给新手想快速进阶HW蓝中的网安爱好者们&#xff0c; 通读熟练掌握本文面试定个蓝中还是没问题的&#xff01;大家也要灵活随机应变&#xff0c;不要太刻板的回答&#xff09; &#x1f341;个人主页…
阅读更多...
揭秘下载数据背后的秘密，Xinstall助你掌握市场脉搏

揭秘下载数据背后的秘密，Xinstall助你掌握市场脉搏

在当下这个移动互联网时代&#xff0c;应用推广已成为各大企业竞争的重要战场。然而&#xff0c;如何有效地获取并分析应用下载数据&#xff0c;却成为了许多推广者面临的难题。今天&#xff0c;我们将为大家介绍一款强大的应用推广助手——Xinstall&#xff0c;它能够帮助你轻…
阅读更多...
隐藏 IP 地址的重要性是什么？

隐藏 IP 地址的重要性是什么？

在当今的数字时代&#xff0c;保护我们的在线身份至关重要。从保护个人信息到保护隐私&#xff0c;互联网用户越来越多地寻求增强在线安全性的方法。保持匿名和保护敏感数据的一个关键方面是隐藏您的 IP 地址。在这篇博文中&#xff0c;我们将深入探讨隐藏 IP 地址的重要性&…
阅读更多...
人脸识别技术与人证合一智能闸机的剖析

人脸识别技术与人证合一智能闸机的剖析

人脸识别技术&#xff0c;作为一种先进的生物认证手段&#xff0c;依据个体面部独有的特征信息来进行身份验证。这项技术通过捕获图像或视频中的面部数据&#xff0c;执行一系列精密步骤&#xff0c;包括图像获取、面部定位、预处理、特征提取与比对&#xff0c;以确认个人身份…
阅读更多...
【JMeter接口自动化】第2讲 Jmeter目录结构

【JMeter接口自动化】第2讲 Jmeter目录结构

JMeter的目录结构如下&#xff1a; bin目录&#xff1a;可执行文件目录&#xff0c;启动jmeter时&#xff0c;就是启动bin目录下的ApacheJmeter.jar&#xff0c;jmeter.bat&#xff0c;jmeter.sh ApacheJmeter.jar:启动文件 jmeter.bat&#xff1a;Windows 的启动命令。 jmeter…
阅读更多...
前端框架前置知识之Node.js：fs模块、path模块、http模块、端口号介绍

前端框架前置知识之Node.js：fs模块、path模块、http模块、端口号介绍

什么是模块&#xff1f; 类似插件&#xff0c;封装了方法 / 属性 fs 模块- 读写文件 代码示例 // 1. 加载 fs 模块对象 const fs require(fs) // 2. 写入文件内容 fs.writeFile(./test.txt, hello, Node.js, (err) > {if (err) console.log(err) //若 err不为空&#xf…
阅读更多...
韩顺平0基础学java——第15天

韩顺平0基础学java——第15天

p303-326 重写override 和重载做个对比 注&#xff1a;但子类可以扩大范围&#xff0c;比如父类是protected&#xff0c;子类可以是public 多态 方法或对象具有多种形态&#xff0c;是面向对象的第三大特征&#xff0c;多态是建立在封装和继承基础之上的。 多态的具体体现…
阅读更多...
绕过WAF（Web应用程序防火墙）--介绍、主要功能、部署模式、分类及注入绕过方式等

绕过WAF（Web应用程序防火墙）--介绍、主要功能、部署模式、分类及注入绕过方式等

网站WAF是一款集网站内容安全防护、网站资源保护及网站流量保护功能为一体的服务器工具。功能涵盖了网马/木马扫描、防SQL注入、防盗链、防CC攻击、网站流量实时监控、网站CPU监控、下载线程保护、IP黑白名单管理、网页防篡改功能等模块。能够为用户提供实时的网站安全防护&…
阅读更多...
Java开发：Spring Boot 实战教程

Java开发：Spring Boot 实战教程

序言 随着技术的快速发展和数字化转型的深入推进&#xff0c;软件开发领域迎来了前所未有的变革。在众多开发框架中&#xff0c;Spring Boot凭借其“约定大于配置”的核心理念和快速开发的能力&#xff0c;迅速崭露头角&#xff0c;成为当今企业级应用开发的首选框架之一。 《…
阅读更多...
git拉去代码报错“Failed to connect to 127.0.0.1 port 31181: Connection refused“

git拉去代码报错“Failed to connect to 127.0.0.1 port 31181: Connection refused“

最近参与了一个新项目&#xff0c;在使用git clone 克隆代码时遇到了一个报错"fatal: unable to access ‘https://example.git/’: Failed to connect to 127.0.0.1 port 31181: Connection refused",今天就和大家分享下解决过程。 报错详情 在使用git clone 克隆…
阅读更多...
【JavaEE】Servlet

【JavaEE】Servlet

文章目录 一、Servlet 是什么二、如何创建Servlet程序1、创建项目2、引入依赖3、创建目录4、编写代码5、打包程序6、部署程序7、验证程序 一、Servlet 是什么 二、如何创建Servlet程序 1、创建项目 2、引入依赖 Maven 项目创建完后&#xff0c;会自动生成一个 pom.xml 的文…
阅读更多...
coze自定义插件调用3

coze自定义插件调用3

1&#xff0c;打开我的空间&#xff1b; 2&#xff0c;编辑&#xff0c;选择快捷指令 3&#xff0c;编辑指令 4&#xff0c;实际测试【输入框多了一个按钮“查询基础信息”&#xff0c;点击查询基础信息&#xff0c;提示输入缴费卡号&#xff0c;提交后如下图】
阅读更多...
HTTP --tcp和keep-alive

HTTP --tcp和keep-alive

TCP TCP连接 tcp/ip是全球计算机以及网络设备都在使用的一种常见的分组交换网络分层协议集&#xff0c;客户端可以打开一条tcp/ip连接&#xff0c;连接到可能运行在世界各地的服务器应用程序&#xff0c;一旦连接建立起来了&#xff0c;在客户端和服务器的计算机之间交换的报…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023