Transfoemr的解码器(Decoder)与分词技术

        在自然语言处理(NLP)领域,解码器(Decoder)和分词技术是两个至关重要的概念。解码器是序列生成任务的核心组件,而分词则是将文本数据转换为可处理形式的基础步骤。    

一、解码器(Decoder):序列生成的核心

        解码器是序列到序列(Seq2Seq)模型中的重要组成部分,广泛应用于机器翻译、文本生成、摘要等任务。其核心目标是根据输入序列生成目标序列。以下是解码器的关键机制和流程:

(一)解码器的工作流程

  1. 右向偏移输出嵌入
            在解码器开始处理输入序列之前,模型会对输出嵌入进行向右偏移一个位置。这一操作确保在训练阶段,每个符号都能正确获取之前生成符号的上下文信息,从而避免“窥视”未来信息。例如,假设目标序列是["Hello", "world", "!"],在训练时,解码器的输入会被处理为["<start>", "Hello", "world"],而目标输出是["Hello", "world", "!"]。这样,模型在生成每个词时,只能依赖于之前生成的词,而不能看到未来的词。

  2. 位置编码的整合
           与编码器类似,解码器将位置编码与输出嵌入相结合,以保留符号的序列顺序信息。位置编码是一种将序列中每个位置的语义信息嵌入到向量中的方法。例如,在Transformer模型中,位置编码通过正弦和余弦函数生成,使得模型能够理解序列中每个元素的位置关系。

  3. 带掩码的多头自注意力机制
            解码器利用带掩码的多头自注意力机制,专注于输入序列的相关片段以及之前生成的符号。掩码技术防止模型对未来符号的预知,确保每个符号仅能参考其之前的符号。例如,在生成句子的第四个单词时,模型只能考虑前三个单词,而不能考虑第五个单词。掩码通常是一个上三角矩阵,其中上三角部分设为负无穷大,从而在计算注意力权重时忽略未来信息。

  4. 编码器-解码器注意力交互
           解码器通过编码器-解码器注意力机制,结合编码器的输出,聚焦于输入序列的重要部分,从而生成受输入语境影响的输出符号。这一机制使得解码器能够利用编码器提取的上下文信息,生成与输入语境相关的输出。

  5. 基于位置的前馈网络
            在自注意力层之后,解码器对每个符号独立施加位置编码的前馈网络。该网络捕捉输入和已生成符号之间的复杂模式与关联,助力精确输出序列的构建。前馈网络通常由两层全连接层组成,中间通过激活函数(如ReLU)进行非线性变换。

(二)掩码机制(Masking)

        掩码机制是解码器的核心特性之一。其目的是确保当前位置的输出仅依赖于其之前的位置,而不是未来的位置。掩码通常是一个上三角矩阵,其中上三角部分设为负无穷大,从而在计算注意力权重时忽略未来信息。例如,对于一个长度为5的序列,掩码矩阵如下:

plaintext复制

[[0, -∞, -∞, -∞, -∞],[0,  0, -∞, -∞, -∞],[0,  0,  0, -∞, -∞],[0,  0,  0,  0, -∞],[0,  0,  0,  0,  0]
]

        在计算注意力权重时,掩码矩阵会被加到注意力分数上,使得上三角部分的分数在经过softmax操作后接近0,从而实现掩蔽效果。

(三)训练与生成过程

  • 训练阶段:解码器可以并行处理整个目标序列,通过“教师强制”(Teacher Forcing)技术,使用真实的标签作为输入,从而加速模型的收敛。例如,在训练机器翻译模型时,解码器的输入是目标语言的真实句子,而不是模型生成的句子。这种方法能够显著提高训练效率,但可能导致训练和推理阶段的行为不一致。

  • 生成阶段:解码器逐个生成输出序列,每次仅生成一个标记,并将其作为新输入传递回模型。例如,在生成文本时,解码器首先生成第一个词,然后将这个词作为输入生成下一个词,依此类推,直到生成结束标记<eos>

(四)评估模型预测质量

        在评估模型生成的整个句子质量时,常用的指标包括BLEU分数。BLEU通过比较预测句子中的n-gram与参考句子中的n-gram的匹配程度来评估翻译质量。例如,假设参考翻译是["I", "love", "this", "city"],模型生成的翻译是["I", "love", "this", "town"],BLEU分数会根据二者的匹配程度给出一个评分。

二、分词技术:文本处理的基石

        分词是将文本数据转换为结构化形式的过程,是NLP任务的基础。其目的是将文本分解为有意义的单元(tokens),以便模型能够更好地理解和处理。

(一)分词的重要性

  1. 将复杂问题转化为数学问题
           分词将文本转换为数字向量,便于模型进行统计计算。计算机无法直接处理人类语言,因此需要将文本转换为模型能够理解的形式。例如,将句子"Hello, world!"转换为[1, 2, 3]这样的数字序列,其中每个数字代表一个词或字符。

  2. 合适的粒度

    • 词粒度:词是表达完整含义的最小单位,适合大多数NLP任务。例如,"我喜欢喝咖啡"可以被分词为["我", "喜欢", "喝", "咖啡"],这种粒度能够较好地保留语义信息。

    • 字符粒度:字符粒度过细,无法表达完整含义。例如,"Hello, world!"被拆分为["H", "e", "l", "l", "o", ",", " ", "w", "o", "r", "l", "d", "!"],这种粒度虽然能够保留原始信息,但语义信息较弱。

    • 子词粒度:如Byte Pair Encoding (BPE)和WordPiece,介于词粒度和字符粒度之间,能够有效应对未登录词问题。例如,"helloworld"可以被BPE分解为["hel", "low", "orld"],这种粒度能够在保留语义的同时,处理一些未登录词。

(二)中英文分词的区别

  1. 分词方式

    • 中文:没有明显的单词分隔符,需要复杂的算法和语言知识。例如,"我喜欢猫猫"需要根据上下文确定单词边界,可能被分词为["我", "喜欢", "猫猫"]

    • 英文:单词之间由空格分隔,分词相对简单。例如,"I like coffee"可以直接通过空格分词为["I", "like", "coffee"]

  2. 形态变化

    • 中文:词汇通常不发生形态变化。例如,"书"无论是单数还是复数,形式都是一样的。

    • 英文:需要词性还原和词干提取,以处理时态、复数等变化。例如,"running"可以通过词性还原变为"run""cities"可以通过词干提取变为"city"

  3. 粒度问题

    • 中文:需要选择合适的粒度,以平衡语义准确性和信息召回率。例如,"中国科学技术大学"可以被分词为["中国", "科学技术", "大学"],也可以被分词为["中国", "科学", "技术", "大学"],不同的粒度会影响模型的理解能力。

    • 英文:单词之间有明确的空格分隔,通常不需要考虑粒度问题。

(三)中文分词的难点

  1. 缺乏统一标准:中文分词没有普遍认可的标准,不同的分词工具可能产生不同的结果。例如,"乒乓球拍卖完了"可以被分词为["乒乓球", "拍卖", "完了"],也可以被分词为["乒乓", "球拍", "卖", "完了"],不同的分词方式会导致不同的语义理解。

  2. 歧义词切分:一些词语可能存在多种切分方式,导致语义歧义。例如,"乒乓球拍卖完了"有两种不同的分词方式,分别表示不同的含义。

  3. 新词识别:新词更新速度快,分词系统需要定期更新词库。例如,网络热词"雨女无瓜"在出现初期,分词系统可能无法正确识别。

(四)常见的分词方法

  1. 基于词表的分词:如jieba分词,依赖预定义的词表。这种方法的优点是分词速度快,能够较好地处理常见词汇,但对未登录词的处理能力较弱。

  2. 基于统计的分词:使用HMM、CRF等算法,考虑上下文关系。这种方法的优点是能够较好地处理歧义词和未登录词,但训练成本较高。

  3. 基于深度学习的分词:如BERT的分词器,通过预训练学习语义关系。这种方法的优点是能够自动学习字符之间的语义和语法关系,适应性强,但需要大量的计算资源和语料进行训练。

三、解码器与分词技术在现代NLP中的应用

(一)解码器的应用

解码器广泛应用于以下领域:

  1. 机器翻译:将一种语言的文本翻译为另一种语言。例如,将中文翻译为英文,或反之。

  2. 文本生成:生成连贯的文本,如新闻、故事等。例如,根据给定的开头"Once upon a time, "生成后续内容。

  3. 对话系统:生成自然语言响应。例如,根据用户输入"How are you?"生成回答"I'm fine, thank you."

(二)分词技术的应用

分词技术是NLP任务的基础,广泛应用于:

  1. 文本分类:将文本转换为向量,用于分类任务。例如,判断一条新闻是体育新闻还是娱乐新闻。

  2. 情感分析:通过分词提取关键信息。例如,判断一条评论是正面的还是负面的。

  3. 命名实体识别:识别文本中的实体。例如,从句子"Steve Jobs was the CEO of Apple."中识别出"Steve Jobs""Apple"

        解码器和分词技术是NLP领域的核心组件。解码器通过复杂的注意力机制和掩码技术,确保序列生成的准确性和一致性;而分词技术则为文本处理提供了基础支持。理解它们的原理和应用,对于NLP的学习至关重要。


参考文献

  • https://www.datawhale.cn/learn/summary/87

  • Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS.

  • Mikolov, T., et al. (2013). Efficient Estimation of Word Representations in Vector Space. ICLR.

  • Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/893635.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用 Elasticsearch 导航检索增强生成图表

作者&#xff1a;来自 Elastic Louis Jourdain 及 Ivan Monnier 了解如何使用知识图谱来增强 RAG 结果&#xff0c;同时在 Elasticsearch 中高效存储图谱。本指南探讨了根据用户查询动态生成知识子图的详细策略。 检索增强生成 (RAG) 通过将大型语言模型 (LLM) 的输出基于事实数…

【后端开发】字节跳动青训营之性能分析工具pprof

性能分析工具pprof 一、测试程序介绍二、pprof工具安装与使用2.1 pprof工具安装2.2 pprof工具使用 资料链接&#xff1a; 项目代码链接实验指南pprof使用指南 一、测试程序介绍 package mainimport ("log""net/http"_ "net/http/pprof" // 自…

【工具】CountUp.js

作用&#xff1a;实现数字的动画展示效果 使用步骤&#xff1a; 安装 npm i countup.js导入 import { CountUp } from countUps;HTML结构 <span ref"countup1Ref">{{ props.number1 }}</span> <span ref"countup2Ref">{{ props.number2 …

【落羽的落羽 数据结构篇】算法复杂度

文章目录 一、数据结构和算法简介二、算法复杂度1. 时间复杂度2. 空间复杂度 一、数据结构和算法简介 数据结构是计算机存储、组织数据的方式&#xff0c;指相互之间存在一种或多种特定关系的数据元素的集合。没有一种单一的数据结构对所有用途都有用&#xff0c;所以我们要学…

VsCode安装文档

一、下载 进入VS Code官网&#xff1a;Visual Studio Code - Code Editing. Redefined&#xff0c;点击 DownLoad for Windows下载windows版本 当然也可以点击旁边的箭头&#xff0c;下载Windows版本 或 Mac OS 版本 备注&#xff1a; Stable&#xff1a;稳定版Insiders&#…

32、【OS】【Nuttx】OSTest分析(1):stdio测试(二)

背景 接上篇wiki 31、【OS】【Nuttx】OSTest分析&#xff08;1&#xff09;&#xff1a;stdio测试&#xff08;一&#xff09; 继续stdio测试的分析&#xff0c;上篇讲到标准IO端口初始化&#xff0c;单从测试内容来说其实很简单&#xff0c;没啥可分析的&#xff0c;但这几篇…

机器学习-核函数(Kernel Function)

核函数&#xff08;Kernel Function&#xff09;是一种数学函数&#xff0c;主要用于将数据映射到一个更高维的特征空间&#xff0c;以便于在这个新特征空间中更容易找到数据的结构或模式。核函数的主要作用是在不需要显式计算高维特征空间的情况下&#xff0c;通过内积操作来实…

计算机网络 (60)蜂窝移动通信网

一、定义与原理 蜂窝移动通信网是指将一个服务区分为若干蜂窝状相邻小区并采用频率空间复用技术的移动通信网。其原理在于&#xff0c;将移动通信服务区划分成许多以正六边形为基本几何图形的覆盖区域&#xff0c;称为蜂窝小区。每个小区设置一个基站&#xff0c;负责本小区内移…

每日一题 419. 棋盘上的战舰

419. 棋盘上的战舰 简单 class Solution { public:int countBattleships(vector<vector<char>>& board) {int ans 0;for(int i0;i<board.size();i){for(int j0;j<board[0].size();j){if(board[i][j] X){dfs(board,i,j);ans;}}}return ans;}void dfs(…

win32汇编环境,函数的编写与调用、传值或返回值等

;运行效果 ;win32汇编环境,函数的编写与调用、传值或返回值等 ;函数在被调用的时候&#xff0c;如果此函数实体在前面&#xff0c;可以不用声明。如果实体在后面&#xff0c;则需要先声明。类似于下面的DlgProc函数&#xff0c;因为它的实体在后面&#xff0c;所以需要在调用之…

web前端3--css

注意&#xff08;本文一切代码一律是在vscode中书写&#xff09; 1、书写位置 1、行内样式 //<标签名 style"样式声明"> <p style"color: red;">666</p> 2、内嵌样式 1、style标签 里面写css代码 css与html之间分离 2、css属性:值…

Oracle 创建用户和表空间

Oracle 创建用户和表空间 使用sys 账户登录 建立临时表空间 --建立临时表空间 CREATE TEMPORARY TABLESPACE TEMP_POS --创建名为TEMP_POS的临时表空间 TEMPFILE /oracle/oradata/POS/TEMP_POS.DBF -- 临时文件 SIZE 50M -- 其初始大小为50M AUTOEXTEND ON -- 支持…

Java 大视界 -- Java 大数据中的异常检测技术与应用(61)

&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎来到 青云交的博客&#xff01;能与诸位在此相逢&#xff0c;我倍感荣幸。在这飞速更迭的时代&#xff0c;我们都渴望一方心灵净土&#xff0c;而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识&#xff0c;也…

利用大语言模型(LLM)增强软件测试自动化的最佳实践

在当今迅速变化的科技时代&#xff0c;软件测试行业面临着越来越高的效率和质量要求。作为测试专家&#xff0c;我们都知道&#xff0c;传统的测试方法往往无法满足快速迭代和高效交付的需求。在这种背景下&#xff0c;自动化测试逐渐成为解决方案的一部分。而大语言模型&#…

Anonymous,Github 匿名化工具

一.Github 匿名化工具 Anonymous&#xff0c;会为 github 自动生成一个匿名化的URL&#xff0c;保护隐私和双盲评审 待添加...

Linux(Centos、Ubuntu) 系统安装jenkins服务

该文章手把手演示在Linux系统下如何安装jenkins服务、并自定义jenkins数据文件位置、以及jenkins如何设置国内镜像源加速&#xff0c;解决插件下载失败问题 安装方式&#xff1a;war包安装 阿里云提供的war下载源地址&#xff1a;https://mirrors.aliyun.com/jenkins/war/?s…

不只是mini-react第二节:实现最简fiber

省流|总结 首先&#xff0c;我们编写JSX文件&#xff0c;并通过Babel等转换工具将其转化为createElement()函数的调用&#xff0c;最终生成虚拟 DOM&#xff08;Vdom&#xff09;格式。举个例子&#xff1a; // 原始 JSX const App <div>hi-mini-react</div>;//…

MATLAB中alphanumericsPattern函数用法

目录 语法 说明 示例 从文本中提取字母和数字 匹配所设置数目的字母和数字 匹配不同大小的字母和数字集合 alphanumericsPattern函数的功能是匹配字母和数字字符。 语法 pat alphanumericsPattern pat alphanumericsPattern(N) pat alphanumericsPattern(minCharact…

【数据结构】树的基本:结点、度、高度与计算

树是数据结构中一种重要的非线性结构&#xff0c;广泛应用于计算机科学的各个领域&#xff0c;例如文件系统、数据库索引、编译器等。理解树的各种性质&#xff0c;如结点数、度、高度等&#xff0c;对于解决实际问题至关重要。 本文将会探讨树的基本概念&#xff0c;以及给出几…

Flutter调用HarmonyOS NEXT原生相机拍摄相册选择照片视频

目录 1.项目背景 2.遇到的问题 3.开发准备 4.开发过程 首先创建注册调用鸿蒙原生的渠道 创建并初始化插件 绑定通道完成插件中的功能 5.具体步骤 根据传值判断是相册选取还是打开相机 相册选取照片或视频 相机拍摄照片或视频 调用picker拍摄接口获取拍摄的结果 视频…