【自然语言处理（NLP）】机器翻译之数据处理（数据收集、数据清洗、数据分词、数据标注、数据划分）

文章目录

  • 介绍
  • 机器翻译之数据处理
    • 数据收集
    • 数据清洗
    • 数据分词
    • 数据标注
    • 数据划分
    • 代码实现
      • 导包
      • 数据查看
      • 处理函数
        • 数据预处理
        • 词元化
        • 统计每句话的长度的分布情况
        • 截断或者填充文本序列
        • 将机器翻译的文本序列转换成小批量tensor
        • 加载数据
        • 试用一下

个人主页：道友老李
欢迎加入社区：道友老李的学习社区

介绍

**自然语言处理（Natural Language Processing，NLP）**是计算机科学领域与人工智能领域中的一个重要方向。它研究的是人类（自然）语言与计算机之间的交互。NLP的目标是让计算机能够理解、解析、生成人类语言，并且能够以有意义的方式回应和操作这些信息。

NLP的任务可以分为多个层次，包括但不限于：

  1. 词法分析：将文本分解成单词或标记（token），并识别它们的词性（如名词、动词等）。
  2. 句法分析：分析句子结构，理解句子中词语的关系，比如主语、谓语、宾语等。
  3. 语义分析：试图理解句子的实际含义，超越字面意义，捕捉隐含的信息。
  4. 语用分析：考虑上下文和对话背景，理解话语在特定情境下的使用目的。
  5. 情感分析：检测文本中表达的情感倾向，例如正面、负面或中立。
  6. 机器翻译：将一种自然语言转换为另一种自然语言。
  7. 问答系统：构建可以回答用户问题的系统。
  8. 文本摘要：从大量文本中提取关键信息，生成简短的摘要。
  9. 命名实体识别（NER）：识别文本中提到的特定实体，如人名、地名、组织名等。
  10. 语音识别：将人类的语音转换为计算机可读的文字格式。

NLP技术的发展依赖于算法的进步、计算能力的提升以及大规模标注数据集的可用性。近年来，深度学习方法，特别是基于神经网络的语言模型，如BERT、GPT系列等，在许多NLP任务上取得了显著的成功。随着技术的进步，NLP正在被应用到越来越多的领域，包括客户服务、智能搜索、内容推荐、医疗健康等。

机器翻译之数据处理

在机器翻译中，数据处理是关键环节，对模型训练和翻译质量影响重大。

数据收集

  • 多源获取：从学术文献库、新闻网站、社交媒体、政府文件等多渠道收集平行语料（两种或多种语言对照的文本）。例如，联合国文件有多语言版本，是优质平行语料来源；许多新闻机构会发布多语言报道，也可用于采集数据。
  • 领域针对性：依据应用场景，收集特定领域语料，像医学、法律、科技等领域。医学机器翻译需收集医学论文、病历、医学书籍等专业语料，以提升特定领域翻译准确性。

数据清洗

  • 去除噪声：清除文本中的乱码、特殊符号、HTML标签等噪声信息。比如网页采集的文本可能含大量HTML标签，需通过正则表达式等方式去除。
  • 重复数据处理：识别并删除重复的平行句对，降低数据冗余，提升训练效率。可通过计算文本哈希值等方法判断重复。
  • 异常值处理：剔除长度异常（过长或过短）、质量差（如翻译错误、语义不通顺）的句对。例如，设置句长阈值，过滤掉过短（如少于3个词）或过长（超过100个词）的句子。

数据分词

  • 源语言与目标语言分词：对源语言和目标语言文本分别进行分词处理。在英语等语言中，可按空格简单分词；对于中文等语言，需借助专业分词工具（如jieba）。如“我爱自然语言处理”，jieba分词可能得到“我 爱 自然语言 处理”。
  • 子词单元处理：对于稀有词或未登录词，采用字节对编码（BPE）等方法切分。如单词“unhappiness”，经BPE可能切分为“un - happy - ness”，增加词表覆盖度，减少稀有词问题。

数据标注

  • 添加元信息：为语料添加如语言对、领域、文本来源等元信息，方便后续管理和筛选。比如标注“中文 - 英文”语言对、“医学”领域等。
  • 对齐标注：对平行句对中的词或短语进行对齐标注，可手动或用工具自动标注。如“我喜欢苹果” - “I like apples”，可标注“我” - “I”，“喜欢” - “like” ，“苹果” - “apples”，帮助模型学习词对齐关系。

数据划分

  • 训练集、验证集和测试集：按一定比例（如80% - 10% - 10%）将数据划分为训练集、验证集和测试集。训练集用于模型训练，验证集用于调整超参数、监控模型性能，防止过拟合，测试集用于评估最终模型泛化能力。
  • 分层抽样：为保证各子集数据分布相似，采用分层抽样。比如按领域分层，确保训练集、验证集和测试集在各领域的比例相近，使模型在不同领域都能良好学习和泛化。

代码实现

数据文件内容：
在这里插入图片描述

导包

import os
import torch
import dltools

数据查看

with open('../data/fra-eng/fra.txt', 'r', encoding='utf-8') as f:raw_text = f.read()print(raw_text[:75])

Go.	Va !
Hi.	Salut !
Run!	Cours !
Run!	Courez !
Who?	Qui ?
Wow!	Ça alors !

处理函数

数据预处理
def preprocess_nmt(text):# 判断标点符号前面是否有空格def no_space(char, prev_char):return char in set(',.!?') and prev_char != ' '# 替换识别不了的字符, 替换不正常的空格, 变小写.text = text.replace('\u202f', ' ').replace('\xa0', ' ').lower()# 在单词和标点之间插入空格. out = [' ' + char if i > 0 and no_space(char, text[i - 1]) else char for i, char in enumerate(text)]return ''.join(out)text = preprocess_nmt(raw_text)
print(text[:80])

go .	va !
hi .	salut !
run !	cours !
run !	courez !
who ?	qui ?
wow !	ça alors !
词元化
def tokenize_nmt(text, num_examples=None):source, target = [], []for i, line in enumerate(text.split('\n')):if num_examples and i > num_examples:breakparts = line.split('\t')if len(parts) == 2:source.append(parts[0].split(' '))target.append(parts[1].split(' '))return source, targetsource, target = tokenize_nmt(text)
source[:6], target[:6]

([['go', '.'],['hi', '.'],['run', '!'],['run', '!'],['who', '?'],['wow', '!']],[['va', '!'],['salut', '!'],['cours', '!'],['courez', '!'],['qui', '?'],['ça', 'alors', '!']])
统计每句话的长度的分布情况
def show_list_len_pair_hist(legend, xlabel, ylabel, xlist, ylist):dltools.set_figsize()# plt.hist()_, _, patches = dltools.plt.hist([[len(l) for l in xlist], [len(l) for l in ylist]])dltools.plt.xlabel(xlabel)dltools.plt.ylabel(ylabel)for patch in patches[1].patches:patch.set_hatch('/')dltools.plt.legend(legend)show_list_len_pair_hist(['source', 'target'], '# tokens per sequence', 'count', source, target)

在这里插入图片描述

截断或者填充文本序列
def truncate_pad(line, num_steps, padding_token):if len(line) > num_steps:return line[:num_steps] # 太长, 截断. return line + [padding_token] * (num_steps - len(line)) # 填充truncate_pad(src_vocab[source[0]], 10, src_vocab['<pad>'])
将机器翻译的文本序列转换成小批量tensor
def build_array_nmt(lines, vocab, num_steps):# 通过vocab拿到line的索引lines = [vocab[l] for l in lines]lines = [l + [vocab['eos']] for l in lines]array = torch.tensor([truncate_pad(l, num_steps, vocab['<pad>']) for l in lines])valid_len = (array != vocab['<pad>']).type(torch.int32).sum(1)return array, valid_len
加载数据
def load_data_nmt(batch_size, num_steps, num_examples=600):# 需要返回数据集的迭代器和词表text = preprocess_nmt(raw_text)source, target = tokenize_nmt(text, num_examples)src_vocab = dltools.Vocab(source, min_freq=2, reserved_tokens=['<pad>', '<bos>', '<eos>'])tgt_vocab = dltools.Vocab(target, min_freq=2, reserved_tokens=['<pad>', '<bos>', '<eos>'])src_array, src_valid_len = build_array_nmt(source, src_vocab, num_steps)tgt_array, tgt_valid_len = build_array_nmt(target, tgt_vocab, num_steps)data_arrays = (src_array, src_valid_len, tgt_array, tgt_valid_len)data_iter = dltools.load_array(data_arrays, batch_size)return data_iter, src_vocab, tgt_vocab
试用一下
train_iter, src_vocab, tgt_vocab = load_data_nmt(batch_size=2, num_steps=8)for X, X_valid_len, Y, Y_valid_len in train_iter:print('X:', X.type(torch.int32))print('X的有效长度:', X_valid_len)print('Y:', Y.type(torch.int32))print('Y的有效长度:', Y_valid_len)break

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/68431.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【物联网】ARM核常用指令(详解)：数据传送、计算、位运算、比较、跳转、内存访问、CPSR/SPSR、流水线及伪指令

【物联网】ARM核常用指令(详解)：数据传送、计算、位运算、比较、跳转、内存访问、CPSR/SPSR、流水线及伪指令

文章目录 指令格式&#xff08;重点&#xff09;1. 立即数2. 寄存器位移 一、数据传送指令1. MOV指令2. MVN指令3. LDR指令 二、数据计算指令1. ADD指令1. SUB指令1. MUL指令 三、位运算指令1. AND指令2. ORR指令3. EOR指令4. BIC指令 四、比较指令五、跳转指令1. B/BL指令2. l…
阅读更多...
单链表算法实战：解锁数据结构核心谜题——链表的回文结构

单链表算法实战：解锁数据结构核心谜题——链表的回文结构

题目如下&#xff1a; 解题过程如下&#xff1a; 回文结构举例&#xff1a; 回文数字&#xff1a;12521、12321、1221…… 回文字符串&#xff1a;“abcba”、“abba”…… 并不是所有的循环嵌套的时间复杂度都是O(n^2) 可以用C写C程序&#xff1a; C里可以直接使用ListNode…
阅读更多...
计算机网络 （58）无线局域网WLAN

计算机网络 （58）无线局域网WLAN

前言 无线局域网WLAN&#xff08;Wireless Local Area Network&#xff09;是一种利用无线通信技术将计算机设备互联起来&#xff0c;构成可以互相通信和实现资源共享的网络体系。 一、定义与特点 定义&#xff1a; WLAN通过无线信道代替有线传输介质连接两个或多个设备形成一个…
阅读更多...
10 款《医学数据库和期刊》查阅网站

10 款《医学数据库和期刊》查阅网站

在毕业设计过程中，需要查阅到关于医学的相关文献和图片作为参考，发现下面10款非常的好用，作为分享。 1. PubMed: PubMed 搜索关键词如“lung cancer CT images”或“lung cancer CT scan”。 Radiopaedia: https://radiopaedia.org/ 这是一个放射学专业网站，有大量肺癌的CT…
阅读更多...
OpenCV：形态学梯度

OpenCV：形态学梯度

目录 简述 1. 用图像运算和腐蚀实现形态学梯度 1.1 代码示例 1.2 运行结果 2. 形态学梯度接口 2.1 参数解释 2.2 代码示例 2.3 运行结果 3. 形态学梯度与边缘检测 4. 形态学梯度的应用场景 5. 注意事项 相关阅读 OpenCV&#xff1a;图像的腐蚀与膨胀-CSDN博客 简述…
阅读更多...
Java 大视界 -- Java 大数据在生物信息学中的应用与挑战（67）

Java 大视界 -- Java 大数据在生物信息学中的应用与挑战（67）

&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎来到 青云交的博客&#xff01;能与诸位在此相逢&#xff0c;我倍感荣幸。在这飞速更迭的时代&#xff0c;我们都渴望一方心灵净土&#xff0c;而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识&#xff0c;也…
阅读更多...
字符设备驱动模版-中断

字符设备驱动模版-中断

字符设备驱动模版-中断 思维导图在线高清查看&#xff1a;https://www.helloimg.com/i/2025/01/27/679791b5257c0.png 修改设备树 1添加pinctrl节点 1创建对应的节点 在 iomuxc 节点的 imx6ul-evk 子节点下 2添加“fsl,pins”属性 3在“fsl,pins”属性中添加PIN配置信息 …
阅读更多...
【SH】Windows禁用Alt+F4关机、重启、注销等功能，只保留关闭应用的功能

【SH】Windows禁用Alt+F4关机、重启、注销等功能，只保留关闭应用的功能

文章目录 组策略编辑器参考文档 组策略编辑器 亲测有效&#xff01; 1、按winr&#xff0c;输入gpedit.msc&#xff0c;回车。 2、找到》用户配置》管理模板》“开始”菜单和任务栏。 3、在右侧找到删除并阻止访问“关机”、“重新启动”、“睡眠”和“休眠”命令&#xff0c…
阅读更多...
【深度学习】线性回归的简洁实现

【深度学习】线性回归的简洁实现

线性回归的简洁实现 在过去的几年里&#xff0c;出于对深度学习强烈的兴趣&#xff0c;许多公司、学者和业余爱好者开发了各种成熟的开源框架。 这些框架可以自动化基于梯度的学习算法中重复性的工作。 目前&#xff0c;我们只会运用&#xff1a; &#xff08;1&#xff09;通…
阅读更多...
C++中的显式构造和隐式构造

C++中的显式构造和隐式构造

文章目录 一、概述二、显式构造函数的使用三、隐式构造函数的使用四、显式和隐式的适用场景 一、概述 在 C 中&#xff0c;构造函数可以分为 显式构造 和 隐式构造&#xff0c;它们的区别主要体现在构造函数的调用方式上。 1.显式构造&#xff08;Explicit Constructor&#…
阅读更多...
A7. Jenkins Pipeline自动化构建过程，可灵活配置多项目、多模块服务实战

A7. Jenkins Pipeline自动化构建过程，可灵活配置多项目、多模块服务实战

服务容器化构建的环境配置构建前需要解决什么下面我们带着问题分析构建的过程：1. 如何解决jenkins执行环境与shell脚本执行环境不一致问题？2. 构建之前动态修改项目的环境变量3. 在通过容器打包时避免不了会产生比较多的不可用的镜像资源，这些资源要是不及时删除掉时会导致服…
阅读更多...
浅谈文献阅读（reference）对留学论文写作的重要性

浅谈文献阅读（reference）对留学论文写作的重要性

很多留学生在写作留学论文时&#xff0c;拿到题目后就急于求成立马动笔写作。可是写着写着就会陷入非常迷惘的境地&#xff0c;不知道如何继续。当然这其中有很多原因&#xff0c;但其中最重要的一条&#xff0c;就是在写作英语论文之前&#xff0c;没有进行足够的知识积累&…
阅读更多...
提升企业内部协作的在线知识库架构与实施策略

提升企业内部协作的在线知识库架构与实施策略

内容概要 在当前快速变化的商业环境中&#xff0c;企业对于提升内部协作效率的需求愈显迫切。在线知识库作为信息存储与共享的平台&#xff0c;成为了推动企业数字化转型的重要工具。本文将深入探讨如何有效打造与实施在线知识库&#xff0c;强调架构设计、知识资产分类管理及…
阅读更多...
网络工程师 （3）指令系统基础

网络工程师 （3）指令系统基础

一、寻址方式 &#xff08;一&#xff09;指令寻址 顺序寻址&#xff1a;通过程序计数器&#xff08;PC&#xff09;加1&#xff0c;自动形成下一条指令的地址。这是计算机中最基本、最常用的寻址方式。 跳跃寻址&#xff1a;通过转移类指令直接或间接给出下一条指令的地址。跳…
阅读更多...
【数据结构】_以SLTPushBack(尾插)为例理解单链表的二级指针传参

【数据结构】_以SLTPushBack(尾插)为例理解单链表的二级指针传参

目录 1. 第一版代码 2. 第二版代码 3. 第三版代码 前文已介绍无头单向不循环链表的实现&#xff0c;详见下文&#xff1a; 【数据结构】_不带头非循环单向链表-CSDN博客 但对于部分方法如尾插、头插、任意位置前插入、任意位置前删除的相关实现&#xff0c;其形参均采用了…
阅读更多...
【Samba】Ubuntu20.04 Windows 共享文件夹

【Samba】Ubuntu20.04 Windows 共享文件夹

【Samba】Ubuntu20.04 Windows 共享文件夹 前言整体思路检查 Ubuntu 端 和 Windows 网络通信是否正常创建共享文件夹安装并配置 Samba 服务器安装 Samba 服务器创建 Samba 用户编辑 Samba 配置文件重启 Samba 服务器 在 Windows 端 访问 Ubuntu 的共享文件夹 前言 本文基于 Ub…
阅读更多...
Linux初识——基本指令（2）

Linux初识——基本指令（2）

本文将继续从上篇末尾讲起&#xff0c;讲解我们剩下的基本指令 一、剩余的基本指令 1、mv mv指令是move&#xff08;移动&#xff09;的缩写&#xff0c;其功能为&#xff1a;1.剪切文件、目录。2.重命名 先演示下重命名&#xff0c;假设我想把当前目录下的di34改成dir5 那…
阅读更多...
Android - 通过Logcat Manager简单获取Android手机的Log

Android - 通过Logcat Manager简单获取Android手机的Log

由于工作需要&#xff0c;经常需要获取Android手机的Log。 平常都是通过adb命令来获取&#xff0c;每次都要写命令。 偶然的一个机会&#xff0c;我从外网发现了一个工具 Logcat Manager&#xff0c;只需要通过简单的双击即可获取Android的Log&#xff0c;这里也分享一下。 目…
阅读更多...
c++学习第十三天

c++学习第十三天

创作过程中难免有不足&#xff0c;若您发现本文内容有误&#xff0c;恳请不吝赐教。 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、vector 1.介绍 1. vector是表示可变大小数组的序列容器。 2. 就像数组一样&#xff0c;vector也采用的连续存储空…
阅读更多...
「数学::质数」分解质因子 / LeetCode 2521（C++）

「数学::质数」分解质因子 / LeetCode 2521（C++）

概述 由算数基本定理&#xff0c;我们知道任意一个大于1的自然数可以表示为一些质数的乘积&#xff1a; LeetCode 2521&#xff1a; 给你一个正整数数组 nums &#xff0c;对 nums 所有元素求积之后&#xff0c;找出并返回乘积中 不同质因数 的数目。 注意&#xff1a; 质数 是…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023