深度学习每周学习总结N1(one-hot 编码案例)

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者:K同学啊 | 接辅导、项目定制

数据链接
提取码:c949

–来自百度网盘超级会员V5的分享

目录

    • 总结:
    • 1. 中文文本One-Hot编码示例
      • 代码解析
    • 2.直接使用词袋模型(CountVectorizer)实现独热编码

总结:

之前有学习过文本预处理的环节,对文本处理的主要方式有以下三种:

1:词袋模型(one-hot编码)

2:TF-IDF

3:Word2Vec(词向量)

详细介绍及中英文分词详见pytorch文本分类(一):文本预处理

本期主要介绍one-hot编码示例流程(词汇表 -> 文本序列 -> One-hot编码)手撕模式 + 直接调用现成的词袋模型(CountVectorizer)

1. 中文文本One-Hot编码示例

import torch
import torch.nn.functional as F
import jieba# 示例中文文本
texts = ['你好,最近怎么样?','我过的很好,谢谢!','再见。']# 使用结巴分词进行分词
tokenized_texts = [list(jieba.cut(text)) for text in texts] # [['你好', ',', '最近', '怎么样', '?'], ['我', '过', '的', '很好', ',', '谢谢', '!'], ['再见', '。']]# 构建词汇表
word_index = {}
index_word = {}
# 将所有分词结果中的单词去重,建立 word_index 和 index_word 两个字典,分别存储单词到索引和索引到单词的映射
for i,word in enumerate(set(word for text in tokenized_texts for word in text)):word_index[word] = iindex_word[i] = word# 将文本转化为整数序列
sequences = [[word_index[word] for word in text] for text in tokenized_texts] # 获取词汇表大小
vocab_size = len(word_index)# 将整数序列转化为ont-hot编码
one_hot_results = torch.zeros(len(texts),vocab_size)
for i,seq in enumerate(sequences):one_hot_results[i,seq] = 1# 打印结果
print("词汇表: \n",word_index)
print("文本: \n",texts)
print("分词结果: \n",tokenized_texts)
print("文本序列: \n",sequences)
print("One-Hot编码: \n",one_hot_results)
词汇表: {'。': 0, '的': 1, '谢谢': 2, '你好': 3, '再见': 4, '我过': 5, '!': 6, '很': 7, '?': 8, '好': 9, '怎么样': 10, '最近': 11, ',': 12}
文本: ['你好,最近怎么样?', '我过的很好,谢谢!', '再见。']
分词结果: [['你好', ',', '最近', '怎么样', '?'], ['我过', '的', '很', '好', ',', '谢谢', '!'], ['再见', '。']]
文本序列: [[3, 12, 11, 10, 8], [5, 1, 7, 9, 12, 2, 6], [4, 0]]
One-Hot编码: tensor([[0., 0., 0., 1., 0., 0., 0., 0., 1., 0., 1., 1., 1.],[0., 1., 1., 0., 0., 1., 1., 1., 0., 1., 0., 0., 1.],[1., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0.]])

让我们逐步解析这段代码,并说明每一步操作后数据的结构和状态。

代码解析

  1. 导入必要的库

    import torch
    import torch.nn.functional as F
    import jieba
    
  2. 示例中文文本

    texts = ['你好,最近怎么样?', '我过的很好,谢谢!', '再见。']
    

    texts 是一个包含三条中文文本的列表。

  3. 使用结巴分词进行分词

    tokenized_texts = [list(jieba.cut(text)) for text in texts]
    

    操作:对每条文本进行分词,结果存储在 tokenized_texts 列表中。

    结果

    tokenized_texts = [['你好', ',', '最近', '怎么样', '?'], ['我', '过', '的', '很好', ',', '谢谢', '!'], ['再见', '。']]
    
  4. 构建词汇表

    word_index = {}
    index_word = {}
    for i, word in enumerate(set(word for text in tokenized_texts for word in text)):word_index[word] = iindex_word[i] = word
    

    操作:将所有分词结果中的单词去重,建立 word_indexindex_word 两个字典,分别存储单词到索引和索引到单词的映射。

    结果

    word_index = {'最近': 0, '谢谢': 1, '?': 2, '的': 3, ',': 4, '怎么样': 5, '很好': 6, '我': 7, '再见': 8, '你好': 9, '过': 10, '。': 11, '!': 12}
    index_word = {0: '最近', 1: '谢谢', 2: '?', 3: '的', 4: ',', 5: '怎么样', 6: '很好', 7: '我', 8: '再见', 9: '你好', 10: '过', 11: '。', 12: '!'}
    
  5. 将文本转化为整数序列

    sequences = [[word_index[word] for word in text] for text in tokenized_texts]
    

    操作:将每条分词后的文本转化为对应的整数序列。

    结果

    sequences = [[9, 4, 0, 5, 2], [7, 10, 3, 6, 4, 1, 12], [8, 11]]
    
  6. 获取词汇表大小

    vocab_size = len(word_index)
    

    操作:计算词汇表的大小。

    结果

    vocab_size = 13
    
  7. 将整数序列转化为one-hot编码

    one_hot_results = torch.zeros(len(texts), vocab_size)
    for i, seq in enumerate(sequences):one_hot_results[i, seq] = 1
    

    操作:初始化一个全零的二维张量 one_hot_results,然后根据每条文本的整数序列,将对应位置置为1,生成one-hot编码。

    结果

    tensor([[0., 0., 1., 0., 1., 1., 0., 0., 0., 1., 0., 0., 0.],[0., 1., 0., 1., 1., 0., 1., 1., 0., 0., 1., 0., 1.],[0., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 1., 0.]])
    
  8. 打印结果

    print("词汇表: \n", word_index)
    print("文本: \n", texts)
    print("分词结果: \n", tokenized_texts)
    print("文本序列: \n", sequences)
    print("One-Hot编码: \n", one_hot_results)
    

    操作:打印出词汇表、原文本、分词结果、文本序列和one-hot编码。

  9. 总结
    这段代码的核心功能是将中文文本分词后,生成相应的整数序列,再转换为one-hot编码。每一步操作后数据的状态如下:

  • texts:包含原始文本的列表。
  • tokenized_texts:包含分词后的文本列表。
  • word_indexindex_word:分别存储单词到索引和索引到单词的映射字典。
  • sequences:包含整数序列的列表。
  • one_hot_results:包含one-hot编码的二维张量。

2.直接使用词袋模型(CountVectorizer)实现独热编码

import torch
import torch.nn.functional as F
import jieba
from sklearn.feature_extraction.text import CountVectorizer
import re# 示例中文文本
texts = ['你好,最近怎么样?','我过的很好,谢谢!','再见。']# 使用结巴分词进行分词,并移除标点符号 
tokenized_texts = [' '.join(re.findall(r'\w+', ' '.join(jieba.cut(text)))) for text in texts] # 结果:['你好 最近 怎么样', '我 过 的 很好 谢谢', '再见']"""
注意此处代码和上述代码不一致的原因是:CountVectorizer 期望接收的输入是一个字符串列表,但我们提供了一个分词后的列表列表。
为了使用 CountVectorizer 并确保标点符号被移除,我们需要确保输入是字符串而不是分词后的列表。
"""# cv = CountVectorizer() # 创建词袋数据结构
cv = CountVectorizer(token_pattern=r"(?u)\b[\u4e00-\u9fa5a-zA-Z]+\b")  # 仅匹配中文字符和英文单词cv_fit = cv.fit_transform(tokenized_texts)  # CountVectorizer 用于将文本转换为词袋模型。fit_transform 方法同时完成拟合模型和将文本转化为特征向量的操作。# 将词频矩阵转换为 tensor
tensor_result = torch.from_numpy(cv_fit.toarray()).float()print("文本: \n",texts)
print("分词结果: \n",tokenized_texts)
print("列表形式的字典: \n",cv.get_feature_names_out())    #列表形式呈现文章生成的词典,和鲸线上需要使用get_feature_names()
print("字典: \n",cv.vocabulary_)       #字典形式呈现,key:词,value:词id
print("token计数矩阵:\n",cv_fit.toarray()) #.toarray() 将结果转化为稀疏矩阵 一行对应着一句话,一列对应一个词,列index对应词id
print("词频矩阵的 tensor 表示:\n", tensor_result)
文本: ['你好,最近怎么样?', '我过的很好,谢谢!', '再见。']
分词结果: ['你好 最近 怎么样', '我过 的 很 好 谢谢', '再见']
列表形式的字典: ['你好' '再见' '好' '很' '怎么样' '我过' '最近' '的' '谢谢']
字典: {'你好': 0, '最近': 6, '怎么样': 4, '我过': 5, '的': 7, '很': 3, '好': 2, '谢谢': 8, '再见': 1}
token计数矩阵:[[1 0 0 0 1 0 1 0 0][0 0 1 1 0 1 0 1 1][0 1 0 0 0 0 0 0 0]]
词频矩阵的 tensor 表示:tensor([[1., 0., 0., 0., 1., 0., 1., 0., 0.],[0., 0., 1., 1., 0., 1., 0., 1., 1.],[0., 1., 0., 0., 0., 0., 0., 0., 0.]])

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/26454.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

js实现实现九宫格乱序抽奖

我们以前写的九宫格抽奖,都是顺时针按照顺序进行旋转抽奖,今天给大家分享一下乱序,就是不按照一定顺序的。 用户的具体步骤:用户点击开始抽奖时,奖项开始随机闪,闪到一定次数后停止并且进行抽奖成功提示&a…

什么是DMZ?路由器上如何使用DMZ?

文章目录 📖 介绍 📖🏡 演示环境 🏡📒 DMZ 📒🚀 DMZ的应用场景💡 路由器设置DMZ🎈 注意事项 🎈⚓️ 相关链接 ⚓️📖 介绍 📖 在网络管理中,DMZ(Demilitarized Zone,隔离区)是一个特殊的网络区域,常用于将公共访问和内部网络隔离开来。DMZ功能允许…

vue面试题汇总之响应式理解

进行代理(解决第一步读写数据调用函数) vue2使用Object.defineProperty进行数据代理(getter和setter),vue3使用Proxy进行数据代理 Proxy的性能会比Object.defineProperty好很多 Object.defineProperty是一次性代理完所有的数据,如果对象嵌套很深就会一直递归直到代理完所有属…

遇到JSON文件就头大?掌握Python这几种方法,让你轻松应对

目录 1、标准库json模块 📄 1.1 json.load()函数介绍 1.2 json.loads()处理字符串 1.3 使用json.dump()写入JSON 1.4 json.dumps()美化输出 1.4 错误处理与编码问题 1.5 高效读取大文件技巧 2、第三方库simplejson加持 🔧 2.1 安装与导入simplejson 2.2 性能优势与…

A.计算圆周率——无穷级数法

描述 圆周率π可以用无穷级数表示: 左边的展式是一个无穷级数,被称为莱布尼茨级数(Leibniz),这个级数收敛到π/4,它通常也被称为格雷戈里-莱布尼茨级数,用以纪念莱布尼茨同时代的天文学家兼数…

解决css文本内容为符号不会换行问题

错误样式如上,超出了规定的文本区域。 在css上增加word-wrap: break-word;即可。

电商价格监测对于品牌渠道管控的重要性

当品牌开启经销渠道或涉足电商渠道时,必须着手进行线上线下价格监测。只有监控到电商价格,才能明晰出货后的商品历经多轮市场演绎后的实际价格,进而了解市场需求下的真实低价行为。借助力维网络开发的电商价格监测系统,品牌商能知…

uni-app利用renderjs实现安卓App上jssip+freeswitch+webrtc音视频通话功能

效果图 前置知识 利用renderjs在app端加载for web库 JsSIPFreeSwitchVue实现WebRtc音视频通话 原始模块 <template><viewclass"test-sip":userExtension"userExtension":change:userExtension"JsSIP.handleUserExtenSionChange":tar…

Python邮箱发送如何设置?Python发信方法?

Python邮箱发送邮件需要哪些库&#xff1f;怎么使用Python发信&#xff1f; Python的强大之处在于其丰富的库和模块&#xff0c;使得开发者可以轻松地实现各种功能&#xff0c;包括通过电子邮件发送信息。AokSend将介绍如何在Python中设置和发送电子邮件&#xff0c;以及相关的…

超高频载码体有哪些特点?

载码体由线圈、已编程的芯片&#xff0c;以及电池(在有源读写系统中)组成&#xff0c;具有唯一的电子编码&#xff0c;拥有大容量的存储空间&#xff0c;通常附着于产品载体乃至是产品本身&#xff0c;成为一个随产品移动的移动数据库&#xff0c;可以帮助企业更好的物料、成品…

JAVA2 简单运算 题目

题目 JAVA2 简单运算分析&#xff1a;代码&#xff1a;大佬代码&#xff1a; JAVA2 简单运算 描述 输入两个正整数a和b&#xff0c;输出这两个正整数的和&#xff0c;差&#xff0c;积&#xff0c;商&#xff0c;模&#xff08;若a>b则输出a-b&#xff0c;a/b&#xff0c;a%…

AH8652:220V转5V非隔离电源芯片

### AH8652&#xff1a;220V转5V非隔离电源芯片&#xff0c;高效转换新选择 #### 引言 随着电子设备对电源稳定性和安全性要求的提高&#xff0c;非隔离电源转换芯片因其简单、高效和成本效益而受到市场的欢迎。AH8652是一款专为220V转5V设计的非隔离电源芯片&#xff0c;以其…

Ubuntu安装Protobuf

以前的版本中&#xff0c;有./configure&#xff0c;所以参照下面的博客链接 Ubuntu安装Protobuf&#xff0c;指定版本_ubuntu更新protobuf-CSDN博客 后来的版本中&#xff0c;没有了./configure文件&#xff0c;需要安装bazel,参照下面的官网链接 protobuf/src/README.md a…

nvidia 显卡 没有正确安装或配置 OpenGL 库

看到这个错误可能意味着你的系统没有正确安装或配置 OpenGL 库。以下是一些步骤来解决这个问题&#xff1a; 1. 安装必要的软件包 确保你已经安装了必要的软件包&#xff0c;包括 mesa-utils 和 nvidia-driver。 安装 mesa-utils sudo apt update sudo apt install mesa-ut…

python替换word文件中的图片

python替换word文件中的图片 模拟鼠标键盘&#xff0c;截屏 import glob import os import timeimport pyautogui import pyautogui as p from PIL import ImageGrab from pynput.keyboard import Controller# -*- coding:utf-8 -*-directory ./directory1 ./outputfor f i…

基于 Redis 实现分布式缓存

一、单节点 Redis 的问题 1.1 存在的问题 1、数据丢失问题&#xff1a;Redis 是内存存储&#xff0c;服务重启可能会丢失数据。 2、并发能力问题&#xff1a;单节点 Redis 并发能力虽然不错&#xff0c;但也无法满足如 618 这样的高并发场景。 3、故障恢复问题&#xff1a;如果…

实践分享:鸿蒙跨平台开发实例

先来理解什么是跨平台 提到跨平台&#xff0c;要先理解什么是“平台”&#xff0c;这里的平台&#xff0c;就是指应用程序的运行环境&#xff0c;例如操作系统&#xff0c;或者是Web浏览器&#xff0c;具体的像HarmonyOS、Android、iOS、或者浏览器&#xff0c;都可以叫做平台…

用于云医疗图像的缩略图保持加密方案

论文标题&#xff1a;《Data hiding with thumbnail-preserving encryption for cloud medical images》&#xff0c;作者提出了一种用于云医疗图像的可逆数据隐藏方案&#xff0c;同时保留了缩略图。下面是论文的创新点和算法过程的总结。 一、缩略图保持加密与传统图像加密 …

GD32 MCU超频后无法再次下载程序的解决办法

我们知道&#xff0c;MCU的系统时钟主频就相当于人的心跳或脉搏&#xff0c;为所有的工作单元提供时间基数&#xff0c;所以一般在程序最开始的地方都需要进行主频配置。 GD32固件库中提供了多种宏定义&#xff0c;可以很方便的将系统时钟配置为想要的频率。 GD32固件库中所用…

AI宣传文案软件有哪些?5款AI软件推荐

AI宣传文案软件有哪些&#xff1f;AI宣传文案软件在现代营销和创意产业中扮演着越来越重要的角色&#xff0c;它们凭借先进的自然语言处理、机器学习和深度学习技术&#xff0c;不仅解放了创作者的双手&#xff0c;还大大提升了文案的生成效率和质量。这些软件能够精准捕捉用户…