- 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
- 🍖 原作者：K同学啊 | 接辅导、项目定制
- 🚀 文章来源：K同学的学习圈子
目录
什么是词嵌入？
Embedding与EmbeddingBag详解
Embedding
EmbeddingBag
实际意义：
任务：
什么是词嵌入？
词嵌入（Word Embedding）是NLP中的一个重要概念，用于将单词映射到一个连续的向量空间中，这样相似的单词在向量空间中距离更近。
词嵌入是一种用于表示文本的向量化方法，它将单词或短语映射到一个固定大小的实数向量。例如，“猫”（cat）和“狗”（dog）这样的单词在语义上相似，因此它们的词嵌入向量在向量空间中会相距较近。常用的词嵌入方法包括：
- Word2Vec：一种预测模型，训练目标是通过上下文预测中心词或通过中心词预测上下文词。
- GloVe（Global Vectors for Word Representation）：一种基于词共现矩阵的词嵌入方法，通过矩阵分解来获取词向量。
- FastText：扩展了Word2Vec，考虑了单词内部的子词信息，使其对拼写错误和形态变化更具鲁棒性。
Embedding与EmbeddingBag详解
在深度学习中，尤其是使用PyTorch等框架时，常见的词嵌入层包括Embedding和EmbeddingBag。它们的作用和使用场景有所不同。
Embedding
Embedding层用于将输入的单词索引转换为对应的词嵌入向量。其基本功能是查找词嵌入矩阵中对应索引的行，并返回这些行作为输出。
特点：
- 输入：一个或多个单词索引（整数）。
- 输出：对应的词嵌入向量。
- 用途：适用于大多数需要词嵌入的NLP模型，如RNN、LSTM、Transformer等。
EmbeddingBag
EmbeddingBag层类似于Embedding层，但它增加了一步，将多个嵌入向量的结果进行合并（如求和或平均），常用于处理稀疏特征或词袋模型（Bag of Words）。
特点：
- 输入：单词索引和偏移量（用于指示每个“袋”的起始位置）。
- 输出：每个“袋”的合并向量（如求和、平均）。
- 用途：适用于需要处理文本段落或词袋模型的情况，尤其是在需要高效处理多个嵌入合并操作时。
总结来说，Embedding和EmbeddingBag都是用于词嵌入的层，但EmbeddingBag提供了更高效的批量合并操作，适用于需要对多个词嵌入向量进行合并计算的场景。
实际意义：
Embedding和EmbeddingBag层本身并不限定使用哪种词嵌入方法，它们是深度学习框架（如PyTorch）中的模块，用于将输入的单词索引映射到预定义的词嵌入向量空间。这些词嵌入向量可以通过多种方式获得，包括预训练的词嵌入模型（如Word2Vec、GloVe、FastText）或者是从头开始训练的自定义词嵌入。
任务：
加载附件中的.txt文件，并使用EmbeddingBag和Embedding完成词嵌入
下面是用Embedding、EmbeddingBag测试的案例：
import torch
import torch.nn.functional as F
import jieba
import torch.nn as nntexts = ['比较直观的编码方式是采用上面提到的字典序列。例如，对于一个有三个类别的问题，可以用1、2和3分别表示这三个类别。但是，这种编码方式存在一个问题，就是模型可能会错误地认为不同类别之间存在一些顺序或距离关系，而实际上这些关系可能是不存在的或者不具有实际意义的。为了避免这种问题，引入了one-hot编码（也称独热编码）。one-hot编码的基本思想是将每个类别映射到一个向量，其中只有一个元素的值为1，其余元素的值为0。这样，每个类别之间就是相互独立的，不存在顺序或距离关系。例如，对于三个类别的情况，可以使用如下的one-hot编码']# 使用结巴分词
tokenized_texts = [list(jieba.cut(text)) for text in texts]
# 构建词汇表
word_index = {}
index_word = {}
# 枚举分词结果，将序列填入索引
for i, word in enumerate(set([word for text in tokenized_texts for word in text])):word_index[word] = iindex_word[i] = word# 将文本转化为整数序列
sequences = [[word_index[word] for word in text] for text in tokenized_texts]# 获取词汇表大小
vocab_size = len(word_index)# 将整数序列转化为one-hot编码one_hot_results = torch.zeros(len(texts), vocab_size)
for i, seq in enumerate(sequences):one_hot_results[i, seq] = 1print("词汇表：")
print(word_index)
print("\n 文本：")
print(texts)
print("\n 分词结果：")
print(tokenized_texts)
print("\n 文本序列：")
print(sequences)
print("\n One-hot 编码：")
print(one_hot_results)##############Embedding 转换词嵌入量########################
embedding_dim = 4 # 迁入向量的维度
embedding = nn.Embedding(vocab_size, embedding_dim)
input_sequence1 = torch.tensor(sequences, dtype=torch.long)
embedding_sequence1 = embedding(input_sequence1)
print("\n embedding 编码：")
print(embedding_sequence1)
####################################################EmbeddingBag 转换词嵌入量########################
embedding_dim = 4 # 迁入向量的维度
embedding_bag = nn.EmbeddingBag(vocab_size, embedding_dim, mode='mean')
input_sequence2 = torch.tensor(sequences, dtype=torch.long)
embedding_sequence1 = embedding_bag(input_sequence2)
print("\n embedding 编码：")
print(embedding_sequence1)
######################################运行结果：
Building prefix dict from the default dictionary ...
Dumping model to file cache C:\WINDOWS\TEMP\jieba.cache
Loading model cost 0.989 seconds.
Prefix dict has been built successfully.
词汇表：
{'hot': 0, 'one': 1, '使用': 2, '关系': 3, '为': 4, '就是': 5, '和': 6, '字典': 7, '0': 8, '了': 9, '，': 10, '不': 11, '问题': 12, '认为': 13, '每个': 14, '3': 15, '直观': 16, '用': 17, '分别': 18, '思想': 19, '1': 20, '将': 21, '比较': 22, '基本': 23, '编码方式': 24, '具有': 25, '这样': 26, '编码': 27, '序列': 28, '可以': 29, '只有': 30, '如下': 31, '而': 32, '提到': 33, '距离': 34, '实际上': 35, '之间': 36, '例如': 37, '情况': 38, '模型': 39, '错误': 40, '或者': 41, '顺序': 42, '采用': 43, '。': 44, '这种': 45, '也': 46, '独立': 47, '独热': 48, '）': 49, '有': 50, '2': 51, '表示': 52, '不同': 53, '引入': 54, '上面': 55, '三个': 56, '存在': 57, '会': 58, '地': 59, '称': 60, '这': 61, '这些': 62, '向量': 63, '但是': 64, '-': 65, '值': 66, '避免': 67, '元素': 68, '类别': 69, '可能': 70, '（': 71, '的': 72, '其中': 73, '是': 74, '、': 75, '一个': 76, '为了': 77, '一些': 78, '其余': 79, '或': 80, '到': 81, '对于': 82, '实际意义': 83, '映射': 84, ' 相互': 85}文本：
['比较直观的编码方式是采用上面提到的字典序列。例如，对于一个有三个类别的问题，可以用1、2和3分别表示这三个类别。但是，这 种编码方式存在一个问题，就是模型可能会错误地认为不同类别之间存在一些顺序或距离关系，而实际上这些关系可能是不存在的或者不具有实际意义的。为了避免这种问题，引入了one-hot编码（也称独热编码）。one-hot编码的基本思想是将每个类别映射到一个向量，其中只有一个元素的值为1，其余元素的值为0。这样，每个类别之间就是相互独立的，不存在顺序或距离关系。例如，对于三个类别的情况，可以使用如下的one-hot编码']分词结果：
[['比较', '直观', '的', '编码方式', '是', '采用', '上面', '提到', '的', '字典', '序列', '。', '例如', '，', '对于', '一 个', '有', '三个', '类别', '的', '问题', '，', '可以', '用', '1', '、', '2', '和', '3', '分别', '表示', '这', '三个', ' 类别', '。', '但是', '，', '这种', '编码方式', '存在', '一个', '问题', '，', '就是', '模型', '可能', '会', '错误', '地', '认为', '不同', '类别', '之间', '存在', '一些', '顺序', '或', '距离', '关系', '，', '而', '实际上', '这些', '关系', '可能', '是', '不', '存在', '的', '或者', '不', '具有', '实际意义', '的', '。', '为了', '避免', '这种', '问题', '，', '引入', '了', 'one', '-', 'hot', '编码', '（', '也', '称', '独热', '编码', '）', '。', 'one', '-', 'hot', '编码', '的', '基本', '思想', '是', '将', '每个', '类别', '映射', '到', '一个', '向量', '，', '其中', '只有', '一个', '元素', '的', '值', '为', '1', '，', '其余', '元素', '的', '值', '为', '0', '。', '这样', '，', '每个', '类别', '之间', '就是', '相互', '独立', '的', '，', '不', '存在', '顺序', '或', '距离', '关系', '。', '例如', '，', '对于', '三个', '类别', '的', '情况', '，', '可以', '使用', '如下', '的', 'one', '-', 'hot', '编码']]文本序列：
[[22, 16, 72, 24, 74, 43, 55, 33, 72, 7, 28, 44, 37, 10, 82, 76, 50, 56, 69, 72, 12, 10, 29, 17, 20, 75, 51, 6, 15, 18, 52, 61, 56, 69, 44, 64, 10, 45, 24, 57, 76, 12, 10, 5, 39, 70, 58, 40, 59, 13, 53, 69, 36, 57, 78, 42, 80, 34, 3, 10, 32, 35, 62, 3, 70, 74, 11, 57, 72, 41, 11, 25, 83, 72, 44, 77, 67, 45, 12, 10, 54, 9, 1, 65, 0, 27, 71, 46, 60, 48, 27, 49, 44, 1, 65, 0, 27, 72, 23, 19, 74, 21, 14, 69, 84, 81, 76, 63, 10, 73, 30, 76, 68, 72, 66, 4, 20, 10, 79, 68, 72, 66, 4, 8, 44, 26, 10, 14, 69, 36, 5, 85, 47, 72, 10, 11, 57, 42, 80, 34, 3, 44, 37, 10, 82, 56, 69, 72, 38, 10, 29, 2, 31, 72, 1, 65, 0, 27]]One-hot 编码：
tensor([[1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.]])embedding 编码：
tensor([[[ 5.2550e-01, 1.9887e-02, -9.8271e-02, 8.0132e-01],[-1.1576e+00, -4.5727e-01, 1.7146e-01, 3.0541e-01],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[ 4.8677e-04, 1.2265e+00, -2.6105e+00, 7.1871e-01],[ 9.1623e-01, 4.9972e-01, -5.1998e-02, 4.3566e-02],[ 2.4070e+00, 1.1358e+00, -7.8524e-01, -1.5875e+00],[-4.2295e-01, 2.0979e+00, 3.9425e-01, -1.1051e+00],[-1.0663e+00, -1.5422e+00, -1.0783e+00, 6.8344e-02],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[-2.8018e+00, 6.4410e-01, 8.5853e-01, 6.3849e-01],[-4.7692e-01, 7.9306e-01, -1.1008e-01, -6.7091e-01],[-6.6988e-01, -1.2031e+00, 1.0671e-01, 1.4429e+00],[ 2.2390e+00, 3.0340e-01, -7.2565e-01, -1.3215e+00],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[-1.7030e+00, 1.0905e+00, -1.3059e+00, -1.6116e+00],[ 7.0688e-01, 7.1007e-01, -9.3194e-01, 9.9401e-01],[-2.7584e-01, 4.1012e-01, 2.6101e+00, 8.1666e-01],[-1.3418e+00, -4.2823e-01, 1.5904e+00, 7.3380e-01],[ 2.2007e-01, -1.7115e-02, 3.7640e-01, -3.5726e+00],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[ 1.3885e+00, -1.4760e+00, 6.2447e-01, -1.6541e+00],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[ 1.7421e-02, -1.5721e-01, -1.5607e+00, 2.2232e+00],[-9.1910e-01, 1.0240e+00, -1.2434e+00, 7.8687e-01],[ 1.6859e-01, -7.8852e-01, -7.4477e-01, -1.0226e+00],[ 6.9607e-01, 6.7471e-01, -4.6311e-01, 4.5362e-01],[ 9.8886e-02, 5.4591e-01, 1.5481e-01, -7.8513e-02],[-5.6480e-01, 4.2843e-01, -1.1697e-01, 1.6067e+00],[ 9.0432e-01, -7.8480e-02, -5.9054e-01, -6.9308e-01],[-4.4502e-02, 2.5217e-01, -1.3657e+00, 9.6171e-02],[ 6.6800e-01, -6.6834e-01, 3.2268e-01, 2.1035e-01],[-9.5459e-01, -4.8327e-01, 6.0239e-01, -1.2383e+00],[-1.3418e+00, -4.2823e-01, 1.5904e+00, 7.3380e-01],[ 2.2007e-01, -1.7115e-02, 3.7640e-01, -3.5726e+00],[-6.6988e-01, -1.2031e+00, 1.0671e-01, 1.4429e+00],[-6.4582e-02, -9.8831e-01, -8.2063e-02, 1.6691e-01],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[-2.8812e-01, -1.4354e+00, -8.6487e-01, 1.0483e+00],[ 4.8677e-04, 1.2265e+00, -2.6105e+00, 7.1871e-01],[-4.7124e-02, -6.1739e-01, -2.5240e+00, -4.2321e-01],[ 7.0688e-01, 7.1007e-01, -9.3194e-01, 9.9401e-01],[ 1.3885e+00, -1.4760e+00, 6.2447e-01, -1.6541e+00],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[ 1.1148e-02, 2.5174e-01, -1.3927e+00, 3.7848e-01],[ 6.7311e-02, 1.2060e+00, -5.0407e-01, 1.9390e+00],[ 4.2941e-01, 2.7858e-01, -6.2213e-01, 4.4208e-01],[-8.8930e-01, 8.5292e-01, -1.0919e+00, -2.8890e-01],[ 2.2864e-01, 2.9618e-01, 5.7872e-02, 4.9681e-01],[ 2.1776e-01, 1.2461e+00, -6.4915e-02, 7.3793e-01],[-1.2868e+00, 9.3839e-01, 1.4411e+00, 9.7180e-01],[ 1.1240e+00, 4.6753e-01, -1.2397e+00, 5.3802e-02],[ 2.2007e-01, -1.7115e-02, 3.7640e-01, -3.5726e+00],[ 2.4551e-01, 1.4764e-01, -3.5595e-01, 1.6392e+00],[-4.7124e-02, -6.1739e-01, -2.5240e+00, -4.2321e-01],[ 4.5295e-01, -3.5783e-01, -3.2247e-01, 8.2087e-01],[ 9.6736e-01, 2.3230e-01, 1.3729e+00, -2.0379e+00],[-1.1857e+00, 2.6152e-01, 3.1518e-01, -6.5916e-01],[ 1.7848e-01, -1.3814e+00, 9.4356e-01, -3.3962e-02],[-2.1846e+00, -1.2893e+00, 7.0446e-01, -8.0214e-01],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[ 8.5203e-01, 2.2943e-01, 1.8662e+00, -1.2701e+00],[ 8.3825e-01, 9.0672e-01, 1.2148e-01, 9.6771e-01],[-2.5351e-01, 8.8273e-01, -1.1798e+00, 1.5714e-01],[-2.1846e+00, -1.2893e+00, 7.0446e-01, -8.0214e-01],[ 4.2941e-01, 2.7858e-01, -6.2213e-01, 4.4208e-01],[ 9.1623e-01, 4.9972e-01, -5.1998e-02, 4.3566e-02],[ 6.4974e-01, -5.2605e-01, -1.1821e+00, -6.4189e-01],[-4.7124e-02, -6.1739e-01, -2.5240e+00, -4.2321e-01],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[-1.3678e+00, -9.5186e-01, -6.9441e-01, 5.4439e-01],[ 6.4974e-01, -5.2605e-01, -1.1821e+00, -6.4189e-01],[-4.8194e-01, 5.8015e-01, -2.2228e-01, 7.7587e-01],[ 1.0840e+00, 9.2214e-01, 3.3811e-02, -7.2933e-01],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[-6.6988e-01, -1.2031e+00, 1.0671e-01, 1.4429e+00],[ 6.0966e-01, -8.1568e-01, 3.8467e-02, -1.0044e+00],[ 8.8527e-01, -1.0440e+00, -2.4492e-01, -3.5171e-01],[-2.8812e-01, -1.4354e+00, -8.6487e-01, 1.0483e+00],[ 1.3885e+00, -1.4760e+00, 6.2447e-01, -1.6541e+00],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[-1.7151e-01, 3.7887e-01, 2.9000e+00, 5.7696e-01],[-8.9395e-01, 2.6079e+00, -8.9244e-01, 1.1024e-01],[-4.6333e-01, -7.6318e-01, -1.6272e+00, 1.1206e+00],[ 1.2328e-01, -1.1096e+00, -1.4897e+00, -1.5095e+00],[ 5.4554e-01, -1.6514e+00, -1.4589e+00, 3.4808e-01],[ 1.5150e+00, -1.0228e-01, -9.7248e-01, -3.1797e-01],[ 1.0318e+00, 2.5763e-01, 1.6841e+00, -2.3078e+00],[ 1.8831e-01, 1.2562e+00, -2.3766e-02, 3.7697e-01],[-1.6851e+00, 4.9356e-01, 4.0918e-01, -7.5208e-01],[-3.5105e-01, 3.9477e-01, -1.6126e-01, 1.0557e-01],[ 1.5150e+00, -1.0228e-01, -9.7248e-01, -3.1797e-01],[ 2.4176e-01, 6.1063e-01, 7.0280e-02, 6.3428e-01],[-6.6988e-01, -1.2031e+00, 1.0671e-01, 1.4429e+00],[-4.6333e-01, -7.6318e-01, -1.6272e+00, 1.1206e+00],[ 1.2328e-01, -1.1096e+00, -1.4897e+00, -1.5095e+00],[ 5.4554e-01, -1.6514e+00, -1.4589e+00, 3.4808e-01],[ 1.5150e+00, -1.0228e-01, -9.7248e-01, -3.1797e-01],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[ 7.3359e-01, -1.2717e+00, 1.7727e+00, 4.2982e-01],[ 1.6822e-01, 1.5904e+00, -1.1690e+00, -1.9367e+00],[ 9.1623e-01, 4.9972e-01, -5.1998e-02, 4.3566e-02],[-6.3116e-01, 5.3704e-01, -1.8506e-01, 1.8058e-01],[ 1.2415e+00, -2.9651e-01, 3.6977e-01, 1.2185e-01],[ 2.2007e-01, -1.7115e-02, 3.7640e-01, -3.5726e+00],[-1.3092e+00, -4.7501e-01, -5.1899e-01, -9.2423e-02],[-6.0952e-01, -1.4612e-02, 8.4981e-01, 1.8167e+00],[ 7.0688e-01, 7.1007e-01, -9.3194e-01, 9.9401e-01],[-1.0607e+00, -1.4019e+00, -7.9009e-01, -4.7775e-01],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[-2.5188e-02, -1.1875e-01, 1.4506e+00, -3.7768e-01],[-6.8769e-01, -5.5753e-01, -3.5104e-01, 1.5053e+00],[ 7.0688e-01, 7.1007e-01, -9.3194e-01, 9.9401e-01],[ 1.3097e-01, -1.5397e-01, -1.6019e+00, 8.4426e-01],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[ 1.1246e-01, -5.9679e-01, 1.1860e+00, 3.9394e-01],[ 1.1496e+00, 1.4256e+00, 3.2223e-01, 7.6917e-01],[ 1.6859e-01, -7.8852e-01, -7.4477e-01, -1.0226e+00],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[ 1.4580e+00, 3.5233e-01, 3.9191e-01, -2.2870e-01],[ 1.3097e-01, -1.5397e-01, -1.6019e+00, 8.4426e-01],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[ 1.1246e-01, -5.9679e-01, 1.1860e+00, 3.9394e-01],[ 1.1496e+00, 1.4256e+00, 3.2223e-01, 7.6917e-01],[-1.0514e+00, -2.3508e-02, -1.5618e+00, -1.2854e+00],[-6.6988e-01, -1.2031e+00, 1.0671e-01, 1.4429e+00],[-3.5228e-02, -2.7819e-01, 6.2439e-01, 7.5989e-01],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[ 1.2415e+00, -2.9651e-01, 3.6977e-01, 1.2185e-01],[ 2.2007e-01, -1.7115e-02, 3.7640e-01, -3.5726e+00],[ 2.4551e-01, 1.4764e-01, -3.5595e-01, 1.6392e+00],[ 1.1148e-02, 2.5174e-01, -1.3927e+00, 3.7848e-01],[ 3.3340e-01, -4.4953e-02, 3.3859e-02, -1.5573e+00],[ 1.5800e-01, 7.3902e-01, -1.5889e+00, -1.2582e+00],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[ 6.4974e-01, -5.2605e-01, -1.1821e+00, -6.4189e-01],[-4.7124e-02, -6.1739e-01, -2.5240e+00, -4.2321e-01],[ 9.6736e-01, 2.3230e-01, 1.3729e+00, -2.0379e+00],[-1.1857e+00, 2.6152e-01, 3.1518e-01, -6.5916e-01],[ 1.7848e-01, -1.3814e+00, 9.4356e-01, -3.3962e-02],[-2.1846e+00, -1.2893e+00, 7.0446e-01, -8.0214e-01],[-6.6988e-01, -1.2031e+00, 1.0671e-01, 1.4429e+00],[ 2.2390e+00, 3.0340e-01, -7.2565e-01, -1.3215e+00],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[-1.7030e+00, 1.0905e+00, -1.3059e+00, -1.6116e+00],[-1.3418e+00, -4.2823e-01, 1.5904e+00, 7.3380e-01],[ 2.2007e-01, -1.7115e-02, 3.7640e-01, -3.5726e+00],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[ 6.8893e-01, 9.6356e-01, 1.2914e+00, -4.1785e-01],[ 2.9834e-01, -3.0731e+00, -1.3642e+00, -1.0279e+00],[ 1.7421e-02, -1.5721e-01, -1.5607e+00, 2.2232e+00],[ 7.6139e-01, 1.3643e+00, 7.8093e-01, 5.4841e-01],[-9.9045e-01, -1.0643e+00, -1.7787e-01, -6.4890e-01],[ 1.8948e-01, 3.3767e-01, 7.5379e-01, -1.3790e-01],[-4.6333e-01, -7.6318e-01, -1.6272e+00, 1.1206e+00],[ 1.2328e-01, -1.1096e+00, -1.4897e+00, -1.5095e+00],[ 5.4554e-01, -1.6514e+00, -1.4589e+00, 3.4808e-01],[ 1.5150e+00, -1.0228e-01, -9.7248e-01, -3.1797e-01]]],grad_fn=<EmbeddingBackward0>)embedding 编码：
tensor([[-0.1307, 0.1223, 0.0530, -0.0459]], grad_fn=<EmbeddingBagBackward0>)
-磁盘结构)
