keras 生成句子向量 词向量_在Keras模型中使用预训练的词向量

在Keras模型中使用预训练的词向量

文章信息

通过本教程,你可以掌握技能:使用预先训练的词向量和卷积神经网络解决一个文本分类问题

本文代码已上传到Github

本文作者:Francois Chollet

什么是词向量?

”词向量”(词嵌入)是将一类将词的语义映射到向量空间中去的自然语言处理技术。即将一个词用特定的向量来表示,向量之间的距离(例如,任意两个向量之间的L2范式距离或更常用的余弦距离)一定程度上表征了的词之间的语义关系。由这些向量形成的几何空间被称为一个嵌入空间。

例如,“椰子”和“北极熊”是语义上完全不同的词,所以它们的词向量在一个合理的嵌入空间的距离将会非常遥远。但“厨房”和“晚餐”是相关的话,所以它们的词向量之间的距离会相对小。

理想的情况下,在一个良好的嵌入空间里,从“厨房”向量到“晚餐”向量的“路径”向量会精确地捕捉这两个概念之间的语义关系。在这种情况下,“路径”向量表示的是“发生的地点”,所以你会期望“厨房”向量 - “晚餐"向量(两个词向量的差异)捕捉到“发生的地点”这样的语义关系。基本上,我们应该有向量等式:晚餐 + 发生的地点 = 厨房(至少接近)。如果真的是这样的话,那么我们可以使用这样的关系向量来回答某些问题。例如,应用这种语义关系到一个新的向量,比如“工作”,我们应该得到一个有意义的等式,工作+ 发生的地点 = 办公室,来回答“工作发生在哪里?”。

词向量通过降维技术表征文本数据集中的词的共现信息。方法包括神经网络(“Word2vec”技术),或矩阵分解。

GloVe 词向量

本文使用GloVe词向量。GloVe 是 "Global Vectors for Word Representation"的缩写,一种基于共现矩阵分解的词向量。本文所使用的GloVe词向量是在2014年的英文维基百科上训练的,有400k个不同的词,每个词用100维向量表示。点此下载 (友情提示,词向量文件大小约为822M)

20 Newsgroup dataset

本文使用的数据集是著名的"20 Newsgroup dataset"。该数据集共有20种新闻文本数据,我们将实现对该数据集的文本分类任务。数据集的说明和下载请参考这里。

不同类别的新闻包含大量不同的单词,在语义上存在极大的差别,。一些新闻类别如下所示

comp.sys.ibm.pc.hardware

comp.graphics

comp.os.ms-windows.misc

comp.sys.mac.hardware

comp.windows.x

rec.autos

rec.motorcycles

rec.sport.baseball

rec.sport.hockey

实验方法

以下是我们如何解决分类问题的步骤

将所有的新闻样本转化为词索引序列。所谓词索引就是为每一个词依次分配一个整数ID。遍历所有的新闻文本,我们只保留最参见的20,000个词,而且 每个新闻文本最多保留1000个词。

生成一个词向量矩阵。第i列表示词索引为i的词的词向量。

将词向量矩阵载入Keras Embedding层,设置该层的权重不可再训练(也就是说在之后的网络训练过程中,词向量不再改变)。

Keras Embedding层之后连接一个1D的卷积层,并用一个softmax全连接输出新闻类别

数据预处理

我们首先遍历下语料文件下的所有文件夹,获得不同类别的新闻以及对应的类别标签,代码如下所示

texts = [] # list of text samples

labels_index = {} # dictionary mapping label name to numeric id

labels = [] # list of label ids

for name in sorted(os.listdir(TEXT_DATA_DIR)):

path = os.path.join(TEXT_DATA_DIR, name)

if os.path.isdir(path):

label_id = len(labels_index)

labels_index[name] = label_id

for fname in sorted(os.listdir(path)):

if fname.isdigit():

fpath = os.path.join(path, fname)

f = open(fpath)

texts.append(f.read())

f.close()

labels.append(label_id)

print('Found %s texts.' % len(texts))

之后,我们可以新闻样本转化为神经网络训练所用的张量。所用到的Keras库是keras.preprocessing.text.Tokenizer和keras.preprocessing.sequence.pad_sequences。代码如下所示

from keras.preprocessing.text import Tokenizer

from keras.preprocessing.sequence import pad_sequences

tokenizer = Tokenizer(nb_words=MAX_NB_WORDS)

tokenizer.fit_on_texts(texts)

sequences = tokenizer.texts_to_sequences(texts)

word_index = tokenizer.word_index

print('Found %s unique tokens.' % len(word_index))

data = pad_sequences(sequences, maxlen=MAX_SEQUENCE_LENGTH)

labels = to_categorical(np.asarray(labels))

print('Shape of data tensor:', data.shape)

print('Shape of label tensor:', labels.shape)

# split the data into a training set and a validation set

indices = np.arange(data.shape[0])

np.random.shuffle(indices)

data = data[indices]

labels = labels[indices]

nb_validation_samples = int(VALIDATION_SPLIT * data.shape[0])

x_train = data[:-nb_validation_samples]

y_train = labels[:-nb_validation_samples]

x_val = data[-nb_validation_samples:]

y_val = labels[-nb_validation_samples:]

Embedding layer设置

接下来,我们从GloVe文件中解析出每个词和它所对应的词向量,并用字典的方式存储

embeddings_index = {}

f = open(os.path.join(GLOVE_DIR, 'glove.6B.100d.txt'))

for line in f:

values = line.split()

word = values[0]

coefs = np.asarray(values[1:], dtype='float32')

embeddings_index[word] = coefs

f.close()

print('Found %s word vectors.' % len(embeddings_index))

此时,我们可以根据得到的字典生成上文所定义的词向量矩阵

embedding_matrix = np.zeros((len(word_index) + 1, EMBEDDING_DIM))

for word, i in word_index.items():

embedding_vector = embeddings_index.get(word)

if embedding_vector is not None:

# words not found in embedding index will be all-zeros.

embedding_matrix[i] = embedding_vector

现在我们将这个词向量矩阵加载到Embedding层中,注意,我们设置trainable=False使得这个编码层不可再训练。

from keras.layers import Embedding

embedding_layer = Embedding(len(word_index) + 1,

EMBEDDING_DIM,

weights=[embedding_matrix],

input_length=MAX_SEQUENCE_LENGTH,

trainable=False)

一个Embedding层的输入应该是一系列的整数序列,比如一个2D的输入,它的shape值为(samples, indices),也就是一个samples行,indeces列的矩阵。每一次的batch训练的输入应该被padded成相同大小(尽管Embedding层有能力处理不定长序列,如果你不指定数列长度这一参数)

dim).

所有的序列中的整数都将被对应的词向量矩阵中对应的列(也就是它的词向量)代替,比如序列[1,2]将被序列[词向量[1],词向量[2]]代替。这样,输入一个2D张量后,我们可以得到一个3D张量。

训练1D卷积

最后,我们可以使用一个小型的1D卷积解决这个新闻分类问题。

sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH,), dtype='int32')

embedded_sequences = embedding_layer(sequence_input)

x = Conv1D(128, 5, activation='relu')(embedded_sequences)

x = MaxPooling1D(5)(x)

x = Conv1D(128, 5, activation='relu')(x)

x = MaxPooling1D(5)(x)

x = Conv1D(128, 5, activation='relu')(x)

x = MaxPooling1D(35)(x) # global max pooling

x = Flatten()(x)

x = Dense(128, activation='relu')(x)

preds = Dense(len(labels_index), activation='softmax')(x)

model = Model(sequence_input, preds)

model.compile(loss='categorical_crossentropy',

optimizer='rmsprop',

metrics=['acc'])

# happy learning!

model.fit(x_train, y_train, validation_data=(x_val, y_val),

nb_epoch=2, batch_size=128)

在两次迭代之后,这个模型最后可以达到0.95的分类准确率(4:1分割训练和测试集合)。你可以利用正则方法(例如dropout)或在Embedding层上进行fine-tuning获得更高的准确率。

我们可以做一个对比实验,直接使用Keras自带的Embedding层训练词向量而不用GloVe向量。代码如下所示

embedding_layer = Embedding(len(word_index) + 1,

EMBEDDING_DIM,

input_length=MAX_SEQUENCE_LENGTH)

两次迭代之后,我们可以得到0.9的准确率。所以使用预训练的词向量作为特征是非常有效的。一般来说,在自然语言处理任务中,当样本数量非常少时,使用预训练的词向量是可行的(实际上,预训练的词向量引入了外部语义信息,往往对模型很有帮助)。

以下部分为译者添加

国内的Rachel-Zhang用sklearn对同样的数据集做过基于传统机器学习算法的实验,请点击这里。

同时Richard Socher等在提出GloVe词向量的那篇论文中指出GloVe词向量比word2vec的性能更好[1]。之后的研究表示word2vec和GloVe其实各有千秋,例如Schnabel等提出了用于测评词向量的各项指标,测评显示 word2vec在大部分测评指标优于GloVe和C&W词向量[2]。本文实现其实可以利用谷歌新闻的word2vec词向量再做一组测评实验。

参考文献

[1]: Pennington J, Socher R, Manning C D. Glove: Global Vectors for Word Representation[C]//EMNLP. 2014, 14: 1532-1543

[2]: Schnabel T, Labutov I, Mimno D, et al. Evaluation methods for unsupervised word embeddings[C]//Proc. of EMNLP. 2015

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/355808.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

设计模式的Java 8 Lambda表达式–策略设计模式

策略模式定义封装在通常称为Context的驱动程序类中的一系列算法,并使这些算法可互换。 它使算法易于互换,并提供了在特定时间选择适当算法的机制。 算法(策略)在运行时由客户端或上下文选择。 在与客户端交互期间,Con…

2016美国计算机研究生,2016美国留学:美国大学研究生计算机工程专业排名

排名学校名称学校英文名所在地学费/年1Massachusetts Instituteof TechnologyCambridge, MA$44,7201StanfordUniversityStanford, CA$47,0731University ofCalifornia—BerkeleyBerkeley, CA$26,3224卡耐基梅隆大学Carnegie MellonUniversityPittsburgh, PA$41,0005伊利诺伊大学…

hdu 4961 Boring Sum(高效)

题目链接&#xff1a;hdu 4961 Boring Sum 题目大意&#xff1a;给定ai数组; 构造bi, kmax(j|0<j<i,aj%ai0), biak;构造ci, kmin(j|i<j≤n,aj%ai0), ciak; 求∑i1nbi∗ci解题思路&#xff1a;由于ai≤105,所以预先处理好每一个数的因子&#xff0c;然后在处理bi&#…

sata修改为ahci后系统无法启动_固态重装系统

固态硬盘凭借其高速的读写速度&#xff0c;已经成为现如今很多用户电脑的标配。对于刚刚为电脑换上固态硬盘的用户来说&#xff0c;固态硬盘里并没有装有系统&#xff0c;因此首要任务就是进行重装系统win10。那么&#xff0c;固态硬盘如何装系统呢?为固态硬盘重装系统&#x…

幼儿课外活动游戏_幼儿园户外游戏活动大全

幼儿园户外游戏活动大全幼儿园户外游戏活动收集《玩转小布球》游戏目标&#xff1a;进行抛、接、跳、投等多种动作技能的练习&#xff0c;发展幼儿的上、下肢力量和身体协调等多种素质&#xff0c;激发幼儿的练习兴趣。游戏准备&#xff1a;利用废旧布的边角余料&#xff0c;缝…

复旦大学计算机保研经历,#易保研#经验分享 | 个人经历分享,圆梦复旦大学!...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼先介绍下我的情况&#xff0c;南京某大学对外汉语本科生&#xff0c;保研到复旦大学汉语国际教育硕士。这次和大家分享自己的保研经历&#xff0c;纯属是因为两个月前我也是对保研各种迷茫&#xff0c;完全不知道有哪些程序、手续&…

构建之法---初识篇(软件工程师的成长和两人合作)

这周主要看的是第三章和第四章:软件工程师的成长和两人合作&#xff0c;首先衔接上一次的第二章的内容&#xff0c;继续了解如何成为一个合格的软件工程师&#xff0c;当我们真正成为一个合格的软件工程师的时候&#xff0c;我们就应该进行团队合作了&#xff0c;首先从最基础的…

10年老电脑如何提速_中国电信宣布将对宽带免费提速,最高500Mbps

电信宽带用户们有福了&#xff01;中国电信宣布&#xff0c;自11月9日到12月31日&#xff0c;启动“智慧生活好物节&#xff0c;宽带免费加速度”活动&#xff0c;对接入速率200Mbps以下的电信光纤宽带家庭用户&#xff0c;免费在线提速到200Mbps。接入速率大于等于200Mbps但小…

gromacs 安装_带你入门带你飞 gromacs材料计算模拟系列

为了帮助大家了解掌握gromacs材料计算模拟计算&#xff0c;材料人于9月28日举办该主题研讨会。视频回看已经上线。培训内容1 GROMACS入门操作基础1.1掌握GROMACS所用的Linux命令1.2 GROMACS的linux版编译安装1.3 GROMACS各种输入输出文件讲解1.4 GROMACS力场讲解2 GROMACS建模2…

计算机c盘能分区吗,电脑C盘怎么分区

电脑C盘怎么分区C盘是指电脑硬盘主分区之一&#xff0c;一般用于储存或安装系统使用。针对安装在本地硬盘的单操作系统来说&#xff0c;是默认的本地系统启动硬盘。下面是jy135小编收集整理的电脑C盘怎么分区&#xff0c;欢迎阅读。以Windows 7为例&#xff0c;鼠标右键选择计算…

PCB-电解电容的封装

点击到完成即可 转载于:https://www.cnblogs.com/liangjinjie/p/6719605.html

osgi导出包和非导出包_了解如何解决OSGI捆绑包

osgi导出包和非导出包我想回顾一下OSGI包如何解决并使用Apache Karaf进行演示。 Karaf是基于Apache Felix内核的功能齐全的OSGI容器&#xff0c;并且是Apache ServiceMix集成容器的基石。 对于第一部分&#xff0c;我将讨论OSGI框架如何解决捆绑包。 在第二部分中&#xff0c;我…

java虚拟机_Oracle独家:Java虚拟机学习指南

大家好&#xff0c;我是极客时间《深入拆解 Java 虚拟机》作者、Oracle Labs 高级研究员郑雨迪。有幸借这个专题的机会&#xff0c;能和大家分享为何 Java 工程师要学 Java 虚拟机&#xff1f;如何掌握 Java 虚拟机&#xff1f;工欲善其事&#xff0c;必先利其器“为什么学 Jav…

windows聚焦壁纸不更新_壁纸推荐说 | 爱上你的壁纸,每天更新的免费壁纸软件dynamic theme...

搜罗东西 好物尝鲜图&#xff5c;源网络文&#xff5c;百里丶“ 看官们好&#xff01;这里是每期都在的百里&#xff0c;每期的好物推荐缘由都会出现在这里。喜欢的小伙伴可以点个关注呦!看过前文的小伙伴都知道百里是一个爱好尝鲜的&#xff0c;那对于自己每天一定会接触到的…

jOOQ星期二:拉斐尔·温特豪德(Rafael Winterhalter)正在与字节好友搏斗字节码

欢迎来到jOOQ Tuesdays系列。 在本系列中&#xff0c;我们每隔一个月的第三个星期二发布一篇文章&#xff0c;从jOOQ的角度采访我们发现该行业令人兴奋的人。 这包括从事SQL&#xff0c;Java&#xff0c;开放源代码以及其他各种相关主题的人员。 我们很高兴在第七版中与Rafae…

服务器驱动自动安装失败怎么办,Windows 2008下应对驱动安装失败谜局

【IT168 专稿】喜欢尝鲜的朋友抵挡不住Windows Server 2008系统强大功能的吸引&#xff0c;在毫无征兆之下就将自己的计算机系统升级到Windows Server 2008了&#xff1b;在安装好Windows Server 2008系统后&#xff0c;相信许多朋友可能发现了这样一个问题&#xff0c;那就是先…

软件工程个人作业03—找水王

实验要求&#xff1a; 结对开发伙伴&#xff1a; 姓名&#xff1a;陶雨洁 博客地址链接&#xff1a;http://www.cnblogs.com/Amyheartxy/p/6736268.html 一、设计思想 其实在课堂上&#xff0c;老师已经点出了一点思路&#xff0c;已经很接近于答案&#xff0c;具体思路如下&am…

wps分享为什么要登入_【知识分享】柴油为什么要加氢处理?

柴油是石油经过常压分馏后得到的产物。如果直接由石油炼制得到&#xff0c;柴油中的硫、氮、氧含量较高&#xff0c;烯烃的含量也比较高。产品中烯烃的含量高则容易出现变色现象&#xff0c;而且还会影响机动车的使用寿命&#xff0c;对大气污染程度也相对大些。为了克服上面这…

mybatisplus 结果_SpringBoot + MyBatisPlus 快速入门

Hello,大家好&#xff01;前面与大家分享了一次如何搭建Java项目脚手架&#xff0c;并且送给大家一个基础项目模板。那今天与大家分享如何使用这个基础项目&#xff0c;也就是快速上手 SpringBoots ➕ MyBatisPlus。 项目 / 目录结构 天津商业大学学院信息 这是一张天津商业大学…

w7鼠标计算机无法识别,win7电脑遇见usb鼠标无法标识的详细处理步骤

部分win7电脑用户遇见usb鼠标无法标识的情况&#xff0c;要怎么处理呢?下面教程就为你们带来了win7电脑遇见usb鼠标无法标识的详细处理步骤。1、首先&#xff0c;如果你的鼠标出现没有反应的情况&#xff0c;你就把鼠标拔下来&#xff0c;然后插到电脑的另一个USB插口上面&…