Glove学习笔记

global vectors for word representation

B站学习视频

1、LSA与word2vec

在这里插入图片描述
在这里插入图片描述
我们用我们的见解,构建一个新的模型,Glove,全局向量的词表示,因为这个模型捕捉到全局预料的统计信息。

在这里插入图片描述

  • LSA:全局矩阵分解
  • word2vec:局部上下文窗口(词语类比)

在这里插入图片描述
在这里插入图片描述
LSA构建的是词语与文档的共现矩阵。
在这里插入图片描述

  • SVD:奇异值分解

在这里插入图片描述

2、Glove

在这里插入图片描述
glove将词语分为中心词和上下文词,统计两者共同出现的次数。范围限制,窗口为1。
在这里插入图片描述
在这里插入图片描述
窗口大小为2,表示中心词前后大小为2的区域的词语才与中心词有共现关系,窗口之外的词语就不能称之为共现。
共现矩阵X为对称矩阵,共现次数和权重递减函数的乘积,从而达到距离越远的共现词对权重小,距离越近的共现词对权重大。
在这里插入图片描述

  • Xi:中心词语i总共出现的次数

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
概率之间的比值更能捕捉词语之间的相关和不相关关系。
具体推导过程:
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
系列推导后得到最终方程:
在这里插入图片描述
模型的代价(损失)函数:
在这里插入图片描述
权重函数:

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
通过视频中的讲解主要了解共现矩阵及词向量损失函数推导过程及代码的使用!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/186597.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

全国最大液冷数据中心全链基地

10月27日,曙光数创于青岛举办“深蓝计划”新品发布会暨曙光数创(青岛)产业创新基地启动仪式。会上曙光数创发布新一代一体化风液混冷先进数据中心,并宣布全国规模最大的液冷数据中心全链条产业创新基地正式启动。 “曙光数创希望通过全场景可用、全行业适…

AI生成的图片有版权了

我是卢松松,点点上面的头像,欢迎关注我哦! 把发到小红书的AI图片搬运到百家号,然后被起诉了! 长知识了,原来AI生成的图片也有版权了,AI生成图片著作权第一案判了,这绝对是一件划时代事情&…

微信小程序真机调试技巧,解决各种疑难杂症

1.在真机上看log 也许你调试的时候,会使用到真机调试或者预览模式或者体验版模式,这些模式都有可能出现意想不到的bug问题,这时候调试模式就非常非常重要了,特别是给领导看的时候,在领导手机上出现bug了,这…

QT 项目中添加文件夹(分类文件)

为了更方便的整理项目的文件,添加文件夹把文件进行分类。 1.首先在项目文件中创建新的文件夹 2.把需要归类的文件放入新建的文件中 3.右键然后选择add..... 4.运行此程序,会报错因为文件路径改变了,需要在.pro中修改路径 注意事项 文件夹内部…

NSSCTF第14页(2)

[UUCTF 2022 新生赛]ezpop 提示说看看反序列化字符串逃逸 PHP反序列化字符串逃逸_php反序列化逃逸-CSDN博客 php反序列化字符逃逸_php反序列化逃逸_Leekos的博客-CSDN博客 buuctf刷题9 (反序列化逃逸&shtml-SSI远程命令执行&idna与utf-8编码漏洞)_extract($_post);…

[PTP][1588v2] Delay_Resp消息

一、报文格式 0------3--------7--------11--------15--------------------------------31 |TranSpec|MsgType|Reserved1| VerPTP | MsgLength | ----------------|------------------|---------------------------------| | DomainNumber | Res…

码云配置遇到秘钥不正确

你这个就是秘钥没有和git绑定, 需要 git config --global user.name "你的用户名随便写" git config --global user.email "你的邮箱"

DCAMnet网络复现与讲解

距论文阅读完毕已经过了整整一周多。。。终于抽出时间来写这篇辣!~ 论文阅读笔记放这里: 基于可变形卷积和注意力机制的带钢表面缺陷快速检测网络DCAM-Net(论文阅读笔记)-CSDN博客 为了方便观看,我把结构图也拿过来了。…

VS的调试

1.Visual Studio 中,Release、Debug、x86和x64 四个不同的概念 1)Release 和 Debug 是编译的不同配置,用于控制编译器生成的代码和符号信息的方式。 Release 配置用于生成最终发布版本的代码。在 Release 模式下,编译器会进行各…

软考:2024年软考高级:软件工程

软考:2024年软考高级: 提示:系列被面试官问的问题,我自己当时不会,所以下来自己复盘一下,认真学习和总结,以应对未来更多的可能性 关于互联网大厂的笔试面试,都是需要细心准备的 (1…

2023 年 IntelliJ IDEA下载、安装教程,附详细图文

大家好,今天为大家带来的是 2023年 IntelliJ IDEA 下载、安装教程,超详细的图文教程,亲测可用。 文章目录 1 IDEA 下载2 IDEA 安装3 IDEA 使用4 快捷键新手必须掌握:Ctrl:Alt:Shift:Ctrl Alt&a…

机械臂仿真之vrep如添加视觉传感器

基于视觉的机械臂作业任务,如何在vrep中加入视觉传感器,并获取画面?

认证鉴权方案

现在一般使用比较多的认证方式有四种: SessionTokenSSO单点登录OAtuth登录1.Cookie + Session 最常见的就是 Cookie + Session 认证。 Session,是一种有状态的会话管理机制,其目的就是为了解决HTTP无状态请求带来的问题。 当用户登录认证请求通过时,服务端会将用户的信息存…

【排序,直接插入排序 折半插入排序 希尔插入排序】

文章目录 排序排序方法的分类插入排序直接插入排序折半插入排序希尔插入排序 排序 将一组杂乱无章的数据按照一定规律排列起来。将无序序列排成一个有序序列。 排序方法的分类 储存介质: 内部排序:数据量不大,数据在内存,无需…

JeecgBoot低代码开发—Vue3版前端入门教程

JeecgBoot低代码开发—Vue3版前端入门教程 后端接口配置VUE3 必备知识1.vue3新特性a. https://v3.cn.vuejs.org/b.setup的用法c.ref 和 reactive 的用法d.新版 v-model 的用法e.script setup的用法 2.TypeScript基础 后端接口配置 如何修改后台项目路径 http://127.168.3.52:8…

【brpc学习实践】ParallelChannel的使用与并行请求

概览 ParallelChannel (有时被称为“pchan”)同时访问其包含的sub channel,并合并它们的结果。用户可通过CallMapper修改请求,通过ResponseMerger合并结果。ParallelChannel看起来就像是一个Channel: 支持同步和异步访问。 发起异步操作后可以立刻删除。 可以取消。 支持超…

ELFK集群部署(Filebeat+ELK) 本地收集nginx日志 远程收集多个日志

filebeat是一款轻量级的日志收集工具,可以在非JAVA环境下运行。 因此,filebeat常被用在非JAVAf的服务器上用于替代Logstash,收集日志信息。 实际上,Filebeat几乎可以起到与Logstash相同的作用, 可以将数据转发到Logst…

Python与ArcGIS系列(十一)SearchCursor方法

目录 0 简述1 SearchCursor检索要素2 where子句筛选3 几何令牌改进SearchCursor性能0 简述 从要素类和图层中以只读的方式进行检索,如获取GDP超过多少以上的城市列表。除此之外,可以进一步地对数据进行where筛选,以获取数据集子集;大数据量的情况下这种方式效率可能较低,…

【产品功能】dolphinscheduler怎么修改,实现超时就结束掉当前工作流

超时就结束工作流 代码 代码 MasterExecThread类 的 runProcess方法 里面有超时告警,原本里面只有超时告警的,这时候我只要加上海豚自己写好的结束任务的方法endProcess()方法

pycharm编译报错处理

1.c生成工具下载 https://visualstudio.microsoft.com/visual-cpp-build-tools/ 在这里插入图片描述 pip install pycocotools