Trm理论 2(Word2Vec)

神经网络模型(NNLM)和Word2Vec

NNLM模型是上次说过的模型,其目的是为了预测下一个词。
softmax(w2tanh(w1x + b1)+b2)
会得到一个副产品词向量
而Word2Vue就是专门求词向量的模型
softmax(w2*(w1*x + b1)+b2)

Word2Vec

softmax(w2*(w1*x + b1)+b2),Word2vec比NNLM少了一个激活函数tanh,其原因是word2vec目的是求词向量,并不需要预测结果的准确性,只需要反向传播能正常进行即可。
Word2Vec分为两种
CBOW和skip-gram
在这里插入图片描述
左图是CBOM,右图是skip-gram
word2vue的目的是训练得到Q矩阵,并非预测词,因此重要的是训练过程
CBOM像是一个老师训练多个学生,skip-gram是一堆老师训练一个学生

CBOM

CBOM是用一个词的上下文预测出这个词,“这是一瓶很好喝的牢大冰红茶”,分词后,输入“这是一瓶很__牢大冰红茶”

skip-gram

skip-gram是用一个词,预测出他的上下文,输入“很好喝的”,输出“这是一瓶很__牢大冰红茶”

Word2Vec的缺点

Q矩阵的形成是由训练的数据决定的,因此当你使用训练好的Q矩阵应用于下游任务时,会出错。
举个例子,训练Q矩阵时,所有的苹果意思就是水果,而应用于下游任务的时候,我想表达苹果手机,预测就会出现相差很大的问题

word2vec的下游任务改造

word2vec得到的Q矩阵是预训练的一种
首先得到下游任务的独热编码,在使用word2vec的Q矩阵得到词向量,最后进行接下来的任务。

学习视频连接如下

该文章是学习b站up主水论文的程序员的笔记,链接如下可自行学习

https://www.bilibili.com/video/BV1mZ4y1q7J2/?spm_id_from=333.788&vd_source=2910693b31a0847b17a3d12d76d0e3f1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/53706.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

好父母的新定义,看完后,你就不会再焦虑了!

前言 曾几何时,我们认为的完美父母应该是不打不骂,不吼不叫,能够理解孩子的需求,能够接受孩子的情绪,能够温和且坚定的拒绝孩子的请求..... 是的,这些都没有错,但我们把自己放在哪里&#xff…

Android SSE 单向接收数据

Server-Sent Events(SSE)是一种在客户端和服务器之间实现单向实时通信的技术。它允许服务器向客户端推送数据,但客户端无法使用 SSE 向服务器发送数据。这使得其适用于需要持续接收服务器数据的应用场景(如实时通知、股票行情、社…

连续信号的matlab表示

复习信号与系统以及matlab 在matlab中连续信号使用较小的采样间隔来表四 1.单位阶跃信号 阶跃信号:一个理想的单位阶跃信号在时间 t 0 之前值为0,在 t 0 及之后值突然变为常数 A(通常取 A 1) %matlab表示连续信号,是让信号的采样间隔很小…

鸿蒙 ArkTS声明式 UI 语法

鸿蒙(HarmonyOS)的ArkTS(ArkUI的TypeScript扩展)确实支持声明式UI语法,这种语法允许开发者以声明的方式描述UI组件的结构、样式和行为,而不是直接操作DOM或类似的结构。然而,需要注意的是&#…

Unity3D DOTS系列之Struct Change核心机制详解

在Unity3D的DOTS(Data-Oriented Technology Stack)体系中,Struct Change是一个核心的内存管理机制,它涉及对Entity和Component数据的重新排列和内存分配。DOTS通过ECS(Entity Component System)模型&#x…

Python 中的 SHAP 简介

本文中有多篇计划文章,后期会补充相关链接。鉴于公众号内无法后期修改文章,请关注原文链接。 如何创建和解释 SHAP 图:瀑布图、力图、平均 SHAP 图、蜂群图和依赖图 可直接在橱窗里购买,或者到文末领取优惠后购买: SHAP 是用于理解和调试模型的最强大的 Python 包。它可以…

Oceanbase Restore Point实践

官网链接:Restore Point-V3.2.4-OceanBase 数据库文档-分布式数据库使用文档 在很多应用系统中,用户需要查询数据库中的某个时间点,或者特定版本的数据来完成一些数据分析或汇总之类的操作。 OceanBase 数据库在 V2.2.7x 版本中提供了 Restor…

vscode ssh离线远程连接ubuntu调试

遇见问题: 1 ssh连接上无法启动服务器的虚拟环境; 2 ssh连接上启动服务器的虚拟环境后无法打断点; 对于问题需要参考下面连接安装python和debugy的插件拓展,并且配置json文件link。VSCode - 离线安装扩展python插件教程_vscode…

Jupyter Notebook设置代码提示和自动代码补全

算法学习、4对1辅导、论文辅导或核心期刊可以通过公众号滴滴我 文章目录 在使用Jupyter Notebook中,会出现Jupyter不像Pycharm一样,可以 自动补全代码以及 代码方法提示等功能,这时候就需要通过给Jupyter安装插件来进行实现。 执行步骤&#…

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

作者:周克勇,花名一锤,阿里巴巴计算平台事业部EMR团队技术专家,大数据领域技术爱好者,对Spark有浓厚兴趣和一定的了解,目前主要专注于EMR产品中开源计算引擎的优化工作。 背景和动机 SparkSQL多年来的性能…

前端框架介绍

前端框架是Web开发中不可或缺的工具,它们通过提供结构化的开发方式、模块化组件、响应式设计以及高效的性能优化,极大地简化了Web应用程序的开发过程。以下是对当前主流及新兴前端框架的详细介绍,这些框架不仅涵盖了广泛的功能,还…

StarRocks Lakehouse 快速入门——Apache Iceberg

导读: StarRocks Lakehouse 快速入门旨在帮助大家快速了解湖仓相关技术,内容涵盖关键特性介绍、独特的优势、使用场景和如何与 StarRocks 快速构建一套解决方案。最后大家也可以通过用户真实的使用场景来了解 StarRocks Lakehouse 的最佳实践&#xff01…

2024国赛数学建模备赛|30种常用的算法模型之最优算法-层次分析法

层次分析法(Analytic Hierarchy Process,简称 AHP)是对一些较为复杂、较为模 糊的问题作出决策的简易方法,它特别适用于那些难于完全定量分析的问题。它是美 国运筹学家 T. L. Saaty 教授于上世纪 70 年代初期提出的一种简便、灵活…

网络安全服务基础Windows--第13节-加密技术

基本保密通信模型 密码学发展 1. 古典密码学(1949年之前) 主要特点:数据的安全基于算法的保密 ● 在古典密码学中,密码算法通常是通过⼿⼯或机械装置实现的。 ● 数据的安全性主要依赖于算法本身的保密性,即“安…

(一)NoSQL之 【Redis配置】

一、非关系型数据库 1.1、什么是非关系数据库 NoSQL(NoSQL Not Only SQL ),意思是“不仅仅是 SQL”,是非关系型数据库的总称。 除了主流的关系型数据库外的数据库,都认为是非关系型。 不需要预先建库建表定义数据存储表结构,每…

Return arguments from function calling with OpenAI API when streaming?

题意:在使用OpenAI API进行流式传输时,如何返回函数调用的参数? 问题背景: Ive made a simple OpenAI API example with function calling. Im only using function calling to format the response, Im not calling multiple fu…

Android Radio2.0——设置广播配置标志(一)

在 Android Radio 中,RDS (Radio Data System) 是一种在调频(FM)广播信号中嵌入数字信息的技术,它可以携带额外的数据信息,如电台名称、节目信息等。 一、广播配置设置 在介绍 RDS 广播配置设置前我们先来了解一些常见的 RDS 代码及其含义: AF (Alternative Frequencies…

深入探讨ES6高级特性与实际应用

深入探讨ES6高级特性与实际应用 目录 🌀 生成器(Generators)🔄 迭代器(Iterators)🚀 异步编程🔮 符号(Symbols)🛠️ 类装饰器(Class…

一个vue前端的例子(六)如何获取table一行的id

比如我们要删除列表一行 vue中template中的scope到底是个什么&#xff1f;_vue template scope-CSDN博客 <el-button click"edit_tool(scope.$index)" type"warning" icon"el-icon-edit">编辑</el-button> 获取列表下标

Java 使用 Redis

Java 使用 Redis 1. 引言 Redis 是一个开源的高性能键值对数据库。它支持多种类型的数据结构&#xff0c;如字符串、列表、集合、散列表等&#xff0c;适用于多种场景&#xff0c;如缓存、消息队列等。Java 是一种广泛使用的编程语言&#xff0c;因此在 Java 应用程序中使用 …