【跟马少平老师学AI】-【神经网络是怎么实现的】(七-1)词向量

一句话归纳:

1)神经网络不仅可以处理图像,还可以处理文本。

2)神经网络处理文本,先要解决文本的表示(图像的表示用像素RGB)。

3)独热编码词向量:

  • 词表:{我,在,清华大学,读书,生活,美丽的,清华园,中}
  • 词向量:

清华大学=[0,0,1,0,0,0,0,0]

清华园=[0,0,0,0,0,0,1,0]

美丽的=[0,0,0,0,0,1,0,0]

  • 特点:向量太长,每两个向量之间的距离都是一样的。

4)稠密向量:

猪向量=[1.0,0.1,1.0]

羊向量=[1.0,0.2,1.0]

熊猫=[1.0,0.3,0]

白菜=[0,1.0,1.0]

竹子=[0,1.0,0.1]

可计算向量间的距离。

5)神经网络语言模型:

  • 给定一句话的前n-1个词,预测第n个词是什么词的概率。
  • 用神经网络实现的,为神经网络语言模型。

6)最大似然估计,通过让联合概率最大化估计概率的方法。

7)神经网络语言模型的似然函数:

8)对似然函数进行对数转换,取相反数,求最小值。

可以用梯度下降法了。

9)用BP算法训练的不仅是神经网络语言模型的参数,也包含词向量。

10)稠密词向量可以计算两个向量的距离,有语义意义。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/6040.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ensp 配置s5700 ssh登陆

#核心配置 sys undo info-center enable sysname sw1 vlan 99 stelnet server enable telnet server enable int g 0/0/1 port lin acc port de vlan 99 q user-interface vty 0 4 protocol inbound ssh authentication-mode aaa q aaa local-user admin0 password cipher adm…

Java集合框架-容器源码分析

Java集合框架-容器&源码分析 文章目录 Java集合框架-容器&源码分析[TOC](文章目录)前言一、集合框架概述二、Collection接口及其子接口(List/Set)及实现类2.1 Collection接口中方法2.2 遍历:Iterator迭代器接口&foreach(5.0新特性)2.3 Connection子接口…

SQL 基础 | AS 的用法介绍

SQL(Structured Query Language)是一种用于管理和操作数据库的标准编程语言。 在SQL中,AS关键字有几种不同的用法,主要用于重命名表、列或者查询结果。 以下是AS的一些常见用法: 重命名列:在SELECT语句中&a…

C++基础—模版

C模板是C语言中实现泛型编程的核心机制,它允许程序员定义通用的代码框架,这些框架在编译时可以根据提供的具体类型参数生成相应的特定类型实例。 泛型编程的特点代码复用和安全性! 模板主要分为两大类:函数模板和类模板。 函数模板 基本语…

C++深度解析教程笔记7

C深度解析教程笔记7 第13课 - 进阶面向对象(上)类和对象小结 第14课 - 进阶面向对象(下)类之间的基本关系继承组合 类的表示法实验-类的继承 第15课 - 类与封装的概念实验-定义访问级别cmd 实验小结 第16课 - 类的真正形态实验-st…

Web,Sip,Rtsp,Rtmp,WebRtc,专业MCU融屏视频混流会议直播方案分析

随着万物互联,视频会议直播互动深入业务各方面,主流SFU并不适合管理,很多业务需要各种监控终端,互动SIP硬件设备,Web在线业务平台能相互融合,互联互通, 视频混流直播,录存直播推广&a…

vue3+vite项目中,图片显示为src=“[object Object]“

查了半天&#xff0c;网上都是教人改webpack配置&#xff08;很无语……&#xff09; 解决方法&#xff1a; 在原图片&#xff1b;路径后面加上?url // example <img src"/assets/imgs/stop.svg?url" alt"" />

c++ 筛选裁决文书 1985-2021的数据 分析算法的差异

c cpp 并行计算筛选过滤 裁决文书网1985-2021 的300g数据 数据 数据解压以后大概300g&#xff0c;最开始是使用python代码进行计算&#xff0c;但是python实在太慢了&#xff0c;加上多进程也不行&#xff0c; 于是 使用c 进行 计算 c这块最开始使用的是 i7-9700h 用的是单线…

【翻译】Elasticsearch-索引模块

索引块限制对指定的索引的可用的操作类型&#xff08;就是指对该索引能进行什么操作&#xff09;。这些块有不同的风格&#xff0c;可以阻止写、读或元数据操作。块可以通过动态索引设置来设置/移除&#xff0c;也可以通过专用API添加&#xff0c;这也可以确保写入块一旦成功返…

基于Spring Boot的心灵治愈交流平台设计与实现

基于Spring Boot的心灵治愈交流平台设计与实现 开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/idea 系统部分展示 系统功能界面图&#xff0c;在系统首页可以查看首页…

餐饮店油烟净化器多久清洗一次?保持厨房健康卫生

我最近分析了餐饮市场的油烟净化器等产品报告&#xff0c;解决了餐饮业厨房油腻的难题&#xff0c;更加方便了在餐饮业和商业场所有需求的小伙伴们。 在餐饮店中&#xff0c;油烟净化器的清洗频率是确保厨房环境清洁的关键之一。那么&#xff0c;油烟净化器多久清洗一次才合适…

Ubuntu下安装并配置SAMBA服务器

今天我要给大家带来一个关于在Ubuntu下安装并配置SAMBA服务器的详细技术博客。不过&#xff0c;在我们开始之前&#xff0c;我得先夸一夸阿贝云免费服务器&#xff0c;这个免费云服务器真是不错的东西啊&#xff01;配置有1核CPU、1G内存、10G硬盘和5M带宽。现在我们开始吧&…

C++类成员函数重载

成员函数重载是指在同一个类里&#xff0c;有两个以上的函数具有相同的函数名。每种实现对应着一个函数体&#xff0c;但是形参的个数或者类型不同。 例如:减法函数重载 创建一个类&#xff0c;在类中定义3个名为subtract的重载成员函数&#xff0c;分别实现两…

【二等奖水平论文】2024五一数学建模C题22页保奖论文+22页matlab和13页python完整建模代码、可视图表+分解结果等(后续会更新)

一定要点击文末的卡片&#xff0c;那是资料获取的入口&#xff01; 点击链接加入群聊【2024五一数学建模】&#xff1a;http://qm.qq.com/cgi-bin/qm/qr?_wv1027&khoTDlhAS5N_Ffp-vucfG5WjeeJFxsWbz&authKey7oCSHS25VqSLauZ2PpiewRQ9D9PklaCxVS5X6i%2BAkDrey992f0t15…

【.Net Core/.Net8教程】(三)如何优雅地校验参数

FluentValidation是一个流行的开源验证库&#xff0c;用于在.NET应用程序中验证输入数据。 它有如下特点 语法简洁强大的验证功能支持多语言和本地化可重用性和模块化易于集成详细的错误消息扩展性高 借助FluentValidation&#xff0c;我们可以达到优雅地校验参数的目的。 环…

能综合验证的RISCV内核开源项目调研选择

1. 评估的背景目的 考虑维度&#xff1a; 资源需求&#xff0c;开放程度&#xff0c;学习难度&#xff0c;工具链资源。 最好是国产FPGA支持&#xff0c;或者开源EDA工具链支持。 目标还是寻求一款在FPGA上低成本跑起来并能够支持一定的程序开发&#xff0c;最好实现一款…

人工智能 | Embedding

Embedding是什么 Embedding是一种将离散的符或对象映射到连续向量空间技术。在自然语言处理领域中&#xff0c;Embedding常用于将单词或句子为向量形式&#xff0c;以便计算机可以更好地理解和处理文本数据。 通过使用Embedding&#xff0c;我们可以将每个单词或句子表示为一…

机器学习常见面试题总结

1、泛华误差的分解 训练模型的目的——最小化损失函数——泛化误差可以分解为偏差&#xff08;Biase&#xff09;、方差&#xff08;Variance&#xff09;和噪声&#xff08;Noise&#xff09;。 bias&#xff1a;拟合值和真实值之间有较大的偏差。用所有可能的训练数据集训练…

eclipse开启服务后,网页无法打开,如何解决?

&#x1f3c6;本文收录于「Bug调优」专栏&#xff0c;主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案&#xff0c;希望能够助你一臂之力&#xff0c;帮你早日登顶实现财富自由&#x1f680;&#xff1b;同时&#xff0c;欢迎大家关注&&收藏&&…

kubectl_入门_service详解

Service 我们知道 Pod 的生命周期是有限的。可以用 ReplicaSet 和Deployment 来动态的创建和销毁 Pod&#xff0c;每个 Pod 都有自己的 IP 地址&#xff0c;但是如果 Pod 重建了的话那么他的 IP 很有可能也就变化了。 这就会带来一个问题&#xff1a;比如我们有一些后端的 Po…