pytorch自定义模型执行过程

使用pytorch定义自己的模型是继承nn.Module实现的。在__init__方法中定义需要初始化的参数,一般把网络中具有可学习参数的层放在这里定义。forward方法实现模型的功能,实现各个层之间的连接关系的核心。backward函数就会被自动实现(利用Autograd)。

class WordAveragingModel(nn.Module):def __init__(self, vocab_size: int, embed_dim: int, embed_dropout: float = 0.25,pad_idx: int = Vocabulary.pad_idx):......def forward(self, input_ids: torch.LongTensor, attention_mask: torch.LongTensor) -> Output:......

模型实例化

word_avg = WordAveragingModel(len(vocab), embed_dim=EMBED_DIM,
embed_dropout=DROPOUT) 这里传入的参数类型、个数是由构造函数定义的。

模型前向计算

tokenized = {“input_ids”:xxxxxxxxxxxxxx,“attention_mask”:hhhhhhhhhhhh}
y=word_avg(**tokenized)

参数tokenized包含的参数名称、类型是由forward方法定义的。
因为在Python中只要定义类型的时候,实现__call__函数,这个类型就成为可调用的。 换句话说,我们可以把这个类型的对象当作函数来使用。nn.Module的__call__自动调用了forward方法。
再说tokenized,肯定来自于数据集,是一次批处理的数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/423993.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

第一百三十五期:如何模拟一次阿里双11秒杀场景的实现?程序员必看

秒杀活动可以说在互联网上随处可见,从12306抢票,到聚划算抢购,我们生活的方方面面都可以看到秒杀的身影。 作者:IT技术管理那些事儿 秒杀活动可以说在互联网上随处可见,从12306抢票,到聚划算抢购&#xf…

什么是“中台”

“中台”概念起源于军事范畴,其精髓是“大平台支撑精兵作战”,即前线小团队作战,后方建设强大的火力平台和信息化指挥系统机动支撑。企业中台战略随着Supercell、阿里巴巴、腾讯、华为等国内外科技巨头的应用和宣传,近年来在国内被…

新编标准日本语 第26课 课文

自転車に2人で乗るのは危ないです1.自転車に2人で乗るのは危ないです2.手紙を出すのを忘れました3.明日の朝は大雨になるでしょう4.森さんは今日会社を休むかもしれません李さんは絵をかくのが好きですね。ええ、大好きです。でも、あまり上手ではありませんよ。吉田さんが転勤…

pytorch矩阵相乘与点乘

1pytorch矩阵相乘与点乘 torch.mul(a, b) 矩阵点乘 矩阵点乘要求两个矩阵维度符合一定要求 a的形状是(x,y) b的形状是(x,y),那么得到(x,y)形状的矩阵b的形状是(x,1),那么得到(x,y)形状的矩阵,从2到y列的值与第一列的值相y1,b的形…

第一百三十六期:详细讲解 Redis 的两种安装部署方式

Redis 是一款比较常用的 NoSQL 数据库,我们通常使用 Redis 来做缓存,这是一篇关于 Redis 安装的文章,所以不会涉及到 Redis 的高级特性和使用场景,Redis 能够兼容绝大部分的 POSIX 系统。 作者:平头哥 Redis 是一款比…

docker 查询或获取私有仓库(registry)中的镜像

docker 查询或获取私有仓库(registry)中的镜像,使用 docker search 192.168.1.8:5000 命令经测试不好使。 解决: 1、获取仓库类的镜像: [rootshanghai docker]# curl -XGET http://192.168.1.8:5000/v2/_catalog {"repositories":[…

知识图谱需要解决的问题

1 知识图谱应用场景 1、数据可视化 2、基于图谱的问答系统 3、基于图谱的关系推理 4、便捷的关系查询,给模型提供更多数据特征 2 知识图谱的构建 非结构化数据源中的实体识别:一般来说是一个sequence labeling的任务。 非结构化数据源中的关系抽取&am…

spring mvc学习(43):处理静态资源

上图是目录结构&#xff0c;本节是有问同学的&#xff0c;当好好总结 pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0.…

每天学一点flash(14) as3.0 处理xml (官方)

把官方的教程贴上来&#xff0c;我觉得还是不错的说得很有条理&#xff1a; 转载于:https://www.cnblogs.com/guoyiqi/archive/2007/08/21/2069585.html

pytorch中的sum

pytorch的sum怎么那么烦人呢&#xff1f;我怎么知道应该给哪个维度做加和呢。 如果 x tensor([[0.5946, 0.3530, 0.2231], [0.7467, 0.2139, 0.4841], [0.6990, 0.6151, 0.1369], [0.1062, 0.5951, 0.7555], [0.7811, 0.2932, 0.2963]]) 那么我想 x.sum(dim1)&#xff0c;第0个…

oracle-SYSTEM表空间的备份与恢复

oracle-SYSTEM表空间的备份与恢复 这一篇在介绍备份及恢复数据文件的方法时&#xff0c;以备份和重做日志&#xff08;包括归档日志和在线日志&#xff09;没有丢失为前提 所谓关键数据文件&#xff1a;system表空间的数据文件与参数undo_tablespace指向的自动撤销表空间的数据…

Spring AOP学习笔记

需明确的几个概念: l 通知(Advice)&#xff1a;用于告知系统将有哪些新的行为。l 切入点(Pointcut):定义了通知应该在应用到那些连接点。l 目标对象(Target)&#xff1a;被通知的对象。l 代理(Proxy)&#xff1a;将通知应用到目标对象后创建的…

spring mvc学习(44):springMVC运行原理

springMVC处理请求的流程 SpringMVC的工作原理图&#xff1a; SpringMVC流程 1、 用户发送请求至前端控制器DispatcherServlet。 2、 DispatcherServlet收到请求调用HandlerMapping处理器映射器。 3、 处理器映射器找到具体的处理器(可以根据xml配置、注解进行查找)&…

pytorch中的squeeze和unsqueeze

squeeze&#xff1a;压缩&#xff0c;要减少维度。 unsqueeze&#xff1a;解压缩&#xff0c;要增加维度。 torch.squeeze(input)&#xff0c;那么会把input中所有维度长度为1的维度去掉。 torch.squeeze(input,dim1)&#xff0c;那么在给定dim的情况下&#xff0c;就只去掉dim…

一段按页自动滚动文字或图片的Js代码

<div iddemo style"position:relative;padding:10px;border:solid 1px green;BACKGROUND: #ffffff; OVERFLOW: hidden; WIDTH: 510px; COLOR: red; HEIGHT: 100px"><div id"demo1"style"position:relative;">您的图片或者要滚动的内…

spring mvc学习(45):springMVC的三大组件

SpringMvc框架结构图 处理器映射器&#xff1a;用户请求路径到Controller方法的映射处理器适配器&#xff1a;根据handler(controlelr类&#xff09;的开发方式&#xff08;注解开发/其他开发&#xff09; 方式的不同区寻找不同的处理器适配器 视图解析器&#xff1a;根据hand…

[NLP-CNN] Convolutional Neural Networks for Sentence Classification -2014-EMNLP

1. Overview 本文将CNN用于句子分类任务 (1) 使用静态vector CNN即可取得很好的效果&#xff1b;> 这表明预训练的vector是universal的特征提取器&#xff0c;可以被用于多种分类任务中。 (2) 根据特定任务进行fine-tuning 的vector CNN 取得了更好的效果。 (3) 改进模型架…

知识图谱中三元组抽取

内容来自七月算法nlp课程。 这是要解决知识图谱中的其中一个问题&#xff1a;从非结构文本中抽取三元组。 要解决这个问题&#xff0c;总体思路有通过模板抽取、通过模型抽取。 三元组工业界一般都存储在neo4j中&#xff0c;学术界会采用RDF形式存储。 1结构化数据抽取 定义…

spring mvc学习(46):自定义配置类

上图是目录结构&#xff0c;本节是有问同学的&#xff0c;当好好总结 pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0.…

图谱问答-理解query

内容来自七月算法nlp课程。 图谱问题是用户输入一句话&#xff0c;系统返回这句话的答案。这里分多种情况。例如根据实体和关系查询尾实体&#xff0c;或者根据实体查询关系&#xff0c;甚至还会出现多跳的情况&#xff0c;不同的情况采用的方法略有不同。 文章目录1 根据实体…