one of the variables needed for gradient computation has been modified by an inplace operation

出错问题:
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [8]], which is output 0 of SelectBackward, is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

出错原因:
对于需要求导的变量,不能用inplace操作赋值。inplace操作指的是在赋值操作中,同时改变需求导变量原本数值的操作。比如:

seq_hidden[0][0] = seq_hidden[0][0] + seq_hidden[0][1]

这个就不行,这个操作既读取了seq_hidden[0][0]的值用于计算,又更新seq_hidden[0][0]的值作为结果

解决办法:
创建一个和seq_hidden的shape一样的空tensor,这样跟 seq_hidden无关了,然后赋值的操作就不是inplace操作了
比如:at_hidden = torch.ones((seq_hidden.size()[0],seq_hidden.size()[1],hidden_size))
注意:千万不能直接 at_hidden = seq_hidden ,这样at_hidden就变成了需要求导的变量seq_hidden的引用。之前对at_hidden 的修改还是inplace操作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/479773.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 231. 2的幂 LeetCode 338. 比特位计数(2进制1的个数)

文章目录1. 题目信息2. 解题拓展:求一个数n的2进制有多少个1?LeetCode 3381. 题目信息 给定一个整数,编写一个函数来判断它是否是 2 的幂次方。 示例 1:输入: 1 输出: true 解释: 20 1 示例 2:输入: 16 输出: true 解释: 24 16 示例 3:输…

最全阿里架构师P系列解读:P5-P8的技能要求和薪资结构

2018年持续一整年的架构设计分享,2019年我希望持续分享的同时,能真正意义上帮助到部分读者成为一名架构师。 学习的同时请千万别:只见树木,不见森林。 所以我会让大家先俯瞰完整的森林,我们再从树木开始,…

NeurIPS’20 | 长尾问题太严重?半监督和自监督就可以有效缓解!

文 | Yuzhe Yang源 | 知乎来给大家介绍一下我们的最新工作,目前已被NeurIPS 2020接收:Rethinking the Value of Labels for Improving Class-Imbalanced Learning。这项工作主要研究一个经典而又非常实际且常见的问题:数据类别不平衡&#xf…

论文浅尝 | 知识图谱中的链接预测:一种基于层次约束的方法

论文笔记整理:张良,东南大学博士生,研究方向为知识图谱,自然语言处理。链接:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp&arnumber8450054本文主要关注KG上的 Link prediction 问题,以往的方法在…

NumPy快速入门--基础知识

文章目录1. 一个典型例子2. 数组的创建3. 打印数组4. 基本操作5. 通用函数6. 索引、切片、迭代NumPy的数组类被称为ndarray。别名为 array。 ndarray.ndim:数组的轴(维度)的个数。又称为rank。ndarray.shape:数组的维度。是一个整…

Python 实现图片轮播及音乐循环播放

根据自己的实际情况修改Path参数。 遇到的问题:如果文件夹下存在图片损坏会停止播放,为了播放顺畅,可手动删除已损坏图片。 # -*- coding: utf-8 -*-""" Created on 2019/8/20author: elnrequirements: PyCharm 2017.2; Pyth…

阿里P8架构师谈:架构设计经验汇总

架构设计更多的是实践经验总结,以下架构设计经验,我会陆续补充完整。 一:数据库拆分原则 阿里P8架构师谈:架构设计之数据库拆分六大原则 二:缓存选择原则 阿里P8架构师谈:分布式缓存的应用场景、选型比较…

科技论文写作

一、论文模版 acm的latex模版从https://www.acm.org/publications/proceedings-template下载。创建的github库要设置成私有库 二、实验结果表格 使用在线工具 注意事项:结果四舍五入保留4位小数;对比实验的话(新结果-对比结果)/对比结果,结…

陈丹琦“简单到令人沮丧”的屠榜之作:关系抽取新SOTA!

文 | JayLou娄杰大家好,我是卖萌屋的JayJay,好久不见啦~最近在「夕小瑶知识图谱与信息抽取」群里和群友交流时,JayJay发现了来自陈丹琦大佬(女神)的一篇最新的关系抽取SOTA《A Frustratingly Easy Approach…

肖仰华 | 知识图谱落地的基本原则与最佳实践

本文转载在公众号:知识工场。肖仰华博士,复旦大学计算机科学与技术学院教授,博士生导师,知识工场实验室负责人。此文内容取自肖仰华教授在华为、CCF等场合所做报告,完整内容见书籍《知识图谱:概念与技术》的…

预训练模型应用工具 PaddleHub情感分析、对话情绪识别文本相似度

文章目录1. 预训练模型的应用背景1.1 多任务学习与迁移学习1.2 自监督学习2. 快速使用PaddleHub2.1 通过Python代码调用方式 使用PaddleHub2.1.1 CV任务原图展示人像扣图人体部位分割人脸检测关键点检测2.1.2 NLP 任务2.2 通过命令行调用方式 使用PaddleHub3. PaddleHub提供的预…

NIPS’20 Spotlight | 精准建模用户兴趣,广告CTR预估准确率大幅提升!

源 | 京东零售技术在以人工智能技术为支持的推荐、搜索、广告等业务中,点击率预估(CTR)一直是技术攻坚的核心,同时也是人工智能技术在业务落地中最难实现的技术方向之一。第一期介绍了视觉信息使用帮助提高点击率预估的准确度&…

史上最强大型分布式架构详解:高并发+数据库+缓存+分布式+微服务+秒杀

分布式架构设计是成长为架构师的必备技能,涵盖的内容很广,今天一次打包分享,文末有:最全分布式架构设计资料获取方式~ 负载均衡 负载均衡的原理和分类 负载均衡架构和应用场景 分布式缓存 常见分布式缓存比较:memcac…

论文浅尝 | 面向多语言语义解析的神经网络框架

论文笔记整理:杜昕昱,东南大学本科生。来源:ACL2017链接:https://aclweb.org/anthology/P17-2007论文训练了一个多语言模型,将现有的Seq2Tree模型扩展到一个多任务学习框架,该框架共享用于生成语义表示的解…

RemoveError: ‘setuptools‘ is a dependency of conda

问题: Preparing transaction: done Verifying transaction: failed RemoveError: setuptools is a dependency of conda and cannot be removed from condas operating environment. 解决办法: conda update --force conda

LeetCode 46. 全排列(回溯)

文章目录1. 题目信息2. 解题2.1 利用hash map解决2.2 改用bool数组判断是否出现过1. 题目信息 给定一个没有重复数字的序列,返回其所有可能的全排列。 示例:输入: [1,2,3] 输出: [[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1] ]来源:力扣&#xf…

谷歌师兄的刷题笔记分享!

高畅现在是谷歌无人车部门(Waymo)的工程师,从事计算机视觉和机器学习方向。他在美国卡内基梅隆大学攻读硕士学位时,为了准备实习秋招,他从夏天开始整理某 code 上的题目,几个月的时间,刷了几百道…

【深度揭秘】百度、阿里、腾讯内部岗位级别和薪资结构,附带求职建议!

“ 最近很忙,文章没有及时更新。。 最近被问得最多就是想进入BAT等一线互联网公司,应该怎么办? 我先从BAT等这样的公司看看他们的招聘需求谈起,再结合这样的公司需要对技术的要求是什么,最后结合我的建议&#xff0…

机器学习项目(四)疫情期间网民情绪识别

机器学习项目(四)疫情期间网民情绪识别 (一):https://blog.csdn.net/qq_33357094/article/details/105148198?utm_mediumdistribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel_param&am…

DGL_图的创建、保存、加载

import dgl import torch as th from dgl.data.utils import save_graphsg1 dgl.DGLGraph() g1.add_nodes(3) g1.add_edges([0, 0, 0, 1, 1, 2], [0, 1, 2, 1, 2, 2]) g1.ndata["x"] th.ones(3, 5) # 3个节点的embedding g1.edata[y] th.zeros(6, 5) # 6条边的…