【pytorch】tensor.detach()和tensor.data的区别

文章目录

        • 序言
        • 相同点
        • 不同点
        • 测试实例
        • 应用

序言
  • .detach()和.data都可以用来分离tensor数据,下面进行比较
  • pytorch0.4及之后的版本,.data仍保留,但建议使用.detach()
相同点
  • x.detach()和x.data返回和x相同数据的tensor,这个新的tensor和原来的tensor共用数据,一者改变,另一者也会跟着改变
  • 新分离得到的tensor的requires_grad = False, 即不可求导的
不同点
  • (1) .data是一个属性,.detach()是一个方法
  • (2) x.data不能被autograd追踪求微分,即使被改了也能错误求导;x.detach()也不能被autograd追踪求微分,被改了会直接报错,避免错误的产生
  • (3) .data是不安全的,.detach()是安全的
测试实例
  • .data测试

    import torcha = torch.tensor([1 ,2 ,3.], requires_grad = True)  # float类型,支持求导
    out = a.sigmoid()
    print(out)    # 输出(0.0, 1.0)结果
    b = out.data  # 分离tensor
    b.zero_()     # 改变b的值,原来的out也会改变
    print(b.requires_grad)  # .data后requires_grad=False
    print(b)                # 归0后的值 tensor([0., 0., 0.])
    print(out.requires_grad)    # out的requires_grad=True
    print(out)                  # b的值改变了out也变了 tensor([0., 0., 0.])
    print("----------------------------------------------")out.sum().backward()  # 对原来的out求导
    print(a.grad)         # 不会报错,但结果不正确
    
    • 更改分离之后的变量值b,导致原来的张量out的值也跟着改变
    • 但是这种改变对于autograd是没有察觉的,它依然按照求导规则来求导,导致得出完全错误的导数值却浑然不知
    • 它的风险性就是如果我再任意一个地方更改了某一个张量,求导的时候也没有通知我已经在某处更改了,导致得出的导数值完全不正确
  • .detach()测试

    import torcha = torch.tensor([4, 5, 6.], requires_grad=True)
    out = a.sigmoid()
    print(out)
    c = out.detach()
    c.zero_()               # 改变c的值,原来的out也会改变
    print(c.requires_grad)  # detach后requires_grad=False
    print(c)                # 已经归0
    print(out.requires_grad)    # 输出为True
    print(out)
    print("----------------------------------------------")out.sum().backward()  # 对原来的out求导,
    print(a.grad)         # 此时会报错: 梯度计算所需要的张量已经被“原位操作inplace”所更改了# RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
    
    • 更改分离之后的变量值c,导致原来的张量out的值也跟着改变
    • 这个时候如果依然按照求导规则来求导,由于out已经更改了,所以不会再继续求导了,而是报错,这样就避免了得出错误的求导结果
应用
  • forward时使用.data或.detach(),不进行梯度计算和梯度跟踪
  • backward时梯度回传,不能使用.detach()或.data,比如loss信息被detach的话就无法进行梯度回传更新参数,会导致模型无法收敛

 


【参考文章】
[1]. .detach和.data的区别和作用
[2]. .detach和.data的区别
[3]. .detach和.data求导时的区别

created by shuaixio, 2024.02.24

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/707504.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

rpmrebuild 重新制作 rpm

重新制作 rpm 有两种方式 方式一: 1、rpm2cpio xxx.rpm |cpio -idv 2、修改相关文件 3、rpmrebuild -s my.spec xxx.rpm 4、rpmbuild -ba xxx.spec 方式二: 1、rpmrebuild -m /bin/bash -np rpm/xxx.rpm 2、此时我们得到一个交互shell, 3、比…

算法打卡day5|哈希表篇01|Leetcode 242.有效的字母异位词 、19.删除链表的倒数第N个节点、202. 快乐数、1. 两数之和

哈希表基础知识 哈希表 哈希表关键码就是数组的索引下标,然后通过下标直接访问数组中的元素;数组就是哈希表的一种 一般哈希表都是用来快速判断一个元素是否出现集合里。例如要查询一个名字是否在班级里: 要枚举的话时间复杂度是O(n)&…

docker发布dubbo服务 外部程序访问不到问题处理

一、问题简述 程序通过docker向zookeeper注册服务时,会将容器地址(内网地址)作为服务的通信地址。当我们的程序都在容器内相互通信时,可以凭借容器地址相互通信。但是外部程序想要直接通过宿主机取访问服务时,从zk上取到providers的地址&…

【数据结构】从链表到LinkedList类

🧧🧧🧧🧧🧧个人主页🎈🎈🎈🎈🎈 🧧🧧🧧🧧🧧数据结构专栏🎈🎈🎈&…

标准库中的String类 String(C++)【2】

文章目录 String常用的接口(黑框标记的是常用接口)string类对象的反向遍历操作第一种第二种 容量string的扩容机制 String常用的接口(黑框标记的是常用接口) string类对象的反向遍历操作 第一种 通过下表进行遍历 void TestSt…

计算机网络期末复习笔记

一、引言 计算机网络是现代信息技术的核心,涉及计算机、通信、电子等多个领域。在信息时代,计算机网络已经深入到人们生活的各个方面,如社交、购物、教育、科研等。因此,理解和掌握计算机网络的基本概念和原理,对于计…

springboot226经方药食两用服务平台

经方药食两用服务平台的设计与实现 摘要 近年来,信息化管理行业的不断兴起,使得人们的日常生活越来越离不开计算机和互联网技术。首先,根据收集到的用户需求分析,对设计系统有一个初步的认识与了解,确定经方药食两用…

Redis、Memcache、MongoDB三者区别?

使用Redis、Memcache和MongoDB这些工具或数据库取决于具体的需求和应用场景。每种技术都有自己的优势和适用范围。 Redis: 高性能的内存存储:Redis是一个基于内存的数据存储系统,因此读取和写入速度非常快。 丰富的数据结构支持&#xff1a…

RK3568平台 RTC时间框架

一.RTC时间框架概述 RTC(Real Time Clock)是一种用于计时的模块,可以是再soc内部,也可以是外部模块。对于soc内部的RTC,只需要读取寄存器即可,对于外部模块的RTC,一般需要使用到I2C接口进行读取…

nebula容器方式安装:docker 安装nebula到windows

感谢阅读 基础环境安装安装docker下载nebula 安装数据库命令行安装查询network nebula-docker-compose_nebula-net并初始化查询安装初始使用root(God用户类似LINUX的root) 关闭服务 安装UI 基础环境安装 安装docker 点我下载docker 下载nebula 数据…

(2024,Sora 逆向工程,DiT,LVM 技术综述)Sora:大视觉模型的背景、技术、局限性和机遇回顾

Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models 公和众和号:EDPJ(进 Q 交流群:922230617 或加 VX:CV_EDPJ 进 V 交流群) 目录 0. 摘要 1. 简介 2. 背景 2.1…

Presto简介、部署、原理和使用介绍

Presto简介、部署、原理和使用介绍 1. Presto简介 1-1. Presto概念 ​ Presto是由Facebook开发的一款开源的分布式SQL查询引擎,最初于2012年发布,并在2013年成为Apache项目的一部分;Presto 作为现在在企业中流行使用的即席查询框架&#x…

Python全栈工程师课件教程

【百战程序员】Python全栈工程师 描述:Python 被广泛应用于数据分析、机器学习以及 Web 开发等领域,尤其是近些年人工智能的发展更加助推了 Python 的火热程度。 学习 Python 是非科班出身进入程序员岗位的选择。课程体系全新升级,满足学员提…

【华为面试基础题】5键键盘的输出

描述 有一个特殊的 5键键盘,上面有 a,ctrl-c,ctrl-x,ctrl-v,ctrl-a五个键。 a键在屏幕上输出一个字母 a; ctrl-c将当前选择的字母复制到剪贴板; ctrl-x将当前选择的 字母复制到剪贴板,并清空选择的字母; ctrl-v将当前剪贴板里的字母输出到屏幕; ctrl-a …

求字符串所有整数最小和 - 华为OD统一考试(C卷)

OD统一考试(C卷) 分值: 100分 题解: Java / Python / C 题目描述 1.输入字符串s输出s中包含所有整数的最小和,说明:1字符串s只包含a~z,A~Z,,-, 2.合法的整数包括正整数,一个或者多…

C 嵌入式系统设计模式 13:中断模式

本书的原著为:《Design Patterns for Embedded Systems in C ——An Embedded Software Engineering Toolkit 》,讲解的是嵌入式系统设计模式,是一本不可多得的好书。 本系列描述我对书中内容的理解。本文章描述访问硬件的设计模式之六&…

跨境电商与支付介绍

1、跨境电商定义和分类; 2、国际贸易清结算; 3、跨境支付; 1、跨境电商定义和分类 跨境电商业务简单说就是指不同国家地域的主体通过电子商务进行交易的一种业务模式。同传统的电商不同,交易双方属于不同的国家。因此&#xff0…

flask知识--01

flask介绍 # python 界的web框架: Django:大而全,使用率较高 :https://github.com/django/django -FastAPI:新项目选择使用它:https://github.com/tiangolo/fastapi -flask:公司一些…

Mysterious-GIF-攻防世界-MISC

题目简介: 下载得到gif文件,十六进制编辑器查看,发现末尾有50 4B 03 04文件头。提取后保存为zip文件。 解压该zip文件,得到temp.zip。十六进制编辑器查看temp.zip,会发现有多个文件头和文件尾。 用binwalk分离temp.zi…

Springboot项目实战

文章目录 SpringBootVue后台管理系统所需软件下载、安装、版本查询 *Spring项目项目架构 SpringBootVue后台管理系统 学习视频: https://www.bilibili.com/video/BV1U44y1W77D/?spm_id_from333.337.search-card.all.click&vd_sourcec901ae3ff497a02016ba7bada…