pytorch 报错 the graph are freed when you call .backward() or autograd.grad()

原来 的环境 是 python 3.7  torch1.13.1 环境 下面跑通的代码  

    到 python 3.10 和torch 2.3.1报错

File "/mnt/workspace/t.py", line 200, in train
    d_loss.backward()
  File "/usr/local/lib/python3.10/site-packages/torch/_tensor.py", line 525, in backward
    torch.autograd.backward(
  File "/usr/local/lib/python3.10/site-packages/torch/autograd/__init__.py", line 267, in backward
    _engine_run_backward(
  File "/usr/local/lib/python3.10/site-packages/torch/autograd/graph.py", line 744, in _engine_run_backward
    return Variable._execution_engine.run_backward(  # Calls into the C++ engine to run the backward pass
RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify retain_graph=True if you need to backward through the graph a second time or if you need to access saved tensors after calling backward.

解决     d_loss.backward(retain_graph=True)

这个错误信息表明你尝试在一个已经进行了反向传播的计算图中再次进行反向传播,但是计算图的中间变量在第一次反向传播后已经被释放了。在 PyTorch 中,当你调用 `.backward()` 方法时,计算图的中间变量默认是不会被保留的,这意味着你不能在同一张图上再次进行反向传播。

错误信息中提到了两种可能的情况:

1. 你尝试在同一个计算图中进行了第二次反向传播。
2. 你尝试在调用 `.backward()` 之后直接访问已经释放的保存的张量。

如果你确实需要在同一个计算图中进行多次反向传播,或者在调用 `.backward()` 之后还需要访问中间变量,你可以在第一次调用 `.backward()` 时添加 `retain_graph=True` 参数。这会告诉 PyTorch 在进行反向传播时保留计算图,以便你可以再次使用它。

修改后的代码示例如下:

```python
d_loss.backward(retain_graph=True)
```

请注意,使用 `retain_graph=True` 可能会增加内存的使用,因为计算图的中间变量不会被立即释放。因此,只有在你确实需要保留计算图时才应该使用这个参数。

另外,如果你在一个循环中多次调用 `.backward()`,确保在每次迭代结束时调用 `optimizer.zero_grad()` 来清除已经累积的梯度,否则梯度会累积起来,导致不正确的更新。

```python
for _ in range(some_iterations):
    # ... 进行前向传播 ...
    
    # 计算损失
    d_loss = ...
    
    # 反向传播
    d_loss.backward(retain_graph=True)
    
    # 更新模型参数
    optimizer.step()
    
    # 清除梯度
    optimizer.zero_grad()
```

如果你不需要保留计算图,确保在每次迭代中都重新构建计算图,而不是重复使用同一个计算图。
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/879532.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

flink 常见的缩减状态的方式

在 Apache Flink 中,缩减状态(state reduction)是指在流处理任务中,通过一定的方式减少或优化状态的存储和管理,降低内存消耗或加快计算速度。以下是 Flink 中常见的缩减状态的方式: 1. 时间窗口(Windowing&#xff0…

C++系列-谓词predicate

谓词predicate 💢什么是谓词💢💢函数(function)谓词💢💢函数指针(function pointer)谓词💢💢函数对象(Function Object)谓词💢💢lambda表达式谓词💢&#x1f…

加密与安全_优雅存储用户密码的最佳实践

文章目录 Pre概述最佳实践避免使用MD5、SHA1等快速哈希算法加盐哈希 (不推荐)使用BCrypt、Argon2等慢哈希算法 (推荐)BCrypt Code1. 自动生成和嵌入盐2. 哈希结果的格式3. 代价因子 BCrypt特点 防止暴力破解1. 登录失败锁定2. 双因素认证(2FA…

Golang | Leetcode Golang题解之第409题最长回文串

题目&#xff1a; 题解&#xff1a; func longestPalindrome(s string) int {mp : map[byte]int{}for i : 0; i < len(s); i {mp[s[i]]}res : 0for _, v : range mp {if v&1 1 {res v - 1} else {res v}}if res<len(s) {res}return res }

搭建VUE前端项目流程——Node.js 、Yarn、npm、Vue、Vite、Webpack

文章目录 搭建VUE前端项目流程Vue、Vite、Webpack、Yarn、Node.js 和 npm 的概念解释&#xff0c;以及它们之间的关系&#xff1a;搭建项目流程 搭建VUE前端项目流程 Vue、Vite、Webpack、Yarn、Node.js 和 npm 的概念解释&#xff0c;以及它们之间的关系&#xff1a; Node.js…

Python酷库之旅-第三方库Pandas(117)

目录 一、用法精讲 516、pandas.DataFrame.add_suffix方法 516-1、语法 516-2、参数 516-3、功能 516-4、返回值 516-5、说明 516-6、用法 516-6-1、数据准备 516-6-2、代码示例 516-6-3、结果输出 517、pandas.DataFrame.align方法 517-1、语法 517-2、参数 51…

12. DataLoader的基本使用

DataLoader的基本使用 1. 为什么要使用DataLoader DataLoader对创建好的DataSet的样本取样进行了集成操作,非常方便对于后续网络训练、测试的数据集的选择和使用 DataLoader可以集成了数据批量加载的方法,可以使用 batch_size 设置批量大小,DataLoader就会自动处理批量数据…

adb install失败: INSTALL_PARSE_FAILED_NO_CERTIFICATES

这个错误表明在尝试安装 APK 文件时出现了问题&#xff0c;原因是 APK 文件中的 AndroidManifest.xml 没有签名证书。在 Android 系统中&#xff0c;所有的应用都必须经过签名才能安装到设备上。以下是解决此问题的方法&#xff1a; 方法一&#xff1a;使用 Android Studio 或命…

Go语言基本语法

Go语言&#xff08;通常称为Golang&#xff09;是由Google开发的一种静态类型、编译型语言&#xff0c;它旨在简化系统编程、网络编程和并发编程的复杂性。 Go语言以其简洁、高效和易于理解的语法而受到开发者的喜爱。 Go语言的一些基本语法元素&#xff1a; 1. 包&#xff…

protobuf中c、c++、python使用

文章目录 protobuf实例&#xff1a;例题1&#xff1a;[CISCN 2023 初赛]StrangeTalkBot分析&#xff1a;思路&#xff1a;利用&#xff1a; 例题2&#xff1a;[CISCN 2024]protoverflow分析&#xff1a; protobuf Protocol Buffers&#xff0c;是Google公司开发的一种数据描述语…

python提取pdf表格到excel:拆分、提取、合并

本文介绍使用python提取pdf中的表格到excel中,包含pdf的拆分、pdf提取到excel、合并excel。 一、拆分pdf 将一个大的pdf按页数拆分为多个小的pdf: # pip install PyPDF2import os, pdfplumber, PyPDF2# 分割pdf def split_pdf(input_pdf_path, num_splits):# Create a PDF…

数学学习记录

9月14日 1.映射&#xff1a; 2.函数: 9月15日 3.反函数&#xff1a; 4.收敛数列的性质 5.反三角函数&#xff1a; 9月16日 6.函数的极限&#xff1a; 7.无穷小和无穷大 极限运算法则&#xff1a;

MySQL里面的日期字符串如何转成日期做比较运算,获取两个日期之间的所有日期(包括起始日期)

SELECTSUM( current_in_amt ) AS total_in_amt FROMt_ads_spare_store_in_contrast WHERESTR_TO_DATE( etl_date, %Y-%m-%d ) > STR_TO_DATE( 2024-01-01, %Y-%m-%d ) AND STR_TO_DATE( etl_date, %Y-%m-%d ) < STR_TO_DATE( 2024-01-04, %Y-%m-%d ); 比如日期格式是 …

远程Linux网络连接( Linux 网络操作系统 04)

接下来我们准备开始进入Linux操作系统的第二个模块的学习&#xff0c;不过在学习之前我们需要对如下进行简单的配置&#xff0c;通过外接辅助软件MobaXterm来进行虚拟操作系统的访问。接下来的课程我们会一直在MobaXterm中进行命令和相关知识的学习。 一、准备阶段 1.1 软件 …

第R3周:LSTM-火灾温度预测:3. nn.LSTM() 函数详解

nn.LSTM 是 PyTorch 中用于创建长短期记忆&#xff08;Long Short-Term Memory&#xff0c;LSTM&#xff09;模型的类。LSTM 是一种循环神经网络&#xff08;Recurrent Neural Network&#xff0c;RNN&#xff09;的变体&#xff0c;用于处理序列数据&#xff0c;能够有效地捕捉…

骑砍2霸主MOD开发(26)-使用TrfExporterBlender制作TRF文件

一.Blender导入TRF文件 import bpytrf_meshes = []trf_contents = []trf_import_path = D:\pt_ladder.trftrf_export_path = D:\pt_ladder_morph_keys.trfclass TrfMesh:def __init__(self):self.mesh_name = self.mesh_materials = []self.vertex_cnt = 0self.vertex_fvf_cnt…

2848. 与车相交的点(24.9.19)

祝各位中秋节快乐&#xff01; 题目 问题描述&#xff1a; 给你一个下标从 0 开始的二维整数数组 nums 表示汽车停放在数轴上的坐标。对于任意下标 i&#xff0c;nums [i] [start_i, end_i]&#xff1a;其中 start_i 是第 i 辆车的起点&#xff0c;end_i 是第 i 辆车的终点。…

学习笔记JVM篇(三)

一、垃圾回收机制 垃圾回收&#xff08;Garbage Collection&#xff09;机制&#xff0c;是自动回收无用对象从而释放内存的一种机制。Java之所以相对简单&#xff0c;很大程度是归功于垃圾回收机制。&#xff08;例如C语言申请内存后要手动的释放&#xff09; 优点&#xff…

数据清洗-缺失值填充-K-NN算法(K-Nearest Neighbors, K-NN算法)

目录 一、安装所需的python包二、采用K-NN算法进行缺失值填充2.1可直接运行代码2.2以某个缺失值数据进行实战2.2.1代码运行过程截屏&#xff1a;2.2.2填充后的数据截屏&#xff1a; 三、K 近邻算法 (K-Nearest Neighbors, KNN) 介绍3.1 K 近邻算法定义3.2 K 近邻算法的基本思想…

福建科立讯通信 指挥调度管理平台 SQL注入漏洞

北峰通信-福建科立讯通信 指挥调度管理平台 SQL注入漏洞 厂商域名和信息收集 域名&#xff1a; 工具sqlmap python sqlmap.py -u "http://ip:端口/api/client/down_file.php?uuid1" --batch 数据包 GET /api/client/down_file.php?uuid1%27%20AND%20(SELECT%20…