PyTorch 1.0 中文文档:常见问题解答

译者:冯宝宝

我的模型报告“cuda runtime error(2): out of memory”

正如错误消息所示,您的GPU显存已耗尽。由于经常在PyTorch中处理大量数据,因此小错误会迅速导致程序耗尽所有GPU资源; 幸运的是,这些情况下的修复通常很简单。这里有一些常见点需要检查:

不要在训练循环中积累历史记录。 默认情况下,涉及需要梯度计算的变量将保留历史记录。这意味着您应该避免在计算中使用这些变量,因为这些变量将超出您的训练循环,例如,在跟踪统计数据时。相反,您应该分离变量或访问其基础数据。

有时,当可微分变量发生时,它可能是不明显的。考虑以下训练循环(从源代码中删除):

total_loss = 0
for i in range(10000):optimizer.zero_grad()output = model(input)loss = criterion(output)loss.backward()optimizer.step()total_loss += loss

在这里,total_loss在您的训练循环中累积历史记录,因为丢失是具有自动记录历史的可微分变量。 您可以通过编写total_loss + = float(loss)来解决此问题。

此问题的其他实例:1。

不要抓住你不需要的张量或变量。 如果将张量或变量分配给本地,则在本地超出范围之前,Python不会解除分配。您可以使用del x释放此引用。 同样,如果将张量或向量分配给对象的成员变量,则在对象超出范围之前不会释放。如果您没有保留不需要的临时工具,您将获得最佳的内存使用量。

本地规模大小可能比您预期的要大。 例如:

for i in range(5):intermediate = f(input[i])result += g(intermediate)
output = h(result)

阅读全文/改进本文

转载于:https://www.cnblogs.com/wizardforcel/p/10492535.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/569679.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

蓝桥杯第八届省赛JAVA真题----迷宫

标题:迷宫 X星球的一处迷宫游乐场建在某个小山坡上。 它是由10x10相互连通的小房间组成的。 房间的地板上写着一个很大的字母。 我们假设玩家是面朝上坡的方向站立,则: L表示走到左边的房间, R表示走到右边的房间&#xff0…

掌握MySQL数据库这些优化技巧,事半功倍!

一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善。这篇文章主要谈谈MySQL数据库在发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分为以下五个阶段&am…

蓝桥杯第八届省赛JAVA真题----方格分割

标题:方格分割 6x6的方格,沿着格子的边线剪开成两部分。 要求这两部分的形状完全相同。 如图:p1.png, p2.png, p3.png 就是可行的分割法。 试计算: 包括这3种分法在内,一共有多少种不同的分割方法。 注意&#xff…

《剑指offer》第三十五题(复杂链表的复制)

// 面试题35:复杂链表的复制 // 题目:请实现函数ComplexListNode* Clone(ComplexListNode* pHead),复 // 制一个复杂链表。在复杂链表中,每个结点除了有一个m_pNext指针指向下一个 // 结点外,还有一个m_pSibling 指向链…

蓝桥杯第八届省赛JAVA真题----最大公共子串

标题:最大公共子串 最大公共子串长度问题就是: 求两个串的所有子串中能够匹配上的最大长度是多少。 比如:”abcdkkk” 和 “baabcdadabc”, 可以找到的最长的公共子串是”abcd”,所以最大公共子串长度为4。 下面的程序是采用…

Python猫荐书系列:文也深度学习,理也深度学习

最近出了两件大新闻,相信大家可能有所耳闻。 我来当个播报员,给大家转述一下: 1、中国队在第 11 界罗马尼亚数学大师赛(RMM)中无缘金牌。该项赛事是三大国际赛事之一,被誉为中学奥数的最高难度。其中一道题…

NCRE四级网络工程师考题详解----LRU与LFU的区别

最近最少使用页面置换算法(LRU)淘汰的是最长时间不使用的 最近最不常用页面置换算法(LFU)淘汰的是一定时间内未被使用的 我们假设有主存块为3,所需页面的走向为2 1 2 1 2 3 4 注意,当调页面4时会发生缺页中断 若按L…

软件工程--第一周学习进度

第一周所花时间4h代码量248行博客量2篇了解到的知识点关于子数组求和、微信小程序相关问题(界面跳转,标签使用)、html网页设计中块级标签以及行级标签的使用方法转载于:https://www.cnblogs.com/Qi77/p/10505494.html

蓝桥杯第八届省赛JAVA真题----正则问题

描述:正则问题 考虑一种简单的正则表达式: 只由 x ( ) | 组成的正则表达式。 小明想求出这个正则表达式能接受的最长字符串的长度。 例如 ((xx|xxx)x|(x|xx))xx 能接受的最长字符串是: xxxxxx,长度是6。 输入 一个由x()|组成…

移动端与PC端页面布局区别

视口 视口是移动设备上用来显示网页的区域,一般会比移动设备可视区域大,宽度可能是980px或者1024px,目的是为了显示下整个为PC端设计的网页,这样带来的后果是移动端会出现横向滚动条,为了避免这种情况,移动…

蓝桥杯第八届省赛JAVA真题----承压计算

标题:承压计算 X星球的高科技实验室中整齐地堆放着某批珍贵金属原料。 每块金属原料的外形、尺寸完全一致,但重量不同。 金属材料被严格地堆放成金字塔形。 7 5 8 7 8 8 9 2 7 2 8 1 4 9 1 8 1 8 8 4 1 7 9 6 1 4 5 4 5 6 5 5 6 9 5 6 5 5 4 7 9 3 5 …

关于编程思想的一点思考

计算机发展了几十年了,其中的技术层出不穷,令人眼花缭乱,而且每种技术还在不断更新迭代中,让人心烦。这篇文章是关于 我在这飞速发展中探索的思考。 一、计算机硬件 底层硬件,其工作原理是支撑庞大系统软件的基础&…

蓝桥杯历届试题----分糖果(模拟)

问题描述 有n个小朋友围坐成一圈。老师给每个小朋友随机发偶数个糖果,然后进行下面的游戏: 每个小朋友都把自己的糖果分一半给左手边的孩子。 一轮分糖后,拥有奇数颗糖的孩子由老师补给1个糖果,从而变成偶数。 反复进行这个游…

蓝桥杯历届试题----斐波那契(矩阵快速幂)

问题描述 斐波那契数列大家都非常熟悉。它的定义是: f(x) 1 …. (x1,2) f(x) f(x-1) f(x-2) …. (x>2) 对于给定的整数 n 和 m,我们希望求出: f(1) f(2) … f(n) 的值。但这个值可能非常大,所以我们把它对 f(m) 取模…

037_自动添加防火墙规则,开启某些服务或端口(适用于 RHEL7)

#!/bin/bash#设置变量定义需要添加到防火墙规则的服务和端口号#使用 firewall-cmd --get-services 可以查看 firewall 支持哪些服务 service"nfs http ssh"port"80 22 8080" #循环将每个服务添加到防火墙规则中for i in $servicedo echo "Adding …

Vijos 1334 ---- NASA的食物计划(01背包强化)

背景 NASA(美国航空航天局)因为航天飞机的隔热瓦等其他安全技术问题一直大伤脑筋,因此在各方压力下终止了航天飞机的历史,但是此类事情会不会在以后发生,谁也无法保证,在遇到这类航天问题时,解决方法也许只能让航天员出仓维修,但是多次的维修会消耗航天员大量的能量…

大家好

2017****1016,我叫李双阳,我的爱好是滑板我的码云个人主页是:https://gitee.com/LSY_IT我的第一个项目地址是:https://gitee.com/LSY_IT/the_play_is_useless *目前代码量有150行了;我最喜欢大鸡腿;JAVA真难…

PAT L3-015 ---- 球队“食物链”(DFS)

球队“食物链” 某国的足球联赛中有N支参赛球队,编号从1至N。联赛采用主客场双循环赛制,参赛球队两两之间在双方主场各赛一场。 联赛战罢,结果已经尘埃落定。此时,联赛主席突发奇想,希望从中找出一条包含所有球队的“…

samba配置

samba配置: sudo ufw disable //关闭防火墙 sudo ufw enable //开启 sudo ufw status //查看状态 sudo vim /etc/samba/smb.conf # # Sample configuration file for the Samba suite for Debian GNU/Linux. # # # This is the main Samba configura…

21.Merge Two Sorted Lists 、23. Merge k Sorted Lists

21.Merge Two Sorted Lists 初始化一个指针作为开头&#xff0c;然后返回这个指针的next class Solution { public:ListNode* mergeTwoLists(ListNode* l1, ListNode* l2) {ListNode* dummy new ListNode(-1);ListNode* p dummy;while(l1 && l2){if(l1->val < …