non_blocking=True 与 torch.cuda.synchronize()

需要注意的是:GPU和CPU之间是异步执行的,CPU向GPU下达指令以后会立刻执行之后的代码,CPU不会等待GPU执行完成

一、non_blocking=True 

目的:压缩gpu的效果,避免CPU与GPU设备数据传输时间开销带来的计算效率低下

在 PyTorch 中, non_blocking 是一个布尔类型的参数,用于指定是否启用异步数据传输。当你将 Tensor 数据从 CPU 移动到 GPU 时,可以通过设置 non_blocking=True 来启用异步传输模式,从而提高计算效率。这是因为深度学习很多程序在执行的时候加载数据的时间非常久,常见的两种策略分别是:pin_memory 和 non_blocking

这里给出一个示例:

images = images.to(device, non_blocking=True)# 标准化等操作
mean = torch.Tensor([0.978, 0.977, 0.979]).cuda().unsqueeze(0).unsqueeze(-1).unsqueeze(-1)
std = torch.Tensor([0.131, 0.136, 0.129]).cuda().unsqueeze(0).unsqueeze(-1).unsqueeze(-1)# 输入model
image = (images - mean) / std
y = model(image)# 等待数据异步传输完成
torch.cuda.synchronize()# logger更新等操作

这里是将image从CPU转到gpu的时候,同时使用non_blocking=True异步操作,可以让程序同时执行下面的标准化等操作,其中标准化等操作并不涉及对加载的image进行操作,所以异步执行没有问题,并不需要torch.cuda.synchronize()等待上述程序执行完成。

Q:这里会有一个疑惑?为什么可以在异步的情况下直接将images输入进model?

A:其实第一步的CPU转到gpu的速度是很快的,程序可以保证在标准化等操作的时候就执行完CPU转到gpu的传输,这里使用non_blocking=True 只是为了进一步压缩gpu的使用效率。

然后最后会执行一步 torch.cuda.synchronize(),这是因为下面是logger等操作,我们还是需要等model执行完再logger记录,否则会因为GPU和CPU之间是异步执行的,CPU不会等待GPU执行完成(model(image))执行完成就记录logger

二、 torch.cuda.synchronize()

目的:保证执行完gpu的任务再执行下面的操作

这是因为:GPU和CPU之间是异步执行的,CPU向GPU下达指令以后会立刻执行之后的代码,所以我们需要使用`torch.cuda.synchronize() `显示地等待GPU完成运算。

有一个例子是这样的:

pytorch 正确的测试时间的代码 torch.cuda.synchronize()_torch.cuda.synchronize() time-CSDN博客

需要注意的是任何在CPU上执行的操作都会打断gpu的异步操作,会将其变成同步操作,例如print()

所以不必要太在乎 torch.cuda.synchronize(),这种东西主要是为了保证让程序变成同步执行

Pytorch中x.cuda(non_blocking=True)参数解释_x.cuda()-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/857379.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android获取控件宽高的几种方式

第一种方式:在需要时获取,如控件点击时再获取 button.setOnClickListener(new View.OnClickListener() { Override public void onClick(View v) { getTextWidthAndHeight(); } }); 第二种方式:重写onWindowFocusChanged()方法 Overr…

【SQL】varchar 与 char 的区别

在 SQL 中,VARCHAR 和 CHAR 是用于存储字符串类型数据的两种数据类型,但它们在存储方式和性能上有显著的区别。 CHAR 定义: CHAR 是一种固定长度的字符串数据类型。长度: 你需要在定义表结构时指定长度,例如 CHAR(10)。存储方式: 无论实际存…

【机器学习】机器学习赋能交通出行:智能化实践与创新应用探索

📝个人主页🌹:Eternity._ 🌹🌹期待您的关注 🌹🌹 ❀目录 📒1. 引言📙2. 交通流量预测与优化🌞数据准备🌙模型训练与预测⭐评估模型与优化 &#x…

jsonpath_解析例子代码

# _*_ coding : utf-8 _*_ # Time : 2023-11-05 13:23 # Author : haowen # File : jsonpath_解析_淘票票 # Project : py练习 import urllib.request url https://dianying.taobao.com/cityAction.json?activityId&_ksTS1699161894273_112&jsoncallbackjsonp113&…

网页抓取单词关联

在当今数字化的时代,数据的获取与处理成为了众多企业和开发者关注的焦点。API 服务的出现,为我们打开了高效、便捷获取和利用数据的新大门。接下来,为您介绍几款独具特色的 API 服务,它们将为您的业务和开发工作带来前所未有的便利…

ABB机械手3HAC024518-001电机振动过大维修方案

【ABB机械臂伺服电机维修方案】 1. 更换轴承 如果检查发现轴承磨损,我们需要更换新的轴承。请选择与原轴承型号相同的产品,以确保电机正常运行。 2. 重新平衡转子 如果ABB机械手3HAC024518-001电机转子不平衡,我们需要重新平衡转子。这可以通…

棉花叶子病害分类数据集3601张6类别

数据集类型:图像分类用,不可用于目标检测无标注文件 数据集格式:仅仅包含jpg图片,每个类别文件夹下面存放着对应图片 图片数量(jpg文件个数):3601 分类类别数:6 类别名称:[“aphids”,“army_worm”,“bact…

小熊文件工具箱免费版

小熊文件工具箱是一款基于本地离线操作的一系列工具的合集,最大特点是各种批量任务的执行,包含了智能证件照,自动抠图,直播录制,九宫格切图,拼图,视频格式转换及压缩,zip压缩解压缩&…

Python一文轻松搞定正则匹配

一、前言 日常工作中,不可避免需要进行文件及内容的查找,替换操作,python的正则匹配无疑是专门针对改场景而出现的,灵活地运用可以极大地提高效率,下图是本文内容概览。 ​ 二、正则表达式符号 对于所有的正则匹配表达…

C++中的抽象类和纯虚函数。

在C中,抽象类和纯虚函数是面向对象编程的两个重要概念,它们允许我们定义接口和强制派生类实现特定的行为。 抽象类(Abstract Class) 抽象类是一种特殊的类,它不能被实例化(即不能创建抽象类的对象&#x…

MySQL的DML语句

文章目录 ☃️概述☃️DML☃️添加数据☃️更新和删除数据☃️DML的重要性 ☃️概述 MySQL 通用语法分类 ● DDL: 数据定义语言,用来 定义数据库对象(数据库、表、字段) ● DML: 数据操作语言,用来对数据库表中的数据进行增删改 …

佳能打印机问题解决

佳能家用打印机加墨水但是墨盒不到中间来怎么处理 您好亲, 一、真堵原因: 1、打印间隔时间太长,造成打印头干沽结皮 。 每15天开动打印机打印一张全色文档。 2、封条未撕开,空气不进入。将黄色封条撕开重装墨盒。 3、经长时间…

Android系统揭秘(一)-Activity启动流程(上)

public ActivityResult execStartActivity( Context who, IBinder contextThread, IBinder token, Activity target, Intent intent, int requestCode, Bundle options) { IApplicationThread whoThread (IApplicationThread) contextThread; … try { … int result …

TCP 和 UDP 可以同时绑定相同的端口吗?

在网络编程中,TCP和UDP都可以绑定到同一个端口上进行通信。TCP和UDP是OSI模型中的传输层协议,它们分别使用不同的端口号来区分不同的应用程序或服务。 TCP(Transmission Control Protocol)提供了面向连接的、可靠的传输服务&…

C高级编程笔记

提升方向: 1. **深入理解指针**: 指针的高级用法,包括指针的指针、函数指针、指针与数组、指针与结构体的深入应用等。 指针数组:本质是数组 1.指针数组的每个元素都是一个一级指针,每个元素都有自己独立的内存地址 2.应用于…

新零售解决方案:线上线下融合,驱动现代商业新浪潮-亿发

在数字化和智能化的商业环境中,新零售正在迅速改变传统的商业模式。作为新时代的零售解决方案,新零售通过线上线下深度结合,为企业提供了更灵活、高效的运营方式。本文将探讨新零售的四大特征,并详细描述其在中小企业中的应用&…

虚拟机没关机,电脑直接关机导致虚拟机无法使用

虚拟机没关机,电脑直接关机导致虚拟机无法使用 虚拟机未正常关机 无法打开虚拟机,移除 删除虚拟机目录下的该文件夹CentOSXX.vmx.lck(或者重新命名) 虚拟机正常打开

二,SpringFramework

二、SpringFramework实战指南 目录 一、技术体系结构 1.1 总体技术体系1.2 框架概念和理解 二、SpringFramework介绍 2.1 Spring 和 SpringFramework概念2.2 SpringFramework主要功能模块2.3 SpringFramework 主要优势 三、Spring IoC容器和核心概念 3.1 组件和组件管理概念3…

一句话、10秒,我用Claude 3.5 Sonnet生成了完整的俄罗斯方块!

大家好,我是木易,一个持续关注AI领域的互联网技术产品经理,国内Top2本科,美国Top10 CS研究生,MBA。我坚信AI是普通人变强的“外挂”,所以创建了“AI信息Gap”这个公众号,专注于分享AI全维度知识…

Python应用开发——30天学习Streamlit Python包进行APP的构建(7)

st.data_editor 显示数据编辑器 widget。 数据编辑器 widget 可让你在类似表格的用户界面中编辑数据框和许多其他数据结构。 警告 When going from st.experimental_data_editor to st.data_editor in 1.23.0, the data editors representation in st.session_state was ch…