【深度学习】记录为什么没有调用GPU

排查CLIP为什么评测推理没有调用GPU,主要是这个代码:https://github.com/OFA-Sys/Chinese-CLIP/blob/master/cn_clip/eval/extract_features.py

第一次认为:因为model并没有to.cuda()。
但是又发现,model.cuda(args.gpu) # 已经加载到GPU上了。
并且,pytorch中 model.cuda() 和mode.to(cuda) 没有区别。

第二次,还是在P40上启动一下,使用nvidia-smi看看GPU是否被使用了。

以下from GPT-4o,
在使用图像模型提取图片特征时,GPU利用率为0可能是由于多种原因导致的。以下是一些常见的原因和解决方法:

1. 确认使用了GPU

确保你的代码实际上是使用了GPU而不是CPU。以下是一些检查和设置GPU使用的步骤:

  • TensorFlow:

    import tensorflow as tf
    print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU')))
    
  • PyTorch:

    import torch
    print("Is CUDA available: ", torch.cuda.is_available())
    

2. 确认GPU驱动和CUDA版本

确保你安装了正确版本的GPU驱动和CUDA工具包,并且它们与所使用的深度学习框架兼容。

  • 检查CUDA版本:

    nvcc --version
    
  • 检查驱动版本:

    nvidia-smi
    

3. 确认模型和数据在GPU上

确保你的模型和数据都被正确地加载到GPU上。

  • TensorFlow:

    with tf.device('/GPU:0'):# Your model and data operations
    
  • PyTorch:

    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    model.to(device)
    inputs = inputs.to(device)
    

4. 检查批处理大小

如果批处理大小(batch size)太小,GPU利用率可能会很低。尝试增加批处理大小以更好地利用GPU。

5. 确认数据加载器的效率

数据加载器可能成为瓶颈,导致GPU等待数据。确保数据加载器使用了多线程或多进程来加速数据加载。

  • TensorFlow:

    dataset = dataset.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)
    
  • PyTorch:

    data_loader = torch.utils.data.DataLoader(dataset, batch_size=32, num_workers=4, pin_memory=True)
    

6. 确认模型推理代码

确保你在进行特征提取时,模型推理代码没有问题,并且确实在GPU上运行。

7. 确认没有GPU内存不足

如果GPU内存不足,可能会导致程序回退到CPU。使用nvidia-smi查看GPU内存使用情况。

8. 确认GPU没有被其他进程占用

使用nvidia-smi查看当前GPU的使用情况,确保没有其他进程占用GPU资源。

9. 检查框架和库的版本

确保你使用的深度学习框架和相关库是最新版本,因为旧版本可能存在性能问题或不支持某些功能。

10. 检查代码逻辑

确保你的代码逻辑没有问题,特别是数据预处理和模型推理部分。

示例代码

以下是一个简单的示例代码,展示了如何在PyTorch中确保模型和数据在GPU上运行:

import torch
import torchvision.models as models
from torchvision import transforms
from PIL import Image# 检查GPU是否可用
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 加载预训练模型并将其移动到GPU
model = models.resnet50(pretrained=True)
model = model.to(device)
model.eval()# 加载并预处理图像
image = Image.open("path_to_image.jpg")
preprocess = transforms.Compose([transforms.Resize(256),transforms.CenterCrop(224),transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
input_tensor = preprocess(image)
input_batch = input_tensor.unsqueeze(0)  # 创建一个批次# 将输入数据移动到GPU
input_batch = input_batch.to(device)# 确保模型在GPU上进行推理
with torch.no_grad():output = model(input_batch)# 提取特征
features = output.cpu().numpy()
print(features)

通过上述步骤和检查,你应该能够找到GPU利用率为0的原因并解决问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/31761.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习常见知识点 3:Boosting集成学习技术和XGB、LGB

文章目录 1、Boosting 的工作原理常见的 Boosting 算法优点和缺点如何进行加权投票 2、XGB1. XGBoost中的梯度提升2. 目标函数3. 树的构建与优化4. 处理缺失值与特征重要性 3、LGB核心特征1. 基于直方图的决策树学习2. 叶子优先策略3. 处理类别特征4. 缺失值处理 工作原理数据预…

镜像发布至dockerHub

1、login 没有账号的话去注册一个 https://hub.docker.com docker login 输入账号密码和账号2、修改镜像名格式 可以直接招我的修改 格式为你的 hub名/镜像名 3、推送

svm和决策树基本知识以及模型评价以及模型保存

svm和决策树基本知识以及模型评价以及模型保存 文章目录 一、SVM1.1,常用属性函数 二、决策树2.1,常用属性函数2.2,决策树可视化2.3,决策树解释 3,模型评价3.1,方面一(评价指标)3.2&…

DockerHub 镜像加速

Docker Hub 作为目前全球最大的容器镜像仓库,为开发者提供了丰富的资源。Docker Hub 是目前最大的容器镜像社区,DokcerHub的不能使用,导致在docker下pull镜像无法下载,安装kubernetes镜像也受到影响,下面请看解决方式。 1.加速原理 Docker下载加速的原理…

Android基于MediaBroswerService的App实现概述

mSession.setPlaybackState(mStateBuilder.build()); // 5. 关联 SessionToken setSessionToken(mSession.getSessionToken()); } } 根据包名做权限判断之后,返回根路径 Override public BrowserRoot onGetRoot(String clientPackageName, int clientUid, Bundl…

如何生成protobuf文件

背景 protobuf是一种用于序列化结构数据的工具,实现数据的存储与交换,与编程语言和开发平台无关。 序列化:将结构数据或者对象转换成能够用于存储和传输的格式。 反序列化:在其他的计算环境中,将序列化后的数据还原为…

FreeBSD通过CBSD管理低资源容器jail 网络NAT配置

jail容器里的系统有时候并不需要公开的地址,所以给它们配置内网地址即可。但是这些系统一般都有上网的需求,这时候可以使用nat进行解决。 CBSD可以配置NAT规则,只需要命令cbsd natcfg,配置好后cbsd naton启动即可: % …

Vue3.4新增的defineModel的使用

define-model的作用 在3.3及之前的版本,父子组件之间的通讯,一直都是靠props(父传子)和emit(子传父)来实现。而define-model整合了这两种方法,只需要在父组件中定义define-model的方法&#xf…

Spring容器中的Bean作用域

在Spring框架中,开发者确实主要关注两件事:开发Bean和配置Bean。Spring容器负责根据配置文件或注解来创建Bean实例,并通过依赖注入(DI)来管理Bean之间的依赖关系,这体现了控制反转(IoC&#xff…

GIT回滚

1. 使用 git revert git revert 命令会创建一个新的提交,这个提交会撤销指定提交的更改。这通常用于公共分支(如 main 或 master),因为它不会重写历史。 git revert HEAD # 撤销最近的提交 # 或者指定一个特定的提交哈希值 …

实际中应对网络丢包故障的方法

1.网络数据包发送时通时断,丢包严重 故障现象:通常故障发生时,该方向网络出现震荡性中断。使用Ping命令测试,发现在一段时间内数据包发送延时比正常值略高,间隔一小段时间数据包又全部丢失,丢包率超过60%&a…

Net开源项目推荐-WPF控件样式篇

Net开源项目推荐-WPF控件样式篇 HandyControlWPFDeveloperswpf-uidesignLive-ChartsAvalonDock HandyControl WPF控件库,比较常用的WPF开源控件库,对WPF原有控件样式都进行了重写和扩展,也增加了许多特别的控件,非常好用 github仓库&#x…

Day14—基于Langchain-chatchat搭建本地智能

一、基于Langchain-chatchat搭建本地智能 知识问答系统 1、项目介绍 基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现,开一种利用 langchain 思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知…

贪心+动归1

​​​​​​​​​​​​​​跳跃游戏 给你一个非负整数数组 nums ,你最初位于数组的 第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。 判断你是否能够到达最后一个下标,如果可以,返回 true ;否则&#xff0…

Claude3.5:编码螃蟹游戏就是这么轻松

大模型技术论文不断,每个月总会新增上千篇。本专栏精选论文重点解读,主题还是围绕着行业实践和工程量产。若在某个环节出现卡点,可以回到大模型必备腔调或者LLM背后的基础模型重新阅读。而最新科技(Mamba,xLSTM,KAN)则…

【错误记录】Android 应用漏洞修复处理 ( 动态反调试漏洞 | 调用 Debug.isDebuggerConnected 函数查询是否被动态调试 )

文章目录 一、动态调试攻击二、Frida、Xposed 动态调试攻击应对措施三、调用 Debug.isDebuggerConnected 函数查询是否被动态调试 一、动态调试攻击 针对 Android 应用 进行 动态调试攻击 , 攻击者利用 Frida、Xposed 等调试工具 , 对 Android 应用进行 运行时 分析和修改 , 从…

UbuntuServer 22.04.4安装Docker

文章目录 一、docker安装二、docker基本命令用法三、docker命令示范 一、docker安装 1.sudo apt update ---更新软件包索引 2.sudo apt install ca-certificates curl gnupg lsb-release ---允许APT使用HTTPS 3.curl -fsSL https://download.docker.com/linux/ubuntu/gpg | su…

爱眼小妙招:台灯怎么选?学生如何正确使用台灯?

视力是心灵的窗户,尤其对于儿童来说更为重要。然而,随着现代生活方式的改变,孩子们面临越来越多的视力挑战。据统计,在近视学生中,近10%的人患有高度近视,而这一比例随年级的增加而逐渐上升。从幼儿园的小小…

【备忘录】配置 Docker 守护程序以使用代理服务器

配置/etc/docker/daemon.json Docker 守护程序在其启动环境中使用以下环境变量来配置 HTTP 或 HTTPS 代理行为: HTTP_PROXYhttp_proxyHTTPS_PROXYhttps_proxyNO_PROXYno_proxy 在 Docker Engine 23.0 及更高版本中,您还可以在/etc/docker/daemon.json…

电子杂志制作工具推荐:让你轻松成为编辑大人

在这个数字化的时代,电子杂志已经成为信息传播的重要载体。它不仅能够满足人们对阅读的需求,还能够提供更加丰富、互动的阅读体验。因此,掌握一款好用的电子杂志制作工具,已经成为每个编辑大人的必备技能。接下来告诉大家一个超简…