昇腾Profiling性能分析工具使用问题案例

昇腾Profiling性能分析工具用于采集和分析运行在昇腾硬件上的AI任务各个运行阶段的关键性能指标, 用户可根据输出的性能数据,快速定位软、硬件性能瓶颈,提升AI任务性能分析的效率。具体使用方法请参考:

 

本期分享几个关于Profiling性能分析工具使用过程中的常见问题案例,并给出原因分析及解决方法。

1 执行msprof命令未采集到AI Core Metrics数据

故障现象

执行msprof命令后,屏幕显示性能解析数据,但无AI Core Metrics数据。查看$HOME/ascend/log/plog路径下Host侧日志信息,有如图1-1所示内容。其中,$HOME表示Host侧用户根目录。

图1.1 aclInit函数初始化日志信息

故障原因

通过日志分析,可能原因为代码实现时,调用aclInit函数在aclrtSetDevice函数后面,造成Runtime无法下发AI Core性能数据采集开关任务,造成无法采集AI Core数据。

故障处理

针对上述分析情况,请调整代码,确保aclInit函数最先调用,然后重新编译代码、执行Profiling。

2 磁盘满导致性能数据采集任务无法下发

故障现象

训练场景下发性能数据采集过程中,出现如图2-1所示错误提示。

图2.1 错误提示:No usable temporary directory

故障原因

出现“No usable temporary directory”错误提示,可能原因是系统盘空间已满。

故障处理

请参考以下流程处理该问题:

  1. 清理系统盘目录下无用文件。

执行df -h命令查询磁盘是否有剩余空间。

----结束

3  性能数据老化导致无法正常解析数据

故障现象

性能数据解析失败。

故障原因

当性能数据超过storage_limit参数限定的最大值或剩余磁盘空间较小时,最早的性能数据开始自动老化删除。

默认情况下,解析从--iteration-id=1开始,而老化同样从--iteration-id=1开始,故当第1轮迭代或前面几轮迭代的数据被老化后,未指定--iteration-id或指定前面几轮迭代进行解析时,解析将会失败。

故障处理

  1. 执行./msprof --query=on --output=<dir>命令查看最大迭代轮数(Iteration Number)。

  2. 解析迭代ID最大的性能数据。

4  Ascend PyTorch Profiler采集过程中提示:Incorrect schedule

故障现象

使用Ascend PyTorch Profiler接口采集PyTorch性能数据过程中,打印“Incorrect schedule”提示信息,如下图所示:

添加图片注释,不超过 140 字(可选)

profiler.py: Incorrect schedule: Stop profiler while current state is WARMUP which will result in enpty parsed data.

添加图片注释,不超过 140 字(可选)

profiler.py: Incorrect schedule: Stop profiler while current state is RECORD which may result in incomplete parsed data.

添加图片注释,不超过 140 字(可选)

profiler.py: Stop profiler while current state is RECORD_AND_SAVE, perhaps the scheduling sycle has not yet completed.

故障原因

设置的schedule参数不合理,导致Profiler尚未完成设置的schedule周期就提前退出。如下面的案例所示:

实际模型训练step为1,但是设置schedule中skip_first=1, active=2,此时Profiler在刚好处于RECORD状态(准备好采集),但是训练进程已经退出,所以导致性能数据缺失或者为空的情况。

故障处理

检查设置的schedule是否正确,确保Profiler完成schedule后还有足够的step用于性能数据采集。

5 更多介绍

[1]昇腾文档中心:昇腾社区-官网丨昇腾万里 让智能无所不及

[2]昇腾社区在线课程:开发者主页-昇腾社区

[3]昇腾论坛:https://www.hiascend.com/forum

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/228391.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言 打印 以这个RFC1123格式(“EEE, dd MMM yyyy HH:mm:ss z“) 格林威治时间

在C语言中&#xff0c;要按照RFC 1123格式打印格林威治时间&#xff08;包括完整的星期名称、日期、月份、年份、小时、分钟和秒&#xff09;&#xff0c;你需要使用strftime函数&#xff0c;并且指定相应的格式化字符串。以下是一个示例代码&#xff1a;#include <stdio.h&…

【CMU 15-445】Lecture 11: Joins Algorithms 学习笔记

Joins Algorithms Nested Loop JoinNaive Nested Loop JoinBLock Nested Loop JoinIndex Nested Loop Join Sort-Merge JoinHash JoinBasic Hash JoinPartitioned Hash Join Conclusion 本节课主要介绍的是数据库系统中的一些Join算法 Nested Loop Join Naive Nested Loop Joi…

高压脉冲发生器的各种电路图

高压脉冲发生器电路图一&#xff1a; 高压脉冲发生器的主放电回路的等效电路。其中&#xff0c;S是可控开关&#xff0c;C1是电容器组电容&#xff0c;R1是高压变压器输入端的损耗电阻&#xff0c;L1&#xff0c;L2分别是高压变压器初次级电感&#xff0c;K为耦合系数&#xff…

一篇文章看懂mysql加锁

一篇文章看懂Mysql加锁 本文主要基于Mysql8,InnoDB存储引擎范围讨论mysql的加锁&#xff0c;以及锁的分类&#xff0c;定义&#xff0c;使用&#xff0c;不同语句具体加的什么锁等。 前言 mysql锁是和事务绑定的。本文介绍了了&#xff1a;全局锁、表锁、行锁、MDL锁、Auto_in…

架构设计系列之基础设施能力建设

周末聊两句&#xff1a; 今天将的基础设施能力建设部分&#xff0c;一般的架构书籍中都不存在的部分&#xff0c;这是我在实践过程中的经验和能力总结部分&#xff0c;希望和大家有一个很好的交流自从在 WeChat 中开了订阅号的两周半的时间&#xff0c;非常感谢大家的支持&…

replace()是一个字符串替换的函数,用于将指定的字符串或模式在目标字符串中进行替换

replace()是一个字符串替换的函数&#xff0c;用于将指定的字符串或模式在目标字符串中进行替换。 函数原型如下&#xff1a; QString replace(const QString &before, const QString &after)参数说明&#xff1a; before&#xff1a;要替换的字符串或模式。after&a…

K - 近邻算法

1、算法介绍 KNN&#xff08;K Near Neighbor&#xff09;&#xff1a;k个最近的邻居&#xff0c;即每个样本都可以用它最接近的k个邻居来代表。KNN算法属于监督学习方式的分类算法&#xff0c;我的理解就是计算某给点到每个点的距离作为相似度的反馈。 简单来讲&#xff0c;KN…

nginx中的root and alias命令的区别

Ubuntu关于Nginx的命令&#xff1a; 1、安装Nginx&#xff1a; apt-get install nginx2、查看Nginx运行状态&#xff1a; systemctl status nginx3、启动Nginx&#xff1a; systemctl start nginx4、停止Nginx&#xff1a; systemctl stop nginx5、重启Nginx&#xff1a; …

代码随想录算法训练营第十八天 | 前中后序构造二叉树

目录 力扣题目 力扣题目记录 513.找树左下角的值 递归 迭代法 总结 112. 路径总和 106.从中序与后序遍历序列构造二叉树 总结 力扣题目 用时&#xff1a;2h 1、513.找树左下角的值 2、112. 路径总和 3、106.从中序与后序遍历序列构造二叉树 力扣题目记录 513.找树…

持续集成交付CICD:基于 GitLabCI 与 JenkinsCD 实现后端项目发布

目录 一、实验 1. GitLabCI环境设置 2.优化GitLabCI共享库代码 3.JenkinsCD 发布后端项目 4.再次优化GitLabCI共享库代码 5.JenkinsCD 再次发布后端项目 一、实验 1. GitLabCI环境设置 &#xff08;1&#xff09;GitLab给后端项目添加CI配置路径 &#xff08;2&#xf…

算法通关村第十二关—字符串冲刺题(黄金)

字符串冲刺题 一、最长公共前缀 LeetCode14 编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀&#xff0c;返回空字符串"" 示例1&#xff1a; 输入&#xff1a;strs["flower","fLow","flight"] 输出&#xff1a;&…

机器学习算法---时间序列

类别内容导航机器学习机器学习算法应用场景与评价指标机器学习算法—分类机器学习算法—回归机器学习算法—聚类机器学习算法—异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱…

【力扣100】21.合并两个有序链表

添加链接描述 # Definition for singly-linked list. # class ListNode: # def __init__(self, val0, nextNone): # self.val val # self.next next class Solution:def mergeTwoLists(self, list1: Optional[ListNode], list2: Optional[ListNode]) -&…

SVPWM马鞍波形仿真(python)

SVPWM波的原理不再过多介绍。 最近在学习SVPWM&#xff0c;仿真了一下马鞍波。 python源码贡献出来。 import numpy as np import matplotlib.pyplot as plt import matplotlib.animation as anim############################################# # 我们的目的是根据机械角度&…

12.16_黑马数据结构与算法笔记Java

目录 167 B树 remove 168 B树 remove 搭架子 169 B树 remove case1-4 170 B树 remove case5-6分析 171 B树 remove case5 旋转 172 B树 remove case5 合并 173 B树 remove case6 174 B树 remove 演示1 175 B树 remove 演示2 176 哈希表 概述 177 哈希表 hash码映射索…

新视野大学英语1 词组 12.17

embarrassment和awkwardness的区别以及各自的组词。 "Embarrassment" 和 "awkwardness" 都可以用来描述一种尴尬或不舒服的感觉&#xff0c;但它们有一些微妙的区别。 "Embarrassment" 指的是由于尴尬、困窘或难堪的情况而产生的感觉。 这种感觉…

XXE漏洞 [NCTF2019]Fake XML cookbook1

打开题目 查看源代码 发现我们post传入的数据都被放到了doLogin.php下面 访问一下看看 提示加载外部xml实体 bp抓包一下看看 得到flag 或者这样 但是很明显这样是不行的&#xff0c;因为资源是在admin上&#xff0c;也就是用户名那里 PHP引用外部实体&#xff0c;常见的利用…

串口通信(5)-C#串口通信数据接收不完整解决方案

本文讲解C#串口通信数据接收不完整解决方案。 目录 一、概述 二、Modbus RTU介绍 三、解决思路 四、实例 一、概述 串口处理接收数据是串口程序编写的关键

(2)Linux 操作系统||基本创建与操作

本章将浅谈一下 "操作系统是什么" 的问题&#xff0c;随后通过讲解一些 Linux 下的基本指令&#xff0c;显示目录内容、跳转操作和文件的创建与删除。在讲解的同时我会穿插一些知识点&#xff0c;比如 Linux 隐藏文件、路径等基础知识。 了解操作系统 什么是操作系统…

【Java 并发】三大特性

在 Java 的高并发中&#xff0c;对于线程并发问题的分析通常可以通过 2 个主核心进行分析 JMM 抽象内存模型和 Happens-Before 规则三大特性: 原子性, 有序性和可见性 JMM 抽象内存模型和 Happens-Before 规则, 前面我们讨论过了。这里讨论一下三大特性。 1 原子性 定义: 一个…