Darshan日志分析

标头

在这里插入图片描述

darshan-parser 输出的开头显示了有关作业的总体信息的摘要。还可以使用–perf、–file或–total命令行选项生成其他作业级别摘要信息。

  • darshan log version:Darshan 日志文件的内部版本号。
  • compression method:压缩方法。
  • exe:生成日志文件的可执行文件的名称。
  • uid:作业运行时的用户ID。
  • jobid:来自调度程序的作业ID。
  • start_time:作业的开始时间(自纪元以来的秒数)。
  • start_time_asci:作业的开始时间,采用人类可读的格式。
  • end_time:作业的结束时间,自纪元以来的秒数。
  • end_time_asci:作业的结束时间,采用人类可读的格式。
  • nprocs:MPI 进程数。
  • run time:作业的运行时间(以秒为单位)。

日志文件区域大小

在这里插入图片描述

解析器输出的下一部分显示给定日志文件中包含的每个区域的大小。每个日志文件将包含以下区域:

  • header:恒定大小的未压缩标头,提供有关如何正确访问日志的数据。
  • 作业数据:日志的作业级元数据(例如,开始/结束时间和 exe 名称)。
  • 记录表:将 Darshan记录标识符映射到完整文件名路径的表。
  • 模块数据:每个模块(例如,POSIX、MPI-IO 等)将其 I/O 特征数据存储在日志的不同区域中。

除标头外,日志文件的所有区域都经过压缩(采用 libz 或 bzip2 格式)。

已挂载的文件系统表

输出的下一部分显示了作业运行时安装的所有通用文件系统的表。每行使用以下格式:

<mount point> <fs type>

在这里插入图片描述

I/O 特征字段的格式

在这里插入图片描述

输出的其余部分将显示应用程序打开的每个文件的特征。每行使用以下格式:

<module> <rank> <record id> <counter name> <counter value> <file name> <mount point> <fs type>

module:指定负责记录这条I/O特征数据的模块。
rank:指示打开文件的进程的等级。等级值为 -1 表示文件在所有进程间共享,并且统计信息被聚合。
record id:是打开的文件路径/名称的 64 位哈希值。它用作唯一区分每个文件的方法。
counter name和counter value:统计计数器。值 -1 表示 Darshan 无法收集该特定计数器的统计信息,并且应忽略该值。
file name:字段显示记录对应的完整文件名。
mount point:该文件所属文件系统的挂载点
fs type:该文件系统的类型。

I/O特征字段

1.POSIX模块

在这里插入图片描述

  • POSIX_*:POSIX操作计数。

  • READS、WRITES、OPENS、SEEKS、STATS、MMAPS、SYNCS、FILENOS、DUPS是操作类型。

  • POSIX_RENAME_SOURCES/TARGETS:此文件作为重命名操作源/操作目标的次数

  • POSIX_RENAMED_FROM:如果文件是重命名目标,则第一个重命名源的Darshan记录ID

  • POSIX_MODE:打开文件的模式。

  • POSIX_BYTES_*:读取和写入的总字节数。

  • POSIX_MAX_BYTE_*:读取和写入的最高偏移字节。

  • POSIX_CONSEC_*:与上次访问紧邻的读写次数。

  • POSIX_SEQ_*:从增加的偏移量读取和写入的次数。

  • POSIX_RW_SWITCHES:在读取和写入之间交替访问的次数。

  • POSIX_*_ALIGNMENT:内存和文件对齐。

  • POSIX_*_NOT_ALIGNED:未对齐的读写次数。

  • POSIX_MAX_*_TIME_SIZE:最慢的读写操作的大小。

  • POSIX_SIZE__:读取和写入访问大小的直方图。

  • POSIX_STRIDE*_STRIDE:检测到的四个最常见的步幅。

  • POSIX_STRIDE*_COUNT:四个最常见步幅的计数。

  • POSIX_ACCESS*_ACCESS:四种最常见的访问大小。

  • POSIX_ACCESS*_COUNT:四种最常见的访问大小的计数。

  • POSIX_*_RANK:I/O速度最快和最慢的进程的级别(对于共享文件)。

  • POSIX_*_RANK_BYTES:由最快和最慢列组传输的字节(对于共享文件)。

  • POSIX_F_*_START_TIMESTAMP:第一次打开/读取/写入/关闭的时间戳。

  • POSIX_F_*_END_TIMESTAMP:最后一次打开/读取/写入/关闭的时间戳。

  • POSIX_F_READ/WRITE/META_TIME:用于读取、写入或元数据操作的累计时间。

  • POSIX_F_MAX_*_TIME:最慢读写操作的持续时间。

  • POSIX_F_*_RANK_TIME:单个列组的最快和最慢I/O时间。

  • POSIX_F_VARIANCE_RANK_*:所有列组的总I/O时间和移动字节的方差。

在这里插入图片描述

2.STDIO模块

在这里插入图片描述

在这里插入图片描述

3.HEATMAP

在这里插入图片描述

在这里插入图片描述

4.MPI-IO模块

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/64958.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

skywalking agent监控java服务

一、前言 skywalking agent可以监控的服务类型有多种&#xff0c;python、go、java、nodejs服务等都可以监控&#xff0c;现在通过java服务来演示skywalking agent的使用&#xff0c;并且是使用容器的方式实现 二、部署skywalking agent监控 需要注意&#xff0c;skywalking…

Django报错:SystemCheckError: System check identified some issues解决办法

今天练习django自定义标签时&#xff0c;一开始在APPbook中写了自定义标签book_tags.py 测试成功&#xff0c;之后新建了一个APPblogs&#xff0c;测试在blogs中创建模板使用自定义标签&#xff0c;于是直接把book/templatetags包直接赋值到blogs目录里。在页面里加载自定义标…

K8s简介之什么是K8s

目录 1.概述 2.什么是容器引擎&#xff1f; 3.什么是容器 4.什么是容器编排&#xff1f; 5.容器编排工具 6.到底什么是K8s? 7.为什么市场推荐K8s 8.K8s架构 9.K8s组件 Pods API 服务器 调度器 控制器管理器 Etcd 节点 Kubelet Kube代理 Kubectl 1.概述 Kub…

通过这 5 项 ChatGPT 创新增强您的见解

为什么绝大多数的人还不会使用chatGPT来提高工作效能&#xff1f;根本原因就在还不会循序渐进的发问与chatGPT互动。本文总结了5个独特的chatGPT提示&#xff0c;可以帮助您更好地与Chat GPT进行交流&#xff0c;以获得更清晰的信息、额外的信息和见解。 澄清假设和限制 用5种提…

vcruntime140_1.dll丢失的三个修复方法,【vcruntime140_1修复工具下载】

大家好&#xff01;今天&#xff0c;我将为大家介绍一个关于计算机vcruntime140_1.dll丢失的问题。在我们的日常生活和学习中&#xff0c;计算机出现问题是常有的事情。有时候&#xff0c;我们可能会遇到一些令人头疼的问题&#xff0c;比如vcruntime140_1.dll丢失。那么&#…

C盘清理 “ProgramData\Microsoft\Search“ 文件夹过大

修改索引存放位置 进入控制面板->查找方式改成大图标&#xff0c; 选择索引选项 进入高级 填写新的索引位置 删除C盘索引信息 删除C:\ProgramData\Microsoft\Search\Data\Applications 下面的文件夹 如果报索引正在使用&#xff0c;参照第一步替换索引位置。关闭索引

stable diffusion实践操作-hypernetworks

系列文章目录 本文专门开一节写hypernetworks的内容&#xff0c;在看之前&#xff0c;可以同步关注&#xff1a; stable diffusion实践操作 提示&#xff1a;写完文章后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 系列文章目录前言一、h…

conda创建python虚拟环境

1.查看当前存在那些虚拟环境 conda env list conda info -e 2.conda安装虚拟环境 conda create -n my_env_name python3.6 2.1在anaconda下改变python版本 当前3.7 安装3.7 conda create -n py37 python3.7 conda activate py37 conda create -n py37 python3.7conda a…

IDM2024Internet Download Manager下载器最新版本

IDM&#xff08;Internet Download Manager&#xff09;下载器主窗口的左侧是下载类别的分类&#xff0c;提供了分类功能来组织和管理文件。如果不需要它&#xff0c;可以删除“分类”窗口&#xff0c;并且在下载文件时不选择任何分类。 每个下载类别都有一个名称&#xff0c;…

路由器的简单概述(详细理解+实例精讲)

系列文章目录 华为数通学习&#xff08;4&#xff09; 目录 系列文章目录 华为数通学习&#xff08;4&#xff09; 前言 一&#xff0c;网段间通信 二&#xff0c;路由器的基本特点 三&#xff0c;路由信息介绍 四&#xff0c;路由表 五&#xff0c;路由表的来源有哪些…

linux安装docker全过程

3. 第二步&#xff1a;设置docker的存储库。就两条命令&#xff0c;我们直接执行就好。 ​ sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo ​​ 4. 安装docker engine和docker-compose。 执行命…

IP地址、网关、网络/主机号、子网掩码关系

一、IP地址 IP地址组成 IP地址分为两个部分&#xff1a;网络号和主机号 &#xff08;1&#xff09;网络号:标识网段&#xff0c;保证相互连接的两个网段具有不同的标识。 &#xff08;2&#xff09;主机号:标识主机&#xff0c;同一网段内&#xff0c;主机之间具有相同的网…

某人事系统架构搭建设计记录

首发博客地址 https://blog.zysicyj.top/ 先大致列一下基础情况 架构必须是微服务 场景上涉及大量查询操作&#xff0c;分析操作 存在临时大量写入的场景 并发并不高 对高可用要求较高&#xff0c;不能挂掉 对安全要求高 要能过等保测试等三方测试 使用人数并不多&#xff0c;十…

OA项目之会议通知(查询是否参会反馈详情)

目录 会议查询 是否参会 反馈详情 讲解思路 会议通知SQL语句分析 反馈详情SQL语句分析 后台代码编写 前端代码编写 效果预览 会议查询 MeetingFeedBack.java package com.zking.oa.model;import org.lisen.mvc.util.AutoIncrement; import org.lisen.mvc.util.…

五金轴尺寸机器视觉测量软硬件方案--康耐德智能

检测内容&#xff1a; 五金轴尺寸机器视觉测量 检测要求&#xff1a; 精度0.015mm&#xff0c;速度180~240个/分钟 视觉可行性分析&#xff1a; 对样品进行了光学实验&#xff0c;并进行图像处理&#xff0c;原则上可以使用机器视觉系统进行测试测量。 结果&#xff1a; 对…

解决uniapp手机真机调试时找不到手机问题

1、检查 USB 调试是否开启 2、检查是否有选择 文件 传输 选项 3、如果上述都做了还找不到&#xff0c;可以看看开发者选项中的【USB设置】&#xff0c;把模式改为 MIDI 模式

黑马 大事件项目 笔记

学习视频&#xff1a;黑马 Vue23 课程 后台数据管理系统 - 项目架构设计 在线演示&#xff1a;https://fe-bigevent-web.itheima.net/login 接口文档: https://apifox.com/apidoc/shared-26c67aee-0233-4d23-aab7-08448fdf95ff/api-93850835 接口根路径&#xff1a; http:/…

mysql与msql2数据驱动

mysql基本使用 数据库操作&#xff08;DDL&#xff09; -- 数据考操作 -- 1.查询所有数据库 SHOW DATABASES;-- 2.选择数据库 USE learn_mysql;-- 3.当前正在使用的数据库 SELECT DATABASE();-- 4.创建数据库 CREATE DATABASE IF NOT EXISTS learn_mysql;-- 5.删除数据库 DRO…

UDP/TCP协议报头详细分析

文章目录 ————————预备知识————————数据段netstatpidof—————UDP协议报头即相关概念分析—————UDP协议端格式UDP 特点全双工send / rec 函数的本质UDP的缓冲区基于UDP的应用层协议—————TCP协议报头即相关概念分析—————TCP格式及解析32位序号…

OpenCVSharp入门学习①-获取本地摄像头数据

1. nuget包安装opencvsharp4和opencvsharp4.extensiongs和opencvsharp4.runtime.win 如果不安装opencvsharp4.runtime.win的话会报 System.TypeInitializationException:““OpenCvSharp.Internal.NativeMethods”的类型初始值设定项引发异常。”DllNotFoundException: 无法加…