【深度学习】论文复现-对论文数据集的一些处理

如何书写伪代码:
ref:https://www.bilibili.com/video/BV12D4y1j7Zf/?vd_source=3f7ae4b9d3a2d84bf24ff25f3294d107

i=14时产出的图片比较合理

import json
import os.path
from matplotlib.ticker import FuncFormatter
import pandas as pd
import matplotlib.pyplot as plt# csv_path= r"/home/justin/Desktop/code/python_project/mypaper/data_process/CAM-01-SRV-lvm0.csv"
# df = pd.read_csv(csv_path, header=0, sep=",")
# df.head(5)
# df = df[["Timestamp", "Hostname", "DiskNumber", "Type", "LBA", "Size", "ResponseTime"]][df["Type"] == "Read"].reset_index(drop=True)
# base_dir = os.path.dirname(os.path.abspath(__file__))
# for i in range(1, 30):
#     # 勾画出,数据的请求分布
#     start_row = i * 100
#     end_row = (i + 1) * 100
#     print(start_row, end_row)
#     df1 = df[['LBA']][start_row:end_row]
#     from matplotlib.ticker import ScalarFormatter
#     plt.plot(df1.index, df1.LBA)
#     plt.title('Irregularity of I/O access locality')
#     plt.xlabel('Access Order')
#     plt.ylabel('Logical Block Address (unit:B)')
#     def format_ticks(x, _):
#         return f'{int(x):,}'
#     plt.gca().yaxis.set_major_formatter(FuncFormatter(format_ticks),ScalarFormatter(useMathText=False))
#     plt.gca().yaxis.get_major_formatter().set_scientific(False)
#     plt.subplots_adjust(left=0.25)
#     # plt.show()
#     save_img_path = os.path.join(base_dir, 'weak_locality','irregularity_io_access_locality_{}.png'.format(i))
#     print(save_img_path)
#     plt.savefig(save_img_path, format='png')
#     plt.clf()import os
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.ticker import FuncFormatter, MultipleLocator# Load the CSV file
csv_path = r"/home/justin/Desktop/code/python_project/mypaper/data_process/CAM-01-SRV-lvm0.csv"
df = pd.read_csv(csv_path, header=0, sep=",")
df.head(5)
pd.set_option('display.max_rows', None)  # Show all rows
pd.set_option('display.max_columns', None)  # Show all columns
pd.set_option('display.expand_frame_repr', False)  # Prevent line wrapping for large DataFrames# Optionally, if you want to set width and precision for better formatting
pd.set_option('display.width', None)  # Auto-detect the width of the display
pd.set_option('display.precision', 3) # Filter the DataFrame for 'Read' types and specific columns
df = df[["Timestamp", "Hostname", "DiskNumber", "Type", "LBA", "Size", "ResponseTime"]][df["Type"] == "Read"].reset_index(drop=True)
# Calculate the differences
df['LBA_diff'] = df['LBA'].diff()# Drop NaN values resulting from the difference computation
df = df.dropna(subset=['LBA_diff'])
LBA_diff_list = df['LBA_diff'].tolist()# def find_repeated_sequences(lst, length):
#     """
#     Find and return the first and last indices of the first repeating sequence of the given length.#     :param lst: List of integers to search for repeating sequences.
#     :param length: Length of the sequence to look for.
#     :return: Tuple containing the first and last indices of the first repeating sequence, or None if not found.
#     """
#     sequence_indices = {}
#     first_index = None
#     last_index = None#     # Iterate through the list to find sequences of the specified length
#     for i in range(len(lst) - length + 1):
#         # Get the current sequence as a tuple (to allow it to be a dictionary key)
#         current_sequence = tuple(lst[i:i + length])#         if current_sequence in sequence_indices:
#             # If the sequence has been seen before, update indices
#             first_index = sequence_indices[current_sequence][0]  # First occurrence
#             last_index = i  # Update last occurrence
#             break  # Only need the first repeating sequence
#         else:
#             # Store the index of the first occurrence of this sequence
#             sequence_indices[current_sequence] = (i,)#     return (first_index, last_index)# # Example usage
# lst = LBA_diff_list[20000:]
# length = 5# result = find_repeated_sequences(lst, length)
# print(f"First occurrence: {result[0]}, Last occurrence: {result[1]}")
# print(df[20117:20123],df[20119:20125])
# # Exit the script if needed
# exit("==========")
# # Get the base directory path
# base_dir = os.path.dirname(os.path.abspath(__file__))# Get the base directory path
base_dir = os.path.dirname(os.path.abspath(__file__))for i in range(1, 30):if i!=14:continue# Define the start and end row indicesstart_row = i * 100end_row = (i + 1) * 100print(start_row, end_row)# Slice the necessary part of the DataFramedf1 = df[['LBA']][start_row:end_row].reset_index(drop=True)# Plot the dataplt.plot(df1.index, df1.LBA)plt.title('Irregularity of I/O Access Locality')plt.xlabel('Access Order (unit:times)')plt.ylabel('Logical Block Address (unit:B)')# Function to format y-ticks with commasdef format_ticks(x, _):return f'{int(x):,}'# Set the y-axis major formatterplt.gca().yaxis.set_major_formatter(FuncFormatter(format_ticks))# Set x-axis major and minor ticksplt.gca().xaxis.set_major_locator(MultipleLocator(10))  # Major ticks every 10 unitsplt.gca().xaxis.set_minor_locator(MultipleLocator(5))   # Minor ticks every 2 unitsax = plt.gca()  # Get the current axesax.spines['top'].set_visible(False)    # Hide the top spineax.spines['right'].set_visible(False)  # Hide the right spineax.spines['left'].set_visible(True)    # Show the left spineax.spines['bottom'].set_visible(True)# Adjust the margins if necessaryplt.subplots_adjust(left=0.25)# Constructing the save image pathsave_img_path = os.path.join(base_dir, 'weak_locality', 'irregularity_io_access_locality_{}.png'.format(i))print(save_img_path)# Save the plot as a PNG fileplt.savefig(save_img_path, format='png')# Clear the figure after savingplt.clf()# Plot the 'Size' columndf2 = df[['Size']][start_row:end_row].reset_index(drop=True)    # Set the figure sizeplt.plot(df2['Size'], marker='o',markersize=2,linestyle='-',linewidth=0.5)  # Plot with markersplt.title('Variablity of I/O Access Size')plt.xlabel('Access Order(unit:times)')plt.ylabel('Size(Unit:B)')plt.gca().xaxis.set_major_locator(MultipleLocator(10))  # Major ticks every 10 unitsplt.gca().xaxis.set_minor_locator(MultipleLocator(5))   # Minor ticks every 2 unitsax = plt.gca()  # Get the current axesax.spines['top'].set_visible(False)    # Hide the top spineax.spines['right'].set_visible(False)  # Hide the right spineax.spines['left'].set_visible(True)    # Show the left spineax.spines['bottom'].set_visible(True)# plt.grid()  # Add grid for better readabilityplt.tight_layout()  # Adjust layout to avoid clippingsave_img_path = os.path.join(base_dir, 'weak_locality', 'io_access_locality_size_{}.png'.format(i))plt.savefig(save_img_path, format='png')print(save_img_path)plt.clf()

Total count: 246990497, Only once count: 52128003, ratio: 21.11%
Mean: 35004.78260010141
Median: 32768.0 中位数
Mode: 65536.0 众数
Minimum: 512.0 最小值
Maximum: 6410240.0 最大值

\documentclass{article}
\usepackage[ruled,longend,linesnumber]{algorithm2e}
\usepackage{xeCJK}\begin{document}
\begin{algorithm}
\KwIn{我在B站刷到了本视频}
\KwOut{我学会了,给个三连}
\Begin{
我在B站刷到了本视频\;
看标题好像有点用,点进去看看\;
\While{视频正在播放}{继续观看\;\tcc{不考虑没看懂某一部分,所以一直回看的死循环}\eIf{理解}{看下部分\;下部分变为这部分\;}{回看这部分\;}
}
我学会了,给个三连!
}
\caption{如何生成好看的伪代码}
\end{algorithm}\end{document}
\documentclass{article}
\usepackage[ruled, longend, linesnumbered]{algorithm2e}
\usepackage{xeCJK}\begin{document}\begin{algorithm}
\KwIn{ $T$: LBA Sequence; \ $L$: Window size;}
\KwOut{$X$, $y$}
\tcc{X是列表,每个item包含(Delta-LBA,SIZE)两个元素数据\;y是列表,每个item包含(Delta-LBA,SIZE)两个元素数据\; L是滑动窗口大小}
\Begin{$i \gets 0$ \; $j \gets 0$ \; \While{$i + L < T.length()$}{$X[j] \gets T[i:i+L-1]$\;$y[j] \gets T[i+L]$\;$i \gets i+k$\;$j \gets j+1$\;}\KwRet{$X$, $y$}
}
\caption{LBA Feature Preprocessor}
\end{algorithm}\end{document}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/64961.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C#调用WebService的方法

一、前言 在日常工作中&#xff0c;如果涉及到与第三方进行接口对接&#xff0c;有的会使用WebService的方式&#xff0c;这篇文章主要讲解在.NET Framework中如何调用WebService。 1.创建WebService &#xff08;1&#xff09;新建项目——模板选择ASP.NET Web 应用程序 &a…

Qt creator ,语言家功能缺失解决方法

1、找到工具->外部->配置 2、添加目录&#xff0c;双击命名语言家 3、在语言家目录下&#xff0c;添加工具 双击重命名lupdate&#xff0c;即更新翻译 %{CurrentDocument:Project:QT_INSTALL_BINS}\lupdate%{CurrentDocument:Project:FilePath}%{CurrentDocument:Projec…

Taro小程序开发性能优化实践

我们团队在利用Taro进行秒送频道小程序的同时&#xff0c;一直在探索性能优化的最佳实践。随着需求的不断迭代&#xff0c;项目中的性能问题难免日积月累&#xff0c;逐渐暴露出来影响用户体验。适逢双十一大促&#xff0c;我们趁着这个机会统一进行了Taro性能优化实践&#xf…

springboot471基于协同过滤算法商品推荐系统(论文+源码)_kaic

摘 要 传统办法管理信息首先需要花费的时间比较多&#xff0c;其次数据出错率比较高&#xff0c;而且对错误的数据进行更改也比较困难&#xff0c;最后&#xff0c;检索数据费事费力。因此&#xff0c;在计算机上安装协同过滤算法商品推荐系统软件来发挥其高效地信息处理的作用…

进程间关系与守护进程

个人主页&#xff1a;C忠实粉丝 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 C忠实粉丝 原创 进程间关系与守护进程 收录于专栏[Linux学习] 本专栏旨在分享学习Linux的一点学习笔记&#xff0c;欢迎大家在评论区交流讨论&#x1f48c; 目录 1. 进程组 什…

【NLP 16、实践 ③ 找出特定字符在字符串中的位置】

看着父亲苍老的白发和渐渐老态的面容 希望时间再慢一些 —— 24.12.19 一、定义模型 1.初始化模型 ① 初始化父类 super(TorchModel, self).__init__()&#xff1a; 调用父类 nn.Module 的初始化方法&#xff0c;确保模型能够正确初始化。 ② 创建嵌入层 self.embedding n…

javaEE-多线程编程-3

目录 java 常见的包 : 回调函数: 什么是线程: 第一个线程: 验证多线程执行: 内核: 调用sleep()方法: 执行结果分析: 线程创建的几种方式: 1.继承Thread类,重写run()方法. 2.实现Runnable接口,重写run()方法. 3.继承Thread类,重写run()方法.但使用匿名内部类 4.实现…

怎么在idea中创建springboot项目

最近想系统学习下springboot&#xff0c;尝试一下全栈路线 从零开始&#xff0c;下面将叙述下如何创建项目 环境 首先确保自己环境没问题 jdkMavenidea 创建springboot项目 1.打开idea&#xff0c;选择file->New->Project 2.选择Spring Initializr->设置JDK->…

设计模式期末复习

一、设计模式的概念以及分类 是一套被反复使用&#xff0c;多数人知晓&#xff0c;经过分类编目&#xff0c;代码设计经验的总结&#xff0c;描述了在软件设计的过程中不断重复发生的问题&#xff0c;以及该问题的解决方案&#xff0c;他是解决特定问题的一系列套路&#xff0c…

Github——网页版上传文件夹

第一步&#xff1a;创建一个新的仓库或进入已存在的仓库页面 第二步&#xff1a;点进对应的文件夹下&#xff0c;然后 点击 “Upload files” 第三步&#xff1a;将文件夹拖拽到上传区域 打开资源管理器&#xff0c;将要上传的文件夹从计算机中拖拽到上传区域。 注意&#xf…

高级的SQL查询技巧有哪些?

成长路上不孤单&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a; 【14后&#x1f60a;///C爱好者&#x1f60a;///持续分享所学&#x1f60a;///如有需要欢迎收藏转发///&#x1f60a;】 今日分享关于高级SQL查询技巧方面的相关内容&#xf…

FastStone 10.x 注册码

简介 FastStone Capture是一款经典好用的屏幕截图软件&#xff0c;在屏幕截图领域具有广泛的应用和众多优势。 软件基本信息 FastStone Capture体积小巧&#xff0c;占用内存少&#xff0c;这使得它在运行时不会给计算机系统带来过多的负担&#xff0c;即使在配置较低的电脑…

K8S详解(5万字详细教程)

目录 ​编辑 一、集群管理命令 二、命名空间 1. 获取命名空间列表 2. 创建命名空间 3. 删除命名空间 4. 查看命名空间详情 三、Pod 1. Pod概述 2. Pod相位状态 3. 管理命令 3.1 获取命名空间下容器(pod)列表 3.2 查看pod的详细信息 3.3 创建 && 运行 3.4 …

费舍尔信息矩阵全面讲述

费舍尔信息矩阵&#xff08;Fisher Information Matrix&#xff09; 费舍尔信息矩阵是统计学中一个非常重要的概念&#xff0c;尤其在参数估计、最大似然估计&#xff08;MLE&#xff09;和贝叶斯推断中具有广泛的应用。它反映了参数估计的不确定性程度&#xff0c;也可以用来…

Zookeeper的监听机制

Zookeeper的监听机制是其实现分布式协调服务的一个核心功能。 它允许客户端注册Watcher&#xff08;观察者&#xff09;来监听特定的Znode&#xff08;节点&#xff09;上的事件&#xff0c;当Znode的状态发生变化时&#xff0c;Zookeeper会向注册了Watcher的客户端发送通知。…

[原创](Modern C++)现代C++的第三方库的导入方式: 例如Visual Studio 2022导入GSL 4.1.0

[简介] 常用网名: 猪头三 出生日期: 1981.XX.XX 企鹅交流: 643439947 个人网站: 80x86汇编小站 编程生涯: 2001年~至今[共23年] 职业生涯: 21年 开发语言: C/C、80x86ASM、PHP、Perl、Objective-C、Object Pascal、C#、Python 开发工具: Visual Studio、Delphi、XCode、Eclipse…

2002 - Can‘t connect to server on ‘192.168.1.XX‘ (36)

参考:2002 - Can‘t connect to server on ‘192.168.1.XX‘ (36) ubantu20.04&#xff0c;mysql5.7.13 navicat 远程连接数据库报错 2002 - Can’t connect to server on ‘192.168.1.61’ (36) 一、查看数据库服务是否有启动&#xff0c;发现有启动 systemctl status mysql…

漏洞检测工具:允许TRACE方法漏洞

允许TRACE方法漏洞 漏洞定义 TRACE方法是HTTP协议中定义的一种调试方法&#xff0c;主要用于测试或诊断Web服务器连接。Web服务器在配置时未正确禁用HTTP TRACE方法&#xff0c;从而允许客户端向服务器发送TRACE请求&#xff0c;并导致服务器返回可能包含敏感信息的响应。 漏…

linux socket编程之udp_dict_serve服务端--引入配置文件

注意&#xff1a;本篇博客只是对上一篇博客功能的增加 1.创建配置文件(翻译) Dict.txt apple: 苹果 banana: 香蕉 cat: 猫 dog: 狗 book: 书 pen: 笔 happy: 快乐的 sad: 悲伤的 run: 跑 jump: 跳 teacher: 老师 student: 学生 car: 汽车 bus: 公交车 love: 爱 hate: 恨 hell…

ESP32S3 使用LVGL驱动LCD屏(ST7789主控)

ESP32S3 使用LVGL驱动LCD屏&#xff08;ST7789主控&#xff09; 目录 1 分析原理图 2 驱动、点亮LCD(ST7789) 2.1 在工程中添加目录、文件 2.2 添加esp_lvgl_port组件 2.3 对工程进行必要的配置 2.4 编写必要代码 3 烧录、验证 1 分析原理图 要使用SOC驱动LCD屏&#…