爬取三千条数据需要多久_存储-性能,IOPS,带宽,吞吐量,1TB数据需要多久写完...

ef860477bfa58792535484c3017c3a2d.png

让我们先看一下这三个概念:

IOPS (Input/Output Per Second) 即每秒的输入输出量(或读写次数),是衡量存储介质性能的主要指标之一。IOPS是指每秒钟系统能处理的读写请求数量。

吞吐量(Throughput )衡量的是存储介质的数据传输速率,以MB/s为单位

带宽(Bandwidth)每秒可传输之位数,以Mbps为单位,一般是网络中的概念,也会应用到存储网络中。而存储设备中提到的带宽(Bandwidth)很多时候是指吞吐量(Throughput).

比如在EMC PowerMax的data sheet中介绍性能的描述中我们可以看出,这里的带宽其实是吞吐量

https://www.dellemc.com/en-us/collaterals/unauth/data-sheets/products/storage/h16891-powermax-family-ds.pdf​www.dellemc.com
PowerMax delivers unprecedented levels of performance with up to 10 Million IOPS2 , 150 GB per second bandwidth, and predictable response times of 290 microseconds7 for mixed workloads.

还需要了解的一个概念是IO大小(IO Size), IO Size是应用程序发起,经过操作系统的磁盘子系统,向存储系统发送的读写请求的单位大小,可以理解为系统读写操作的数据量,比如数据库的IO大小一般是8KB,即每次读写8KB的数据。

接下来我们看一下IOPS和吞吐量的关系,以UNITY 450F为例:

Dell EMC Unity 450F All-Flash Storage Review | StorageReview.com - Storage Reviews​www.storagereview.com
eb11b54ab382ddb25d5cc154a7730273.png
For peak 4K write, the Unity with compression had sub-millisecond latency until just over 31K IOPS and peaked at 34K IOPS with 9.12ms latency. RAID5 made it to roughly 100K IOPS with latency under 1ms and peaked at 107,216 IOPS with 4.16ms latency. For RAID10, there was sub-millisecond latency until around 184.7K IOPS with a peak of 185,979 IOPS with 1.09ms latency.

4KB 100%写的情况下,Unity 450F的IOPS的100K IOPS,即每秒钟系统能处理100,000次IO请求

换算为吞吐量(带宽)也很简单:

每秒100,000次4KB的数据写入,即100,000 * 4 = 400,000 KB/S,再将单位处理一下: 400,000/1024 = 390 MB/s -- 要再换算成GB/s也是可以的

那么1TB需要多久能写完呢?这就是小学数学题了,算错打板子

1TB = 1*1024 * 1024=1,048,576 MB

1,048,576 / 390 = 2,688.6564 S秒 ; 2,688.6564/60=44.8109 Min分钟

同样是Unity 450F, 我们再看一下不同IO SIZE下的IOPS和带宽

For sequential 64K write, the unity with compression made it to just north of 25K IOPS or 1.56GB/s before going over 1ms of latency; it peaked at 27,954 IOPS at 9.15ms latency and 1.74GB/s bandwidth. Both the RAID5 and RAID10 made it to about 54K IOPS or 3.3GB/s under 1ms of latency.

64KB 100%写,IOPS为54K,相对于前面我们看的4KB的IOPS 100K来说,IOPS值几乎小了一半。但是我们再看看带宽:

54,000 * 64 /1024=3375 MB/s ,带宽相对4KB却是8.6倍

所以我们能看出:

当IO size小的时候,系统需要进行频繁的操作,所以能处理更多的读写次数更加重要,这时IOPS是主要指标

当IO size大的时候,系统需要传输的数据量更多,所以带宽成了更重要的指标

[原创不易,转载请注明出处]

专栏其他技术类文章

  1. 存储大牛:Powerstore X AppsOn是什么
  2. 存储大牛:DellEMC存储PowerStore产品概述亮点简单解读
  3. 存储大牛:什么是第五代存储,分别又是哪五代?
  4. 存储大牛:闪存增寿 - Wear Leveling磨损均衡
  5. 存储大牛:存储克隆Storage Clone简介
  6. 存储大牛:华为存储 OceanStor SmartMatrix 架构
  7. 存储大牛:[存储]容量单位名词解释 - 可用容量,有效容量,TB,TiB, GB,GiB的困扰
  8. 存储大牛:华为Dorado V6初步解读
  9. 存储大牛:存储-性能,IOPS,带宽,吞吐量,1TB数据需要多久写完

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/297516.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

TortoiseSVN客户端重新设置用户名和密码[转]

在第一次使用TortoiseSVN从服务器CheckOut的时候,会要求输入用户名和密码,这时输入框下面有个选项是保存认证信息,如果选了这个选项,那么以后就不用每次都输入一遍用户名密码了。 不过,如果后来在服务器端修改了用户名…

这就是你们有钱人炫富的新方式吗?

1 真正的1秒可爱喷雾▼2 你们父子俩的脚咋回事啊?▼3 咦?影子动了!▼4 小姐姐,你这样就很过分了!▼5 宝宝发现了一个新玩具▼6 这就是有钱人炫富的新方式吗?▼7 单身久了,看两片茶叶转圈…

Dapr + .NET 实战(五)Actor

什么是Actor模式Actors 为最低级别的“计算单元”以上解释来自官方文档,看起来“晦涩难懂”。大白话就是说Actors模式是一段需要单线程执行的代码块。实际开发中我们经常会有一些逻辑不能并发执行,我们常用的做法就是加锁,例如:lo…

打印机一直显示正在打印中_中国和桌面3D打印机正在引领3D打印市场

2020年11月4日,南极熊获悉,国外的市场研究公司CONTEXT最近发布了3D打印市场报告,“中国”和“桌面3D打印机”正引领全球的3D打印市场从COVID-19疫情中复苏。分析报告显示,在2020年第一季度至第二季度期间,中国国内工业…

python中的星号和乘号_Python 函数中参数前面一个和两个星号(**)的区别

Python是一种计算机程序设计语言。是一种面向对象的动态类型语言,最初被设计用于编写自动化 脚本( shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的、大型项目的开发。在 Python 的函数中经常能看到输入的参数前面有一个或…

sql重新注册服务器,sql server无法新建注册服务器怎么办?

SQL Server 不存在或访问被拒绝ConnectionOpen (Connect())这个"SQL Server 不存在或访问被拒绝"通常是最复杂的,错误发生的原因比较多,需要检查的方面也比较多。一般说来,有以下几种可能性:1、SQL Server名称或IP地址拼…

雨中的蚊子为啥不会被雨滴砸死?

全世界只有3.14 % 的人关注了爆炸吧知识在细雨中漫步是很浪漫的一件事,但作为蚊子,雨中飞行相当于天上掉汽车!你有没有想过,它们是怎么活下来的?直到2015年,菠萝科学奖物理学奖颁给美国佐治亚理工学院胡立德…

.NET 6 迁移到 Minimal API

.NET 6 迁移到 Minimal APIIntro上次写了一篇 Minimal API Todo Sample,有些童鞋觉得 Minimal API 有些鸡肋,有一些功能的支持都不太好,但是其实 Host 之前支持的功能 Minimal API 大部分都是支持的,上次的 Todo Sample 完全没有使…

教你透彻了解红黑树

教你透彻了解红黑树 作者:July、saturnman 2010年12月29日本文参考:Google、算法导论、STL源码剖析、计算机程序设计艺术。本人声明:个人原创,转载请注明出处。推荐阅读:Left-Leaning Red-Black Trees, Dagstuhl Wor…

cass字体_不动产 准备工作 第一步: 管理CASS码

管理CASS码https://www.zhihu.com/video/1063850168960647168管理CASS码 功能概述:通过管理CASS码将不动产基础矢量数据分为房屋、房屋附属、其他设施三类,同时通过管理CASS码可以对建筑物面积计算规则进行自定义和统设、以及设置建筑物注记文本(和数据入…

lol修改服务器域名,LOL历史转区用户解冻大区官网自助系统地址 新版申请解冻账号网址...

原标题:LOL历史转区用户解冻大区官网自助系统地址 新版申请解冻账号网址英雄联盟在9月1日正式上线了历史转区用户解冻服务,因转区导致冻结账号的玩家可以在这边申请解冻了,很多玩家还不清楚申请的地址在哪,下面就来为大家详细的介…

c语言浮点型常量表示平均数_小白基础知识必备|| 整型常量与进制间的转换

一、C语言关键字C语言的关键字共有32个,根据关键字的作用,可分为数据类型关键字、控制语句关键字、存储类型关键字和其它关键字四类。数值类型关键字(12个)void、char、short、int、long、float、double、signed、unsigned、struct、enum、union控制语句…

中国代工厂的困惑:把大牌t恤卖到99块3件,还会有人买吗?

▲ 点击查看“很多人都知道大牌有溢价但是不知道大牌溢价逼近900%打个比方一件1000块的T恤,T恤成本如果是100那么剩下的900,算是买了个大牌logo”这是我们上个月去到的一家中国代工厂工厂内部人员向我们透露的他说,其实无论是纪梵希、爱马仕、…

.NET 排序 Array.SortT 实现分析

System.Array.Sort<T> 是.NET内置的排序方法, 灵活且高效, 大家都学过一些排序算法&#xff0c;比如冒泡排序,插入排序,堆排序等&#xff0c;不过你知道这个方法背后使用了什么排序算法吗?先说结果, 实际上 Array.Sort 不止使用了一种排序算法, 为了保证不同的数据量的排…

联想电脑如何添加无线网络连接服务器,安装英特尔MYWIFI的操作步骤

适用范围:(1)操作系统&#xff1a;仅支持VISTA /WINDOWS 7&#xff0c;不支持WINDOWS XP/2003/2000&#xff1b;(2)硬件&#xff1a;INTEL MY WIFI支持INTEL 5100以及以上无线网卡&#xff0c;非INTEL无线网卡不支持。知识点分析:英特尔的MY WIFI技术是一项针对笔记本电脑无线网…

假如把女生比作一种水果

1 和睡相不好的人一起睡觉是什么体验&#xff1f;2 箱子里的是我方输出&#xff0c;外面的是对方打野3 女儿问爸爸小时候都玩什么&#xff0c;于是爸爸给她做了这个。。4 推上一网友随手拍到的照片&#xff0c;就好像是三张图片拼起来的一样。5 一位台湾艺用解剖学老师的硬核授…

ai怎么调界面大小_科研论文作图系列-从PPT到AI (一)

这是“投必得学术”推送的第44篇文章&#xff0c;专注科研技能和资讯分享&#xff01;关注“投必得学术”&#xff0c;可以看到我们所有干货和资讯&#xff01;导语&#xff1a;之前的推送中&#xff0c;小编给大家介绍过几款科研作图软件&#xff0c;包括统计分析软件Origin和…

讲师征集| .NET Conf China 2021正式启动!

去年年初疫情突袭武汉&#xff0c;打得我们措手不及在众多 .NET 开发者们的殷切期盼声中一场轰动极客圈的技术狂欢趴毅然在苏州盛大开启、圆满落幕&#xff01;我们坚信&#xff0c;你还记忆犹新……▽因为&#xff0c;TA 是 .NET 5.0 发布的”里程碑“线上线下轮番轰炸的技术干…

【Android游戏开发十一】手把手让你爱上Android sdk自带“9妹”

本站文章均为 李华明Himi 原创,转载务必在明显处注明&#xff1a; 转载自【黑米GameDev街区】 原文链接: http://www.himigame.com/android-game/321.html 前几天群成员讨论过关于9patch的工具【我比较喜欢喊它9妹子&#xff0c;西西(*^_^*)】、然后研究了一下&#xff0c;比较…

为什么PostgreSQL比MongoDB还快之完结篇(深挖单点索引查询)

之前两篇测试中发现&#xff1a;单点索引查询中PostgreSQL的速度是MongoDB(WiredTiger引擎)的4倍。http://blog.chinaunix.net/xmlrpc.php?rblog/article&uid20726500&id4960138http://blog.chinaunix.net/xmlrpc.php?rblog/article&uid20726500&id4981629虽…