【概念学习】云上的 IOPS

本文的讨论基于这篇文章:https://handbook.vantage.sh/aws/concepts/io-operations/

Input/output operations per second (IOPS) are a relatively low-level unit in AWS for measuring disk performance. The maximum size of an IOP is 256 KiB for SSD volumes and 1 GiB for HDD volumes. 1 MiB of storage is worth 3 IOPS, so a 1,000 GiB EBS Volume has 3,000 IOPS available. When using these volume types you are charged for the amount of provisioned IOPS even if you don’t fully utilize them.

在 AWS 上,SSD 上一个 IO 操作可以读取 256KB 数据,HDD 上一个 IO 操作可以读取 1MB(原文GB 是 typo) 数据。

在云上,按照 AWS 的资源预分配策略,1GB 存储会分配 3 IOPS,所以一个 1000 GB EBS 卷可以支持 3000 IOPS。

Provisioned IOPS SSD volumes use a consistent IOPS rate, which you specify when you create the volume, and Amazon EBS delivers the provisioned performance 99.9% of the time.

在云计算领域,“Provisioned”(配置的)这个词通常用来描述云资源分配和准备工作的状态。当提到"Provisioned"资源时,意味着这些资源已经按照用户的请求配置并且准备就绪,用户可以开始使用这些资源来运行应用程序、存储数据、执行计算任务等。

例如,在一个云服务提供商(如Amazon Web Services, Microsoft Azure, Google Cloud Platform等)中:

  • Provisioned Compute Resources: 分配了CPU、内存、网络带宽以及其他必要的系统资源来运行虚拟机或者容器。
  • Provisioned Storage: 配置了一定量的磁盘空间用于持久化存储数据。
  • Provisioned Databases: 创建并配置了数据库实例,包括设置数据库类型(如SQL或NoSQL)、容量、备份和性能要求。
  • Provisioned IOPS (Input/Output Operations Per Second): 在某些类型的存储服务中,用户可以指定需要的IOPS,即磁盘操作的性能。这代表了磁盘读写能力的配置。

通常情况下,"provisioning"一个服务在云平台上是一个自动化的过程,在用户选择服务、规格并且发出请求之后,云平台通过其底层管理系统自动完成资源分配和配置。这个过程可以通过API调用、云管理控制台或者基于模板的配置管理工具来完成。

"Provisioning"与"Deprovisioning"相对应,后者意味着在不再需要服务时,资源将被释放和回收。这是云计算提供的一个关键优势——即按需分配(provisioning)和释放(deprovisioning)资源,提高资源利用效率并降低成本。

所以,上面这段英文的意思是:

Provisioned IOPS SSD 卷是一种云存储解决方案,它提供一致的IOPS性能,用户在创建该存储卷时指定这个性能的数值。亚马逊的弹性块存储(EBS)服务承诺99.9%的时间都能提供用户预配置的性能水平。

简言之,这句话说明了以下几点:

  • 存储卷类型:这里讨论的是一种SSD类型的EBS存储卷,这种存储卷支持用户设定预期的IOPS。
  • 性能一致性:Provisioned IOPS SSD 卷能提供稳定的性能,即一个固定的IOPS率。这表示无论什么时候,无论系统负载如何,用户都应该期望所使用的存储卷具有一致的IOPS表现。
  • 性能水平的设定:用户在创建Provisioned IOPS SSD卷时可以自定义所需的IOPS水平,以满足特定应用程序的性能需求。
  • 性能保证:Amazon EBS承诺用户指定的预配置IOPS性能将在99.9%的时间内得到满足。这个百分比表明服务的高可靠性,确保用户大部分时间内都能获得他们预期的存储性能。

这样的一个服务层级协议(SLA)为需要高性能和高稳定性的应用程序,比如数据库和高频交易平台,提供了必要的性能保证。

The performance consistency between a Provisioned IOPS volume and a general purpose (gp2, gp3), throughput optimized (st1), or cold HDD (sc1) is going to be better for both random and sequential disk access.

此句话表明使用 Provisioned IOPS 卷能够提供更一致的性能,相较于其他类型如通用目的SSD或各种优化的HDD,在处理随机和顺序磁盘访问时,可以预期更好的表现,这对于性能敏感的应用是十分重要的。这意味着在这些工作负载中,Provisioned IOPS卷将提供更稳定且可预测的性能。

  • 预配置IOPS(Provisioned IOPS)卷:这是一种高性能的SSD卷,特别适用于需要高IOPS的应用场景。
  • 通用目的SSD(gp2, gp3):这些是Amazon EBS提供的一般性能的SSD卷,平衡了价格和性能,适合广泛的工作负载。
  • 吞吐量优化HDD(st1):专为吞吐量密集型的工作负载优化,适合大量连续读写操作。
  • 冷HDD(sc1):这种类型的硬盘驱动器专为低成本存储大量数据设计,性能较低,适合不常访问的数据。

Note that for operations with large and sequential accesses, provisioned IOPS are likely less efficient than a st1 volume.

不过,Provisioned IOPS 卷也不是万能的。在大量顺序读场景下,它的性能没有 st1 卷性能好。这是因为 st1 专门为这种场景做了特殊优化(预取?)

IOPS Considerations

  • Volume Type: There are multiple volume types with different impacts on IOPS.
  • I/O Demand: Most likely the workload has a bursty demand pattern, where consistently high throughput is not as important as meeting spikes of demand. As the workload deviates from this, provisioned IOPS become more important.
  • Throughput Limits: The instance will have an upper limit of throughput it can support. For example, an i2.xlarge can support up to 62,500 IOPS. If the number of Provisioned IOPS is even higher than this limit, it’s a waste, because the instance cannot use them all up.

考虑 IOPS 的时候需要注意:

  • 磁盘卷的类型
  • IO 需求特征:突发需求多?持续高并发需求多?
  • 单机 IOPS 上线:每个 EC2 机型能支持的最大 IOPS 是有限的,比如 i2.xlarge 最多支持 62500 IOPS。如果此时 Provisioned IOPS 买得比这个还高,实际是浪费钱,因为用不完比 62500 更高的能力。

Optimal Provisioned IOPS
.
The most common cost waste with IOPS is having too many of them. It is commonly believed that the key to RDS is to have some amount of Provisioned IOPS. Luckily, we don’t have to guess.
.
AWS suggests inspecting the VolumeQueueLength metric for CloudWatch. This metric is reported as IOPS, which means the formula is simple: if VolumeQueueLength is greater than the number of provisioned IOPS and latency is an issue, then you should consider increasing the number of provisioned IOPS.

IOPS 买太大通常是浪费,要因地制宜,不大不小是最好的。确定合适的 IOPS 的方式,在 AWS 上是在 CloudWatch 上看 VolumnQueueLength 指标,如果这个指标比分配的 IOPS 大,同时我们又比较关注延迟,那么就应该增加一些 IOPS。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/12025.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

什么是Docker?

Docker 是一种开源的容器化平台,可以帮助开发人员和运维团队将应用程序及其依赖项打包到一个独立的容器中,从而实现应用的快速部署、可移植性和自包含性(自带应用程序及其所有依赖项、配置和运行时)。Docker 主要在以下几个方面得…

亚信安慧AntDB数据库社区:活力、激情、包容、开放

亚信安慧AntDB是一款备受推崇的数据库管理系统,它采用了全球知名且备受尊重的PG内核,拥有卓越的性能和稳定性。AntDB 在全球范围内广受用户欢迎,其社区生态繁荣活跃,用户可以在这里交流经验、分享问题、共同探讨解决方案&#xf…

【数据结构】线性表----链表详解

数据结构—-链表详解 目录 文章目录 链表的定义链表的构成链表的分类双向和单向带头和不带头循环和不循环 链表的命名基本操作的实现初始化打印取值查找插入指定位置插入删除删除销毁 部分其他链表的代码实现循环链表双向链表 优点/缺点(对比顺序表)优点…

基于ssm学生档案管理系统论文

系统简介 身处网络时代,随着网络系统体系发展的不断成熟和完善,人们的生活也随之发生了很大的变化,人们在追求较高物质生活的同时,也在想着如何使自身的精神内涵得到提升,而读书就是人们获得精神享受非常重要的途径。…

linux性能监控之free

free:linux系统自带命令,显示内存状态,命令查询来源于/proc/meminfo 文件 [rootk8s-master ~]# free --helpUsage:free [options]Options:-b, --bytes show output in bytes-k, --kilo show output in kilobytes-m, --mega…

flutter开发实战-compute将工作交由isolate处理

flutter开发实战-compute将工作交由isolate处理 最近查看flutter文档时候,看到了compute可以将工作交由isolate处理。通过 Flutter 提供的 compute() 方法将解析和转换的工作移交到一个后台 isolate 中。这个 compute() 函数可以在后台 isolate 中运行复杂的函数并…

利用阿里国际站和eBay平台销售数据提升产品销售额的有效方法。

作为全球知名的跨境电商平台,阿里国际站和eBay汇聚了众多跨境电商商家。为了提升业务效率和优化经营策略,商家们需要时刻关注自家店铺中产品的销售情况。通过深入了解销售数据,商家们能够准确把握店铺的经营状态,及时识别潜在问题…

Android XML的使用详解

一、布局文件: 在layout目录下,使用比较广泛;我们可以为应用定义两套或多套布局,例如:可以新建目录layout_land(代表手机横屏布局),layout_port(代表手机竖屏布局),系统会根据不同情况自动找到…

Leecode热题100---15:三数之和为零

题目: 给你一个整数数组 nums ,判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ,同时还满足 nums[i] nums[j] nums[k] 0 。 请你返回所有和为 0 且不重复的三元组。 注意:答案中不可以包含重复的…

OpenAI 今日(北京时间 5 月 14 日凌晨两点)将发布的大更新,不是 GPT-5,也不是搜索引擎

🦉 AI新闻 🚀 OpenAI 今日(5月13日)将发布的大更新,不是 GPT-5,也不是搜索引擎 摘要:OpenAI 预计即将推出一款新的 AI 语音助手,该助手不仅可以进行语音和文字交流,还能…

Hashmap详细解析,原理及使用方法分析

hashmap基本原理 根据的hashCode值存储数据。由数组链表组成的,Entnr数组是HashMap的主体,数组中每个元素是一个单向链表。链表则是1/1解哈希冲突而存在的。在lava8中,使用红黑树优化。当链表长度大于8并且元素个数大于64,转为红…

常见加解密算法02 - RC4算法分析

RC4是一种广泛使用的流密码,它以其简洁和速度而闻名。区别于块密码,流密码特点在于按位或按字节来进行加密。 RC4由Ron Rivest在1987年设计,尽管它的命名看起来是第四版,实际上它是第一个对外发布的版本。 RC4算法的实施过程简洁…

centos7.8 迁移为 TencentOS Server 2.4(TK4) 报错解决

文章目录 一 问题二 解决三 注意 一 问题 CentOS 官方计划停止维护 CentOS Linux 项目,公司某台腾讯云的centos7.8服务器计划迁移为 TencentOS Server 2.4(TK4) 。在下载rpm包执行迁移命令后报错,场景还原如下。 首先 安装 Python 3 yum install -y p…

什么?免费使用GPT-4o?

⭐简单说两句⭐ ✨ 正在努力的小叮当~ 💖 超级爱分享,分享各种有趣干货! 👩‍💻 提供:模拟面试 | 简历诊断 | 独家简历模板 🌈 感谢关注,关注了你就是我的超级粉丝啦! &a…

[Algorithm][多源BFS][矩阵][飞地的数量][地图中的最高点][地图分析] + 多源BFS原理讲解 详细讲解

目录 0.原理讲解1.矩阵1.题目链接2.算法原理详解3.代码实现 2.飞地的数量1.题目链接2.算法原理详解3.代码实现 3.地图中的最高点1.题目链接2.算法原理详解3.代码实现 4.地图分析1.题目链接2.算法原理详解3.代码实现 0.原理讲解 注意:只要是用**BFS解决的最短路径问题…

Apache SeaTunnel在世界级银行巨头JP Morgan 内部的应用实践

作者系 JP Morgan 大数据工程师,文章内容来源于[DET 网络研讨会] 与 Apache SeaTunnel 的数据集成:https://www.youtube.com/watch?vln4mn6vLenc(有兴趣的同学可以观看演讲) 文章介绍了他任职期间使用 Apache SeaTunnel 优化数据…

基础模型的工具学习:综述

23年6月清华、人大、UIUC、纽约大学、北邮和CMU等的论文“Tool Learning with Foundation Models”。 人类拥有创造和利用工具的非凡能力,使他们能够克服物理限制并探索新领域。随着最近强大的基础模型的出现,人工智能系统有可能像人类一样熟练地使用工…

[C/C++] -- 海量数据查重

例如:50亿int整型数,以及一台可用内存为400M的机器,时间复杂度要求O(n),统计只出现一次的数。 需要一种能够在满足 O(n) 时间复杂度要求的同时,使用尽可能少的内存来解决问题。 在处理海量数据时,分治思想…

【Keil备忘录】Keil MDK Warning: L6989W 数学计算函数警告问题

文章目录 1. 发生的场景2. 警告内容3.警告含义4.警告屏蔽解决尝试5. 警告消除解决尝试 1. 发生的场景 stm32L4系列使用数学库时遇到 2. 警告内容 Warning: L6989W: Could not apply patch sdcomp-29491-629360 to instruction VPOP {d8-d13} at offset 0x54, instructio…

浏览器curl请求快速转换为python request 请求

Python 中的 requests 库将浏览器复制的 cURL 命令转换为请求对象。下面是一个示例: import requestscurl_command """curl -X GET \http://example.com/api/data \-H Content-Type: application/json \-H Cookie: udide9ceb2bb9a6bebb401fcddf5c9…