拓展 Amazon S3 技术边界:Amazon S3 Express One Zone 的创新之路

授权说明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道

自 Amazon S3 服务推出以来,一直是全球各行各业数百万客户钟爱的云存储服务。然而,随着新兴用例的不断涌现,传统存储方式面临性能瓶颈,尤其是对于对延迟极为敏感的应用程序。为前不久展开的亚马逊云科技 re:Invent 2023 大会上发布了存储相关的产品 Amazon S3 Express One Zone ,一种高性能存储类,为客户提供最快的数据访问速度和卓越的性能。

目录

一、降本增效:S3 Express One Zone 的性能优势与成本削减

1. 技术挑战:数据访问速度与性能需求

2. 技术突破:Amazon S3 Express One Zone 的创新

3. 技术突破:与计算资源并置的一体化解决方案

4. 技术突破:解决复杂性与提高灵活性

二、体验测试使用

三、体验感悟和个人总结


一、降本增效:S3 Express One Zone 的性能优势与成本削减

1. 技术挑战:数据访问速度与性能需求

随着新兴用例的崛起,一些应用程序每分钟需要执行数百万次的数据写入和访问,并对个位数毫秒级的响应时间提出苛刻要求。特别是在人工智能和机器学习模型训练、交互式分析、财务模型模拟等场景中,数据的快速访问对于计算效率至关重要。传统存储方式难以满足这些性能需求,客户通常将最常访问的数据移动到自定义缓存解决方案,以降低存储延迟。

2. 技术突破:Amazon S3 Express One Zone 的创新

Amazon S3 Express One Zone 创新性地解决了数据访问速度与性能需求之间的矛盾。通过在专用硬件和软件上复制和存储数据,它实现了比 Amazon S3 Standard 快 10 倍的访问速度,大幅提高了数据处理速度。为了进一步支持每分钟数百万个请求,引入了一种新的存储桶类型,即 Amazon S3 目录存储桶,有效降低了请求成本。

3. 技术突破:与计算资源并置的一体化解决方案

Amazon S3 Express One Zone 提供了与计算资源并置的选择,使客户能够更快地运行性能关键型应用程序。通过将数据与计算资源置于同一 亚马逊云科技 可用区,降低了计算成本,满足了对处理要求最苛刻的工作负载的需求。性能关键型应用程序如查询密集型分析实现了个位数毫秒级的数据访问速度,同时相较于 Amazon S3 Standard,请求成本降低了多达 50%,计算成本降低了多达 60%。

4. 技术突破:解决复杂性与提高灵活性

传统方式中,客户通过移动数据到自定义缓存解决方案来解决性能问题,但这也带来了操作负担和对应用程序的修改。Amazon S3 Express One Zone 帮助客户摆脱这一困境,无需管理多个存储系统以实现低延迟工作负载。通过使用相同的 Amazon S3 API 访问数据,客户不再需要额外的存储基础架构,从而简化了架构,降低了复杂性。

二、体验测试使用

在亚马逊云科技官网进行账号登录,没有账号的可以注册一个账号,登录之后进入个人控制台,在顶部搜索栏搜索S3存储桶服务

存储桶类型分为通用存储桶和目录存储桶,目录存储桶是针对需要稳定毫秒级延迟的应用场景进行了优化,这里我们选择创建目录存储桶,通过点击图中右方按钮创建存储桶

创建存储桶时,我们选择存储桶类型为目录--新建,用于低延迟应用场景,其他配置信息根据开发需求进行选择

进入目录存储桶,可以进行一些相关的操作,包括对资源的上传和管理操作,进入上传界面之后

我们可以通过拖拽目标文件和文件夹,也可以从本地上传文件和文件夹资源,S3 Express One Zone支持在目录存储桶中执行批量操作,包括清单操作。用户可以方便地操作和管理目录存储桶中的对象,同时保留清单的有效性和完整性

上传资源后,只需稍等片刻,即可查看上传状态。如图所示,照片已成功上传。在这里,我上传了一些照片,S3 Express One Zone是Amazon S3的一种存储类别,为用户提供了默认的服务器端加密(SSE-S3)和传输中的HTTPS安全访问。通过区域和区域API终端节点,用户可以根据实际需要选择访问方式。此存储类别支持用户选择校验和算法,包括SHA和CRC,用于在上传或下载期间验证数据完整性

进入我们要查看的存储桶,可以获得存储桶的相关信息,当其他功能中需要使用到存储桶时,可以根据相关名称和信息进行选中和使用

创建目录存储桶后,您将立即体验到极低的读写延迟。这一体验可以通过建立VPC终端节点连接来实现,或者通过使用区域和区域终结点进行管理对象和目录存储桶的API操作。

目录存储桶 S3 Express 单区添加创建存储桶策略示例在 IAM 用户的身份下,确保用户拥有s3express:CreateBucket 权限。这可以通过向用户的 IAM 策略中添加如下权限来实现例如:以下示例存储桶策略允许 AWS 账户 ID 将 API 操作用于默认会话 对于指定的目录存储桶。此策略授予对区域终结点(对象)的访问权限 level) API 操作。

例 – 允许使用默认会话进行调用的存储桶策略CreateSessionReadWrite
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ReadWriteAccess",
            "Effect": "Allow",
            "Resource": "arn:aws:s3express:us-west-2:111122223333:bucket/DOC-EXAMPLE-BUCKET--usw2-az1--x-s3",  
            "Principal": {
                "AWS": [
                    "111122223333"
                ]
            },
            "Action": [//获得对应权限
               "s3:CreateBucket",
               "s3:PutBucketPolicy",
               "s3:GetBucketPolicy"            ]
        }
    ]
}					

Amazon S3 Express One Zone存储类支持区域级别(存储桶或控制平面)和对象级别(数据平面)的终端节点API操作,以创建存储桶为例,请求语法如下:

PUT / HTTP/1.1
Host: Bucket.s3.amazonaws.com
x-amz-acl: ACL
x-amz-grant-full-control: GrantFullControl
x-amz-grant-read: GrantRead
x-amz-grant-read-acp: GrantReadACP
x-amz-grant-write: GrantWrite
x-amz-grant-write-acp: GrantWriteACP
x-amz-bucket-object-lock-enabled: ObjectLockEnabledForBucket
x-amz-object-ownership: ObjectOwnership
<?xml version="1.0" encoding="UTF-8"?>
<CreateBucketConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><LocationConstraint>string</LocationConstraint><Location><Name>string</Name><Type>string</Type></Location><Bucket><DataRedundancy>string</DataRedundancy><Type>string</Type></Bucket>
</CreateBucketConfiguration>

同时Amazon S3 还提供了接入点功能,如图所示,都有着对应的适用场景和用途。接入点是连接到可用于执行 S3 对象操作的存储桶的命名网络终端节点。接入点别名提供与接入点 ARN 相同的功能,并且可以替代 S3 存储桶名称在任何地方使用(通常用于数据访问)

批处理操作是可以对 Amazon S3 对象执行大规模分批操作。我们可以通过创建作业实现对一系列S3对象执行批处理操作

三、体验感悟和个人总结

在学习和使用Amazon S3 Express One Zone之后,我深刻感受到了技术的革新如何极大地改善了数据处理的效率。Amazon S3 Express One Zone有着出色的数据访问速度,为我的日常工作带来了很多帮助相比传统存储方式,S3 Express One Zone以专用硬件和软件复制存储数据,让访问速度比以往更快,这使得处理大规模数据时的体验变得高效而便捷。在处理人工智能和机器学习模型训练、交互式分析等场景时,我感受到了数据访问速度带来的显著提升,同时为我的工作提供了更大的灵活性和可操作性。

值得一提的是,Amazon S3 Express One Zone引入了全新的存储桶类型,即Amazon S3目录存储桶,这种创新性的设计在降低请求成本方面发挥了巨大作用。不仅在性能上有所提升,同时在经济效益上也更为划算。这种高性能与经济实惠的完美结合,使得数据处理体验方面也变得尤为出色。

Amazon S3 Express One Zone的技术革新为数据访问速度与性能需求之间的矛盾提供了一种极为出色的解决方案。通过专用硬件和软件的创新应用,实现了对数据的更快访问速度,为性能关键型应用程序带来了显著的改善。新型存储桶设计的引入进一步提高了整体效能,有效降低了请求成本,为用户提供了更为经济实惠的选择。这一系列的技术革新不仅提升了数据处理的速度和效率,同时也为用户带来了更加灵活和可控的数据管理体验。 Amazon S3 Express One Zone通过技术的前瞻性应用,为用户创造了一个更加智能、高效且经济实惠的数据处理环境。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/221716.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

学习MS Dynamics AX 2012编程开发 1. 了解Dynamics AX 2012

在本章中&#xff0c;您将了解开发环境的结构以及Microsoft Dynamics AX中的开发人员可以访问哪些工具。在本书的第一步演练之后&#xff0c;您将很容易理解著名的Hello World代码&#xff0c;您将知道应用程序对象树中的不同节点代表什么。 以下是您将在本章中学习的一些主题…

linux7安装python3.12.1教程

1.下载tar.gz包 地址&#xff1a;Python Release Python 3.12.1 | Python.org 2.上传包到linux服并解压 cd /home/local/ ll tar -zxvf Python-3.12.1.tgz 3.安装编译python所需环境 yum install -y gcc yum install -y zlib* yum -y install zlib-devel bzip2-devel opens…

大象elephant目标检测数据集VOC+YOLO格式2300张

大象是长鼻目象科的哺乳动物&#xff0c;有两个属&#xff0c;是世界上最大的陆生动物。其像柱子一样的四肢和宽厚的脚掌可以稳稳支撑住庞大的身体。巨大的头上长有蒲扇状的大耳朵和长且有弹性的鼻子。象耳上有丰富的血管&#xff0c;可以有效散热。鼻子和上唇合而为一的象鼻由…

计算机网络——网络层——OSPF协议的介绍

什么是 OSPF &#xff1f; OSPF 是一个基于链路状态的自治系统内部路由协议&#xff0c;在 TCP/IP 的网络层中进行路由选择&#xff0c;常用于构建大型企业网络或者服务上的骨干网络。在互联网核心路由器之间也可以使用。 OSPF 概述 OSPF 使用的是 Dijkstra&#xff08;最短…

制作蓝牙小车(一)

制作控制蓝牙小车app 想制作一个蓝牙小车&#xff0c;通过手机app程序操控小车运行&#xff0c;制作分2个部分&#xff08;app制作&#xff0c;蓝牙小车硬件以及程序制作&#xff09;&#xff0c;先完成第一个部分app制作&#xff0c;本次app是通过androidstudio软件来制作安卓…

centos安装了curl却报 -bash: curl: command not found

前因 我服务器上想用curl下载docker-compress&#xff0c;发现没有curl命令&#xff0c;就去下载安装&#xff0c;安装完成之后&#xff0c;报-bash: curl: command not found 解决方法 [rootcentos ~]# rpm -e --nodeps curl warning: file /usr/bin/curl: remove failed: …

python每日学10:关于python实用版本的选择

用python也有好几年了&#xff0c;也会经常安装python&#xff0c;因为有工作需要&#xff0c;可能在各个地方使用python&#xff0c;自己的电脑也经常重装&#xff0c;重装后会装python&#xff0c;还有的时候&#xff0c;装的包太多了&#xff0c;影响整个环境的使用&#xf…

数字IC验证快速入门全攻略,你想知道的都在这!

芯片行业是个高风险、高投入的行业&#xff0c;做一款芯片仅仅是开模的费用就是百万起。 从设计到制造都是环环相扣的&#xff0c;设计过程中的BUG或者错误能够达到上千个。 所以验证是保证芯片功能正确性和完整性最重要的一环。&#xff08;文末有学习视频哦~&#xff09; …

21、状态模式(State Pattern)

状态模式指给对象定义不同的状态&#xff0c;并为不同的状态定义不同的行为&#xff0c;在对象的状态发生变换时自动切换状态的行为。 状态模式是一种对象行为型模式&#xff0c;它将对象的不同行为封装到不同的状态中&#xff0c;遵循了“单一职责”原则。同时&#xff0c;状…

【动手学深度学习】(十三)深度学习硬件

文章目录 一、CPU和GPU二、更多的芯片1.DSP:数字信号处理2.可编程阵列(FPGA)3.AI ASIC 三、单机多卡并行 一、CPU和GPU 提升CPU利用率 在计算ab之前&#xff0c;需要准备数据 主内存->L3->L2->L1->寄存器(数据只有进入寄存器才可以参与运算) 提升空间和时间的内存…

【react.js + hooks】useVirtualArea 渲染虚拟列表

useVirtualArea Hook useVirtualArea 是一个 React Hook&#xff0c;用于创建虚拟列表。虚拟列表是一种优化技术&#xff0c;用于在不影响性能的情况下显示大量数据。 参数 useVirtualArea 接受一个对象和一个数组作为参数&#xff0c;该对象包含以下属性&#xff1a; load…

电子元器件介绍——电阻(一)

电子元器件 文章目录 电子元器件前言1.1电阻基本知识1.2电阻的作用1.3电阻的分类1.4 贴片电阻贴片电阻的规范、尺寸、封装 1.5 技术参数噪声&#xff1a; 1.6 电阻的失效 总结 前言 接下来我们就把常用的电子元器件全部介绍给大家&#xff0c;这一节是电阻&#xff0c;电容电感…

基础算法(2):排序(2):计数排序

1.计数排序实现 计数排序是一个非基于比较的稳定的线性时间的排序算法&#xff0c;而选择排序是基于比较的&#xff0c;计数排序不用&#xff0c;它的实现依靠计数。 工作原理&#xff1a;使用一个额外的数组&#xff0c;其中第i个位置是待排序数组1中值等于i的元素的个数&…

蓝桥杯物联网竞赛_STM32L071_9_按键矩阵扩展模块

原理图&#xff1a; 矩阵按键原理图&#xff1a; 实验板接口原理图&#xff1a; 得到对应图&#xff1a; 扫描按键原理&#xff1a; 按键的COLUMN1、2、3分别制0&#xff0c;每次只允许其中一个为0其他都是1&#xff08;POW1和POW2正常状况为上拉&#xff09;&#xff0c;当有…

软件设计中如何画各类图之七了解组件图:系统架构的关键视角

目录 1 前言2 组件图基本介绍3 画组件图的步骤4 组件图的用途5 场景及实际场景举例6 结语 1 前言 组件图是一种UML的图形化表示工具&#xff0c;为系统架构提供了重要视角。它描述了系统中各个组件以及它们之间的依赖关系和连接。用于展示系统中的组件、软件模块、以及它们之间…

平头哥玄铁系列 RISC-V 芯片及开发板

1、玄铁 9 系列概述 玄铁 8 系列 基于C-SKY架构&#xff0c;玄铁 9 系列基于 RISC-V 架构。E 系列为 RISC-V 32 位&#xff0c;C 系列为 RISC-V 64 位。 E902&#xff1a;超低功耗 RSIC-V 架构处理器 E902 采用 2 级极简流水线兼容 RISC-V 架构且对执行效率等方面进行了增强&a…

对于初学者来说,从哪些方面开始学习 Java 编程比较好?

对于初学者来说&#xff0c;从哪些方面开始学习 Java 编程比较好&#xff1f; 在开始前我有一些资料&#xff0c;是我根据自己从业十年经验&#xff0c;熬夜搞了几个通宵&#xff0c;精心整理了一份「Java的资料从专业入门到高级教程工具包」&#xff0c;点个关注&#xff0c;全…

玩转大数据14:分布式计算框架的选择与比较

1. 引言 随着大数据时代的到来&#xff0c;越来越多的企业和组织需要处理海量数据。分布式计算框架提供了一种有效的方式来解决大数据处理的问题。分布式计算框架将计算任务分解成多个子任务&#xff0c;并在多个节点上并行执行&#xff0c;从而提高计算效率。 2. 分布式计算…

IDEA卡顿,进行性能优化设置(亲测有效)——情况一

需求场景 IDEA重新激活后&#xff0c;运行IDEA卡的非常卡顿&#xff0c;没有运行项目&#xff0c;CPU占比也非常高: 原因分析 可能的原因是&#xff0c;在IDEA的配置中&#xff0c;给他分配的空间比较小 解决方式 步骤一 选择顶部导航栏中的Help&#xff0c;然后点击Edi…

spider小案例~https://industry.cfi.cn/BCA0A4127A4128A4141.html

一、获取列表页信息 通过抓包发现列表页信息非正常返回&#xff0c;列表信息如下图&#xff1a; 通过观察发现列表页信息是通过unes函数进行处理的&#xff0c;我们接下来去看下该函数 该函数是对列表页的信息先全局替换"~"为"%u"&#xff0c;然后再通过…