亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级

亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级

本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道。

文章目录

  • 亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级
    • 大会介绍
    • 一、Amazon S3 Standard
    • 二、Amazon S3 Express One Zone
      • 1.升级对比
      • 2.使用场景
    • 三、使用体验
      • 1.创建存储桶
      • 2. 权限设置
      • 3.创建文件夹
      • 4.上传或下载
      • 5.策略配置
      • 6.链接访问
    • 结语

大会介绍

在这里插入图片描述
亚马逊云科技的 re:Invent 大会是一年一度的,面向全球技术开发者科技盛会。几乎每次都会发布云科技、云计算等相关领域的产品重磅更新,不但将时下主流热门的技术不断整合,也未将来的发展标明了方向。
其中的内容不仅仅展现了亚马逊云科技自身产品的更新,也为该行业的从业者提供了一个很好的学习和发展参照。回顾最近十年,科技领域的发展逐渐迅猛,技术的更替以及开发模式的变更都越来越快,尽早的了解科技的发展方向是尤为重要的。
2023年的 re:Invent 大会上,一口气发布了十余款核心产品的重磅更新,其中包括AI、芯片、对象存储、Serverless、ETL等等。本篇文章就主要来说说一直在用的 Amazon S3 对象存储。

一、Amazon S3 Standard

在这里插入图片描述

首先对Amazon S3做一个简短的介绍,然后再来详细的说一说产品的进化版本。有些小伙伴可能之前还没有使用过亚马逊云的S3,但是相信一定听说过对象存储。这是自大数据兴起以来就不断焕发生机的产品,原因很简单,这个产品是和存储相关的,而存储又是在大数据分析、模型训练、机器学习等领域不可或缺的一环。
同时,产品本身的特性又使得它对媒体文件访问有很好的支持,这就决定了该产品和其它领域有着超强的结合性以及丰富的功能扩展性。因此,可以其它的产品很好的承接,便于数据的流通,提高整体效率。

二、Amazon S3 Express One Zone

在这里插入图片描述

1.升级对比

根据官方文章的内容:General-Availability-of-Amazon-S3-Express-One-Zone,本次更新主要体现在性能方面,突破工作负载瓶颈。前文也提到了,产品的核心是存储,如果提高了效率,那也就意味着可以和更多的产品优雅的结合,毕竟产品的封装与打通更多的是业务逻辑上的,而对于性能上的提升往往需要更加大量的工作。
以下对于基于 Amazon S3 Express One ZoneAmazon S3 Standard

  • 高达10倍的数据访问速度
  • 减少50%左右的请求成本
  • 可将数据存储在与其计算资源相同的 Amazon云服务 可用区中,进一步降本增效
  • 更大的扩展性和灵活性

其实,单是前两条就已经是十分出色了,因为对于讨论的背景是存储数百万亿每秒亿次请求

2.使用场景

在这里插入图片描述

由于本次更新主要是在性能上的提升,小编不能带大家直接体验,这里介绍一下基本的使用帮助大家来入门,同时也讲一下与 EMR 进行结合的使用场景,真的不要太方便。

  • 产品链接:Amazon EMR 大数据处理_大数据分析工具

本人长期从事大数据方向的开发,通常完成一个数据计算流程要多个组件,整个流程中数据通常要存储或暂存在多个数据载体,而S3就可以作为这个载体,并且通过 Amazon S3 API 可以获取数据结果,结合到其它的业务流程中去,十分高效!
在这里插入图片描述

EMR相当于是一个封装好的,拆箱即用的云大数据环境,不再需要自己手动用服务器集群搭建和维护。同时,也一起解决了兼容性问题,由EMR发行版直接来进行管理。

  • 将S3作为数据输入或输出的存储
  • S3十分便于存储扩展
  • 不需要计算时节省EMR成本

这里主要是某些流程中将 S3 作为存储媒介会十分方便,而不是说用 S3 完全代替 HDFS。多了一个可选的存储位置,在很多场景下就可以更灵活的处理。因为S3存储的高存储扩展性,对于输入数据或输出数据的大小变化可以轻松应对,而不需要影响到EMR。
很多的结果数据输出产生后还需要进入到多个数据流程,同时要兼顾权限的管理等问题,都可以结合S3来实现共享和管理。特别是对于一个庞大的系统来说,数据之间的合理打通和使用是一个大问题,S3在这一方面提供了一个可选方案。

三、使用体验

  • 产品链接:高性能存储 – S3 Express One Zone

对于第一次使用对象存储产品的小伙伴,可以跟着实际操作一下。值得一提的是,S3同样属于新账号免费套餐产品,可以在一定额度下免费使用12个月。
在这里插入图片描述

  • 5GB标准存储容量
  • 20000 个 Get 请求
  • 2000 个 Put 请求

1.创建存储桶

只要注册一个账号就可以开始操作了,点击 开始使用Amazon S3 进入到创建界面,点击 创建存储桶
在这里插入图片描述

然后设置 AWS区域存储桶名称 【需要找一个不重复的名称】:
在这里插入图片描述

2. 权限设置

在生产环境中,我们要对权限详细进行设置,在本例中,我们将其作为一个基本的图床来使用,上传一些图片来进行链接访问,因此先 开放公开访问 ,便于测试。
在这里插入图片描述

其它设置不需要更改,点击 创建存储桶

3.创建文件夹

创建完成后可以看到存储桶列表,在其中可以创建文件夹或进行上传、下载,此时已经可以当作私人网盘来使用了。即使此前开放了公开访问,但是没有 配置策略 前还是不能公开访问的。首先进入存储桶,然后新建一个文件夹:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.上传或下载

目前这部分操作就和使用网盘一样,十分简单,接下来我们在文件夹中上传文件。先切换到目标文件夹,然后点击 上传 按钮:
在这里插入图片描述

选择本地文件后,点击 上传
在这里插入图片描述

上传完成后回到文件目录,勾选即可 下载
在这里插入图片描述

5.策略配置

此时大家可能注意到,文件上传后已经有了一个唯一的链接,但是如果直接访问会提示 AccessDeniedAccess Denied ,接下来演示一下策略的修改。这里要特别说明,是否进行策略的修改取决于大家的需要,小编此前也用过很多对象存储相关产品,有些是对媒体访问十分方便的,可以通过参数拼接URL实现图片的裁剪或放大缩小的显示。对于亚马逊云的产品,需要进行一些额外的操作,要稍微学习一下。
点击 权限 标签页下的存储桶策略 编辑 按钮:
在这里插入图片描述

点击 策略生成器,然后我们想干什么,选择就好了:
在这里插入图片描述

选择 S3 Bucket Policy,Principal填写 *,只读对应的Actions为 GetObject,最后填写路径:
在这里插入图片描述

最后的路径可以查看格式样例,以 arn:aws:s3::: 开头,然后填写存储桶名称,后面可以再拼接需要开放的路径。点击 Add Statement 后可以进行预览,确认无误点击 Generate Policy
在这里插入图片描述

点击后得到如下一段代码:

{"Id": "Policy1702166842711","Version": "2012-10-17","Statement": [{"Sid": "Stmt1702166753697","Action": ["s3:GetObject"],"Effect": "Allow","Resource": "arn:aws:s3:::saXXXec/pic/*","Principal": "*"}]
}

将其粘贴到策略配置界面中,点击 保存更改
在这里插入图片描述

6.链接访问

配置完成后我们可以实际测试一下,找到刚刚上传的图片文件,可以看到一个 对象URL
在这里插入图片描述
此时已经可以正常访问:
在这里插入图片描述

结语

小编所在的项目中很多都是使用亚马逊云的产品,其中S3充当了十分重要的角色,只能说唯有亲身体会之后才能感觉到其中的便捷和强大。这一次的re:Invent大会同样还有其它的重磅消息,会在其它文章中继续为大家解读😄。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/223088.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【MySQL】:数据类型

数据类型 一.数值类型1.整数1.tinyint2.bit类型 2.浮点类型1.float2.decimal 二.字符串类型1.char类型2.varchar类型3.char和varchar的区别4.日期和时间类型5.enum和set 三.集合查询 一.数值类型 1.整数 1.tinyint 正常插入 越界插入 如果我们向mysql特定的类型中插入不合法的…

springboot-redis设置定时触发任务详解

最近研究了一下“redis定时触发”,网上查了查资料,这里记录一下。 从Redis 2.8.0开始,Redis加入了发布/订阅模式以及键空间消息提醒(keyspace notification)功能。键空间消息提醒提供了允许客户端通过订阅指定信道获取…

Unity Mono加密解决方案

Unity Mono 是 Unity 引擎默认的脚本运行时环境,在游戏开发中扮演着重要的角色。Mono 由跨平台的开源 .NET 框架实现,它允许开发者使用 C# 等编程语言编写游戏逻辑。凭借简单易用的开发环境和高效的脚本编译速度,得到了众多游戏的青睐。 在 …

【Maven教程】(十二):版本管理 ——版本号定义约定及相关概念,自动化版本发布与创建分支,GPG签名 ~

Maven 版本管理 1️⃣ 版本管理的概念2️⃣ Maven 的版本号定义约定3️⃣ 主干、标签与分支4️⃣ 自动化版本发布5️⃣ 自动化创建分支6️⃣ GPG签名6.1 GPG 及其基本使用6.2 Maven GPG Plugin 🌾 总结 一个健康的项目通常有一个长期、合理的版本演变过程。例如JUn…

win10 + vs2017 + cmake3.17编译OSG-3.4.1

1. 下载文件 主要用到4个文件 1)OSG-3.4.1源码2)OSG第三方依赖库3)OSG示例数据4)cmake-3.17 我已经准备好了,大家可以自行下载。下载路径: 链接:https://pan.baidu.com/s/1E3YESh0T9KPlJJe2…

利用Python+selenium技术,实现浏览器基本操作详解,代码有详细注释

首先,需要安装selenium库和对应的浏览器驱动程序。以Chrome浏览器为例,可以使用以下命令安装selenium和chromedriver: pip install selenium然后,需要下载对应版本的chromedriver,并将其添加到环境变量中。下载地址&a…

代码随想录二刷 |二叉树 |144.二叉树的前序遍历

代码随想录二刷 |二叉树 |144.二叉树的前序遍历 题目描述解题思路代码实现递归法迭代法 题目描述 144.二叉树的前序遍历 给你二叉树的根节点 root ,返回它节点值的 前序 遍历。 示例 1: 输入:root [1,null,2,3] 输…

godot 报错Unable to initialize Vulkan video driver解决

版本 godot 4.2.1 现象 godot4.2.1 默认使用vulkan驱动,如果再不支持vulkan驱动的主机上,进入引擎编辑器将报错如下 解决 启动参数添加 –rendering-driver opengl3 即可进入引擎编辑器 此时运行项目仍然会报错无法初始化驱动 在项目设置中配置编…

面试__Java常见异常有哪些?

java.lang.IllegalAccessError:违法访问错误。当一个应用试图访问、修改某个类的域(Field)或 者调用其方法,但是又违反域或方法的可见性声明,则抛出该异常。 java.lang.InstantiationError:实例化错误。当…

vue实现公式编辑器组件

实现方式一 1、效果图 2、实现代码 组件弹框实现 样式自己调整 公式的数字与汉字元素、符号 建立元素表 动态获取 完整代码&#xff08;calculate.vue&#xff09; <template><div id"formulaPage"><divref"formulaView"class"f…

记录今日将C语言的Windows程序更改为python语言Windows程序,实现子窗口控制,类似微信程序框架最简单的原型

基本思路 为什么要选择python制作Windows应用程序&#xff0c;主要就是源代码直接展示&#xff0c;发现问题随时修改&#xff0c;同时可以不断增加新的功能方便。 由于C语言的Windows程序中结构类型在python中不能使用&#xff0c; 因此我们按照ctypes模块指导意见继承structu…

Verilog自学还是报班?

FPGA作为国内领先的芯片产品&#xff0c;和传统芯片相比并不局限于单纯的研究和设计芯片&#xff0c;而是针对多种领域的产品通过特定的芯片模型进行优化设计。FPGA本身也构成了典型的半定制电路&#xff0c;涵盖了数字管理模块、输入、输出等单元。 FPGA最大的特点是可以在同…

Unity_C#中使用protobuf

Unity_C#中使用protobuf 下载官方protobuf地址&#xff1a; https://github.com/protocolbuffers/protobuf/releaseshttps://links.jianshu.com/go?tohttps%3A%2F%2Fgithub.com%2Fprotocolbuffers%2Fprotobuf%2Freleases protobuf-c#源码生成dll&#xff0c;导入unity 1.…

双向无线功率传输系统MATLAB仿真

微❤关注“电气仔推送”获得资料&#xff08;专享优惠&#xff09; 模型简介&#xff1a; 初级侧转换器通过双向 AC/DC 转换器从电网获取电力&#xff0c;并由直流线电压 Vin 供电&#xff0c;而拾波侧被视为连接到 EV&#xff0c;并由连接到任一存储的单独直流源 Vout 表示或…

N26:构建无缝体验的平台工程之路-Part 2

​ 在第一​​​​​​部分&#xff0c;我们介绍了 N26 团队为达成 “在 Day 1 实现轻松部署” 的目标而设定的战略规划和开发人员体验图&#xff0c;在这一部分&#xff0c;我们将带您了解该团队如何构建最简可行平台以及该平台如何运作。 01 计划构建最简可行平台 我们通…

LeetCode //C - 605. Can Place Flowers

605. Can Place Flowers You have a long flowerbed in which some of the plots are planted, and some are not. However, flowers cannot be planted in adjacent plots. Given an integer array flowerbed containing 0’s and 1’s, where 0 means empty and 1 means no…

高通开发系列 - 功耗问题之添加CPU Idle和Hotplug的功能

By: fulinux E-mail: fulinux@sina.com Blog: https://blog.csdn.net/fulinus 喜欢的盆友欢迎点赞和订阅! 你的喜欢就是我写作的动力! 返回:专栏总目录 目录 概述CPU IdleCPU TopologyCPU Idle DriverCPU Idle GovernorCPU的hotplug函数

docker相关的命令

镜像管理命令 说明 docker images 查看本机镜像 docker search 镜像名称 从官方仓库查找镜像 docker pull 镜像名称:标签 下载镜像 docker push 镜像名称:标签 上传镜像 docker save 镜像名称:标签 -o 备份镜像名称.tar 备份镜像为tar包 docker load -i 备份镜像名…

ifconfig命令和ip命令

1.ifconfig ifconfig是Linux中用于显示和配置网络接口参数的命令。以下是一些常用的ifconfig命令选项&#xff1a; 查看所有网络接口的信息&#xff1a;ifconfig -a查看指定网络接口的信息&#xff0c;例如eth0&#xff1a;ifconfig eth0配置网络接口的IP地址、子网掩码和广播…