AWS入门实践－S3对象存储的基本用法

AWS S3(Simple Storage Service)是亚马逊云服务提供的一种高度可扩展、安全且经济高效的对象存储服务。它允许用户在任何位置存储和检索任意数量的数据,非常适合存储和分发静态文件、备份数据以及作为数据湖的存储层。

一、S3上传和下载文件（AWS门户）

1、创建 S3 存储桶

  1. 登录AWS控制台
    访问 https://console.aws.amazon.com/ 并使用您的AWS账户凭证登录。

  2. 打开S3服务控制台
    在AWS服务列表中,找到"存储"部分,然后选择"S3"服务。

  3. 创建存储桶
    在S3控制台中,单击"创建存储桶"按钮。

  4. 命名存储桶
    输入一个全局唯一的存储桶名称。存储桶名称必须遵循特定的命名规则,例如只能包含小写字母、数字和连字符(-)。

  5. 选择AWS区域
    选择要在其中创建存储桶的AWS区域。通常选择离您的应用程序或用户最近的区域,以获得更好的性能和更低的延迟。

  6. 配置存储桶设置(可选)
    根据您的需求,您可以配置存储桶的其他设置,例如:

    • 存储桶所有权
    • 存储桶版本控制
    • 存储桶加密
    • 对象锁定
    • 标签
    • 静态网站托管等

  7. 创建存储桶
    检查您的设置,然后单击"创建存储桶"按钮。

2、上传文件

  • 选择要上传文件的目标存储桶
  • 点击 "上传" 按钮
  • 点击 "添加文件" 或“添加文件夹”并从本地选择要上传的文件
  • 可以选择加密、元数据等高级选项(可选)
  • 点击 "上传" 开始上传文件

 

 

3、下载文件

  1. 选择包含目标文件的存储桶

    • 在 S3 控制台中,找到并选择包含您要下载文件的存储桶

  2. 选择要下载的文件

    • 在存储桶内容列表中,找到并选中您要下载的文件
    • 您可以通过文件名、前缀等条件过滤文件列表

  3. 下载文件

    • 选中文件后,点击顶部的 "下载" 按钮
    • 或者右键单击文件,选择 "下载" 选项
    • 浏览器会提示您保存文件到本地 

  4. 选择保存位置并确认下载

    • 选择要将文件保存到本地的目录路径
    • 点击 "保存" 按钮开始下载文件

  5. 等待下载完成

    • 根据文件大小,下载可能需要一些时间
    • 下载完成后,您可以在指定的本地目录中找到该文件

二、S3上传和下载文件（AWS命令行）

１、AWS命令行工具的安装

在 Windows 上安装和配置 AWS CLI 的步骤如下:

  1. 安装 AWS CLI

    • 下载 AWS CLI MSI 安装程序: https://awscli.amazonaws.com/AWSCLIV2.msi
    • 运行下载的 MSI 安装程序,按照提示进行安装。

  2. 验证 AWS CLI 安装

    打开命令提示符或 PowerShell,输入以下命令验证安装:

    aws --version

    如果安装成功,将显示 AWS CLI 版本。

  3. 配置 AWS 凭证

    AWS CLI 需要使用 AWS 访问密钥和秘密访问密钥进行身份验证。您可以使用以下两种方式之一来配置凭证:

    • 使用 aws configure 命令

      在命令提示符或 PowerShell 中输入:

      aws configure

      系统将提示您输入 AWS Access Key ID、AWS Secret Access Key、默认区域名称和默认输出格式。您可以从 AWS 管理控制台获取访问密钥和秘密访问密钥。

    • 手动创建凭证文件

      转到 %USERPROFILE%\.aws 目录(如果不存在则创建),在该目录下创建一个名为 credentials 的文件,并添加以下内容:

      [default]
aws_access_key_id = YOUR_AWS_ACCESS_KEY_ID
aws_secret_access_key = YOUR_AWS_SECRET_ACCESS_KEY

      将 YOUR_AWS_ACCESS_KEY_ID 和 YOUR_AWS_SECRET_ACCESS_KEY 替换为您的实际凭证。

  4. 验证配置

    您可以运行以下命令来验证配置是否正确:

    aws iam get-user

    如果一切配置正确,该命令将显示关于您的 AWS 用户的信息。如果出现错误,请检查您的凭证是否正确。

  5. 其他配置选项

    您还可以配置其他选项,如默认区域和输出格式。例如:

    aws configure set default.region us-west-2
aws configure set default.output json

    这将把默认区域设置为 us-west-2,默认输出格式设置为 JSON。

２、AWS S3 存储桶创建

aws S3 mb s3://my-bucket

3、AWS S3 文件上传

aws s3 cp example.txt s3://my-bucket/

4、AWS S3 文件下载

aws s3 cp s3://my-bucket/example.txt .

上面命令是将S3文件下载到当前目录 

5、AWS S3 文件批量上传和下载

AWS S3 SYNC 命令用于同步本地目录或 S3 存储桶中的内容与另一个 S3 存储桶。它可以上传、更新和删除对象,以确保源和目标之间的内容保持同步。

（1）. 将本地目录同步到 S3 存储桶

aws s3 sync /path/to/local/dir s3://my-bucket

这将把本地目录 /path/to/local/dir 中的所有文件和子目录上传到 S3 存储桶 my-bucket。如果存储桶中已经存在同名对象,它们将被覆盖。

（2）. 将 S3 存储桶同步到本地目录

aws s3 sync s3://my-bucket /path/to/local/dir

这将把 S3 存储桶 my-bucket 中的所有对象下载到本地目录 /path/to/local/dir。如果本地目录中已经存在同名文件,它们将被覆盖。

（3）. 在两个 S3 存储桶之间同步

aws s3 sync s3://source-bucket s3://destination-bucket

这将把 S3 存储桶 source-bucket 中的所有对象复制到 destination-bucket。如果目标存储桶中已经存在同名对象,它们将被覆盖。

（4）. 排除某些文件或目录

您可以使用 --exclude 参数排除某些文件或目录。例如:

aws s3 sync /path/to/local/dir s3://my-bucket --exclude "*.tmp" --exclude "temp/*"

这将同步本地目录,但排除所有以 .tmp 结尾的文件和 temp 子目录中的所有文件。

（5）. 删除目标中多余的对象

默认情况下,sync 命令不会删除目标中多余的对象。如果您希望在同步过程中删除目标中多余的对象,可以使用 --delete 参数:

aws s3 sync /path/to/local/dir s3://my-bucket --delete

这将同步本地目录,并删除 S3 存储桶 my-bucket 中多余的对象。

aws s3 sync 命令还支持许多其他选项,如设置 ACL、元数据、存储类和加密等。您可以使用 aws s3 sync help 获取更多信息。

三、通过签名数据共享S3上的数据

AWS S3 提供了一种通过签名 URL 或签名 Cookie 共享存储桶或对象的方法,无需提供您的 AWS 访问密钥。这种方式可以安全地向他人授予临时访问权限,而不会泄露您的凭证。

以下是通过签名共享 S3 上数据的步骤:

1. 签名 URL

签名 URL 可以提供对特定对象的临时访问权限。您可以使用 AWS CLI 或 AWS SDK 生成签名 URL。

使用 AWS CLI 生成签名 URL:

aws s3 presign s3://my-bucket/my-object --expires-in 3600

这将为 my-bucket 存储桶中的 my-object 对象生成一个签名 URL,有效期为 1 小时(3600 秒)。您可以将此 URL 共享给其他人,他们就可以在有效期内访问该对象。

2. 签名 Cookie

签名 Cookie 可以提供对整个存储桶的临时访问权限。您需要使用 AWS SDK 生成签名 Cookie。

使用 AWS SDK for Java 生成签名 Cookie:

import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.model.Bucket;AmazonS3 s3Client = AmazonS3ClientBuilder.defaultClient();
String bucketName = "my-bucket";// 生成签名 Cookie
String signedCookie = s3Client.generatePresignedUrl(new GeneratePresignedUrlRequest(bucketName, null).withMethod(HttpMethod.GET).withExpiration(DateTime.now().plusHours(1))
).toString();

这将为 my-bucket 存储桶生成一个签名 Cookie,有效期为 1 小时。您可以将此 Cookie 共享给其他人,他们就可以在有效期内访问该存储桶中的所有对象。

3. 限制访问权限

您可以在生成签名 URL 或签名 Cookie 时设置一些限制,例如:

  • 过期时间: 设置访问权限的有效期。
  • IP 地址范围: 限制只有特定 IP 地址范围可以访问。
  • HTTP 方法: 限制只允许特定的 HTTP 方法(GET、PUT 等)。
  • 请求头和查询参数: 限制只有特定的请求头和查询参数才能访问。

例如,以下命令将生成一个只允许从 192.168.1.0/24 IP 范围进行 GET 请求访问的签名 URL:

aws s3 presign s3://my-bucket/my-object \--expires-in 3600 \--ip-range 192.168.1.0/24 \--allowed-method GET

通过签名 URL 或签名 Cookie 共享 S3 上的数据是一种安全且灵活的方式,可以根据您的需求设置不同的访问权限。但请记住,一旦共享了签名 URL 或签名 Cookie,任何拥有它们的人都可以在有效期内访问相应的对象或存储桶,因此请谨慎共享。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/788554.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Flink应用

Flink应用

1.免密登录 2.flink StandAlone模式 3.Flink Yarn 模式 (on per 模式,on session 模式) Flink概述 按照Apache官方的介绍，Flink是一个对有界和无界数据流进行状态计算的分布式处理引擎和框架。通俗地讲，Flink就是一个流计算框架，主要用来处…
阅读更多...
Excel列匹配VLookUp功能使用

Excel列匹配VLookUp功能使用

生活中很多关于excel多列数据进行匹配计算等场景,其中最常用的一个函数就是VLookUp了,下面直接上图: 得到结果如下: 得到结果如下: 注意: 1.在需要把计算完的数据粘贴到另一列或者另个sheet时,复制后,不要直接ctrlv粘贴,这样会把计算公式粘贴到对应的列.正确做法是:右键粘贴,选…
阅读更多...
游戏引擎架构01__引擎架构图

游戏引擎架构01__引擎架构图

根据游戏引擎架构预设的引擎架构来构建运行时引擎架构 ​
阅读更多...
【Vue】创建vue3项目

【Vue】创建vue3项目

文章目录 创建一个Vue应用运行项目打包项目 创建一个Vue应用 以下指令将会安装并执行 create-vue，它是 Vue 官方的项目脚手架工具 npm create vuelatestpnpm create vuelatestyarn create vuelatestbun create vuelatest安装过程一些参考选项 ✔ Project name: ……
阅读更多...
数据库-root密码丢失的重置方案(win11环境）

数据库-root密码丢失的重置方案(win11环境）

当在windows系统中安装的mysql由于操作不当，或者密码遗忘，今天测试了一下，可以用以下方法重置root的密码。 mysqlwindows环境root密码重置问题 在win10/11环境下mysql8密码遗忘后的重置密码方案。 停止mysql服务 查找windows中的mysql服务名称…
阅读更多...
Spring Boot项目中如何对Bean进行校验

Spring Boot项目中如何对Bean进行校验

在Spring Boot的REST接口项目中，　提供了对外参数的定义，使用一个Java的类定义了一个接口的参数类型，在接受参数数据时需要对这些传入的参数值做简单的验证，参数的属性值太多，　使用　if　else这样的判断势必啰嗦，也不易读，　于是想到了Java Bean的校验机制。 开始 Bean…
阅读更多...
springboot之RESTful接口与Swagger

springboot之RESTful接口与Swagger

一、RESTful GET获取资源、POST新建资源、PUT更新资源、DELETE删除资源。 RESTful两大特性 1、安全性：GET请求不会引起资源本身改变。 2、幂等性：对一个接口请求和多次请求返回的资源应该一致。 2xx：成功 4xx：客户端错误。 …
阅读更多...
Docker日常系列

Docker日常系列

一、如何build双架构（AMDRAM）镜像 (1) 需求描述 当k8s集群的硬件资源为ARMAMD混合架构时，镜像需要同时支持2种架构，如何构建镜像。 (2) 操作 准备工作：需要将代码在不同架构下build为镜像，以下默认我们…
阅读更多...
03 | Swoole 源码分析之 Http Server 模块

03 | Swoole 源码分析之 Http Server 模块

首发原文链接：Swoole 源码分析之 Http Server 模块 大家好，我是码农先森。 Http 模块的注册初始化 这次我们分析的就是 Swoole 官网的这段代码，看似简单，实则不简单。 在 Swoole 源码文件 swoole_http_server.c 中有这样一个函数…
阅读更多...
集创赛分析（图像处理部分）

集创赛分析（图像处理部分）

四月份进度 1.分析多少个资源单元 图像采集和存储数据：先驱动摄像头进行数据采集（ov5640），再驱动存储器（SDRAM），将数据存到存储器 数据处理：简单的滤波（中值/均值&…
阅读更多...
gin源码分析（1）--初始化中间件，路由组与路由树

gin源码分析（1）--初始化中间件，路由组与路由树

目标 关于gin.Default()，gin.New()，gin.Use()group与子group之间的关系，多group与middleware之间关系中间件的类型，全局，group，get，不同类型的中间件什么时候执行。中间件 next 和abort行为如何…
阅读更多...
ElasticSearch的常用数据类型

ElasticSearch的常用数据类型

常见的数据类型 Text类型（文本数据类型） 用于索引全文值的字段，例如电子邮件的正文或产品的描述。这些字段是analyzed，也就是说，它们通过分析器传递，以便 在被索引之前将字符串转换为单个术语的列表。通过…
阅读更多...
Clickhouse为什么如此快?

Clickhouse为什么如此快?

在大数据处理和分析领域，ClickHouse以其卓越的性能和高效的查询能力而备受瞩目。许多企业和开发者选择ClickHouse作为其数据处理的核心引擎，主要源于其出色的查询速度和数据处理能力。那么，ClickHouse为何能够如此快速地处理数据呢&#xff1…
阅读更多...
radash 工具整理常用 API

radash 工具整理常用 API

正在替代 lodash 的新JS工具, 旧的 lodash 语法太老, 新的 radash 集合了 ES6 语法, 效率更高 安装 : npm i radash 常用API整理 : 数组 API : 1. 数组排序 alphabetical 按字母顺序, 正序倒序排列 import { alphabetical } from radashconst gods [{name: Ra,power: …
阅读更多...
产品经理功法修炼（3）之产品设计

产品经理功法修炼（3）之产品设计

点击下载《产品经理功法修炼（3）之产品设计》 1. 前言 产品经理的能力修炼并非局限于某一技能的速成，而是需要全面参与到产品的整个生命周期中，通过不断的实践来逐步提升自己的各项能力。尽管在企业的日常运作中，我们不可能身兼数职去扮演每一个角色，但作为产品的核心负…
阅读更多...
Go-Gin中优雅的实现参数校验，自定义错误消息提示

Go-Gin中优雅的实现参数校验，自定义错误消息提示

问题描述 在参数校验的时候我们一般会基于"github.com/go-playground/validator/v10"这个库给结构体加标签实现校验参数，当参数校验错误的时候，他的提示一般是英文的，怎么自定义参数错误提示呢？跟着我一步步来 注册校…
阅读更多...
OpenAI 宣布， ChatGPT 网页端无需注册就能立即使用(2024年4月1日)

OpenAI 宣布， ChatGPT 网页端无需注册就能立即使用(2024年4月1日)

今天，OpenAI宣布，为了让更多人轻松体验人工智能的强大功能，现在无需注册账户即可立即使用 ChatGPT。这一变化是他们使命的核心部分，即让像 ChatGPT 这样的工具广泛可用，让世界各地的人们都能享受到 AI 带来的好处。 网…
阅读更多...
PostgreSQL的学习心得和知识总结（一百三十五）|深入理解PostgreSQL数据库之查找 PostgreSQL C 代码中的内存泄漏

PostgreSQL的学习心得和知识总结（一百三十五）|深入理解PostgreSQL数据库之查找 PostgreSQL C 代码中的内存泄漏

目录结构 注：提前言明 本文借鉴了以下博主、书籍或网站的内容，其列表如下： 1、参考书籍：《PostgreSQL数据库内核分析》 2、参考书籍：《数据库事务处理的艺术：事务管理与并发控制》 3、PostgreSQL数据库仓库…
阅读更多...
【苍穹外卖】SkyApplication类启动报错

【苍穹外卖】SkyApplication类启动报错

报的这个错 The PoM for com.sky:sky-common:jar:1.0-SNAPSHoT is missing, no dependency information available Maven里重新install一下就好
阅读更多...
01-​JVM学习记录-类加载器

01-​JVM学习记录-类加载器

一、类加载器子系统 1. 作用-运输工具（快递员） 负责从文件系统或者网络中加载Class文件（DNA元数据模板），Class文件开头有特定标识，魔术，咖啡杯壁（class文件存于本地硬盘&#xff0c…
阅读更多...
最新文章

Copyright @ 2022~2023