Linux安装配置awscli命令行接口工具及其从aws上传下载数据

官网技术文档有全面介绍:安装或更新 AWS CLI 的最新版本 - AWS Command Line Interface在系统上安装 AWS CLI。icon-default.png?t=N7T8https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/getting-started-install.html#getting-started-install-instructionsawscli常用命令参考:

aws s3常用命令、hdfs dfs/hadoop fs常用命令 - 知乎QInzhengk/Math-Model-and-Machine-Learning (github.com)一、aws s3常用命令1、查看目录下所有文件夹(|head查看前10个):aws s3 ls s3://mleang/qk/data/ aws s3 ls s3://dfiee/06/|head查看文件夹大小: aws s3 …icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/450037966以下介绍下我走完的步骤:

准备环节

  1. 安装好的 Linux 系统
  2. 具有管理员权限的 sudo 账户
  3. 能够联网(若是某机构单独内网或局域网,后续要重新设置全局的访问aws的端口而不是使用默认的亚马逊官方的路径)
  4. 现在让我们开始安装:

1、下载安装文件

打开终端使用 ​​curl​​ 命令下载 AWS CLI 的安装文件:

$ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"


以上命令会在当前工作目录下载一个 ​​awscliv2.zip​​ 的文件。
使用 ​​ls 命令​​ 确认当前下载下来的文件:

$ ls -l awscliv2.zip

(若是机构内网,则在外网用https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip下载压缩文件后摆渡到内网的磁盘里)

2、解压缩下载的文件

使用 ​​unzip 命令​​ 解压安装包:

$ unzip awscliv2.zip

它会在当前目录创建一个 ​​aws​​ 文件夹,把解压好的文件放进去

3、运行安装脚本

使用以下命令运行安装脚本:

$ sudo ./aws/install


脚本会把所有安装的文件放到 ​​/usr/local/aws-cli​​​ 目录下,然后创建一个链接文件到 ​​/usr/local/bin​​ 目录。

4、检查 AWS CLI 的版本

运行以下脚本检查版本:

$ aws --version

为了验证 AWS CLI 是否安装正确,开始配置 AWS CLI:
登录你的 AWS 管理控制台,取得 AWS 访问密钥 IDAccess Key ID 和 安全访问密钥Secret Access Key。
如果还没完成创建,请先创建,并把它们
到安全的地方。
然后回到命令行,运行以下命令:

$ aws configure
AWS Access Key ID [None]: xxxxxxxxxxxxxxxxxxxAWS 
Secret Access Key [None]: xxxxxxxxxxxxxxxxxxx
Default region name [None]: us-west-2
Default output format [None]: json
以上的证书会被保存到这个文件:
$ cat  ~/.aws/credentials 
[default]
aws_access_key_id = *****************
aws_secret_access_key = *******************************
$ cat  ~/.aws/config
[default]
output = json
region = us-west-2
若再次运行aws configure命令,不需改动的项直接回车即可。

还有一步很重要,我就踩了坑:若是在机构内网环境中进行的以上操作,需要设置终端访问的aws服务器的连接地址和端口号设置为全局变量:

$export AWS_ENDPOINT_URL=http://XXX.XX.XXX.XX:端口号    (访问链接需要先拿到)

运行 ​​aws​​ 命令列出你账户中的 s3 储存桶和 VPC:

$ aws s3 ls
$ aws ec2 describe-vpcs

输出如下:
<a">

成功输出内容,说明你的 AWS CLI 已经安装和配置完成,可进入下一步的查看、上传、下载和同步、删除等操作。

插曲:linux 命令指令不熟悉的参考https://www.linuxcool.com/curlcurl命令来自英文词组“CommandLine URL”的缩写,其功能是用于在Shell终端界面中基于URL规则进行的文件传输工作。curl是一款综合的传输工具,可以上传也可以下载,支持HTTP、HTTPS、FTP等三十余种常见协议。语法格式icon-default.png?t=N7T8https://www.linuxcool.com/curl

        实在Linux是0基础小白,可学习:Linux 教程 | 菜鸟教程

awscli 下载数据:

以下示例将文件从 Amazon S3 存储桶复制到当前工作目录,其中 ./ 指定当前的工作目录。

$ aws s3 cp s3://bucket-name/filename.txt ./

以下示例使用 s3 cp 命令,将本地文件从当前工作目录复制到 Amazon S3 存储桶。

$ aws s3 cp filename.txt s3://bucket-name

删除本地文件:

// Delete local file

$ rm ./MyFile1.txt

以下示例删除 s3://my-bucket/path 及其所有内容。

$ aws s3 rm s3://my-bucket/path --recursive

同步本地的文件到aws服务器:s3 sync 和 s3 cp 可以使用 --acl 选项。这样您能够为复制到 Amazon S3 的文件设置访问权限。--acl 选项接受 privatepublic-read 和 public-read-write 值。有关更多信息,请参阅 Amazon Simple Storage Service 用户指南中的标准 ACL。

$ aws s3 sync . s3://my-bucket/path --acl public-read

退出linux终端界面重新使用aws时需要再次设置aws连接地址和端口号设置为全局变量:

$export AWS_ENDPOINT_URL=http://XXX.XX.XXX.XX:端口号    (访问链接需要先拿到)

后用:$aws s3 ls     $aws s3 ls s3://桶名//文件名

(2023-11-3更)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/130828.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Transformer:开源机器学习项目,上千种预训练模型 | 开源日报 No.66

huggingface/transformers Stars: 113.5k License: Apache-2.0 这个项目是一个名为 Transformers 的开源机器学习项目&#xff0c;它提供了数千种预训练模型&#xff0c;用于在文本、视觉和音频等不同领域执行任务。该项目主要功能包括&#xff1a; 文本处理&#xff1a;支持…

PGD(projected gradient descent)算法源码解析

论文链接&#xff1a;https://arxiv.org/abs/1706.06083 源码出处&#xff1a;https://github.com/Harry24k/adversarial-attacks-pytorch/tree/master 源码 import torch import torch.nn as nnfrom ..attack import Attackclass PGD(Attack):r"""PGD in the …

全球规模最大!5G建得好还要用得好

在日前举行的2023年中国5G发展大会上&#xff0c;工信部宣布中国已建成全球规模最大、技术领先的5G网络。当务之急&#xff0c;“建得好”还需切实迈向“用得好”&#xff0c;尽快形成更多可大规模复制的成熟应用&#xff0c;才能真正释放5G力量&#xff0c;夯实数字经济的发展…

js调整table表格上下相邻元素顺序

有时候我们会遇到要通过箭头控制table表格上下顺序的需求,如下: 点击向下就将该元素下移一位,下面的一位元素就移上来,点击向上就将该元素上移一位,上面的一位元素就移下来,也就是相邻元素互换位置顺序: <el-table :data="targetTable" border style=&quo…

[自学记录08*]LDR、HDR与ToneMapping

一、Dynamic Range—动态范围 Dynamic Range表示动态范围&#xff0c;检测DR&#xff0c;DR又分为LDR&#xff08;Low Dynamic Range&#xff09;和HDR&#xff08;High Dynamic Range&#xff09;。它们都是表示亮度值范围的一种方式&#xff0c;那么有什么区别呢。 1.LDR …

如何搭建一个Spring MVC和Vue3的应用程序

要搭建一个基于Spring MVC框架和Vue3框架的前端应用程序&#xff0c;可以按照以下步骤进行&#xff1a; 创建Java项目并添加Spring MVC依赖 使用Maven或Gradle等构建工具创建一个Java项目&#xff0c;并在项目的pom.xml或build.gradle文件中添加Spring MVC依赖。例如&#xf…

【RabbitMQ】RabbitMQ 消息的堆积问题 —— 使用惰性队列解决消息的堆积问题

文章目录 一、消息的堆积问题1.1 什么是消息的堆积问题1.2 消息堆积的解决思路 二、惰性队列解决消息堆积问题2.1 惰性队列和普通队列的区别2.2 惰性队列的声明方式2.3 演示惰性队列接收大量消息2.4 惰性队列的优缺点 一、消息的堆积问题 1.1 什么是消息的堆积问题 消息的堆积…

Java反射机制详解

CONTENTS 1. 为什么需要反射2. Class对象2.1 类字面量2.2 泛型类的引用2.3 cast()方法 反射使我们摆脱了只能在编译时执行面向类型操作的限制&#xff0c;并且让我们能够编写一些非常强大的程序。本文将讨论 Java 是如何在运行时发现对象和类的信息的&#xff0c;这通常有两种形…

基于Qt命令行处理XML文件读写

Qt源码在后面,文本介绍Qt国际化语言和XML # XML基础(一) ## 1、概述 ### 1.1 定义(xml是个啥玩意儿?) XML(extensible Markup Language)俗称差妹儿,专业称之为:可拓展标记语言。 (1)何为标记,指的是一种标记语言,或者标签语言,即用一系列的标签来对数据进行…

C++中声明和实现析构函数

C中声明和实现析构函数 与构造函数一样&#xff0c;析构函数也是一种特殊的函数。构造函数在实例化对象时被调用&#xff0c;而析构函数在对象销毁时自动被调用。 析构函数看起来像一个与类同名的函数&#xff0c;但前面有一个腭化符号&#xff08; &#xff5e;&#xff09;…

Linux常用命令——chage命令

在线Linux命令查询工具 chage 修改帐号和密码的有效期限 补充说明 chage命令是用来修改帐号和密码的有效期限。 语法 chage [选项] 用户名选项 -m&#xff1a;密码可更改的最小天数。为零时代表任何时候都可以更改密码。 -M&#xff1a;密码保持有效的最大天数。 -w&…

数字媒体技术基础之:ICC 配置文件

ICC 配置文件&#xff08;也称为 ICC 色彩配置文件或 ICC 色彩描述文件&#xff09;是由国际色彩联盟&#xff08;International Color Consortium, ICC&#xff09;制定的一种标准文件格式&#xff0c;用于在不同的设备和软件之间保持颜色的一致性。 ICC 配置文件包含有关设备…

Ubuntu中nano使用

1.nano配置文件 sudo nano /etc/nanorc2.显示每行得数字 //etc/nanorc配置文件中设置 set linenumbers //取消注释使用Nano编辑器入门指南 引言 1.1 关于Nano编辑器 Nano是一个简单易用的文本编辑器&#xff0c;适用于终端环境。它具有轻量级、快速启动和基本功能的特点&…

项目实战:通过axios加载水果库存系统的首页数据

1、创建静态页面 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Title</title><link rel"stylesheet" href"style/index.css"><script src"script/axios.mi…

2023-11-04:用go语言,如果n = 1,打印 1*** 如果n = 2,打印 1*** 3*** 2*** 如果n = 3,打印

2023-11-04&#xff1a;用go语言&#xff0c;如果n 1&#xff0c;打印 1*** 如果n 2&#xff0c;打印 1***3*** 2*** 如果n 3&#xff0c;打印 1***3*** 2***4*** 5*** 6*** 如果n 4&#xff0c;打印 1***3*** 2***4*** 5*** 6***10** 9*** 8*** 7*** 输入…

EASYX图片操作

easyx学习网址 建议使用谷歌搜索引擎搜索相关的资料 eg1:图片显示到桌面 #include <stdio.h> #include <easyx.h> #include <iostream> #include <math.h> #include <stdlib.h> #include <conio.h> #include <time.h> #define PI 3…

2.8 CSS 伸缩盒模型

1.模型简介 传统布局是指:基于传统盒状模型&#xff0c;主要靠: display 属性 position 属性float 属性。2009年&#xff0c;w3C提出了一种新的盒子模型——Flexible Box(伸缩盒模型&#xff0c;又称:弹性盒子)。它可以轻松的控制:元素分布方式、元素对齐方式、元素视觉顺序..…

DBeaver关闭代码的提示

在DBeaver中会遇到如下现象&#xff0c;很烦&#xff0c;怎么取消这个提示框呢&#xff1f; 解决方案&#xff1a;

根据一个类型 获取该类型的 特殊判断 优雅写法

需求&#xff1a;一个统计接口&#xff0c;时间类型参数有以下&#xff1a;今日、近七天、近三十日等 如果我要查询的话&#xff0c;SQL 里的条件必定是一个时间范围&#xff0c;所以就需要根据类型来算好这个时间范围&#xff0c;所以可以写成下面这样。 到时候直接就是 获取…

Android 如何在Android studio中快速创建raw和assets文件夹

一 方案 1. 创建raw文件夹 切成project浏览模式——>找到res文件粘贴要放入raw文件夹下的文件。 当然此时raw文件还没有&#xff0c;直接在右侧输入框中出现的路径~\res后面加上\raw即可。 2. 创建assets文件夹 同理在main文件夹下粘贴要放入assets文件夹的文件&#xff0…