aws lakeformation跨账号共享数据的两种方式和相关配置

lakeformation授权方式分为

  • 基于tag的授权
  • 基于命名资源的授权

先决条件

跨账号共享数据的先决条件(命名资源和tag授权都需要)

分两种情况

  1. 如果账户中没有glue data catalog资源策略,则LakeFormation跨账户授予将照常进行

  2. 如果存在glue data catalog基于资源策略,则需要glue如下基于资源策略,授权RAM服务共享账号下的所有资源

    {"Effect": "Allow","Action": ["glue:ShareResource"],"Principal": {"Service":"ram.amazonaws.com"},"Resource": ["arn:aws:glue:region:account-id:table/*/*","arn:aws:glue:region:account-id:database/*","arn:aws:glue:region:account-id:catalog"]
    }
    

    如果同时使用tag和命名资源授权,则需要通过命令行附加glue基于资源的策略,注意--enable-hybrid参数

    aws glue put-resource-policy --policy-in-json glue-resource-policy --enable-hybrid TRUE
    

命名资源的授权方式

需要撤销database和tables中授权条目IAMAllowedPrincipals的权限

关闭账号级别的setting设置(需要额外的PutDataLakeSettings权限)

向消费者账户授权,可以选择账号或者组织
在这里插入图片描述

选择指定database的所有表和所有权限,如果出现下面的报错,表明从报错信息来看,是由于 A 账号的 database 的 “Use only IAM access control for new tables in this database” 并未清除。

Error granting catalog permissions to ARNs: 797181602929. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

授权所有表之后,授权条目没有database但是能看到是为什么?

可以授予对单个表的权限,也可以通过一次授予操作来授予对数据库中所有表的权限。如果您授予对数据库中所有表的权限,则将隐式授予对数据库的 DESCRIBE 权限。然后,数据库将显示在控制台的数据库页面上

如果在此之前没有关闭setting配置,则会出现授权失败的问题,需要关闭表的setting配置
在这里插入图片描述

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

如果该数据库已经和IAM_ALLOWED_PRINCIPALS关联(没有撤销),则会出现以下报错

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please revoke permission(s) for IAM_ALLOWED_PRINCIPALS on the database.

如果输出arn或账号后没有回车会出现没有选中principal的问题

Grant permissions failed
No principals selected. Please select a principal to grant permissions to.

授权成功后查看table权限出现消费者账号信息
在这里插入图片描述
在消费者账号的lakeformation控制台可以看到以下提示

Pending Resource Shares Alert
You have 3 pending resource share invitation(s) from Amazon Resource Access Manager (RAM). Open the RAM console  to view these invitations. For more information, see Accepting RAM invitations .

点击跳转接受请求(中国区控制台直接点击会跳转到美东区),手动跳转到Resource Access Manager服务

搜索之前分享的资源

在这里插入图片描述
最终的共享资源类型

在这里插入图片描述

在消费者账户的glue控制台已经能看到table了
在这里插入图片描述
此时已经能够在消费者账户找到表,但是athena查询无法找到database

在消费者账户创建database的资源链接(别名链接)

在这里插入图片描述
在athena中能够找到database,执行查询报错

在这里插入图片描述
忘记在lakeforamtion中注册location,此时尽管消费者账户能够通过lakeformation获取临时凭证,但是找不到s3数据

在这里插入图片描述
注册完毕后查询成功

在这里插入图片描述

注意事项

如果用户不是lakeformation管理员,则

  • 单纯指定账户并不能在具体的user下看到表,仅仅是创建了RAM

  • 因此需要在具体的user授权,才能看到database(此时复用了之前的RAM,不需要再接受了)

向外部账户或组织授予权限时,必须包括可授予的权限选项。只有外部账户中的数据湖管理员才能访问共享资源,直到管理员向外部账户中的其他主体授予对共享资源的权限。

将属于另一个 Amazon 账户的数据目录资源与账户共享后,作为数据湖管理员,可以向账户中的其他主体授予对共享资源的权限。但是,不能向其他 Amazon 账户或组织授予对该资源的权限

基于LF-tag的授权方式

使用 LF-TBAC 用于以下使用案例:

  • 有大量的表和主体,数据湖管理员必须授予访问权限
  • 想根据本体对数据进行分类并根据分类授予权限
  • 数据湖管理员希望以松散耦合的方式动态分配权限

数据湖管理员具有隐式 Lake Formation 权限,可以创建、更新和删除 LF-Tag,将 LF-Tag 分配给资源,以及向主体授予 LF-Tag 权限。

基于标记的访问控制 – 使用此方法可以将一个或多个 LF 标记分配给数据目录数据库、表和列,并将对一个或多个 LF 标记的权限授予主体

LF tag支持跨账号共享

Currently, the LF-TBAC method supports granting cross-account permissions to IAM principals, Amazon Web Services accounts, organizations, and organizational units (OUs).

database和table都有名为LF tag的标签,在这里统一管理
在这里插入图片描述
可以在资源上(database和table)添加LF tag

  • table默认继承database
  • column默认继承table
    在这里插入图片描述
    授权B账号可以操作的LF tag

在这里插入图片描述
在B账号直接查表,正常没有问题,但是表上没有命名方式的授权条目,表示授权是通过LF tag进行的
在这里插入图片描述
很明显,LF tag使用上要比命名标签更加简单

可以通过命令查看tag policy的结果

  • 注意,必须是数据湖管理源才有权限,否则结果为空
$ aws lakeformation list-permissions --resource-type LF_TAG_POLICY{"PrincipalResourcePermissions": [{"Principal": {"DataLakePrincipalIdentifier": "4xxxxxxxx6"},"Resource": {"LFTagPolicy": {"CatalogId": "037xxxxxxx284","ResourceType": "DATABASE","Expression": [{"TagKey": "testk","TagValues": ["testv"]}]}},"Permissions": ["ALTER","CREATE_TABLE","DESCRIBE"],"PermissionsWithGrantOption": [],"AdditionalDetails": {"ResourceShare": ["arn:aws-cn:ram:cn-north-1:03xxxxxxxxx84:resource-share/f73648ea-5c1c-47f6-a63b-db1fadb23984"]}},

此外,在控制台也能看到对应的授权权限

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/16847.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker学习(4):部署web项目

一、部署vue项目 在home目录下创建项目目录 将打包好的vue项目放入该目录下,dist是打包好的vue项目 在项目目录下,编辑default.conf 内容如下: server {listen 80;server_name localhost; # 修改为docker服务宿主机的iplocation / {r…

面试手撕——使用两个线程交替打印1-100

记录一下使用两个线程交替打印1-100的操作: /*** description: 使用两个线程交替打印1-100* author: Jay* create: 2024-05-27 21:29**/ public class print_1_to_100 {static volatile int flag 1; //此处需要加关键字volatile保证变量之间的可见性,否则程序将会…

Android:使用Kotlin搭建MVI架构模式

一、简介MVI架构模式 M:Model 数据层,包含应用数据和业务逻辑V:View 界面层,在屏幕上显示应用数据,包含与界面相关的状态和界面逻辑,根据界面状态对象更新UI,界面状态定义是不可变的。这样的主要…

【Spring Cloud】服务熔断

目录 服务雪崩效应服务雪崩效应形成的原因及应对策略小结 Hystrix介绍Hystrix可以做什么1.资源隔离2.请求熔断3.服务降级 小结 Hystrix实现服务降级方式一:HystrixCommand注解方式1.服务提供者1.1业务接口和业务实现中添加方法hystrixTimeout1.2控制器中处理/provid…

【pm2 - sdk 集成到程序中,典型用法】

pm2作为一款进程管理神器,除了命令行的启动方式外,其还对应有sdk,集成到程序中,我们可以连接到已有或创建pm2的守护进程,与其进行交互,动态,编程式地控制程序的启停等。以下为示例: …

c++ - vector容器常用接口模拟实现

文章目录 一、成员变量二、常用迭代器接口模拟实现三、一些常用接口模拟四、默认成员函数五、功能测试 一、成员变量 我们通过在堆上申请一个数组空间来进行储存数据,我们的成员变量是三个指针变量,分别指向第一个位置、最后储存有效位置的下一个位置以…

特殊矩阵的压缩矩阵

目录 前提条件&#xff1a; 类型&#xff1a;对称矩阵&#xff0c;三角矩阵、三对角矩阵、稀疏矩阵 1&#xff1a;对称矩阵&#xff1a; 定义&#xff1a;n阶矩阵A 中任意一元素都有ai,jaj,i(1<i,j<n) 图像&#xff1a; 表达式&#xff1a; 计算过程&#xff1a; …

stream-并行流

定义 常规的流都是串行的流并行流就是并发的处理数据&#xff0c;一般要求被处理的数据互相不影响优点&#xff1a;数据多的时候速度更快&#xff0c;缺点&#xff1a;浪费系统资源&#xff0c;数据少的时候开启线程更耗费时间 模版 Stream<Integer> stream1 Stream.of…

【YOLO 系列】基于YOLO V8的学生上课行为检测系统【python源码+Pyqt5界面+数据集+训练代码】

前言 在现代教育环境中&#xff0c;学生上课行为的监测对于提升教学质量和学生学习效率具有重要意义。然而&#xff0c;传统的人工观察方法不仅效率低下&#xff0c;而且难以保证客观性和准确性。为了解决这一问题&#xff0c;我们启动了这个项目&#xff0c;目的是利用YOLOV8…

AI数学知识

AI数学知识 1、线性代数相关&#xff08;矩阵&#xff09;1、什么是秩2、奇异值分解3、特征值分解和奇异值分解4、低秩分解 回归分类知识点2、概率论相关1、先验概率和后验概率2、条件概率、全概率公式、贝叶斯公式、联合概率3、最大似然估计4、贝叶斯公式和最大似然估计5、伯努…

深入理解Kubernetes的调度核心思想

一、引言 Kubernetes&#xff08;简称K8s&#xff09;是一个开源的容器编排系统&#xff0c;用于自动化部署、扩展和管理容器化应用程序。在Kubernetes集群中&#xff0c;调度器是一个核心组件&#xff0c;它负责将Pod&#xff08;Kubernetes中的最小部署单元&#xff09;分配…

Java学习16

目录 一.StringBuffer类&#xff1a; 1.基本介绍&#xff1a; 2.StringBuffer的构造器&#xff1a; 3.String与StringBuffer的相互转换&#xff1a; &#xff08;1&#xff09;String->StringBuffer &#xff08;2&#xff09;StringBuffer->String 4.StringBuffer…

Redis篇 数据的编码方式和单线程模型

编码方式和单线程模型 一.redis中的数据类型二. Redis中查询编码方式命令三. 单线程模型四. 经典面试题,redis为何这么快?什么是IO多路复用? 一.redis中的数据类型 在redis中,数据类型大致分为5种 1.字符串类型 2.哈希 3.列表 4.集合 5.有序集合 redis底层在实现这些数据结构…

防火墙技术基础篇:NAT转发之——NAPT(同时转换地址和端口)

NAT转发之——NAPT&#xff08;同时转换地址和端口&#xff09; 网络地址端口转换NAPT 网络地址端口转换NAPT&#xff08;Network Address Port Translation&#xff09;是人们比较熟悉的一种转换方式。NAPT普遍应用于接入设备中&#xff0c;它可以将中小型的网络隐藏在一个合…

Vue2和Vue3生命周期的对比

Vue2和Vue3生命周期的对比 Vue2 和 Vue3 生命周期对照表Vue2 和 Vue3 生命周期图示 Vue2 和 Vue3 生命周期对照表 触发时机Vue2.xVue3.x组件创建时运行beforeCreate setup createdsetup 挂载在DOM时运行beforeMountonBeforeMountmountedonMounted响应数据修改时运行beforeUpdat…

x264 码率控制原理:x264_ratecontrol_end 函数

x264_ratecontrol_end 函数 原理 函数功能:编码完一帧数据后,保存状态并更新 ratecontrol 状态。函数参数:x264_t *h:编码器上下文结构体int bits:编码该帧所用的比特数int *filler:用于返回一个填充比特数函数调用关系: 函数内部执行流程:初始化x264_ratecontrol_t结…

关于DDos防御...别在听别人瞎扯了.....

前言 无意间刷文章的时候看到一篇文章&#xff0c;写的是遇到ddos&#xff0c;怎么用iptables封IP....... 然后我就百度搜了一下&#xff0c;好多都是这么说的&#xff0c;但是我发现&#xff0c;大多数人只要遭受过长期Ddos的&#xff0c;就不会再信网上的文章 文笔不太好&…

在64位程序中调用SetWindowLong指定窗口处理过程失效问题排查(附C++编译器数据模型)

C软件异常排查从入门到精通系列教程&#xff08;专栏文章列表&#xff0c;欢迎订阅&#xff0c;持续更新...&#xff09;https://blog.csdn.net/chenlycly/article/details/125529931C/C基础与进阶&#xff08;专栏文章&#xff0c;持续更新中...&#xff09;https://blog.csdn…

手把手实现AVL——二叉平衡搜索树

概述&#xff1a;本文介绍AVL树的实现&#xff0c;从零构建一颗AVL树&#xff0c;以及对应的插入、删除、旋转操作 什么是AVL树&#xff1f; AVL树是带有平衡条件的二叉查找树&#xff0c;二叉查找树又区别于二叉树&#xff1a;保证有序 这个平衡条件是每个节点的左右子树高…

[数据集][目标检测]红外人狗检测数据集VOC+YOLO格式185张2类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;185 标注数量(xml文件个数)&#xff1a;185 标注数量(txt文件个数)&#xff1a;185 标注类别…