lakeformation授权方式分为
- 基于tag的授权
- 基于命名资源的授权
先决条件
跨账号共享数据的先决条件(命名资源和tag授权都需要)
分两种情况
-
如果账户中没有glue data catalog资源策略,则LakeFormation跨账户授予将照常进行
-
如果存在glue data catalog基于资源策略,则需要glue如下基于资源策略,授权RAM服务共享账号下的所有资源
{"Effect": "Allow","Action": ["glue:ShareResource"],"Principal": {"Service":"ram.amazonaws.com"},"Resource": ["arn:aws:glue:region:account-id:table/*/*","arn:aws:glue:region:account-id:database/*","arn:aws:glue:region:account-id:catalog"] }
如果同时使用tag和命名资源授权,则需要通过命令行附加glue基于资源的策略,注意
--enable-hybrid
参数aws glue put-resource-policy --policy-in-json glue-resource-policy --enable-hybrid TRUE
命名资源的授权方式
需要撤销database和tables中授权条目IAMAllowedPrincipals的权限
关闭账号级别的setting设置(需要额外的PutDataLakeSettings权限)
向消费者账户授权,可以选择账号或者组织
选择指定database的所有表和所有权限,如果出现下面的报错,表明从报错信息来看,是由于 A 账号的 database 的 “Use only IAM access control for new tables in this database” 并未清除。
Error granting catalog permissions to ARNs: 797181602929. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.
授权所有表之后,授权条目没有database但是能看到是为什么?
可以授予对单个表的权限,也可以通过一次授予操作来授予对数据库中所有表的权限。如果您授予对数据库中所有表的权限,则将隐式授予对数据库的 DESCRIBE 权限。然后,数据库将显示在控制台的数据库页面上
如果在此之前没有关闭setting配置,则会出现授权失败的问题,需要关闭表的setting配置
Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.
如果该数据库已经和IAM_ALLOWED_PRINCIPALS关联(没有撤销),则会出现以下报错
Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please revoke permission(s) for IAM_ALLOWED_PRINCIPALS on the database.
如果输出arn或账号后没有回车会出现没有选中principal的问题
Grant permissions failed
No principals selected. Please select a principal to grant permissions to.
授权成功后查看table权限出现消费者账号信息
在消费者账号的lakeformation控制台可以看到以下提示
Pending Resource Shares Alert
You have 3 pending resource share invitation(s) from Amazon Resource Access Manager (RAM). Open the RAM console to view these invitations. For more information, see Accepting RAM invitations .
点击跳转接受请求(中国区控制台直接点击会跳转到美东区),手动跳转到Resource Access Manager服务
搜索之前分享的资源
最终的共享资源类型
在消费者账户的glue控制台已经能看到table了
此时已经能够在消费者账户找到表,但是athena查询无法找到database
在消费者账户创建database的资源链接(别名链接)
在athena中能够找到database,执行查询报错
忘记在lakeforamtion中注册location,此时尽管消费者账户能够通过lakeformation获取临时凭证,但是找不到s3数据
注册完毕后查询成功
注意事项
如果用户不是lakeformation管理员,则
-
单纯指定账户并不能在具体的user下看到表,仅仅是创建了RAM
-
因此需要在具体的user授权,才能看到database(此时复用了之前的RAM,不需要再接受了)
向外部账户或组织授予权限时,必须包括可授予的权限选项。只有外部账户中的数据湖管理员才能访问共享资源,直到管理员向外部账户中的其他主体授予对共享资源的权限。
将属于另一个 Amazon 账户的数据目录资源与账户共享后,作为数据湖管理员,可以向账户中的其他主体授予对共享资源的权限。但是,不能向其他 Amazon 账户或组织授予对该资源的权限
基于LF-tag的授权方式
使用 LF-TBAC 用于以下使用案例:
- 有大量的表和主体,数据湖管理员必须授予访问权限
- 想根据本体对数据进行分类并根据分类授予权限
- 数据湖管理员希望以松散耦合的方式动态分配权限
数据湖管理员具有隐式 Lake Formation 权限,可以创建、更新和删除 LF-Tag,将 LF-Tag 分配给资源,以及向主体授予 LF-Tag 权限。
基于标记的访问控制 – 使用此方法可以将一个或多个 LF 标记分配给数据目录数据库、表和列,并将对一个或多个 LF 标记的权限授予主体
LF tag支持跨账号共享
Currently, the LF-TBAC method supports granting cross-account permissions to IAM principals, Amazon Web Services accounts, organizations, and organizational units (OUs).
database和table都有名为LF tag的标签,在这里统一管理
可以在资源上(database和table)添加LF tag
- table默认继承database
- column默认继承table
授权B账号可以操作的LF tag
在B账号直接查表,正常没有问题,但是表上没有命名方式的授权条目,表示授权是通过LF tag进行的
很明显,LF tag使用上要比命名标签更加简单
可以通过命令查看tag policy的结果
- 注意,必须是数据湖管理源才有权限,否则结果为空
$ aws lakeformation list-permissions --resource-type LF_TAG_POLICY{"PrincipalResourcePermissions": [{"Principal": {"DataLakePrincipalIdentifier": "4xxxxxxxx6"},"Resource": {"LFTagPolicy": {"CatalogId": "037xxxxxxx284","ResourceType": "DATABASE","Expression": [{"TagKey": "testk","TagValues": ["testv"]}]}},"Permissions": ["ALTER","CREATE_TABLE","DESCRIBE"],"PermissionsWithGrantOption": [],"AdditionalDetails": {"ResourceShare": ["arn:aws-cn:ram:cn-north-1:03xxxxxxxxx84:resource-share/f73648ea-5c1c-47f6-a63b-db1fadb23984"]}},
此外,在控制台也能看到对应的授权权限