基于MaxCompute的大数据安全方案

简介:随着法律的完善,数据安全,信息安全,网络安全,升级成国家安全,所以数据安全不管对用户,还是对公司也都会变的越来越重要。做为大数据云数仓解决方案的领导者,阿里云MaxCompute在安全体系上也做了很多特性,本文给大家简单介绍下MaxCompute关于数据安全的一些能力。

随着法律的完善,数据安全,信息安全,网络安全,升级成国家安全,所以数据安全不管对用户,还是对公司也都会变的越来越重要。做为大数据云数仓解决方案的领导者,阿里云MaxCompute在安全体系上也做了很多特性,本文给大家简单介绍下MaxCompute关于数据安全的一些能力。

安全体系介绍

安全体系不是一个系统,是一系列的系统联合才能做到大数据平台的数据安全要求,主要包括:

  1. 事前准备,包括数据打标,白/黑名单,权限分配,加密算法和脱敏算法准备。
  2. 事中处理,包括数据加密/解密,白名单过滤,数据扫描,数据实时告警。
  3. 事后审计,包括数据使用日志审计,数据离线报表监控等。

安全体系架构

数据安全体系不仅需要各个系统配合使用,同时也需要不同部门进行流程化管理,让数据能在合理授权下使用:

  • 其中就会涉及到数据合规部门,对数据进行打标,对数据规则进行配置,权限设置以及白名单管理等工作;
  • 大数据平台要按照合规人员设置的规则自动化对数据进行加密或者脱敏,然后提供给数据使用者使用;
  • 数据安全人员同时要对每个敏感数据的使用都需要有实时的数据监控,以及数据事后的定时审计。

本文主要介绍阿里大数据平台的数据存储加密和数据脱敏两块,目前阿里大数据平台MaxCompute联合KMS平台在对数据上云时可以对数据进行加密存储,支持AES256、AESCTR和RC4算法,在客户使用时自动解密,做到客户无感知的数据保护。

同时MaxCompute联合Dataworks和数据安全保护伞做到敏感数据脱敏使用,用户可以在数据保护伞里对数据进行打标配置,风险规则定义,脱敏规则配置以及白名单设计等操作,MaxCompute会自动对已经打标的数据,按照脱敏规则对指定的敏感数据进行脱敏显示。

适用场景

场景一:客户个人信息保护

个人信息保护场景,随着相关法律的出台,很多游戏公司都要需要录入个人身份证号等敏感信息,如果客户的个人信息泄露是很严重的数据安全事故,所以类似身份证号等个人信息的保护就变的非常重要,这些信息只有客户自己可以使用,或者客户授权的情况下才可以使用,但是在企业运营时,需要对这些信息进行加工,匹配等,所以在所有加工过程中都需要加密或者脱敏操作。

场景二:企业内部信息保护

大部分公司内部有财务,个人薪资等很多敏感数据,但是公司正常运营,需要这些数据在大数据平台进行加工计算,最后输出报表,在中间加工过程中,包括数据研发人员,测试人员,产品经理等,都不能触碰明文数据,需要对数据进行脱敏操作。

适合客群

本文适合企业已经使用了Maxcompute产品的数据管理人员,数据治理人员,数据研发人员以及数据安全合规人员等。

数据加密

MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。

前提条件

  • 阿里云服务账号;
  • 已经开启KMS密钥管理服务。

操作步骤

  1. 进入密钥管理服务开通页,选中密钥管理服务服务协议,单击立即开通,开通KMS服务。

2.登录DataWorks控制台,在左侧导航栏,单击工作空间列表。

3.在工作空间列表页面上方选择区域后,单击创建工作空间。在创建工作空间面板,配置基本配置信息,单击下一步,详情请参见创建项目空间。

4.在创建工作空间面板的选择计算引擎服务区域,选中MaxCompute。

5.在请进行ODPS服务账号授权对话框,单击授权。

6.在新打开的云资源访问授权页面,单击同意授权。

7.返回请进行ODPS服务账号授权对话框。关闭请进行ODPS服务账号授权对话框,在创建工作空间面板的选择计算引擎服务区域,重新选中MaxCompute,单击下一步。

8.在创建工作空间面板,配置引擎详情信息。选中加密,开启数据加密功能。以创建简单模式的工作空间为例。

9.单击创建工作空间,完成创建。开启数据加密功能后,MaxCompute会自动完成项目数据读写过程中的加密或解密操作。

数据脱敏

数据保护伞是一款数据安全管理产品,为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据审计、数据溯源等功能。接下去为您介绍如何开通、使用数据保护伞。

前提条件

  • 阿里云服务账号;
  • 已经开启Dataworks空间。

操作步骤

  1. 登录DataWorks控制台,进入设置,启用页面查询内容脱敏:

2.单击左上方的图标,选择全部产品 > 数据治理 > 数据保护伞。

  1. 数据分级分类设置,系统会字段1000+数据分类,在没有特殊要求的情况下,大部分情况下可以用默认分类,同时也支持自定义客户自己的分级分类。
  2. 数据识别类型,系统已经自带很多1000+识别类型,没有特殊要求,可以使用自带识别自动生成数据识别模型,同时也支持通过您提供的样本字段,进行模型训练,帮助您寻找目标字段的内容特征,生成相应的规则模型。
  3. 数据脱敏规则定义,用户可以给指定的数据字段类型进行定义脱敏规则,目前支持脱敏方式有假名,Hash,掩盖三种。

6.数据查询会进行自动掩盖:

白名单

目前数据保护伞对于数据脱敏部分,支持给用户添加白名单,如果在白名单里的客户,可以无视脱敏规则,可以查到明文数据。

数据发现

目前数据保护伞对于数据脱敏部分,支持系统自动扫描数据,并把风险统计数据显示出来。

数据风险识别

目前数据保护伞对于数据脱敏部分,支持用户自定义风险行为,并对风险进行统一查询显示。

数据审计

目前数据保护伞对于数据脱敏部分,用户可以查询数据风险处理情况,对数据安全处理进行审计。

总结

本文只是对大数据平台的安全性做了简单的梳理,很多细节因为篇幅没有细讲,有兴趣的同学可以参考官方文档。

  • 数据加密配置
  • 数据脱敏配置

目前阿里大数据平台已经对数据的存储加密,以及数据脱敏显示上做了比较多的能力,但是在数据还不能做到列级,行级甚至单元格级别的加密;在数据识别扫描上也不支持手动根据自己的规则进行扫描;在数据全渠道接入脱敏也没有覆盖所有Region;在数据安全使用上,数据监控以及数据审计上做的也不是很完善等等问题,后续在安全上加入更多能力,让用户可以安心,放心,省心的在阿里云大数据平台上使用数据。

常见问题

  • Maxcompute数据存储加密后,是否可以被hologres外表访问?

答:是可以的,但是在存储加密时需要选用自带密钥的加密方式。

  • Maxcompute数据存储加密后,需要用户手工解密吗?

答:不需要,系统会在查出来时自动解密。

  • 在数据保护伞中已经配置了数据分类,脱敏规则,为什么脱敏还不生效?

答:先要在Dataworks的设置中开启页面查询内容脱敏。

原创:阿里云智能 漠凡

原文链接

本文为阿里云原创内容,未经允许不得转载。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510919.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据仓库的分层架构与演进

简介:分层架构很容易在各种书籍和文档中去理解,但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来,我会从数据研发与建模的角度,演进一下分层架构的设计原因与层次的意义。 分层架构很容易在各种书籍和文档中去理解&a…

数据治理之参考数据与主数据管理

简介:最近凑巧参与了一次某行业的业务共创会议,期间讨论到了主数据系统,还有我们该如何参与主数据系统建设的话题。说实话,我一直以为我不会有机会参与到主数据与参考数据系统的话题中去,所以,又去把DAMA的…

如何在云端重塑内容生产?来看这场虚拟人主持的发布会

简介:「智能媒体生产」产品全新升级 3月30日,阿里云视频云在线上举行了一场由虚拟人助力主持的「智能媒体生产」产品升级发布会,活动围绕产品能力的展现、视频生产流程的革新、高效生产背后的技术先进性,阐释了企业如何在云端重塑…

阿里开源自研工业级稀疏模型高性能训练框架 PAI-HybridBackend

简介:近年来,随着稀疏模型对算力日益增长的需求, CPU集群必须不断扩大集群规模来满足训练的时效需求,这同时也带来了不断上升的资源成本以及实验的调试成本。为了解决这一问题,阿里云机器学习PAI平台开源了稀疏模型高性能同步训练…

Serverless 遇到 FinOps,云成本问题有解了!

Key Takeaways:1. 尽管 Serverless 的迅猛发展吸引了广泛深入的关注,Serverless 函数总成本的事先估计仍缺乏有效的理论指导。本文基于 FunctionGraph 在 Serverless 领域的 FinOps 探索和实践,提出业界首个 Serverless 函数总成本估计模型。…

Apsara Stack 技术百科 | 联结良性生态,筑千行百业的数字基石

简介:作为现今IT领域最重要的课题:基础设施云化,离不开与伙伴的携手合作,如何让云上解决方案能充分释放价值的同时形成一个相互依存的自循环生态系统,混合云君来跟你聊聊~ 生态系统这个词在维基百科上的定义是&#xf…

用户留存建模实践

简介:在流量分析型产品的用户分析模块中,留存、互访、新老客构成等数据都是有效衡量用户粘性与促活召回的关键性指标;但是,我们发现在很多流量运营的业务场景中,留存分析建模都显著存在着设计和计算上的诸多问题。本文…

ACK One 构建应用系统的两地三中心容灾方案

简介:本文侧重介绍了通过 ACK One 的多集群应用分发功能,可以帮助企业管理多集群环境,通过多集群主控示例提供的统一的应用下发入口,实现应用的多集群分发,差异化配置,工作流管理等分发策略。结合 GTM 全局…

英特尔On技术创新峰会:助力开发者解决当前和未来的挑战

第二届英特尔On技术创新峰会于2022年9月27日在美国加利福尼亚州圣何塞市开幕。在本届峰会上,英特尔向齐聚一堂的软硬件开发者们分享了在构建以开放、选择和信任为原则的生态系统方面的最新进展——从推动开放标准以使“芯片系统”(systems of chips&…

你不知道的 HTTPS 压测

简介:随着互联网安全规范的普及,使用 HTTPS 技术进行通信加密,实现网站和 APP 的可信访问,已经成为公认的安全标准。本文将介绍针对 HTTPS 协议做压力测试的关注点,以及使用 PTS 做 HTTPS 压测的技术优势和最佳实践。 …

数据湖—Delta Lake

简介:Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark,Flink,Hive,PrestoDB,Trino 等查询/计算引擎。作为一个开放格式的存储层,它在提供了批流一体的同时,为…

2022杭州云栖大会定档11月3日至5日:技术产品发布+超4万平科技展

9月28日消息,记者从云栖大会组委会获悉,2022杭州云栖大会将于11月3日至5日在杭州云栖小镇举办。今年云栖大会以“计算进化未来”为主题,在3天内设置两场主论坛,70多场数字技术、产业和生态分论坛,以及4万平米智能科技全…

阿里云RemoteShuffleService 新功能:AQE 和流控

简介:阿里云EMR 自2020年推出 Remote Shuffle Service(RSS)以来,帮助了诸多客户解决 Spark 作业的性能、稳定性问题,并使得存算分离架构得以实施。为了更方便大家使用和扩展,RSS 在2022年初开源(https://github.com/alibaba/Remot…

如何使用Delta Lake构建批流一体数据仓库

简介:Delta Lake是一个开源存储层,它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理,并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上,并且与Apache Spark API完全兼容。希望本篇能让大…

中国峰会|下一代云基础架构,赋能企业云上发展

点击上方入口立即【自由构建 探索无限】一起共赴年度科技盛宴!马上点击“阅读原文”了解更多亚马逊云科技中国峰会让我们共同见证亚马逊的一小步云计算的一大步扫码【立即报名】直通大咖云集的亚马逊云科技中国峰会!

Delta Lake基础介绍(商业版)

简介:介绍 Lakehouse 搜索引擎的设计思想,探讨其如何使用缓存,辅助数据结构,存储格式,动态文件剪枝,以及 vectorized execution 达到优越的处理性能。 作者:李洁杏,Databrick资深软…

云原生数仓如何破解大规模集群的关联查询性能问题?

简介:AnalyticDB for PostgreSQL(以下简称ADB PG)是一款PB级的MPP架构云原生数据仓库。本文从ADB PG架构设计的角度出发,探讨Runtime Filter在ADB PG中的实现方案,并介绍了基于Bloom Filter的ADB PG Dynamic Join Filter功能技术细节。 作者 …

独家对话Python之父:人类大脑才是软件开发效率的天花板

【CSDN 编者按】十五年前,《程序员》杂志曾专访过 Python 之父 Guido van Rossum,一起探讨了 Python 3.0 的较为明显的新特性,即增加了对中文( Unicode )的支持。十五年过去,Python 的版本号只前进了一个数字,但是 Pyt…

淘系用户平台技术团队单元测试建设

简介:单元测试是工程交付前质量保障的第一环,也无疑是软件工程质量保障的重要基石,有效的单元测试能够提前发现90%以上的代码Bug问题,同时也能防止代码的腐化,在工程重构演进时起到至关重要的作用。 作者 | 问元 来源 …

阿里云弹性计算对视觉计算的思考与实践

简介:利用人类已有和将有的技术加之商业手段,实现对人类感官体验进行全方位升级。 4月21日,“2022英伟达数字孪生技术应用论坛”上,阿里云弹性计算产品专家张新涛为大家带来了题为《阿里云弹性计算在XR业务上的应用实践》的主题分…