(学习笔记)数据基建-数据安全

(学习笔记)数据基建-数据安全

  • 数据安全
  • 数据安全实施难点
  • 数据安全保障流程
  • 数据安全措施实施阶段
  • 数据安全如何量化产出
  • 数据安全思考

数据安全

数据安全问题是最近比较热的话题,数据泄漏引发的用户信任危机事件也比比皆是,以及跨部门引用核心表引发问题也是常态,当前各个公司都在针对数据安全作出相应措施,并开设数据安全岗位。

数据安全实施难点

模型下游过多:迁移或修改时模型存在大星依赖关系,需要投入更多时间,存在修改时遗漏,修改错误导致线上问题发生
迁移周期:由于下游依赖了待修改模型,导致下能一次性做到模型完全迁移,需要排期按阶段迁
业务限制:各部门/业务对数据安全权限把控度不同

数据安全保障流程

数据安全保障:数据使用权限、隐私数据处理、数据安全管控流程、数据下载安全、跨部门数据共建、机密数据管控

角色管理:对不同使用/开发角色提供不同使用权限
在这里插入图片描述
数据使用权限申请
权限审批
查询范围:行权限、列权限、表权限
查询结果 :原始数据(ODS)、明细数据(DWD)、指标数据(DWM、DWS)不对业务透出
在这里插入图片描述
数据表分级:
在这里插入图片描述
s4:业务核心表 - 机密数据,其他部门使用数据存在较大风险,建议实施严格技术和管理措施 - 通过加密方式提供复他bu
S3:非业务核心表 - 敏感数据,其他部门使用存在较低的风险,建议实施较严格技术和管理措施 - 可以对外部分开放,例如部分字段申请、视图开放
s2:部门自建表 - 内部公开数据,其他部门使用数据建议实施必要技术和管理措施 - 可对外透露,需要走表/字段权限申请流程
s1:非业务核心表 - 对公开数据,建议实施基本技术和管理措施 - 可对外透露

数据脱敏
根据查看表的人群、查看的内容(多数使用于门户、报表、对外透出表等场景)来脱敏,例如用户手机号,身份证等数据脱敏,脱敏可在ODS、也可在ADS做,看具体业务场景,例如橘厂在ODS完成脱敏操作
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

安全接口人卡点设定
数据使用申请时卡点负责人
角色组
在这里插入图片描述
数据传输:相关申请与查询操作需要通过专门的API接口进行,并且有高安全等级的加密措施
数据产生:通过数据分级体系对敏感表打标签(例如高风险预警标签)
数据展示:根据报表、看板的权限等级,在同一个图表中限制不同的用户能够看到的数据也不一样(常用于报表各模块内容展示)
数据销毁:敏感数据仅在hdfs上做逻辑删除是不够的,需要配合物理删除同步清理敏感数据
数据下载:数据下载需要设计多层级审批(可以直达业务负责人),限制下载行数(最多1000行)
风险管控:离职回收
超长时间未使用回收:定期(7/30/90天)扫描表使用情况,并通过公告、邮件等方式通知下游,对下游长期末使用回收
与其他部门共担风险记录:给予权限后,签字画押,可通过数据模型、平台化审计操作控制方式记录当前使用,对高风险操作监控,做到相互监督,并留下证据
在这里插入图片描述

数据安全措施实施阶段

早期
角色权限限制
数据使用权限申请限制
机密数据单独管控

成熟期
数据表划分管控
跨bu权限使用限制
隐私数据处理
数据下载查询管控
敏感数据打标

无平台该怎么去做
背景:只存在一个数据团队,且数据只被下游bi、产品等同学用到,无可视化平台操作

保障操作:
角色权限管控
脱敏配置
数据表分级-元数据记录
数据操作流程,例如数据下载、需要流程上报(可以通过邮件等)
机密数据单独项目空间存放

数据安全如何量化产出

衡量指标
数据安全分级未打标表数
永久权限/长期未使用表数
机密数据-对外透出表数
脱敏表/字段数

数据安全思考

数据是重要的资产,合理地使用能为企业带来巨大的价值,但同时数据安全管控不佳则会对企业造成更大的风险,数据泄露可能会造成业务失信于客户、导致经济损失等影响

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/23846.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年度计划

1,人工智能学习路径: Python基础:深兰科技机器学习:马士兵教育计算机视觉和图像处理:黑马程序员NLP自然语言处理:黑马程序员计算机视觉与图像处理项目:智慧交通:实时人脸识别检测&am…

什么是负载均衡?在网络中如何实现?

负载均衡(Load Balancing)是一种网络技术,用于将网络请求或数据传输任务分发到多个服务器或处理单元上,以实现更高效的资源利用、更高的处理能力和更好的系统可靠性。负载均衡的目标是优化资源使用、最大化吞吐量、减少响应时间&a…

一个案例,剖析攻防演练中威胁溯源的正确姿势

一年一度的攻防演练即将拉开帷幕。“威胁溯源”一直是演练活动中一个十分重要的工作项,它不仅有助于理解和分析攻击的来源、方法和动机,还能够显著提升整体安全防护水位,提升组件与人员的联动协作能力。在真实的攻击场景中,溯源工…

verilog 232串口通信程序

1,串口通信协议: 通常串口的一次发送或接收由四个部分组成:起始位S、数据位D0~D7(一般为 6 位~8 位之间可变,数据低位在前)、校验位(奇校验、偶检验或不需要校验位)、停止位(通常为1位、1.5位、2位)。停止位必须为逻辑 1。在一次串口通信过程中,数据接收与发送双方…

[STM32]定位器与PWM的LED控制

目录 1. 深入了解STM32定时器原理,掌握脉宽调制pwm生成方法。 (1)STM32定时器原理 原理概述 STM32定时器的常见模式 使用步骤 (2)脉宽调制pwm生成方法。 2. 实验 (1)LED亮灭 代码 测试效果 (2)呼吸灯 代码 测试效果 3.总结 1. 深入了解STM32定时器原…

Redis使用中的性能优化——搭建Redis的监测服务

大纲 环境安装配置Redis安装 安装配置redis_exporter编译运行 安装启动Prometheus创建用户下载并解压修改配置启动 安装启动grafana安装启动 测试参考资料 抛开场景和数据,谈论性能优化,就是纸上谈兵。这个系列我们将通过相关数据来展现常见的Mysql优化前…

微信小程序多端框架打包后发布到APP Store

IPA 上架 App Store 生成 iOS 证书和 Provisioning Profile iOS 开发者账号缴/续费的发票查看和获取 个人开发者把小程序发布到 App Store 5个步骤(保姆级教程) 一、参数的设置、证书的生成、生成profile文件 微信小程序多端应用Donut IOS相关的参数…

CentOS 7基础操作11_用户账号和组账号概述

与Windows操作系统一样,Linux操作系统的每一个用户账号也都有唯一的用户名与密码。用户在登录时输入正确的用户名和密码.就能够进入操作系统和自己的主目录。本小节将介绍Linux操作系统中用户账号和组账号的相关概念。 1、用户账号 在Linux操作…

互联网轻量级框架整合之SpringMVC初始化及各组件工作原理

Spring MVC的初始化和流程 MVC理念的发展 SpringMVC是Spring提供给Web应用领域的框架设计,MVC分别是Model-View-Controller的缩写,它是一个设计理念,不仅仅存在于Java中,各类语言及开发均可用,其运转流程和各组件的应…

使用Ollama+OpenWebUI部署和使用Phi-3微软AI大模型完整指南

🏡作者主页: 点击! 🤖AI大模型部署与应用专栏:点击! ⏰️创作时间:2024年6月6日23点50分 🀄️文章质量:96分 欢迎来到Phi-3模型的奇妙世界!Phi-3是由微软…

网络安全:https劫持

文章目录 参考https原理https窃听手段SSL/TLS降级原理难点缺点 SSL剥离原理发展缺点前端劫持 MITM攻击透明代理劫持 参考 https原理 SNI 浏览器校验SSL证书 https降级 https握手抓包解析 lets encrypt申请证书 https原理 步骤如下: 客户端向服务器发送https请求。…

动态IP与静态IP的优缺点

在网络连接中,使用动态和静态 IP 地址取决于连接的性质和要求。静态 IP 地址通常更适合企业相关服务,而动态 IP 地址更适合家庭网络。让我们来看看动态 IP 与静态 IP 的优缺点。 1.静态IP的优点: 更好的 DNS 支持:静态 IP 地址在…

MATLAB基础应用精讲-【数模应用】二元Logit分析(最终篇)(附python、MATLAB和R语言代码实现)

目录 算法原理 SPSSAU 1、二元logistic分析思路说明 2、如何使用SPSSAU进行二元logistic操作 3、二元logistic相关问题 算法流程 一、分析前准备 1、确定分析项 2.多重共线性判断 3.数据预处理 二、回归基本情况分析 三、模型拟合评价 1、似然比检验 2、拟合优…

晶圆几何量测系统支持半导体制造工艺量测,保障晶圆制造工艺质量

晶圆面型参数厚度、TTV、BOW、Warp、表面粗糙度、膜厚、等是芯片制造工艺必须考虑的几何形貌参数。其中TTV、BOW、Warp三个参数反映了半导体晶圆的平面度和厚度均匀性,对于芯片制造过程中的多个关键工艺质量有直接影响。 TTV、BOW、WARP对晶圆制造工艺的影响 对…

JavaScript的DOM

DOM DOM:查找元素:通过id查找元素:通过class查找元素:通过标签查找元素:通过name属性查找元素: 操作元素:操作内容:操作属性:操作样式: 事件:单击…

详细分析Mysql中的 JSON_ARRAYAGG 基本知识(附Demo)

目录 1. 基本知识2. Demo2.1 简单聚合2.2 带排序聚合2.2.1 子查询进行排序2.2.2 创建临时表 2.3 带条件聚合2.4 多列聚合2.5 嵌套 JSON 结构 1. 基本知识 JSON_ARRAYAGG为 SQL 聚合函数,用于将一组值聚合为一个 JSON 数组 多行结果组合成一个 JSON 数组形式的场景…

企业研发数据泄露损失严重,研发数据保护到底怎么才能有效落地?

数据已成为企业毋庸置疑的核心资产,而企业众多数据中,研发数据则占据着重要的角色,近年来,发生了多起企业研发数据被窃取或泄露的事件,给企业带来严重的名誉、经济损失: 小米公司:2023年1月&am…

Linux驱动应用编程(三)UART串口

本文目录 前述一、手册查看二、命令行调试串口1. 查看设备节点2. 使用stty命令设置串口3. 查看串口配置信息4. 调试串口 三、代码编写1. 常用API2. 例程线程优化 前述 在开始实验前,请一定要检查测试好所需硬件是否使用正常,不然调试过程中出现的问题&am…

华为机考入门python3--(33)牛客33-图片整理

分类:排序 知识点: 对字符串中的字符ASCII码排序 sorted(my_str) 题目来自【牛客】 def sort_images(s):# 可以使用ord(A)求A的ASCII值,需要注意的是A的值(65)比a的值小(97)sorted_images …

常见排序算法,快排,希尔,归并,堆排

后面的排序中都要用到的函数 //交换 void Swap(int* p1, int* p2) {int* tmp *p1;*p1 *p2;*p2 tmp; } 包含的头文件 "Sort.h" #pragma once #include<stdio.h> #include<stdlib.h> #include<assert.h> #include<time.h> #include<s…