数据质量管理-可访问性管理

前情提要

根据GB/T 36344-2018《信息技术 数据质量评价指标》的标准文档,当前数据质量评价指标框架中包含6评价指标,在实际的数据治理过程中,存在一个关联性指标。7个指标中存在4个定性指标,3个定量指标;

定性指标:规范性、准确性、唯一性、可访问性

定量指标:完整性、时效性、关联性

规范性--数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度;

完整性--按照数据规则要求,数据元素被赋予数值的程度;

准确性--数据准确表示其所描述的真实实体(实际对象)真实值的程度;

一致性--数据与其他特定上下文中使用的数据无矛盾的程度;

时效性--数据在时间变化中的正确程度;

可访问性--数据能被访问的程度;

关联性--数据记录的实体与实体、实体与时间、实体与地理信息等维度之间的关系构建程度;

可访问性怎么进行数据监测和指标量化

官方定义:数据能被访问的程度;

数据能被访问的程度可以分为数据开放程度(包含被访问的广度、被访问的深度)、数据被访问的难易程度(数据共享模式是否成熟);

作用的环节:数据可被访问与否是针对数据资源而言的,因此监测环节是数据资源层;

数据质量管理依据:数据使用标准

数据监测方法

数据开放程度

数据开放程度是相对于内部数据资源而言的,是指内部数据资源对外开放的占比。不对外开放的原因主要为以下几点:

1.基于数据分级分类标准梳理出来的数据资源,组织内部的数据分为核心数据、重要数据、一般数据,有些数据高度涉密,对于这类数据会限制访问权限;

2.组织内部有些数据治理手段不足,质量结果不达标,在短期内参考数据使用标准而言也不会对外开放;

3.站在数据生命周期管理的角度而言,有些数据已经达到了数据生命周期的末期甚至无效的那类数据,也可以不对外开放;

监测方法

针对第一点和第二点,我把这两类情况定义为数据被访问的广度,可以指定的监测方法为:监测外部使用的字段/表单字段总数;

针对第三点,我把这类情况定义为数据被访问的深度,可以在做数据生命周期管理的过程中通过标记无效记录的规则覆盖记录数/对外开放表单记录总数;

数据被访问的难易程度

数据被访问的难易程度:数据被访问的难易程度是指用户对于数据资源访问的难易程度。其中需要考虑的因素:

数据获取渠道的稳定性,基开放共享策略监测访问稳定性作为数据被访问的难易程度的考量因素;

监测方法:

数据获取渠道的稳定性:需要对用户访问数据的成功数/用户访问次数;

量化标准

数据被访问性的量化标准按照定义划分有四个维度,包含数据开放程度、数据被访问的难易程度、数据被访问量、时间周期内数据被访问频率,基于四个维度设置权重,数据开放程度占比60%,数据被访问的难易程度占比40%;

数据开放程度量化标准

1.表名:指数据资源中数仓服务层的表名;

2.是否对外共享:是指表单是否加工完成,具备对外共享的条件;

3.共享字段数:是指对外共享的字段数量;

4.字段总数:是指表单的字段总数;

5.被访问的广度:是指被共享字段占表单字段数的比重,从数据库列数统计(共享字段数/字段总数);

6.表单记录数:是指该张表在统计时间点中的存储记录数;

7.无效记录数:是指该张表在统计时间点中的存储无效记录数;

8.被访问的深度:是指该张表开放内容的深度,从数据库行数统计((表单记录数-无效记录数)/表单记录数);(注:如组织内部无管理无效记录数的相关措施,可以只统计广度)

9.数据开放程度:是指数据从广度和深度两个维度综合计算,得出的数据开放程度(被访问广度*被访问深度);

数据被访问的难易程度量化标准

1.表名:指数据资源中数仓服务层的表名;

2.是否对外共享:是指表单是否加工完成,具备对外共享的条件;

3.数据开放共享策略,例如是API开放、Excel数据包下载、隐私计算、可信数据空间等手段;

4.用户访问数:是指用户访问通过数据开放策略访问表单的次数;

5.用户访问成功数:是指用户访问通过数据开放策略访问表单的成功次数;

6.数据被访问成功率:是指用户基于数据开放策略成功获取数据的占比(用户访问成功数/用户访问数);

下一章:关联性怎么进行数据监测和指标量化 ?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/39475.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

kaggle量化赛金牌方案(第七名解决方案)

获奖文章(第七名解决方案) 致谢 我要感谢 Optiver 和 Kaggle 组织了这次比赛。这个挑战提出了一个在金融市场时间序列预测领域中具有重大和复杂性的问题。 方法论 我的方法结合了 LightGBM 和神经网络模型,对神经网络进行了最少的特征工程。目标是结合这些模型以降低最终…

WebDriver API (2)

本文将继续上文对WebDriver API的功能使用进行介绍。 一、浏览器操作 1. 浏览器前进forward与后退back 浏览器前进操作是指导航到前一个页面,在浏览器的历史记录中向前移动一页。 浏览器后退操作是指导航到前一个页面,在浏览器的历史记录中向后移动一…

JVM专题之走进类加载

1.1 Java及JVM简介 TIOBE语言热度排行榜:https://www.tiobe.com/tiobe-index/ 世界上没有最好的编程语言,如果有,我相信一定是JAVA。 1.2 Java发展的重大事件 1995年5月23日,Java语言诞生 1996年1月,第一个JDK-JDK1.0诞生 1996…

C语言编程-基于单链表实现贪吃蛇游戏

基于单链表实现贪吃蛇游戏 1.定义结构体参数 蛇行走的方向 蛇行走的状态 蛇身节点类 维护蛇的结构体型 2.游戏运行前预备工作 定位光标位置 游戏欢迎界面 绘制游戏地图(边界) 初始化游戏中的蛇身 创建食物 3.游戏运行 下一个位置是食物,就吃掉…

ArcGIS中将测绘数据投影坐标(平面坐标)转地理坐标(球面经纬度坐标)

目录 前言1.测绘数据预览1.1 确定带号1.2 为什么是对Y轴分带,而不是对X轴分带? 2 测绘数据转shp2.1 添加数据2.2 显示XY数据2.3 添加经纬度字段2.4 计算经纬度 3.shp数据重投影4.总结 前言 最近在刚好在做一个小功能,将测绘数据转为经纬度坐标…

浙江建筑安全员A证2024年最新考试题库练习

46.总承包单位依法将建设工程分包给其他单位的,分包合同中应当明确各自的安全生产方面的权利、义务。总承包单位对分包工程的安全生产承担()责任。 A.全部 B.主要 C.部分 D.连带 答案:D 47.实施总承报的建设工程发生事故&…

Git命令远程分支的合并和本地分支的同步

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

怎么压缩ppt文件大小?这四种压缩方法真的超级好用!

怎么压缩ppt文件大小?当我们精心打造PPT时,随着创意的涌动和内容的充实,常常会发现PPT文件的大小也在不知不觉间悄然膨胀,这背后其实隐藏着诸多因素,首先,我们可能过于追求视觉效果,不经意间在P…

【信息学奥赛】CSP-J/S初赛05 计算机原码、补码和反码

本专栏👉CSP-J/S初赛内容主要讲解信息学奥赛的初赛内容,包含计算机基础、初赛常考的C程序和算法以及数据结构,并收集了近年真题以作参考。 如果你想参加信息学奥赛,但之前没有太多C基础,请点击👉专栏&#…

IPython交互式Shell的高级功能:探索Python交互式编程的边界

🚀 IPython交互式Shell的高级功能:探索Python交互式编程的边界 IPython是一个强大的Python交互式解释器,它提供了许多高级功能,使得Python编程更加高效和有趣。这些功能包括但不限于改进的交互式Shell、Jupyter笔记本、魔术命令、…

线性代数大题细节。

4.4 方程组解的结构(二)_哔哩哔哩_bilibili

c++将一个复杂的结构体_保存成二进制文件并读取

在 C 中&#xff0c;可以将复杂的结构体保存到二进制文件中&#xff0c;并从二进制文件中读取它。为了实现这一点&#xff0c;你可以使用文件流库 <fstream>。以下是一个示例&#xff0c;展示如何将一个复杂的结构体保存到二进制文件中&#xff0c;并从二进制文件中读取它…

【高中数学/三角函数】已知:实数a,b,c满足a+b+c=0,且a^2+b^2+c^2=1 求:a的最大值?

【问题】 已知&#xff1a;实数a,b,c满足abc0,且a^2b^2c^21 求&#xff1a;a的最大值&#xff1f; 【问题来源】 https://www.ixigua.com/7289764285772497448?logTag0d228277f3a8e049ab6d 【解答】 解&#xff1a;由abc0可得c-(ab) 代入a^2b^2c^21得a^2b^2(ab)^21 又…

深入MOJO编程语言的单元测试世界

引言 在软件开发的历程中&#xff0c;单元测试扮演着至关重要的角色。单元测试不仅帮助开发者确保代码的每个部分都按预期工作&#xff0c;而且也是代码质量和维护性的关键保障。本文将引导读者了解如何在MOJO这一假想编程语言中编写单元测试&#xff0c;尽管MOJO并非真实存在…

Docker在windows上使用vscode远程连接容器

目录 一、提前准备&#xff1a; 二、vscode连接docker容器 三、构建好的docker容器直接连接vscode 四、Windows下的可视化出linux的ui界面 在日常的开发中&#xff0c;不想windows和linux两个系统之间来回切换&#xff0c;笔者最近打算所有的环境均在一个系统上完成。为了交…

Nosql期末复习

mongodb基本常用命令&#xff08;只要掌握所有实验内容就没问题&#xff09; 上机必考&#xff0c;笔试试卷可能考&#xff1a; 1.1 数据库的操作 1.1.1 选择和创建数据库 &#xff08;1&#xff09;use dbname 如果数据库不存在则自动创建&#xff0c;例如&#xff0c;以下…

学习无人机飞行技术,有哪些就业方向?

随着无人机技术的不断进步和应用领域的拓展&#xff0c;研发创新人才的需求也将不断增加&#xff0c;那就业前景还是很广阔的。学习无人机飞行技术后&#xff0c;有以下多个就业方向可供选择&#xff1a; 1. 无人机操作员&#xff1a; - 负责操控和监控无人机飞行&#xff0c;…

基于索尼基于索尼Spresense的眼睛跟随平台中两个模型的对比

1.模型一(现在使用的) 这个模型是一个简单的神经网络&#xff0c;由三个主要组件组成&#xff1a;输入层、一个全连接层&#xff08;Affine层&#xff09;、一个Sigmoid激活函数层和一个Binary Cross Entropy损失层。 以下是每个组件的说明&#xff1a; Input 层&#xff1a;这…

ubuntu 更换软件源

ubuntu 更换软件源 在Ubuntu 20.04 LTS中更换软件源可以通过图形界面或命令行进行。更换软件源通常是为了加快软件包的下载速度或解决软件源不可用的问题。这里我将分别说明如何通过图形界面和命令行更换软件源。 通过图形界面更换软件源&#xff1a; 打开“软件和更新”设置…

【LeetCode】验证回文串

目录 一、题目二、解法完整代码 一、题目 如果在将所有大写字符转换为小写字符、并移除所有非字母数字字符之后&#xff0c;短语正着读和反着读都一样。则可以认为该短语是一个 回文串 。 字母和数字都属于字母数字字符。 给你一个字符串 s&#xff0c;如果它是 回文串 &…