大数据质量管制规范示例

大数据质量管制规范示例

  • 一、前提概要
  • 二、相关概念
  • 三、管理原则
  • 四、治理委员
  • 五、应用管理
  • 六、查验方式
  • 七、考核比率
  • 八、扣分标准
  • 九、责任划分
  • 十、追责范围
  • 十一、其它条例
  • 十二、总结

一、前提概要

在当今大数据信息时代,大数据平台(大数据平台开发规范示例)和大数据仓库(大数据仓库开发规范示例)的开发规范已成为组织和企业管理决策的重要基础。

随着数据量的不断增长和数据应用的广泛应用,确保数据质量成为了一个至关重要的问题。因此,有必要制定数据质量规范化管理制度来规范数据质量的管理和保证。

在这里插入图片描述

二、相关概念

  • 应用系统:是按照信息一体化的要求,用于处理我司经营管理的应用软件系统。
  • 数据:是指公司实施信息化管理过程中产生的所有电子数据。
  • 数据质量:是指数据的及时性、完整性以及准确性。

三、管理原则

数据质量管理应遵循以下原则:

  • 统一规范原则,各类应用系统采集和处理的数据,应符合各自应用系统所要求的数据标准。
  • 层级考核原则,各个业务信息系统对各自的数据质量管理工作进行严格的目标管理考核。

同时,数据质量应遵循真实、完整、规范、及时的原则:

  • 真实:应严格依据经营管理原始数据所记载的内容准确录入相关数据,如实反映,不得随意修改、增减。
  • 完整:要按照各类应用系统的有关要求进行数据采集,保证数据齐全,避免数据的缺失。
  • 规范:数据采集应按照应用软件系统的相关标准进行。
  • 及时:数据要在规定的时间内采集,确保应用系统数据及时反映经营管理实际。

四、治理委员

数据治理委员会是公司数据质量管理的牵头部门,主要负责:

  • 制定公司的数据质量管理的相关规章制度。
  • 对各应用系统管理部门的履职情况进行考核、监督。
  • 根据需要,参与对公司各应用系统数据质量管理的检查监督。
  • 对违反数据质量管理规定,造成数据错误、失真、延误、漏填等违规行为进行问责。
  • 向高管层报告我司数据质量管理执行情况。

五、应用管理

应用系统的管理部门,负责管理各自的应用系统,是本应用系统数据质量的主责任人,主要负责:

  • 贯彻落实公司制定的数据质量管理的相关规章制度。
  • 制定本应用系统录入、维护、审核的基本标准和规范性要求,并适时开展检查监督,保障数据管理符合规范性要求。
  • 制定本应用的数据质量监控指标体系,定期对本级数据质量评估分析,及时解决数据质量管理中出现的问题。
  • 提交本应用系统数据质量管理报告。

六、查验方式

数据检查采取应用系统使用部门自查和应用系统管理部门检查的方式。数据检查的方法有:

  • 在业务软件使用过程中对数据库中已有数据进行检查。
  • 用数据质量检查工具进行检查。
  • 抽取源表与ODS层数据进行对比。
  • 其它数据检查的方法。

检查的内容:

  • 数据的处理是否及时、正确、全面。
  • 数据的抽取是否规范、及时。

七、考核比率

考核的比率指标是:

  • 信息采集率:已经采集进入应用系统的信息与应该采集进入应用系统信息的比率。
  • 信息采集准确率:录入应用系统的正确信息与录入的所有信息的比率。
  • 信息传输及时率:规定时期内传输的信息与检查期限内所有传输信息的比率。
  • 信息处理率:考核期内处理的符合规定的信息与考核期内处理的所有信息的比率。

八、扣分标准

数量指标是指分级列出问题数据的数量,根据问题的严重程度,确定扣分标准,进行扣分。根据数据的重要程度具体分为四级:

  • 只影响数据本身的完整性而不影响其他数据。
  • 只影响本工作环节质量。
  • 不仅影响本工作环节质量,而且影响后面工作环节数据处理质量。
  • 数据质量错误造后面工作无法处理或无法工作。

九、责任划分

数据质量责任划分:

  • 数据采集的责任部门即为数据质量的责任部门。
  • 从数据库后台记录中确认的数据录入人员是数据质量的直接责任人。
  • 将自己的用户名、密码提供给他人使用,或因保管不善导致他人盗用、冒用用户名、密码的,用户名所有者是数据质量责任人。

十、追责范围

数据质量责任追究范围:

  • 因数据质量问题导致统计数据不能生成或生成错误的。
  • 因数据质量问题导致其他部门工作不能正常开展的。
  • 因数据质量问题影响经营决策行为的及时性、正确性的。
  • 因数据质量问题损害客户合法权益的。
  • 因数据质量问题造成财产、声誉损失的。

十一、其它条例

  • 数据维护是按照应用系统的有关规定对错误的数据进行数据修改的行为。
  • 数据维护由各应用系统管理部门按照各自应用系统的有要求,明确数据维护的权限和职责,制定数据维护的程序。凡是采集进入应用系统的数据,不得擅自修改、删除。
  • 数据维护前应做好相应数据和系统的备份工作。能够通过系统模块解决的,经过审批后按照各类应用系统的操作规范进行维护。需要通过技术手段解决的,由责任人提出申请,由相关业务部门和技术部门审核确认,经主管行领导审批同意后,方可进行数据维护。
  • 数据维护工作应严格备案,科技信息部对各应用系统管理部门报送的每项数据维护的时间、内容、维护原因、责任人等记录进行备案,涉及的书面材料必须登记存档。
  • 数据维护人员在进行数据维护时,必须认真负责,避免在数据维护过程中产生新的错误数据。
  • 数据检查是按照有关应用系统数据管理规定对数据及时性、完整性以及准确性进行的数据质量检查的行为。
  • 应用系统使用部门在业务软件使用过程中发现错误数据,必须及时告知相应的数据抽取的责任人或部门进行维护。

十二、总结

数据质量规范化管理制度可以帮助组织识别和解决数据质量问题。通过明确数据质量的标准和指标,并建立相应的数据质量监控机制,可以及时发现数据质量异常,并采取相应的纠正措施,以确保数据质量符合要求。

总而言之,梳理数据质量规范化管理制度是为了确保数据质量,从而提高决策的科学性、客户满意度、业务流程优化以及法规合规要求的满足。这对于组织和企业的长期发展具有重要意义。

规范示例仅作为参考,实施过程中需要根据组织架构、业务要求和应用场景进行调整适配。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/635757.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

关于大模型学习中遇到的3

来源:网络 Embedding模型 随着大型语言模型的发展,以ChatGPT为首,涌现了诸如ChatPDF、BingGPT、NotionAI等多种多样的应用。公众大量地将目光聚焦于生成模型的进展之快,却少有关注支撑许多大型语言模型应用落地的必不可少的Embed…

中仕教育:社会人员可以报名三支一扶吗?

三支一扶是针对高校应届毕业生的一种考试,社会人员并不满足报考条件,所以不能报考。 三支一扶报考条件: 1.应届毕业生或者毕业两年内未就业的往届毕业生。 2.专科以上学历 3.遵纪守法,作风良好。 不同地区的考试要求不同&…

【AJAX框架】AJAX入门与axios的使用

文章目录 前言一、AJAX是干什么的?二、AJAX的安装2.1 CDN引入2.2 npm安装 三、基础使用3.1 CDN方式3.2 node方式 总结 前言 在现代Web开发中,异步JavaScript和XML(AJAX)已经成为不可或缺的技术之一。AJAX使得网页能够在不刷新整个…

【C++】std::string 转换成非const类型 char* 的三种方法记录

std::string 有两个方法:data() 和 c_str(),都是返回该字符串的const char类型,那如何转换成非const的char呢? 下面展示三种方法: 强转:char* char_test (char*)test.c_str();使用string的地址&#xff…

LeetCode 热题 100 | 双指针(下)

目录 42. 接雨水 1 方法一:我的方法 2 方法二:动态规划 3 方法三:双指针 菜鸟做题第一周,语言是 C 42. 接雨水 1 方法一:我的方法 Warning:这是我的智障做法,请勿模仿 我只能说它教会…

用Go plan9汇编实现斐波那契数列计算

斐波那契数列是一个满足递推关系的数列,如:1 1 2 3 5 8 ... 其前两项为1,第3项开始,每一项都是其前两项之和。 用Go实现一个简单的斐波那契计算逻辑 func fib(n int) int {if n 1 || n 2 {return 1}return fib(n-1) fib(n-2) …

MySQL---视图索引

表定义: 学生表:Student (Sno, Sname, Ssex , Sage, Sdept) 学号,姓名,性别,年龄,所在系 Sno为主键 课程表:Course (Cno, Cname,) 课程号,课程名 Cno为主键 学生选课表:S…

Redis设置开机自启动

1.新建一个系统服务文件 首先输入命令:vi /etc/systemd/system/redis.service 进入vim后粘贴下方代码,注意查看地址是否一致。 ExecStart后面接的是你的redis-server的安装位置和redis配置文件的目录 [Unit] Descriptionredis-server Afternetwork.ta…

Pycharm无法刷新远程解释器的框架: Can‘t get remote credentials for deployment server

在Pycharm上部署项目到远程服务器,有时候需要启动SSH会话,启动的时候发现没反应,且事件日志显示:无法刷新远程解释器的框架: Can’t get remote credentials for deployment server 观察pycharm界面最下边,发现“无默…

2024最新最全:【CISP系列考试大纲】零基础入门到精通

CISP(Certified Information Security Professional)中文全称注册信息安全专业人员认证,是经中国信息安全测评中心依据中编办批准开展“信息安全人员培训与资质认证”的职能,推出的代表国家对信息安全专业人员能力认可的证书。 C…

数据结构——排序

前言:哈喽小伙伴们好久不见,也是顺利的考完试迎来了寒假。众所周知,不怕同学是学霸,就怕学霸放寒假,假期身为弯道超车的最佳时间,我们定然是不能懒散的度过。 今天我们就一起来学习数据结构初阶的终章——…

仰暮计划|“学校四周无围墙,教室通风望天窗”

一九七二年高中毕业,我成了回乡青年。玉米地里抡过锄,当阳峪村烧白干,化肥厂内装卸车,深山修渠扛石块。一九七四年十月,村革委会主任找我谈话,“回乡二年来,你无论是政治思想改造,还…

Python爬虫从入门到入狱系列合集

我 的 个 人 主 页:👉👉 失心疯的个人主页 👈👈 入 门 教 程 推 荐 :👉👉 Python零基础入门教程合集 👈👈 虚 拟 环 境 搭 建 :👉&…

ES框架详解

ES框架详解 1、全文检索的介绍 ​ 那么对于一般的公司,初期是没有那么多数据的,所以很多公司更倾向于使用传统的数据库:mysql;比如我们要查找关键字”传智播客“,那么查询的方式大概就是:select * from table where …

公平与公正对团队的好处

公平与公正对团队的好处 如何联系我 作者:鲁伟林 邮箱:thinking_fioa163.com或vlinyes163.com 版权声明:文章和记录为个人所有,如果转载或个人学习,需注明出处,不得用于商业盈利行为。 一、什么是公平…

网络文件共享ftp

一,存储类型 (一)三种存储类型介绍 直连式存储:Direct-Attached Storage,简称DAS 直连:硬盘加服务器 存储区域网络:Storage Area Network,简称SAN(可以使用空间&#…

Android-三方框架的源码

ARouter Arouter的整体思路是moduelA通过中间人ARouter把路由信息的存到仓库WareHouse;moduleB发起路由时,再通过中间人ARouter从仓库WareHouse取出路由信息,这要就实现了没有依赖的两者之间的跳转与通信。其中涉及Activity的跳转、服务prov…

tomcat与servlet

目录 一、Http服务器 二、tomcat 1、概念 2、tomcat解压缩文件 (1)bin文件夹 (2)conf文件夹 (3)logs (4)webapps 3、借助tomcat服务器访问网页 三、servlet 1、概念 2、s…

在微信公众号上怎么做报名链接_让你的活动报名与众不同

微信公众号报名链接:引领潮流,让你的活动报名与众不同 在这个信息爆炸的时代,微信早已成为我们生活中不可或缺的一部分。而微信公众号,更是成为了企业和个人传递信息、推广品牌的重要平台。如何在众多的微信公众号中脱颖而出&…

流量控制与熔断利器:Sentinel介绍

这是《百图解码支付系统设计与实现》专栏系列文章中的第(19)篇,也是流量控制系列的第(6)篇。点击上方关注,深入了解支付系统的方方面面。 本篇聊聊流量控制与熔断利器Sentinel,背后的原理&…