[数据概念]一分钟弄懂数据治理

 数据治理是数据资产化的起点。

数据资产化的趋势正愈演愈烈。然而,我们必须清醒地认识到,资产化的前提条件是拥有实际的数据资产。那么,这些宝贵的数据资产究竟源自何处呢?答案显而易见,它们源自企业日常运营中积累的丰富数据。

但是,如何将这些海量的数据转化为真正的数据资产呢?这并非一蹴而就的过程。首先,我们需要迈出关键的第一步——数据治理。数据治理是对数据进行有效管理、保护和利用的基础,它涵盖了数据的收集、清洗、整合、存储、分析和应用等各个环节。

通过严谨的数据治理,我们可以确保数据的准确性、一致性和完整性,提高数据的质量和可靠性。同时,数据治理还能够帮助我们发现数据中的潜在价值,为企业的决策提供有力支持。

数据治理是数据资产化的重要基石。只有在数据治理的基础上,我们才能将数据转化为真正有价值的数据资产,为企业的长远发展提供源源不断的动力。

今天我们就带大家快速理解何为数据治理,如何开展数据治理,对数据治理形成初步的概念,以便于理解其在数据资产化全流程中如何发挥作用。

01   何为数据治理

——————————————————

在日常与同行交流的过程中,时常会感觉到数据治理这一概念往往难以被准确而清晰地传达。

一方面,对于传统行业的客户而言,“数据治理”似乎是一个遥不可及且抽象的词汇,即便我们尝试用各种方式解释,也常常难以触及他们真正的理解点,仿佛隔着一层难以逾越的屏障。

另一方面,数据治理本身确实是一个涉及多个复杂数据能力领域的综合性概念,它不仅包括了源数据的管理、数据质量的控制,还涉及数据编目、数据隐私保护、数据科学的应用以及数据的整合等多个方面。这些领域的复杂性和多样性使得数据治理的阐述变得更为困难。

那么,我们首先明确一下概念。

数据治理的目的:将数据视为组织的宝贵资产,通过系统性的管理和控制,确保数据的质量上乘、安全可靠,并随时可供使用,以支持业务决策和战略发展。

数据治理的本质:数据治理是一种综合性的管理体系,它涵盖了流程、角色分配、政策制定、标准设定以及关键绩效指标等多个方面。这些要素共同协作,确保组织内部信息的准确性、一致性、及时性和安全性,从而优化数据的使用效率,助力组织高效达成其业务目标和战略愿景。

02   概念详解

——————————————————

单单前边两个定义还显得太单薄了一些。大家都知道,我们在IT领域的架构Architecture一词,其实是来自于古老的建筑行业的。下边我们就以建筑行业中的一些概念为例,解释数据治理的概念。

数据资产(Data Asset):数据资产,就像房产管理中的建筑物或财产,是数据治理的核心。数据资产,包括数据产品或数据集,在妥善的治理和培育下能产生巨大价值,而管理不当则可能导致风险和损失。

数据(产品)所有权(Data (Product) Ownership):在数据管理中,所有权是关键。尽管责任可能分散,但数据的最终所有者应是明确的,类似于房产中的所有者或房东。

数据管理员(Data Steward):数据管理员类似于物业管理员,负责将数据资产的管理责任分配给特定个体或团队,确保数据的质量、完整性和安全性。

数据消费者/用户(Data Consumers / Users):数据的使用者,无论是组织内部还是外部,都可以类比为房产的租户,他们为各种目的使用数据。

数据货币化(Data Monetization):数据货币化,即将数据资产转化为收入,如数据销售,与房产管理中的租赁收入、广告位销售等类似,都是资产价值化的体现。

数据合同(Data Contract):数据合同是数据提供方与使用方之间的正式协议,明确数据内容、格式和质量要求,类似于房产租赁协议,确保双方权益。

价值量化(Value Quantification):在数据治理和房产管理中,评估资产价值都至关重要。数据价值取决于其准确性、相关性和可获取性,而房产价值则受位置、面积和状况等因素影响。

数据安全和访问控制(Data Security and Access Controls):数据安全是保护数据资产不受未授权访问、使用和泄露的关键。这与房产管理中的安全设施、报警系统和门锁等安全措施相似。

数据架构(Data Architecture):数据架构定义了数据存储和检索系统的设计和结构,类似于建筑设计蓝图。它为数据资产提供了结构化和标准化的管理。

数据领域(Data Domains):数据领域类似于城市的不同街区,每个领域都有其特定的主题和要求。数据管理员需要确保每个领域的数据都得到妥善管理。

数据政策、标准和监管合规(Data Policies & Standards and Regulatory Compliance):这与房产管理中的法规、分区规定和建筑标准相似,数据政策和标准定义了组织内数据管理的规则,确保合规性。

 元数据管理(Metadata Management):元数据描述了数据资产的各种属性,如所有者、访问权限、时间戳等。这与房产的详细信息(如面积、位置、所有者等)类似,为数据提供了全面的描述。

数据质量(Data Quality):数据质量是评估数据适用性的关键指标,包括准确性、完整性和一致性。这与房产的状况和维护情况类似,都是确保资产价值的基础。

数据使用(Data Usage):跟踪和量化数据的使用情况有助于评估其潜在价值。这与房产的占用率和使用记录类似,都是评估资产价值的重要指标。

03   数据治理要解决什么问题

——————————————————

随着组织不断推进数字化进程和数据资源的不断累积,数据领域内的挑战也日益凸显,主要集中在以下几个方面:

1.在数据质量层面,缺乏准确性、完整性和一致性的数据往往成为分析和决策失误的根源,进而对业务成果产生负面影响。

2.谈及数据安全,未经妥善管理的数据极易成为安全漏洞和数据泄露的隐患,给组织带来严重的安全风险。

3.在数据合规性上,若缺乏有效的数据治理机制,组织可能会面临日益严格的数据保护法规的挑战,进而产生合规风险,甚至可能面临法律制裁。

4.数据使用方面,若缺乏明确的数据所有权和访问控制机制,数据滥用和未经授权的访问问题便难以避免。

5.数据存储方面,冗余数据和无效的存储管理会显著增加存储成本,同时降低数据管理的效率。

6.从数据利用的角度来看,缺乏有效数据治理的组织可能无法充分利用其数据资产,错失重要的业务洞察和价值。此外,可靠数据的缺乏也可能导致决策过程变得缓慢和低效,从而错失宝贵的业务机会。

7.最后,技术更新方面,缺乏统一的数据治理框架可能会阻碍组织采用新技术和工具,如大数据分析和人工智能,来最大化数据的价值。

因此,数据治理成为解决上述问题的关键,旨在确保数据的质量、安全、合规、有效利用以及技术更新的顺畅进行。

04   数据治理的步骤

——————————————————

对组织进行数据治理通常遵循一些基本流程。为了更清晰地理解,我们可以将数据治理的流程与图书馆管理流程进行类比,具体步骤如下:

  1. 明确数据治理目标与范围 - 确定图书馆的使命和服务范围:

    • 图书馆需要明确其服务目标(如教育、娱乐、研究)和服务对象(如学生、研究人员、公众)。

    • 数据治理也需要明确其目标(如提高数据质量、保证数据安全)和涉及的数据类型与业务领域。

  2. 组建数据治理团队 - 成立图书馆管理团队:

    • 图书馆需要一个由不同专业背景(如馆藏管理、信息科技、行政管理)的团队来运营。

    • 数据治理也需要跨部门的专业团队共同参与,以确保数据治理的顺利进行。

  3. 制定数据治理政策与标准 - 制定图书馆规则和服务标准:

    • 图书馆会制定借阅规则、分类标准、开放时间等。

    • 数据治理同样需要制定关于数据质量、安全、隐私和共享的政策和标准,以确保数据的合规使用。

  4. 确定数据治理架构与工具 - 选择合适的图书馆布局和管理系统:

    • 图书馆会选择合适的图书分类系统和管理软件。

    • 数据治理需要选择合适的数据治理架构(如数据仓库、数据湖)和工具,以支持数据治理的实施。

  5. 执行数据清理和整合 - 图书整理和编目:

    • 图书馆会对书籍进行整理、分类和编目,以便读者查找和使用。

    • 数据治理中也需要进行数据的清理和整合,以消除重复、错误和不一致的数据,提高数据的一致性和质量。

  6. 监测和改进数据质量 - 定期检查图书馆藏书:

    • 图书馆会定期检查图书的完整性和条件,对损坏的书籍进行维修或更换。

    • 数据治理需要定期监测数据质量,并采取措施进行改进,以确保数据的准确性和可靠性。

  7. 员工培训和文化建设 - 图书馆员工培训和文化建设:

    • 图书馆会培训员工遵守规则和提高服务质量。

    • 数据治理也需要培训员工理解和遵守数据治理政策,形成积极的数据治理文化。

  8. 确保合规性和应对法规变化 - 遵守版权法和其他法规:

    • 图书馆需要遵守版权法和其他相关法规,以确保其运营的合法性。

    • 数据治理也需要确保数据的使用和存储符合法律法规要求,并及时应对法规变化。

  9. 持续监控和评估 - 定期评估图书馆服务:

    • 图书馆会定期评估其服务效果,如读者满意度和服务使用情况。

    • 数据治理也需要进行持续监控和评估,以评估数据治理的效果,并根据评估结果进行调整和优化。

05   小结

——————————————————

数据治理是一项复杂而重要的任务,它涉及到组织内部数据的全生命周期管理,从数据的收集、存储、处理、分析到利用,都需要有严谨的数据治理体系来确保数据的质量、安全、合规和有效利用。虽然前文对数据治理的基本流程进行了简要的介绍,但实际上,数据治理的内容远比这更为丰富和复杂。

为了深入理解和掌握数据治理的知识和技能,国际组织DAMA(Data Management Association)提供了完整的知识体系。DAMA作为全球领先的数据管理组织,一直致力于推动数据治理和数据管理领域的最佳实践和标准制定。DAMA的数据治理知识体系包括了数据治理的定义、目标、原则、流程、技术、工具以及实践案例等多个方面,为数据治理的学习和实践提供了全面的指导和支持。

对于对数据治理感兴趣的读者来说,了解DAMA的知识体系将是一个很好的起点。DAMA中国作为DAMA在中国的分支机构,也提供了相应的培训内容和资源。通过参加DAMA中国的培训课程,读者可以系统地学习数据治理的理论和实践知识,了解最新的数据治理技术和工具,并与其他数据治理领域的专业人士进行交流和分享。

如果您对数据治理感兴趣,想要深入了解DAMA的知识体系,或者想要参加DAMA中国的培训课程,可以联系鼹鼠哥(或其他相关机构)了解更多的信息和资源。鼹鼠哥作为数据治理领域的专家,将为您提供专业的指导和帮助,让您在数据治理的道路上更加从容和自信。

数据资产化,鼹鼠哥与你一起。

图片

任何问题,欢迎大家公众号后台留言沟通。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/32674.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

任务5.2 掌握DStream基础操作

实战:DStream基础操作 了解DStream编程模型:DStream是Spark Streaming中对实时数据流的抽象,可以看作一系列持续的RDD。DStream可以通过外部数据源获取或通过现有DStream的高级操作获得。 操作本质:DStream上的操作最终会转化为对…

kettle从入门到精通 第七十三课 ETL之kettle kettle调用http分页接口教程

场景:kettle调用http接口获取数据(由于数据量比较大,鉴于网络和性能考虑,所以接口是个分页接口)。 方案:构造页码list,然后循环调用接口。 1、总体设计 1)、初始化分页参数pageNum1…

[MYSQL] 数据库基础

1.什么是数据库 从数据库的名字可以看出,它是用来操作(增删查改....)数据的,事实上也的确如此,通过数据库,我们可以更方便.更高效的来操作.管理数据 以文件形式存储数据的缺点 文件的安全问题文件不利于数据的查询和删除文件不利于存储海量数据操作文件并不方便 为了解决上述问…

深度神经网络DNN概念科普

深度神经网络DNN概念科普 深度神经网络(Deep Neural Network, DNN)是机器学习领域中一类具有多层结构的神经网络模型,它能够通过学习数据中的复杂模式来解决非线性问题。下面是对深度神经网络的详细解析: 基本组成部分 输入层&…

Day 31:100334. 包含所有1的最小矩形面积Ⅰ

Leetcode 100334. 包含所有1的最小矩形面积Ⅰ 给你一个二维 **二进制 **数组 grid。请你找出一个边在水平方向和竖直方向上、面积 最小 的矩形,并且满足 grid 中所有的 1 都在矩形的内部。 返回这个矩形可能的 **最小 **面积。 确定首次出现 1 的第一行 top&#xf…

VB6.0中的ADO

在VB6.0中,使用ADO(ActiveX Data Objects)可以进行各种数据库操作,包括连接数据库、执行查询、更新数据等。以下是一些常见的ADO操作应用: 1、连接数据库: Dim conn As ADODB.Connection Set conn New A…

Pip换源秘籍:让你的Python包飞行起来!

在Python的包管理中,Pip是最重要的工具之一。它允许开发者从Python Package Index (PyPI)安装包,但有时由于网络问题或服务器负载过高,直接从PyPI安装包可能会非常慢。这时,更换Pip源到一个更快的镜像站点是一个常见的解决方案。本…

Docker Compose是什么?

Docker Compose 是一个用于定义和运行多容器 Docker 应用的工具。它通过一个 YAML 文件来配置应用所需的所有服务,然后通过一条命令来启动和运行这些服务。Docker Compose 使得管理复杂的多容器应用变得更加简单和高效。 Docker Compose 的主要功能 1. 定义多容器应…

基于SSM的校园闲置物品交易系统【附源码】

题目: 基于SSM的校园闲置物品交易系统 摘 要 伴随着电子商务的飞速发展,网上交易日益发挥出其不可替代的优越性。但由于电子商务在校园的应用起步较晚,以及校园电子商务模式应用的不成熟,使高校校园电子商务的发展缓慢。 二手商品…

python中的*运算符

问题: self.resblocks nn.Sequential(*[ResidualAttentionBlock(width, heads, attn_mask) for _ in range(layers)])这个里面的*是什么意思? 在 Python 中,* 运算符可以用于在函数调用时解包(unpack)列表或元组。这…

基于S7-200PLC的全自动洗衣机控制系统设计

wx供重浩:创享日记 那边对话框发送:plc洗衣 获取完整无水印设计说明报告(含程序梯形图) 1.自动洗衣机PLC控制的控制要求 1.1全自动洗衣机的基本结构、工作流程和工作原理 1.自动洗衣机的基本结构 2.自动洗衣机的工作流程 自动洗…

MySQL锁详解

目录 前言 MySQL锁 共享锁和排他锁 - Shared and Exclusive Locks 意向锁 - Intention Locks 索引记录锁 - Record Locks 间隙锁 - Gap Locks 临键锁 - Next-Key Locks 插入意向锁 - Insert Intention Locks AUTO-INC Locks 死锁 死锁产生条件 InnoDB对死锁的检测…

海康威视-下载的录像视频浏览器播放问题

目录 1、播放异常比对 2、视频编码检查 2.1、正常视频解析 2.2、海康视频解析 2.3、比对工具 3、转码 3.1、maven依赖 3.2、实现代码 4、验证 在前面的文章(海康威视-按时间下载录像文件_海康威视 sdk 下载录像 大小0-CSDN博客)中,通…

计算机网络之奇偶校验码和CRC冗余校验码

今天我们来看看有关于计算机网络的知识——奇偶校验码和CRC冗余校验码,这两种检测编码的方式相信大家在计算机组成原理当中也有所耳闻,所以今天我就来跟大家分享有关他们的知识。 奇偶校验码 奇偶校验码是通过增加冗余位使得码字中1的个数恒为奇数或偶数…

Scikit-learn基础教程:揭开机器学习的神秘面纱

Scikit-learn基础教程:揭开机器学习的神秘面纱 摘要: Scikit-learn是一个开源的Python机器学习库,它提供了一系列易于使用的工具,用于数据挖掘和数据分析。本文将作为一个Scikit-learn基础教程,介绍Scikit-learn的安装…

汽车网络安全 -- 漏洞该如何管理

目录 1.漏洞获取途径汇总 2.CAVD的漏洞管理规则简析 2.1 通用术语简介 2.2 漏洞评分指标 2.3.1 场景参数 2.3.2 威胁参数 2.3.3 影响参数 2.3 漏洞等级判定 ​3.小结 在汽车网络安全的时代背景下,作为一直从事车控类ECU基础软件开发的软件dog,…

MapReduce 实践题:Web 访问日志分析与异常检测

文章目录 作业描述MapReduce 实践题:Web 访问日志分析与异常检测题目背景数据集说明任务要求输入数据示例输出数据示例实现步骤 解题思路1. 数据预处理2. 访问统计3. 异常检测4. 主方法5. 结果输出 作业描述 MapReduce 实践题:Web 访问日志分析与异常检…

mysql启动时遇到:本地计算机上的MySQL服务启动后停止

1.问题重述: 今早启动数据库时发现无法启动,报错:本地计算机 上的 MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动停止。 2.解决方案: 1.数据备份: 2.在bin目录下,命令行中输入 mysqld …

【IPython 使用技巧整理】

IPython 使用技巧整理 IPython 是一个交互式 Python 解释器,比标准 Python 解释器提供了更加强大的功能和更友好的使用体验。它为数据科学、机器学习和科学计算提供了强大的工具,是 Python 开发人员不可或缺的工具之一。本文将深入探讨 IPython 的各种使…

Java中的多线程编程实用指南

Java中的多线程编程实用指南 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们来探讨一下Java中多线程编程的实用指南。 在当今软件开发的世界中&#x…