DAMA学习笔记(二)-数据治理

1.引言

  数据治理(Data Governance,DG)的定义是在管理数据资产过程中行使权力和管控,包括计划、监控和实施。在所有组织中,无论是否有正式的数据治理职能,都需要对数据进行决策。建立了正式的数据治理规程及有意向性地行使权力和管控的组织,能够更好地增加从数据资 产中获得的收益。

  数据治理职能是指导所有其他数据管理领域的活动数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。而数据管理的整体驱动力是确保组织可以从其数据中获得价值,数据治理聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式。数据治理项目的范围和焦点依赖于组织需求,但多数项目都包含如下内容:

  • 1)战略(Strategy)。定义、交流和驱动数据战略和数据治理战略的执行。
  • 2)制度(Policy)。设置与数据、元数据管理、访问、使用、安全和质量有关的制度。
  • 3)标准和质量(Standards and Quality)。设置和强化数据质量、数据架构标准。
  • 4)监督(Oversight)。在质量、制度和数据管理的关键领域提供 观察、审计和纠正等措施(通常称为管理职责Stewardship)。
  • 5)合规(Compliance)。确保组织可以达到数据相关的监管合规 性要求。
  • 6)问题管理(Issue Management)。识别、定义、升级和处理问题,针对如下领域:数据安全、数据访问、数据质量、合规、数据所有权、制度、标准、术语或者数据治理程序等。

数据治理和管理职责语境关系图如图3-1所示。
在这里插入图片描述

图3-1 语境关系图:数据治理和管理职责

1.1 业务驱动因素

  数据治理最常见的驱动因素是法规遵从性,特别是重点监控行业。例如,金融服务和医疗健康,需要引入法律所要求的治理程序。高级分析师、数据科学家的迅猛发展也成为新增的驱动力。尽管监管或者分析师可以驱动数据治理,但很多组织的数据治理是通过其他业务信息化管理需求所驱动的,如主数据(MDM)管理等。 一个典型场景:一家公司需要更优质的客户数据,它选择开发客户主数据平台,然后接下来意识到成功的主数据管理是需要数据治理的。

  数据治理并不是到此为止,而是需要直接与企业战略保持一致。数据治理越显著地帮助解决组织问题,人们越有可能改变行为、接受数据治理实践。数据治理的驱动因素大多聚焦于减少风险或者改进流程。

    1. 减少风险
    • (1) 一般性风险管理。洞察风险数据对财务或商誉造成的影响,包括对法律(电子举证E-Discovery)和监管问题的响应。
    • (2) 数据安全。通过控制活动保护数据资产,包括可获得性、可用性、完整性、连续性、可审计和数据安全。
    • (3) 隐私。通过制度和合规性监控,控制私人信息、机密信息、个人身份信息(PII)等。
    1. 改进流程
    • (1) 法规遵从性。有效和持续地响应监管要求的能力。
    • (2) 数据质量提升。通过真实可信的数据提升业务绩效的能力。
    • (3) 元数据管理。建立业务术语表,用于定义和定位组织中的数据;确保组织中数量繁多的元数据被管理和应用。
    • (4) 项目开发效率。在系统生命周期(SDLC)中改进,以解决整个组织的数据管理问题,包括利用数据全周期治理来管理特定数据的技术债。
    • (5) 供应商管理。控制数据处理的合同,包括云存储、外部数据采购、数据产品销售和外包数据运维。

  数据管理专家可以将其他治理的概念和原则应用于数据治理。通常将审计、会计与数据治理放在一起比较,审计员和财务主管设置管理财务资产的规则,数据治理专家制定管理数据资产的规则,然后其他领域执行这些规则。

  数据治理不是一次性的行为。治理数据是一个持续性的项目集,以保证组织一直聚焦于能够从数据获得价值和降低有关数据的风险。 可以由一个虚拟组织或者有特定职责的实体组织承担数据治理的责任。只有理解了数据治理的规则和活动才能达到高效执行,为此需要建立可运转良好的运营框架。

  数据治理要与IT治理区分开。IT治理制定关于IT投资、IT应用组合和IT项目组合的决策,从另一个角度还包括硬件、软件和总体技术架构。IT治理的作用是确保IT战略、投资与企业目标、战略的一致性。数据治理仅聚焦于管理数据资产和作为资产的数据。

1.2 目标和原则

  数据治理的目标是使组织能够将数据作为资产进行管理数据治理提供治理原则、制度、流程、整体框架、管理指标,监督数据资产管理,并指导数据管理过程中各层级的活动

1.2.1 数据治理的目标
  • (1) 可持续发展(Sustainable)
    • 数据治理不是以一个项目作为终点, 而是一个持续的过程。
    • 数据治理必须改变数据的应用和管理方式。
    • 数据治理是超越一次性数据治理组件实施可持续发展路径的管理变革。
    • 可持续的数据治理依靠于业务领导、发起者和所有者的支持。
  • (2) 嵌入式(Embedded)
    • 数据治理活动需要融合软件开发、数据分析应用、主数据管理和风险管理。
  • (3) 可度量(Measured)
    • 数据治理需要计划可度量的改进方案取验证对财务有积极影响。
1.2.2 数据治理的原则
  • (1) 领导力和战略(Leadership and Strategy)
    • 成功的数据治理始于远见卓识和坚定的领导。
    • 数据战略指导数据管理活动,同时由企业业务战略所驱动。
  • (2) 业务驱动(Business-driven)
    • 数据治理是一项业务管理计划,因此必须管理与数据相关的IT决策。
  • (3) 共担责任(Shared Responsibility)
    • 业务数据管理专员和数据管理专业人员共担责任。
  • (4) 多层面(Multi-layered)
    • 数据治理活动发生在企业层面和各地基层,但通常发生在中间各层面。
  • (5) 基于框架(Framework-based)
    • 数据治理项目必须建立一个运营框架来定义各自职责和工作内容【数据治理的跨职能性】。
  • (6) 原则导向(Principle-based)
    • 指导原则是数据治理活动、特别是数据治理策略的基础。

1.3 基本概念

  正如财务审计人员实际上并不执行财务管理一样,数据治理确保数据被恰当地管理而不是直接管理数据(参见第15章)。数据治理相当于将监督和执行的职责分离。数据治理和数据管理的关系如图3-2所示。
在这里插入图片描述

1.3.1 以数据为中心的组织
  • 以数据为中心的组织将数据作为资产估值,在生命周期所有阶段进行管理,包括项目开发和持续运营阶段。
  • 组织必须改变将战略转化为行动的方式实在以数据为中心的目标。
  • 数据不再被作为是流程和业务产品的附属。业务处理的目标就是为了得到高质量的数据。
  • 有效数据管理成为企业致力于通过分析获得洞察、制定决策时的高优先级事项。
1.3.2 数据治理组织
  • 数据治理可以从政治治理的角度来理解。它包括立法职能(定义策略、标准和企业架构)、司法职能(问题管理和升级)和执行职能(保护和服务、管理责任)。

  • 图3-3展示了一个通用的数据治理组织模型。在组织内部(垂直轴)的不同级别上进行活动,并在组织功能内以及技术(IT)和业务领域之间分离治理职责。
    在这里插入图片描述

    • 数据治理指导委员会: 组织中数据治理的主要和最高权威组织, 负责监督、支持和资助数据治理活动。
    • 数据治理委员会(DGC): 管理数据治理规划(如制度或指标的制定)、问题和升级处理。
    • 数据治理办公室(DGO): 持续关注所有DAMA知识领域的企业级数据定义和数据管理标准。
    • 数据管理团队: 与项目管理团队和数据管理标准方面进行协作、咨询, 由聚焦于一个或者更多领域或项目的成员组成
    • 本地数据治理委员会: 大型组织可能有部门级或者数据治理指导委员会分部, 在企业级数据治理委员会的指导下主持工作。
1.3.3 数据治理运营模型类型
  • 在集中式管理模式中,数据治理组织监督所有业务领域中的活动。

在这里插入图片描述

  • 在分布式管理模式中,每个业务单元中采用相同的数据治理运营模型和标准。
    在这里插入图片描述
  • 在联邦式管理模式中,数据治理组织与多个业务单元协同,以维护一致的定义和标准。
    在这里插入图片描述
1.3.4 数据管理职责
  • 数据管理职责(Data Stewardship)描述了数据管理岗位的责任,以确保数据资产得到有效控制和使用。
  • 管理职责的焦点因组织不同而不同,取决于组织战略、文化、试图解决的问题、数据管理成熟度水平以及管理项目的形式等因素。
1.3.5 数据管理岗位的类型
  • 管理专员(Steward,直译为管家,本书译为管理专员)指其职责是为别人管理财产的人。
  • 数据管理专员代表所有相关方的利益,必须从企业的角度来确保企业数据的高质量和有效使用。
    • (1) 首席数据管理专员(Chief Data Stewards)。CDO的替代角色,担任数据治理机构的主席,也可以是虚拟的(基于委员会)或者在分布式数据治理组织中担任CDO。
    • (2) 高级数据管理专员(Executive Data Stewards)。他们是数据治理委员会(DGC)的资深管理者。
    • (3) 企业数据管理专员(Enterprise Data Stewards)。他们负责监督跨越业务领域的数据职能。
    • (4) 业务数据管理专员(Business Data Stewards)。他们是业务领域专业人士,通常是公认的领域专家,对一个数据域负责。
    • (5) 数据所有者(Data Owner)。他们是某个业务数据管理专员,对其领域内的数据有决策权。
    • (6) 技术数据管理专员(Technical Data Stewards)。他们是某个知识领域内工作的IT专业人员,如数据集成专家、数据库管理员、商务智能专家、数据质量分析师或元数据管理员。
    • (7) 协调数据管理专员(Coordinating Data Stewards)。这在大型组织中尤为重要,其领导并代表业务数据管理专员和技术数据管理专员进 行跨团队或者数据专员之间的讨论
1.3.6 数据制度
  • 数据制度包括对数据治理管理初衷的简要说明和相关基本规则,这些规则贯穿数据和信息的创造、获取、集成、安全、质量和使用的全过程。
1.3.7 数据资产估值
  • 数据资产估值(Data Asset Valuation)是一个理解和计算数据对组织的经济价值的过程。
  • 数据生命周期的大多数阶段涉及成本(包括获取数据、存储、管理和处置)。
  • 数据只有在使用时才有价值,使用时数据还产生了与风险管理相关的成本。
  • 度量价值的方式: 替换成本(Replacement Cost)、市场价值(Market Value)、发现商机(Identified Opportunities)、售卖数据(Selling Data)、风险成本(Risk Cost)

2.活动

2.1 规划组织的数据治理

  数据治理工作必须支持业务战略和目标。数据治理活动跨越了组织和系统的边界,以支持整体的数据视图。成功的数据治理应当是清楚地了解需要治理什么、怎么治理以及谁来执行治理。 相对于孤立、特定的功能领域,当数据治理是一项企业层面工作时,效果最为显著。

2.1.1 执行就绪评估

评估当前组织的信息管理能力、成熟度和有效性,对于制订数据治理的计划至关重要。

典型的评估: 数据管理成熟度、变革能力、协作准备、与业务保持一致

2.1.2 探索与业务保持一致

数据治理项目必须能够被找到并提供特定的价值来为组织作出贡献。

通过评估活动将识别和评价现有制度、指导方针的有效性,如它们处理了哪些风险、鼓励了哪些行为以及 实施的情况,同时还能够识别数据治理的机会,以此提高数据及内容的实用性,并把业务调整的商业利益附加在数据治理要素中。

通过数据质量评估可以洞察现有问题和障碍以及低质量数据的影响,还可以识别使用低质量数据执行业务流程存在的风险,以及作为数据治理工作组成部分的数据质量项目带来的财务和其他收益。

数据管理实践评估的过程中可能找到一些有能力的用户,为正在进行中的数据治理活动创建一个潜在代理的初始列表。

2.1.3 制定组织触点

协调工作的一部分包括为数据治理工作制定组织接触点。

在这里插入图片描述

1)采购和合同(Procurement and Contracts)

  首席数据官与供应商/合作伙伴的管理部门或者采购部门合作,制定和执行关于数据管理合同的标准文本。

2)预算和资金(Budget and Funding)

  如果首席数据官没有直接控制所有与数据采购相关的预算,那么数据管理办公室将成为防止重复工作及保证优化获得数据资产的焦点。

3)法规遵从性(Regulatory Compliance)

  首席数据官在不同地区、国家和国际监管环境中工作,要理解这些环境如何影响组织及其数据管理活动。

4)SDLC/开发框架(SDLC/Development Framework)

  数据治理规划中确定了在系统或应用程序开发生命周期中制定组织策略、流程和标准的控制点。

2.2 制定数据治理战略

  数据治理战略定义了治理工作的范围和方法。应根据总体业务战略以及数据管理、IT战略全面定义和明确表达数据治理战略。应根据每个组织制定具体内容,交付物包括:

  • 1)章程。确定数据管理的业务驱动愿景、使命和原则,包括成熟度评估、内部流程分析及当前问题和成功标准。
  • 2)运营框架和职责。定义数据治理活动的结构和责任。
  • 3)实施路线图。制定时间计划,其涉及最终发布的制度、指令、业务术语、架构、资产价值评估、标准和程序以及所期望业务和技术流 程发生的改变、支持审计活动和法规遵从的交付成果。
  • 4)为成功运营制订计划。为数据治理活动描述一个可持续发展的目标状态。
2.2.1 定义数据治理运营框架

  在构建组织的运营框架时需要考虑以下几个方面:

    1. 数据对组织的价值。如果一个组织出售数据,显然数据治理具有巨大的业务影响力。
    1. 业务模式。分散式与集中式、本地化与国际化等是影响业务发生方式以及如何定义数据治理运营模式的因素。
    1. 文化因素。开展治理战略需要提倡一种与组织文化相适应的运营模式,同时持续地进行变革。
    1. 监管影响。与受监管程度较低的组织相比,受监管程度较高的组织具有不同的数据治理心态和运营模式

  数据治理层通常作为整体解决方案的一部分。这意味着确定管理活动职责范围、谁拥有数据等。运营模型中还定义了治理组织与负责数据管理项目人员间的协作、参与变革管理活动以引入新的规程以及通过治理实现问题管理的解决方案。
在这里插入图片描述

2.2.2 制定目标、原则和制度

  通常由数据管理专业人员、业务策略人员,在数据治理组织的支持下共同起草数据治理的目标、原则和制度,然后由数据管理专员和管理人员审查并完善,最终由数据管理委员会(或类似组织)进行终审、修订和发布采用。

管理制度可能包含多个不同方面内容,如:

  • 1)由数据治理办公室(DGO)认证确认组织用到的数据。
  • 2)由数据治理办公室(DGO)批准成为业务拥有者。
  • 3)业务拥有者将在其业务领域委派数据管理专员,数据管理专员 的日常职责是协调数据治理活动。
  • 4)尽可能地提供标准化报告、仪表盘或计分卡,以满足大部分业 务需求。
  • 5)认证用户将被授予访问相关数据的权限,以便查询即席(ad hoc)报表和使用非标准报告。
  • 6)定期复评所有认证数据,以评价其准确性、完整性、一致性、可访问性、唯一性、合规性和效率等。

必须有效地沟通、监督、执行和定期复评数据管理制度。数据管理委员会可将此权力委托给数据管理指导委员会。

2.2.3 推动数据管理项目

  改进数据管理能力的举措可为整个企业带来好处。这些通常需要来自数据治理委员会的跨职能关注和支持。推动数据治理项目关键是阐明数据管理提高效率和降低风险的方法。组织如果想从数据中获得更多价值,则需要有效优先发展或提升数据管理能力。 数据治理委员会负责定义数据管理项目的商业案例,监督项目状态和进度。

2.2.4 参与变革管理

  组织变革管理(Organizational Change Management,OCM)是进行组织管理体系和流程变革的管理工具。组织需要组建一个团队来负责以下事项:

  • 1)规划。规划变革管理,包括进行利益相关方分析、获得支持以及建立能够克服阻力的沟通方法。
  • 2)培训。建立和执行数据治理项目培训。
  • 3)影响系统开发。与项目管理办公室(PMO)合作,在软件开发生命周期(SDLC)中增加数据治理步骤。
  • 4)制度实施。宣传数据制度和组织对数据管理活动的承诺。
  • 5)沟通。提高数据管理专员和其他数据治理专业人员对自身角色和职责以及数据管理项目目标和预期的认知。为了正式的数据治理变更管理方案获得支持,应将沟通重点放在:
    • 1)提升数据资产价值。
    • 2)监控数据治理活动的反馈并采取行动。
    • 3)实施数据管理培训。
      1. 领域衡量变革管理的程度: ①意识到需要改变。②希望参与并支持变革。③知道如何改变。④具备实施新技能和行为的能力。⑤保持持续变革。
      1. 实施新的指标和关键绩效(KPI)。
2.2.5 参与问题管理

  问题管理是识别、量化、划分优先级和解决与数据治理相关的问题的过程,包括:

  • 1)授权。关于决策权和程序的问题。
  • 2)变更管理升级。升级变更过程中出现问题的流程。
  • 3)合规性。满足合规性要求的问题。
  • 4)冲突。包括数据和信息中冲突的策略、流程、业务规则、命名、定义、标准、架构、数据所有权以及冲突中利益相关方的关注点。
  • 5)一致性。与策略、标准、架构和流程一致性相关的问题。
  • 6)合同。协商和审查数据共享协议,购买和销售数据、云存储。
  • 7)数据安全和身份识别。有关隐私和保密的问题,包括违规调查。
  • 8)数据质量。检测和解决数据质量问题,包括灾难事件或者安全漏洞。

如图3-7所示。数据治理计分卡可用于识别与问题相关的趋势,如问题在组织内发生的位置、根本原因等。

在这里插入图片描述

开展数据治理需要在以下几个方面建立控制机制和流程:

  • 1)识别、收集、记录和更新的问题。
  • 2)各项活动的评估和跟踪。
  • 3)记录利益相关方的观点和可选解决方案。
  • 4)确定、记录和传达问题解决方案。
  • 5)促进客观、中立的讨论,听取各方观点。
  • 6)将问题升级到更高权限级别。

  通过问题管理为数据治理团队建立了信任,减轻了生产支持团队的负担,这对数据消费者有直接、积极的影响。通过解决问题也证明了数据管理和质量的提高。

2.2.6 评估法规遵从性要求

  每个组织都受到政府和行业法规的影响,其中包括规定如何管理数据和信息的法规。数据治理的部分功能是监督并确保合规。合规性通常是实施数据管理的初始原因。对管理信息资产有重大影响的部分全球性法规如下:

  • 1)会计准则。政府会计准则委员会(GASB)和财务会计准则委员会(FASB)的会计准则对(在美国)管理信息资产具有重大影响。
  • 2)BCBS 239(巴塞尔银行监管委员会)和巴塞尔II。这是指有效的风险数据汇总和风险报告原则,是一整套针对银行的法规。
  • 3)CPG 235。澳大利亚审慎监管局(APRA)负责监督银行和保险实体,公布了一些标准和指南以帮助被监管对象满足这些标准,其中包括CPG235,一个管理数据风险的标准。制定这个标准的目的是解决数据风险的来源,并在整个生命周期中管理数据。
  • 4)PCI-DSS。支付卡行业数据安全标准(PCI-DSS)。
  • 5)偿付能力标准II。欧盟法规,类似巴塞尔协议II,适用于保险行业。
  • 6)隐私法。适用于各地区、各主权实体和国际的法律。

2.3 实施数据治理

  数据治理的最佳方式是创建一个实施路线图,说明不同活动间的关系和整体时间框架。例如,如果数据治理项目的重点是提高合规性,则优先事项可能由特定的法规要求驱动。在联合数据治理组织中,根据不同业务线的 参与程度、成熟度以及资金来源,可以在不同时间表上执行不同业务线的数据治理。 高优先级的前期工作包括:

  • 1)定义可满足高优先级目标的数据治理流程。
  • 2)建立业务术语表,记录术语和标准。
  • 3)协调企业架构师和数据架构师,帮助他们更好地理解数据和系统。
  • 4)为数据资产分配财务价值,以实现更好的决策,并提高对数据 在组织成功中所起作用的理解。
2.3.1 发起数据标准和规程

  标准被定义为“用来判断其他事物质量的好东西”或“由权威建立和确定,作为衡量数量、重量、范围、价值或质量的规则”。因为标准提供了一种比较方法,所以其有助于质量的定义。数据标准可以采用不同的形式,具体取决于所描述的内容:关于如何填充字段的要求、控制字段之间关系的规则、可接受和不可接受值的详细文档、格式等。 数据标准应由数据治理办公室或授权工作组(如数据标准指导委员会)审查、批准和采用。数据标准文档中的详细程度在某种程度上取决于组织文化。

  数据标准必须得到有效沟通、监控,并被定期审查和更新。最重要的是,必须有强制手段,对数据可以根据标准进行测量。数据管理活动 可由数据治理委员会或数据标准指导委员会按照规定的时间表或作为SDLC批准流程的一部分进行审核,以确保符合标准。

数据管理知识领域内的标准化概念示例如下:

  • 1)数据架构(Data Architecture)。它包含企业级数据模型、工具标准和系统命名规范。
  • 2)数据建模和设计(Data Modeling and Design)。 它包括数据模型管理程序、数据模型的命名规范、定义标准、标准域、标准缩写等。
  • 3)数据存储和操作(Data Storage and Operations)。 它包括标准工具、数据库恢复和业务连续性标准、数据库性能、数据留存和外部数据采集。
  • 4)数据安全(Data Security)。它包括数据访问安全标准、监控和审计程序、存储安全标准和培训需求。
  • 5)数据集成(Data Integration)。它是用于数据集成和数据互操作的标准方法、工具。
  • 6)文件和内容(Documents and Content)。它包含内容管理标准及程序,包括企业分类法的使用,支持法律查询、文档和电子邮件保留期限、电子签名和报告分发方法。
  • 7)参考数据和主数据(Reference and Master Data)。它包括参考数据管理控制流程、数据记录系统、建立标准及授权应用、实体解析标准。
  • 8)数据仓库和商务智能(Data Warehousing and Business Intelligence)。它包括工具标准、处理标准和流程、报告和可视化格式标准、大数据处理标准。
  • 9)元数据(Metadata)。它指获取业务和技术元数据,包括元数据集成和使用流程。
  • 10)数据质量(Data Quality)。它包括数据质量规则、标准测量方法、数据补救标准和流程。
  • 11)大数据和数据科学(Big Data and Data Science)。它包含数据源识别、授权、获取、记录系统、共享和刷新。
2.3.2 制定业务术语表

  数据管理专员通常负责整理业务术语表的内容。业务术语表具有如下目标:

  • 1)对核心业务概念和术语有共同的理解。
  • 2)降低由于对业务概念理解不一致而导致数据误使用的风险。
  • 3)改进技术资产(包括技术命名规范)与业务组织之间的一致性。
  • 4)最大限度地提高搜索能力,并能够获得记录在案的组织知识。 业务术语表不仅仅是术语和定义的列表,而且每个术语还同其他有价值的元数据关联,包括同义词、度量、血缘、业务规则,负责管理术语的人员等。
2.3.3 协调架构团队协作
  • 数据治理委员会支持并批准数据架构。例如,面向业务的企业数据模型。
  • 数据治理委员会可以任命或与企业数据架构指导委员会或架构审查委员会(ARB)互动,以监督项目及其迭代项目。
  • 数据架构师和数据管理专员在业务领域团队中共同开发和维护企业数据模型。
  • 企业级数据模型应经数据治理委员会评审、批准并正式采用,与关键业务战略、流程、组织和系统保持一致性。
  • 在管理数据资产方面,数据战略和数据架构是在“做正确的事”与“正确地做事”之间协调的核心。
2.3.4 发起数据资产估值

  将价值评估过程构建在数据战略路线图中,以便为质量问题的解决方案以及其他治理方案的业务案例提供依据。

2.4 嵌入数据治理

  数据治理组织的一个目标是将治理活动嵌入到数据作为资产管理相关的一系列流程中。数据治理的持续运作需要规划。可持续性意味着采取行动,保证流程和资金到位,以确保可持续地执行数据治理组织框架。

3.工具和方法

  数据治理从根本上讲是关于组织行为的。这不是一个可以通过技术解决的问题。但是,仍需要一些工具支持整个过程。在为某些特定功能(如业务术语表解决方案)工作选择工具之前,组织应该通过定义总体治理目标和需求来选择适合的工具。

3.1 线上应用/网站

  数据治理也应该能够线上体现,可以通过中心门户或者协作门户提供核心文档。网站可以容纳文档库,提供搜索功能,帮助管理简单的工 作流。通过LOGO和统一视觉展现,在一个网站上可以帮助建立相应的品牌。数据治理规划的网站应该包括如下内容:

  • 1)数据治理战略和项目章程,包括愿景、效益、目标、原则和实施路线图。
  • 2)数据制度和数据标准。
  • 3)数据管理制度的角色和职责说明。
  • 4)数据治理相关新闻公告。
  • 5)指向相关数据治理社区论坛的链接。
  • 6)指向相关数据治理主题执行进展的链接。
  • 7)数据质量测试报告。
  • 8)问题识别和上报的规程。
  • 9)请求服务或获取问题的入口。
  • 10)相关在线资源的描述和链接、演示文档和培训计划。
  • 11)数据管理实施路线图。

3.2 业务术语表

业务术语表是数据治理的核心工具。

3.3 工作流工具

  更大的组织可能会考虑使用强大的工作流工具来管理流程,如实施新的数据治理策略。

3.4 文档管理工具

  治理团队经常使用文档管理工具协助管理策略和规程。

3.5 数据治理记分卡

  它是跟踪数据治理活动和制度遵从性的指标集合,通过自动记分卡的形式向数据治理委员会和数据治理指导委员会报告。

4.实施指南

  数据治理要么起始于一些重大项目(如MDM主数据管理),要么通过区域或者部门试点。大多数推广策略都是渐进式的,很少有直接在整个组织范围内部署的情况。

4.1 组织和文化

  有效而持久的数据治理需要组织文化的转变和持续的变革管理,文化包括组织思维和数据行为,变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。

  组织变革目标是可持续性的。可持续性是过程的质量指标,以此衡量过程持续增值的难易程度。维持数据治理规程需要对变化作出计划。

4.2 调整和沟通

  数据治理团队要有灵活性,并且能够随着条件的变化调整相应的方法。管理和沟通变更所需的工具包括:

  • 1)业务战略/数据治理战略蓝图(Business / DG Strategy Map)。
  • 2)数据治理路线图(DG Road Map)。
  • 3)数据治理的持续业务案例(Ongoing Business Case for DG)。
  • 4)数据治理指标(DG Metrics)。

5.度量指标

  为应对长期学习曲线的阻力和挑战,对数据治理项目必须要有通过证明数据治理参与者如何增加业务价值和实现目标的指标来衡量进展和成功。

数据治理指标的示例包括:

  • (1)价值
    • 1)对业务目标的贡献。
    • 2)风险的降低。
    • 3)运营效率的提高。
  • (2)有效性
    • 1)目标的实现。
    • 2)扩展数据管理专员正在使用的相关工具。
    • 3)沟通的有效性。
    • 4)培训的有效性。
    • 5)采纳变革的速度。
  • (3)可持续性
    • 1)制度和流程的执行情况(即它们是否正常工作)。
    • 2)标准和规程的遵从情况(即员工是否在必要时遵守指导和改变行为)。

6.总结

  • 数据治理: 对数据资产管理行使权力、控制和共享决策(规划/监测和执行)的系列活动。

  • 数据治理职能: 指导所有其他数据管理领域的活动。

  • 数据治理的目的: 确保根据数据管理制度和最佳实践正确地管理数据。

  • 数据管理的整体驱动力: 确保组织可以从其数据中获得价值

  • 数据治理聚焦: 如何制定有关数据的决策、人员和流程在数据方面的行为方式。

  • 数据治理项目包含的常见内容: 战略、制度、标准和质量、监督、合规、问题管理

  • 业务驱动因素: 法规遵从性(常见)。聚焦减少风险和改进流程。

    • 减少风险: 一般性风险管理、数据安全、隐私
    • 改进流程: 法规遵从性、提升数据质量、元数据管理、提高项目开发效率、供应商管理
  • 数据治理的目标:

    • 提升管理数据资产的能力
    • 定义、批准、沟通和实施数据管理的原则、政策、程序、指标、工具和责任
    • 监控和指导政策合规性、数据使用和管理活动
  • 有效数据治理的特征: 可持续发展、嵌入式, 而不是附加流程管理。

  • 数据治理的基础原则:

    • (1) 领导力和战略;成功的数据治理始于远见卓识和坚定的领导。数据战略指导数据管理活动,同时由企业业务战略所驱动。
    • (2) 业务驱动(Business-driven)数据治理是一项业务管理计划,因此必须管理与数据相关的 IT 决策,就像管理与数据有关的业务活动一样。
    • (3) 共担责任(Shared Responsibility)在所有数据管理的知识领域中,业务数据管理专员和数据管理专业人员共担责任。
    • (4) 多层面(Multi-layered)数据治理活动发生在企业层面和各地基层,但通常发生在中间各层面。
    • (5) 基于框架(Framework-based)由于治理活动需进行跨组织职能的协调,因此对数据治理项目必须建立一个运营框架来定义各自职责和工作内容。
    • (6) 原则导向(Principle-based)指导原则是数据治理活动、特别是数据治理策略的基础。
  • 以数据为中心的组织对待数据的原则

    • 1)数据应该作为企业资产管起来。
    • 2)应该在整个组织内鼓励数据管理的最佳实践。
    • 3)企业数据战略必须与业务战略一致。
    • 4)应不断改进数据管理流程。
  • 典型数据治理委员会: 数据治理指导委员会;数据治理委员会;数据治理办公室;数据管理团队;本地数据治理委员会。

  • 数据治理运营模型类型:集中式治理;分布式治理;联邦式治理。

    • 集中式管理模式中,数据治理组织监督所有业务领域中的活动。
    • 分布式管理模式中,每个业务单元中采用相同的数据治理运营模型和标准。
    • 联邦式管理模式中,数据治理组织与多个业务单元协同,以维护一致的定义和标准。
  • 数据管理活动集中于

    • 1.创建和管理核心元数据;业务术语/有效数据值/关键元数据的定义和字处理。
    • 2.记录规则和标准;业务规则/数据标准/数据质量规则的定义和记录。
    • 3.管理数据质量问题;
    • 4.执行数据治理运营活动。
  • 数据管理岗位的类型:首席数据管理专员;高级数据管理专员;企业数据管理专员;业务数据管理专员;数据所有者;技术数据管理专员;协调数据管理专员。通常最好的数据管理专员都是在工作中被发现的,而不是靠培养的。

  • 数据制度包括对数据治理管理初衷的简要说明和相关基本规则,贯穿数据和信息的全过程,是全局性的。不同组织制度差异大,描述了数据治理的 “什么“,标准和规程描述了数据治理的 ”如何“

  • 数据资产评估: 理解和计算数据对组织的经济价值的过程。数据具有不可互换性,只有在使用时才有价值,使用会伴随风险。其他度量价值的方式:1 替换成本;2 市场价值;3 发现商机;4 售卖数据;5 风险成本

    • 风险成本有:
      • 1.缺少必要的数据。
      • 2.存在不应留存的数据。
      • 3.除上述成本外,包括数据不正确造成客户、公司财务和声誉受到伤害。
      • 4.风险下降或风险成本的下降,其实是与提升和验证数据等操作干预成本的抵消之后的溢出部分。
  • 数据资产会计准则:问责原则;资产原则;审计原则;尽职调查原则;持续经营原则;估值级别原则;责任原则;质量原则。

  • 数据治理活动:

    • 1.规划组织的数据治理。(A 执行就绪评估。B 探索与业务保持一致。C 制定组织触点。) (触点:突破口、价值点、抓手、切入点)
    • 2 制定组织数据治理战略。(A 定义数据治理运营框架。B 制定目标、原则和制度。C 推动数据管理项目。D 参与变更管理。E 参与问题管理。F 评估法规遵从性要求。)
    • 3 实施数据治理。 ( A 发起数据标准和规程。B 制定业务术语表。C 协调架构团队协作。D 发起数据资产估值。)
    • 4 嵌入数据治理
  • 【活动1-1】规划组织的数据治理-执行就绪评估。典型的评估包括

    • 1) 数据管理成熟度。 了解组织对数据的处理方式;衡量其当前的数据管理能力和容量。重点是业务人员对公司管理数据和利用数据的优势以及客观标准(如工具的使用、报告级别等)的影响
    • 2) 变革能力(识别阻力点)。 数据治理需要行为上的改变,因此测量组织为适应数据治理所需而改变行为的能力非常重要。
    • 3) 协作准备度。 体现了组织在管理和使用数据方面的协作能力。如果某个组织对于如何协作无从下手,那么这样的企业文化将成为管理的障碍。
    • 4) 与业务保持一致。 通过业务一致性能力评估可以 检查组织如何调整数据的使用来支持满足业务战略要求
  • 【活动 1-2】规划组织的数据治理-探索与业务保持一致。数据治理项目必须能够被找到并提供特定的价值来为组织作出贡献。例如,减少监管机构的罚款。通过评估识别和评价现有制度/方针的有效性,找到特定的价值。关键评估:数据质量分析。数据管理实践的评估

  • 触点(治理介入点):1.采购和合同。2.预算和资金。3.法规遵从性。4.SDLC/开发框架。(触点:突破口、价值点、抓手、切入点·)首席数据官影响组织触点,支持企业在管理其数据时的凝聚力,也会增加企业使用数据的敏捷性。从本质上来讲,这是组织如何理解和看待数据治理的一个态度。

  • 数据治理战略定义治理工作的范围和方法。交付物:章程。运营框架和职责。实施路线图。为成功运营制订计划。

  • 【活动 2-1】制定数据治理战略-定义数据治理运营架构。需要考虑

    • 1 数据对组织的价值。
    • 2 业务模式(分散/集中、本地化与国际化)。
    • 3 文化因素。
    • 4 监管影响。
  • 【活动 2-2】制定数据治理战略-制定目标、原则和制度

      1. 首先由【数据管理专业人员】、【业务策略人员】,在【数据治理组织】的支持下共同起草数据治理的目标、原则和制度;
      1. 其次由【数据管理专员】和【管理人员】审查并完善;
      1. 最后由【数据管理委员会】终审、修订和发布。

    【数据治理办公室 DGO】认证确认组织用到的数据,批准成为业务拥有者。【业务拥有者】在其业务领域委派【数据管理专员】,【数据管理专员】的日常职责是协调数据治理活动。

  • 【活动 2-3】制定数据治理战略-推动数据治理项目。 数据治理委员会负责定义数据管理项目的商业案例,监督项目状态和进度。关键:阐明数据管理提高效率和降低风险的方法。

  • 【活动 2-4】制定数据治理战略-参与变革管理。组织经常面临管理项目上的变迁,而不是管理组织体系进化。成熟的组织在变革管理中建立清晰的组织愿景,从高层积极引导和监督变革, 设计和管理较小的变革尝试,再根据整个组织的反馈和协同情况调整变革计划方案。组织需要组建一个团队来负责:

    • 1)规划。
    • 2)培训。
    • 3)影响系统开发。在 SDLC 中增加数据治理步骤。
    • 4) 制度实施。
    • 5)沟通。
  • 沟通的重点

      1. 提升数据资产价值。教育和告知员工数据在实现组织目标中所起的作用。
      1. 监控治理活动的反馈并采取行动。除了共享信息外,通过沟通计划还应引导出相关方反馈,以指导数 据治理方案和变更管理过程。
      1. 实施数据管理培训。
      1. 在 5 个关键域衡量。①意识到需要改变。 ②希望参与并支持变革。③知道如何改变。④具备实施新技能和行为的能力。⑤保持持续变革。
    • 5)实施新的指标和 KPI。
  • 【活动 2-5】制定数据治理战略-参与问题管理。问题管理是识别、量化、划分优先级和解决与数据治理有关问题的过程: 1)授权。2)变更管理升级。3)合规性。4)冲突。5)一致性。 6)合同。7)数据安全和身份识别。8)数据质量。

  • 开展数据治理需要在以下方面建立控制机制和流程

    • 1)识别、收集、记录和更新的问题。
    • 2) 各项活动的评估和跟踪。
    • 3)记录利益相关方的观点和可选解决方案。
    • 4)确定、记录和传达问题解决方案。
    • 5)促进客观、中立的讨论,听取各方观点。
    • 6)将问题升级到更高权限级别。
  • 80%-85%的问题在业务单元数据治理、数据管理团队中解决。20%在数据治理委员会解决。5% 升级到数据治理指导委员会解决。

  • 【活动 2-6】制定数据治理战略-评估法规遵从性要求。合规性通常是实施数据管理的初始原因。对管理信息资产有重大影响的部分全球性法规

    • 1)会计准则。
    • 2)BCBS 239(巴塞尔银行监管委员会)和巴塞尔 II。
    • 3)CPG 235。
    • 4)支付卡行业数据安全标准 PCI-DSS。
    • 5)偿付能力标准 II。
    • 6)隐私法。数据治理监控组织要对涉及数据和数据实践的监管要求或审计承诺作出响应,如在监管报告中证明数据质量合格。
  • 【活动 3】实施数据治理。最佳方式是创建一个实施路线图。有些数据治理工作是基础性,可分为初始阶段和持续阶段。 高优先级的前期工作有:

    • 1)定义可满足高优先级目标的数据治理流程。
    • 2)建立业务术语表,记录术语和标准。
    • 3)协调企业架构师和数据架构师,帮助理解数据和系统。
    • 4)为数据资产分配财务价值,以实现更好的决策,并提高对数据在组织成功中所起作用的理解。【流程。术语。人。赋值。】
  • 【活动 3-1】实施数据治理-发起数据标准和规程。

    • 数据标准通常由【数据管理专业人员】起草,应由【数据治理办公室或授权工作组】(如数据标准指导委员会)审查、批准和采用。
    • 数据标准必须得到有效沟通、监控,并被定期审查和更新。最重要的是,必须有强制手段,对数据可以根据标准进行测量。
    • 数据管理活动可由【数据治理委员会】或【数据标准指导委员会】按照规定的时间表或作为 SDLC 批准流程的一部分进行审核,以确保符合标准。通常由【数据管理专业人员】来起草数据流程文档。
  • 【活动 3-2】实施数据治理-制定业务术语表。 数据管理专员通常负责整理业务术语表的内容。

    • 业务术语表具有如下目标
      • 1)对核心业务概念和术语有共同的理解。
      • 2)降低由于对业务概念理解不一致而导致数据误用风险。
      • 3)改进技术资产(包括技术命名规范)与业务组织之间的一致性。
      • 4)最大限度地提高搜索能力,并能够获得记录在案的组织知识。【共同理解。降低风险。 一致性。可搜索能力】
  • 【活动 3-3】实施数据治理-协调架构团队协作。

    • 【数据治理委员会】支持并批准数据架构。 企业级数据模型应经【数据治理委员会】评审、批准并正式采用,与关键业务战略、流程、组织和系统保持一致性。
    • 数据战略和数据架构是在“做正确的事”和“正确的做事”之间协调的核心。
  • 【活动 3-4】实施数据治理-发起数据资产估值。 【数据治理委员会】应组织开展数据资产估值工作,并为此设置标准。

  • 【活动 4】嵌入数据治理。 将治理活动嵌入到数据作为资产管理相关的一系列流程中。可持续性意味着采取行动,保证流程和资金到位,以确保可持续地执行数据治理组织框架。通常为了加深组织对数据治理的理解,可通过其本地应用创建一个感兴趣的数据治理社区来加强相互学习。

  • 数据治理的工具和方法:数据治理流程必须有效管理自己的工作和数据。线上应用/网站。业务术语表(业务术语表是数据治理的核心工具)。工作流工具。文档管理工具。数据治理计分卡。

  • 数据治理实施指南: 定义规程/运营计划——>实施路线图——>启动治理。一般始于重大项目、试点、渐进式。

  • 有效而持久的数据治理: 需要组织文化的转变和持续的变革管理,文化包括组织思维和数据行为,变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。

  • 管理和沟通变更工具:业务战略/数据治理治理蓝图。数据治理路线图。数据治理的持续业务案例。数据治理指标。

  • 数据治理成功与否的度量指标

    • (1) 价值: 1.对业务目标的贡献。2.风险的降低。3.运营效率的提高。
    • (2) 有效性: 1.目标的实现。2.扩展数据管理专员正在使用的相关工具。3.沟通的有效性。4. 培训的有效性。5.采纳变革的速度。
    • (3) 可持续性: 1.制度和流程的执行情况(即它们是否正常工作)。2.标准和规程的遵从情况(即员工是否在必要时遵守指导和改变行为)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/30504.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(二)Kafka 安全之使用 SSL 的加密和身份验证

目录 一. 前言 二. 使用 SSL 的加密和身份验证 2.2. 创建你自己的 CA(Creating your own CA) 2.3. 签署证书(Signing the certificate) 2.3.1. PEM 格式的 SSL 密钥和证书 一. 前言 接上一篇《(一)Kaf…

数据仓库之Lambda架构

Lambda架构是一种设计大规模数据处理系统的架构模式,它结合了批处理和实时处理的优点,以应对大数据的多样性、速度和规模问题。该架构主要由三个层次组成:批处理层(Batch Layer)、速度层(Speed Layer&#…

springboot集成积木报表,怎么将平台用户信息传递到积木报表

springboot集成积木报表后怎么将平台用户信息传递到积木报表 起因是因为需要研究在积木报表做数据筛选的时候需要拿到系统当前登录用户信息做筛选新的模块 起因是因为需要研究在积木报表做数据筛选的时候需要拿到系统当前登录用户信息做筛选 官网有详细介绍怎么集成进去的&…

Eureka 学习笔记(2)加载eureka-server.properties中的配置

一 两种配置文件的方式 我们点开 EurekaServerConfig 可以看到 public interface EurekaServerConfig {/*** Gets the <em>AWS Access Id</em>. This is primarily used for* <em>Elastic IP Biding</em>. The access id should be provided with* a…

Golang | Leetcode Golang题解之第168题Excel表列名称

题目&#xff1a; 题解&#xff1a; func convertToTitle(columnNumber int) string {ans : []byte{}for columnNumber > 0 {columnNumber--ans append(ans, Abyte(columnNumber%26))columnNumber / 26}for i, n : 0, len(ans); i < n/2; i {ans[i], ans[n-1-i] ans[n…

【项目管理】项目经理总体计划文档(word原件)

项目管理总体计划模板 1、项目基本信息 2、项目里程碑 3、项目干系人 4、项目团队组织架构管理 5、项目预算管理 6、项目项目任务计划管理 7、问题及风险管理 8、项目周报 9、项目相关要求 获取方式&#xff1a;本文末个人名片直接获取&#xff0c;或者进主页。 1、项目基本信…

Java 面试题:Java 的 Vector、ArrayList、LinkedList 有何区别?

在 Java 集合框架中&#xff0c;List 接口是一个非常重要的接口&#xff0c;它定义了有序集合的行为。Vector、ArrayList 和 LinkedList 是三种常见的 List 实现&#xff0c;每种实现都有其独特的特点和适用场景。了解它们之间的区别不仅有助于我们在开发中选择最合适的数据结构…

java第二十六课 —— java动态绑定机制 | 多态的应用(一)

java 的动态绑定机制 看一个例子&#xff1a; DynamicBinding.java&#xff1a; package com.hspedu.poly_.dynamic_;public class DynamicBinding {public static void main(String[] args) {// a 的编译类型是 A, 运行类型是 BA a new B();//向上转型System.out.println(…

深入理解Qt状态机的应用(二)

前文《深入理解Qt状态机的应用&#xff08;一&#xff09;》介绍了状态机的理论知识以及简单的状态机示例。在实际应用场景中&#xff0c;状态机往往会比较复杂&#xff1b;本文将详细介绍分组状态、历史状态、并行状态以及其他技术。 通过分组状态共享转换 还是以交通信号灯…

如何合理使用位运算

目录 标志位 寄存器位段操作 位运算的其他应用 标志位 我们经常都会使用到标志位的操作&#xff0c;来标记是否去实现某个功能。比如冒泡排序中当排序没有完成&#xff0c;始终将一个标志位置位&#xff08;flag 1&#xff09;&#xff0c;每次循环开始又会重新清除标志位&a…

基于若依的ruoyi-nbcio流程管理系统增加所有任务功能(一)

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 http://218.75.87.38:9666/ 更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a; h…

如何理解光学中的群速度和相速度。

我不太明白为什么书上要区分相速度和群速度&#xff0c;不管这个&#xff0c;我想看看这两个速度在真实周期函数上的影响是如何的。 首先计算&#xff0c;直接计算三角函数我不会&#xff0c;利用复数做&#xff0c;可以取的实部。其中&#xff0c;。。 这个公式说明了什么呢…

React@16.x(34)动画(中)

目录 3&#xff0c;SwitchTransition3.1&#xff0c;原理3.1.2&#xff0c;key3.1.2&#xff0c;mode 3.2&#xff0c;举例3.3&#xff0c;结合 animate.css 4&#xff0c;TransitionGroup4.1&#xff0c;其他属性4.1.2&#xff0c;appear4.1.2&#xff0c;component4.1.3&…

Qt Quick 教程(一)

文章目录 1.Qt Quick2.QML3.Day01 案例main.qml退出按钮&#xff0c;基于上面代码添加 4.使用Qt Design StudioQt Design Studio简介Qt Design Studio工具使用版本信息 1.Qt Quick Qt Quick 是一种现代的用户界面技术&#xff0c;将声明性用户界面设计和命令性编程逻辑分开。 …

mybatis中yml配置log-impl是什么?有什么用?

在 MyBatis 中&#xff0c;log-impl 配置用于定义 MyBatis 在执行 SQL 时使用的日志实现。配置 org.apache.ibatis.logging.stdout.StdOutImpl 表示 MyBatis 会将所有的 SQL 日志直接打印到标准输出&#xff08;即控制台&#xff09;。这在开发过程中非常有用&#xff0c;因为它…

前后端完整案例-简单模仿点点开黑抽奖

数据库 后台 源码&#xff1a;https://gitee.com/qfp17393120407/game 前台 源码&#xff1a; https://gitee.com/qfp17393120407/game-weeb vue项目打包 注意&#xff1a;打包时将IP改为自己公网IP npm run build公网页面 地址&#xff1a;点点模拟抽奖 进入页面抽奖…

K8S-使用SVC域名解决ip不固定导致consul服务注册脏数据异常问题

1 概述 各个模块注册nacos时&#xff0c;采用svc域名的方式&#xff0c;各模块间feign调用时使用的svc 域名来访问&#xff0c;这样就可以和ip解耦。 否则如果使用不固定IP&#xff0c;则可能在重启的时候&#xff0c;导致consul里面有一堆脏节点数据&#xff0c;影响服务调用…

不同表格式下的小文件治理方式(开源RC file/ORC/Text非事务表、事务表、Holodesk表格式..)

友情链接&#xff1a; 小文件治理系列之为什么会出现小文件问题&#xff0c;小文件过多问题的危害以及不同阶段下的小文件治理最佳解决手段 小文件过多的解决方法&#xff08;不同阶段下的治理手段&#xff0c;SQL端、存储端以及计算端&#xff09; 概览 在前两篇博文中&am…

自学鸿蒙HarmonyOS的ArkTS语言<一>基本语法

一、一个ArkTs的目录结构 二、一个页面的结构 A、装饰器 Entry 装饰器 : 标记组件为入口组件&#xff0c;一个页面由多个自定义组件组成&#xff0c;但是只能有一个组件被标记 Component : 自定义组件, 仅能装饰struct关键字声明的数据结构 State&#xff1a;组件中的状态变量…

【JVM】触发 Full GC 的条件

在Java虚拟机&#xff08;JVM&#xff09;中&#xff0c;垃圾收集&#xff08;Garbage Collection&#xff0c;简称GC&#xff09;是管理内存的关键机制。Full GC&#xff08;也称为Major GC或老年代GC&#xff09;是一种较为耗时的垃圾收集过程&#xff0c;会对整个堆&#xf…