【华为数据之道学习笔记】2-建立企业级数据综合治理体系

        数据作为一种新的生产要素,在企业构筑竞争优势的过程中起着重要作用,企业应将数据作为一种战略资产进行管理。数据从业务中产生,在IT系统中承载,要对数据进行有效治理,需要业务充分参与,IT系统确保遵从,这是一个非常复杂的系统工程。
         华为公司经过十多年的实践证明,只有构筑一套企业级的数据综合治理体系,才能确保关键数据资产有清晰的业务管理责任,IT建设有稳定的原则和依据,作业人员有规范的流程和指导;当面临争议时,有裁决机构和升级处理机制;治理过程所需的人才、组织、预算有充足的保障。综合上述因素,最终建立有效的数据治理环境,数据的质量和安全得到保障,数据的价值才能真正发挥出来。

2.1 建立公司级的数据治理政策

数据治理政策是华为数据治理的顶层设计,该政策在华为公司EMT(经营管理团队)汇报通过后,由总裁签发,该政策明确了数据工作在华为公司治理体系中的地位,体现了公司管理层对数据工作重要性的统一认知。

2.1.1 华为数据管理总纲

华为数据管理总纲明确了数据治理最基本的原则,包括信息架构、数据产生、数据应用及数据质量的职责和分工等,确保数据治理环境的有效构建。
(1)信息架构管理原则
第一条:建立企业级信息架构,统一数据语言。
第二条:所有变革项目须遵从数据管控要求。对于不遵从管控要求的变革项目,数据管控组织拥有一票否决权。
第三条:应用系统设计和开发应遵从企业级信息架构。关键应用系统必须通过应用系统认证。
(2)数据产生管理原则
第一条:数据规划对齐业务战略,业务战略规划必须包含关键数据举措及其路标规划。
第二条:公司数据Owner拥有公司数据管理的最高决策权,依托ESC(变革指导委员会)决策平台议事。各数据Owner承担数据工作路标、信息架构、数据责任机制和数据质量的管理责任。
第三条:关键数据须定义单一数据源,一点录入,多点调用。数据质量问题应在源头解决。
第四条:谁产生数据,谁对数据质量负责。数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。
(3)数据应用管理原则
第一条:数据应在满足信息安全的前提下充分共享,数据产生部门不得拒绝跨领域的、合理的数据共享需求。
第二条:信息披露、数据安全管理、数据保管和个人数据隐私保护等必须遵守法律法规和道德规范的要求。公司保护员工、客户、商业伙伴和其他可识别个体的数据。
(4)数据问责与奖惩管理原则
各数据Owner应建立数据问题回溯和奖惩机制。对不遵从信息架构或存在严重数据质量问题的责任人进行问责。

2.1.2 信息架构管理政策

信息架构是公司统一的数据语言,是业务流打通、消除信息孤岛和提升业务流集成效率的关键要素。华为公司通过明确对信息架构的管理要求,规范信息架构的建设和遵从原则,使公司的信息资产得到有效管理和重用。
(1)管理信息架构的角色与职责
第一条:公司数据Owner负责批准企业级信息架构,裁决重大信息架构问题和争议。
第二条:各数据Owner负责其所辖数据的信息架构建设和维护,承接及落实公司的数据规划要求。
第三条:公司的数据管理专业组织作为公司数据工作的支撑组织,负责组织信息架构的建设、维护、落地及遵从管控,负责协调跨领域的信息架构冲突。各领域各事业群(BG)数据管理专业组织协助完成本领域信息架构建设和维护工作。
第四条:数据管控组织作为信息架构专业评审机构,确保信息架构的质量和集成。
(2)信息架构建设要求
第一条:关键数据应被识别、分类、定义及标准化,数据的定义在公司范围内应唯一,数据标准制定要考虑跨流程要求。
第二条:数据资产目录必须承接公司各业务环节的使用需求和报告分析最小粒度的要求。
第三条:信息架构驱动应用架构设计,合理规划数据分布。
第四条:应用系统数据库的设计和开发要遵循信息架构,减少数据冗余,实现接口标准化。
(3)信息架构遵从管控
第一条:变革项目必须遵从已发布的信息架构,变革项目的交付件须包含信息架构内容。对现有架构的遵从是关键评审要素,对于不满足要求的变革项目,数据管控组织拥有一票否决权。
第二条:业务流程设计必须遵从已发布的信息架构,在流程说明文件、操作指导书或模板类文件中体现。对于不满足要求的流程,不予发布。
第三条:应用系统设计必须遵从已发布的信息架构。在应用架构交付件和应用系统设计交付件中体现。对于不满足要求的应用系统,不予上线。

2.1.3 数据源管理政策

数据同源是华为数据治理的核心观点之一。 数据源是指业务上首次正式发布某项数据的应用系统,经过数据管理专业组织认证,作为唯一数据源头被周边系统调用。本政策通过明确华为公司在数据源建设和数据源使用方面的总体原则和要求,确保数据源头的统一,以及跨流程、跨系统数据的唯一性和一致性。
(1)数据源管理原则
第一条:所有关键数据必须认证数据源。关键数据是指影响公司经营、运营报告的数据,在公司范围内统一发布。
第二条:数据管理专业组织为关键数据指定源头,数据源必须遵从信息架构和标准,经信息架构专家委员会认证后成为数据源。
第三条:所有关键数据仅能在数据源录入、修改,全流程共享,其他调用系统不能修改。下游环节发现的数据源质量问题,应当在数据源进行修正。
第四条:所有应用系统必须从数据源或数据源镜像获取关键数据。
第五条:数据Owner确保数据源的数据质量,对不符合数据质量标准的数据源,必须限期整改。
(2)数据源认证标准
数据的源头通过认证成为数据源,在遵从公司相关政策和规定的前提下,还必须符合以下标准。
第一条:数据源是在信息链上正式发布数据的第一个数据存储系统。
第二条:数据源是某项数据唯一的录入点。
第三条:数据源必须是数据维护最为及时、正确、完整的数据存储系统。
第四条:数据源所在系统的性能和可用性应当满足其他调用系统的数据访问需求。

2.1.4 数据质量管理政策

数据质量的持续提升是华为数据治理的核心目标。 通过制定数据质量管理政策,明确数据在创建、维护、应用过程中的规则及质量要求,确保数据真实可靠。
(1)数据质量管理职责及要求
第一条:各数据Owner负责保障所辖数据的质量,承接公司数据Owner设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。
第二条:公司全员在业务执行的过程中应确保业务记录满足数据质量要求。
第三条:财经各级CFO组织应遵循职业道德准则,诚实记录和报告财经数据,承担财务监控和及时报告责任。
理专业支撑。
第四条:公司各级数据管理专业组织为数据Owner提供数据质量管理专业支撑。
第五条:内控组织应将数据质量管控要素的执行情况纳入SACA(Semi-Annual Control Assessment,半年度控制评估)评估范围,推动数据质量问题的闭环管理。
第六条:内审部门作为独立机构,负责重大数据问题的审计和责任回溯。
(2)数据质量管理的业务规则和管理要求
数据创建、维护、应用是数据生命周期管理的关键活动,应遵循以下规则及要求。
第一条:流程建设应考虑数据质量要求,将数据的关键质量控制要素纳入关键控制点。
第二条:数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。
第三条:数据创建应确保录入正确,关键数据应进行复核或审批。录入、复核和审批人员应掌握数据质量要求才能上岗。
第四条:对影响关键经营指标的数据造假行为(如伪造文档、提供与业务实质不符的信息等)采取零容忍态度。
第五条:上游环节应保证数据的真实、完整并及时传递到下游环节。下游环节为核实数据质量问题可调阅所需的上游环节的数据。
第六条:因外部原因频繁变化的基础数据(如汇率、税率等),数据Owner应及时维护并统一发布最新数据,各环节应适时刷新或引用。
第七条:数据质量应持续进行度量。数据Owner应主动解决长期影响业务运营和经营管理的数据问题。
第八条:报告与分析的层级和最小粒度应适度,能与最小业务信息单元相匹配。数据加工规则应相对稳定,报告加工过程可检视,数据可回溯、可解释。

2.2 融入变革、运营与IT的数据治理

华为公司依托变革管理体系,进行流程、数据与应用系统建设,同时持续优化运营体系。数据从业务中产生,在IT系统中落地,决定了数据治理工作必须充分融入业务运营与IT系统建设中。

2.2.1 建立管理数据流程

为了支撑企业数据资产从架构设计、质量管理到数据分析应用的全生命周期管理,需要在企业的流程架构中建立一个管理数据流程,明确数据管理的关键活动、角色,以及与周边组织的协作关系。华为将“管理数据”流程定位为“管理BT&IT”流程下的一个L2流程,下设“管理信息架构”“管理数据质量”“管理数据分析”3个子流程。

2.2.2 管理数据流程与管理变革项目、管理质量与运营之间的关系

企业在运营过程中,能力的提升和架构的调整依托于变革项目和改进项目的实施。变革项目和改进项目需要交付业务解决方案、数据解决方案、IT解决方案,其中数据解决方案包含信息架构设计、数据质量度量、改进方案和数据分析方案。支撑数据解决方案的角色为数据经理,数据经理统筹管理信息架构工程师、数据治理工程师、数据分析师和数据科学家,共同完成项目数据解决方案的交付和验证。

2.2.3 通过变革体系和运营体系进行决策

在华为的数据治理实践中,数据相关的重大决议由企业变革指导委员会决策,通过变革管理体系和流程运营体系实现落地。
其中,信息架构的设计和变更分两层评审决策,在信息架构专家组进行专业评审,在企业架构委员会进行流程、数据与IT集成评审和争议裁决。

2.2.4 数据治理融入IT实施

业务人员通过使用IT产品提供的功能和服务提升作业效率,因此,对业务数据的管理要求,必然要落实到IT产品的操作界面和数据库设计中,这样才能落实数据治理的要求。在华为的数据治理实践中,在IT产品团队中设置系统架构师和数据架构师角色,负责界面设计、数据库设计、数据集成方案设计,向上承接信息架构的设计要求。同时,在管理IT流程的设计规范中,明确界面的字段要遵从数据标准的定义,数据库表和字段的设计要承接信息架构的设计要求,从而达到数据治理融入IT实施流程的目标。

2.2.5 通过内控体系赋能数据治理

要对华为这样的大型企业实施数据治理是件非常复杂的事情,涉及上千个业务对象、上百个变革和优化改进项目的协同,仅仅通过数据管理部门对各个项目和部门的培训、指导、人员支持,不足以确保公司的治理目标和要求有效地贯彻到位。因此,华为通过内控体系,每年实施SACA评估和数据专项内部审计,揭示数据治理过程的问题,确定改进目标和责任人,从而保证数据治理机制的有效运作。

2.3 建立业务负责制的数据管理责任体系

业务即行为,行为即记录,记录即数据。华为公司的每一个数据,必须由对应的业务部门承担管理责任,且必须有唯一的数据Owner。 业务负责制的数据管理责任体系,是华为数据治理体系多年实 践经验的结晶,是确保体系发挥作用的基石。

2.3.1 任命数据Owner和数据管家

华为按分层分级原则任命数据Owner,在公司层面设置公司数据Owner,在各业务领域设置领域数据Owner,这样既能确保公司数据工作统筹规划,也能同时兼顾各业务领域灵活多变的特征。公司数据Owner是公司数据战略的制定者、数据文化的营造者、数据资产的所有者和数据争议的裁决者,拥有公司数据日常管理的最高决策权。
第一条:制定数据管理体系的愿景和路标。
第二条:传播数据管理理念,营造数据文化氛围。
第三条:建设和优化数据管理体系,包括组织与任命、授权与问责等。
第四条:批准公司数据管理的政策和法规。
第五条:裁决跨领域的数据及管理争议,解决跨领域的重大数据及管理问题。
各级流程Owner就是该流程域的数据Owner,在公司数据Owner的统筹下负责所管理流程域的数据管理体系的建设和优化。各业务部门是执行规则,保证数据质量,进而推动规则优化的关键环节。通过主管机构正式任命各数据主题域和业务对象的数据Owner和数据管家,数据Owner的职责可以归纳为以下五条。
第一条:负责数据管理体系建设。数据Owner要负责所辖领域的数据管理体系建设和优化,传播数据管理理念,营造数据文化氛围。
第二条:负责信息架构建设。数据Owner要负责所辖领域的信息架构建设和维护,确保关键数据被识别、分类、定义及标准化,数据的定义在公司范围内唯一,数据标准制定要考虑跨流程要求。
第三条:负责数据质量管理。数据Owner要负责保障所辖领域的数据质量,承接公司设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。
第四条:负责数据底座和数据服务建设。数据Owner要负责所辖领域数据入湖,建设数据服务,满足公司各个部门对本领域数据的需求。
第五条:负责数据争议裁决。数据Owner要建立数据问题回溯和奖惩机制,对所辖领域的数据问题及争议进行裁决,对不遵从信息架构或存在严重数据质量问题的责任人进行问责。
数据管家是数据Owner的助手,是数据Owner在数据管理方面的具体执行者。

2.3.2 建立公司层面的数据管理组织

为支撑公司实施数据治理,华为在企业范围内建立了一个公司级数据管理部,代表公司制定数据管理相关的政策、流程、方法和支撑系统,制定公司数据管理的战略规划和年度计划并监控落实。建立并维护企业信息架构,监控数据质量,披露重大数据问题,建立专业任职资格管理体系,提升企业数据管理能力,推动企业数据文化的建立和传播。
为落实公司制定的数据管理目标,在各业务领域要建立实体化的数据管理专业组织,实线向GPO(各业务领域的全球流程Owner,通常是业务领域的最高主管)汇报,承接并落实GPO的数据管理责任;虚线向公司数据管理部汇报,遵从公司统一的数据管理政策、流程和规则要求。
华为虚实结合的数据组织设置,是确保数据工作能充分融入业务,同时能够在应用系统中有效落地的关键。数据管理组织中各个组织的职责和分工如下所示。
1)体系建设者
第一条:负责数据管理的战略、规划、政策、规则的制定。
第二条:负责数据管理体系建设。
第三条:数据架构及核心数据资产管理。
第四条:确保公司数据质量水平
2)能力中心
第一条:构建数据管理的方法、工具、平台。
第二条:负责专业能力的开发和建设,包括数据架构、数据分析、信息管理、数据质量管理。
3)业务的数据伙伴
第一条:面向业务,提供数据解决方案,解决业务数据痛点。
第二条:支撑业务数据需求。
第三条:向业务提供标准化的主数据或基础数据服务。
4)文化倡导者
第一条:在公司范围建设追求卓越、“谁创建(录入)数据,谁对数据质量负责”的文化。
第二条:用数据支撑业务决策的文化。
同时,在数据工作的不同阶段,分场景组建了不同的虚拟数据团队,如信息架构建设工作组、数据质量执行组、元数据工作组等,以保障跨领域数据工作的有序开展。
当面对数字化转型这一时代挑战时,华为建立的一整套数据治理体系,使得华为公司拥有从容面对的底气。2017年华为启动数字化转型后,也极大提升了华为的数据治理能力,在实践中形成了数据全生命周期的治理规范与方案。
华为自2007年建立数据实体组织以来,走过了13年的数据治理历程。从最初的数据管理体系搭建,到目前主干业务流全场景覆盖,确保了各个业务流程产生的数据准确。华为数据治理一方面实现了业务运作效率的提升,一方面夯实了企业有效内控的基础,数据文化与价值深入人心。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/203121.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AWS Remote Control ( Wi-Fi ) on i.MX RT1060 EVK - 2 “架构 AWS”

接续上一章节,我们把开发环境架设好之后,此章节叙述如何建立 AWS IoT 环境,请务必已经有 AWS Account,申请 AWS Account 之流程将不在此说明。 III-1. 登入AWS IoT, 在“管理”>“所有装置”>“实物”下点击“建…

IDEA切换Python虚拟环境

前言 因为之前一直使用的IDEA开发,换到VSCODE之后各种不习惯,特别是DEBUG的操作,特别难受,因此决心换回IDEA 环境配置 已有项目调整 进入Project 选择SDKs,新建Python 配置Conda以及虚拟环境 有就选择一个虚拟环境…

LeetCode-周赛-思维训练-中等难度

第一题 1798. 你能构造出连续值的最大数目 解题思路 我们先抛开原题不看,可以先完成一道简单的题目,假设现在就给你一个目标值X,问你能够构造出从【1~X】的连续整数,最小需要几个数? 贪心假设期望:我们要…

Path Finder for Mac:超越系统的文件管理利器

Path Finder for Mac是一款卓越的文件管理器,它不仅具备基本的文件浏览、打开、复制和移动等操作功能,还引入了一系列强大的特性,使得用户可以更高效地管理和处理文件。 一、强大的预览功能 Path Finder for Mac支持多种文件格式的预览&…

题目分析,高度理解一维二维数组的申请和[]是什么运算符

第0题: 动态申请二维数组并输出非负数和 和负数出现次数 思路:输入数组大小,然后申请内存并不对其初始化,提高速度,传入数据到申请的数组中,判断如果数组中有元素小于0对其进行计数,否则加上非0数最后输出答案,释放内存 第一题: 解答: 运行结果: 思路分析: 创建长度为20的…

RobotFramework编写用例,在Jenkins上如何实现用例的并发运行?

我们了解RobotFramework编写自动化测试用例的方法,了解如何将用例在Jenkins上运行。 但是,随着用例的增多,传统的pybot/robot命令运行测试用例会耗费大量的时间,这就慢慢成为了一个苦恼的问题。 那么,在Jenkins上如何…

JFrog Artifactory二进制文件管理工具部署使用

1.简介 JFrog Artifactory二进制文件管理工具,目前已经在使用的公司有很多,足见他的方便好用。 2.下载安装包 点击下载地址 这里我下载的是7.9.2版本 3. 安装 (1)在安装JFrog Artifactory之前需要安装好jdk(需…

9_企业架构队列缓存中间件分布式Redis

企业架构队列缓存中间件分布式Redis 学习目标和内容 1、能够描述Redis作用及其业务适用场景 2、能够安装配置启动Redis 3、能够使用命令行客户端简单操作Redis 4、能够实现操作基本数据类型 5、能够理解描述Redis数据持久化机制 6、能够操作安装php的Redis扩展 7、能够操作实现…

AWS 日志分析工具

当您的网络资源托管在 AWS 中时,需要定期监控您的 AWS CloudTrail 日志、Amazon S3 服务器日志和 AWS ELB 日志等云日志,以降低任何潜在的安全风险、识别严重错误并确保满足所有合规性法规。 什么是 Amazon S3 Amazon Simple Storage Service&#xff…

苹果ios的系统app应用WebClip免签应用开源及方式原理

在移动设备上,为了方便访问我们经常使用的网站或服务,我们经常会希望将其添加到主屏幕上,以便快速启动。虽然我们可以通过使用浏览器书签实现这一目标,但添加一个图标到主屏幕上,使得它看起来与原生App无异&#xff0c…

为何开展数据清洗、特征工程和数据可视化、数据挖掘与建模?

1.2为何开展数据清洗、特征工程和数据可视化、数据挖掘与建模 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解1.2节内容。本书已正式出版上市,当当、京东、淘宝等平台热销中,搜索书名即可。内容涵盖数据科学…

一个最新国内可用的免费GPT4,Midjourney绘画网站+使用教程

一、前言 ChatGPT GPT4.0,Midjourney绘画,相信对大家应该不感到陌生吧?简单来说,GPT-4技术比之前的GPT-3.5相对来说更加智能,会根据用户的要求生成多种内容甚至也可以和用户进行创作交流。 然而,GPT-4对普…

MAC 系统在vs code中,如何实现自动换行

目录 问题描述: 问题解决: 问题描述: 在vscode中,有些时候,一行内容过多,如果不能自动换行,就需要拖动页面,才能看到完整的内容。如下图两行所示: 问题解决&#xff1a…

基于opencv和tensorflow实现人脸识别项目源码+可执行文件,采用python中的tkinter库做可视化

项目名称: 基于OpenCv和tensorflow的人脸识别 完整代码下载地址:基于OpenCv和tensorflow的人脸识别 环境配置: Pythontensorflow2OpenCv categories: 人工智能 description: Opencv是一个开源的的跨平台计算机视觉库,内部实现了图像处理和计算机视觉方…

2023 IoTDB 用户大会成功举办,深入洞察工业互联网数据价值

2023 年 12 月 3 日,中国通信学会作为指导单位,Apache IoTDB Community、清华大学软件学院、中国通信学会开源技术委员会联合主办,“科创中国”开源产业科技服务团和天谋科技(北京)有限公司承办的 2023 IoTDB 用户大会…

基于 Stereo R-CNN 的自动驾驶 3D 目标检测

论文地址:https://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Stereo_R-CNN_Based_3D_Object_Detection_for_Autonomous_Driving_CVPR_2019_paper.pdf 论文代码:https://github.com/HKUST-Aerial-Robotics/Stereo-RCNN 论文背景 大多数 3D 物…

【开源】基于JAVA的APK检测管理系统

项目编号: S 038 ,文末获取源码。 \color{red}{项目编号:S038,文末获取源码。} 项目编号:S038,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 数据中心模块2.2 开放平台模块2.3 软…

MA营销自动化如何助力商家实现精准营销?

惟客数据 MAP 是一个跨渠道和设备的自动化营销平台,允许接触点编排个性化旅程,通过短信、社交推送等方式为您的客户创建无缝的个性化体验,加强客户关系并赢得忠诚度。可与惟客数据CDP 产品无缝配合使用,通过数据驱动做出更实时&am…

【android开发-16】android中文件和sharedpreferences数据存储详解

1,文件读写方式的数据存储 下面是一个简单的示例,演示如何在Android中使用内部存储来保存和读取文件: 保存文件: try { String data "这是要保存的数据"; FileOutputStream fos openFileOutput("myFile"…

亚马逊云科技Serverless视频内容摘要提取方案

概述 随着GenAI的普及,视频内容摘要生成成为一个备受关注的领域。通过将视频内容转化为文本,可以探索到更广泛的应用场景,其中包括: 视频搜索与索引:将视频内容转化为文本形式,可以方便地进行搜索和索引操作…