数据湖元数据服务的实现和挑战

简介： 数据湖元数据服务为大数据而生，为互通生态而生，期望后续继续完善其服务能力和支撑更多的大数据引擎，通过开放的服务能力、存储能力、统一的权限及元数据管理能力，为客户节省管理/人力/存储等各项成本，实现客户自己的业务价值。

大数据引擎的现状

在大数据计算和存储领域，因不同业务场景、不同数据规模，诞生了很多适合处理不同需求的各类大数据引擎，比如计算引擎类有数据分析引擎Hive、交互式分析引擎Presto、迭代计算引擎spark以及流处理引擎Flink等，存储类有日志存储系统的SLS、分布式文件系统HDFS等，这些引擎和系统很好的满足了某一领域的业务需求，但也存在非常严重的数据孤岛问题：在同一份数据上综合使用这些系统，必然面临着大量的ETL工作，而且更关键的是在目前各种公司业务链路上这种使用方式非常常见，同时因数据加工、转储产生的成本以及整体延时大大增加，业务决策时间也相应变长，解决这一问题的关键在于引擎元数据需要互通，只有构建满足各种引擎需求的数据湖统一元数据服务视图，才能实现数据共享，避免其中额外的ETL成本以及降低链路的延时。

数据湖元数据服务的设计

数据湖元数据服务的设计目标是能够在大数据引擎、存储多样性的环境下，构建不同存储系统、格式和不同计算引擎统一元数据视图，并具备统一的权限、元数据，且需要兼容和扩展开源大数据生态元数据服务，支持自动获取元数据，并达到一次管理多次使用的目的，这样既能够兼容开源生态，也具备极大的易用性。另外元数据应该支持追溯、审计，这就要求数据湖统一元数据服务具备以下能力和价值：

提供统一权限、元数据管理模块：统一的权限/元数据管理模块是各类引擎和存储互通的基础，不仅权限/元数据模型需要满足业务对于权限隔离的需要，也需要能够合理支持目前引擎的各种权限模型。
提供大规模元数据的存储和服务能力，提升元数据服务能力极限，满足超大数据规模和场景
提供存储统一的元数据管理视图：将各类存储系统（对象、文件、日志等系统）上数据进行结构化既能够方便数据的管理，也因为有了统一元数据，才能进行下一步的分析和处理。
支撑丰富的计算引擎：各类引擎，通过统一元数据服务视图访问和计算其中的数据，满足不同的场景需求。比如PAI/MaxCompute/Hive等可以在同一份OSS数据上进行计算和分析。通过引擎支撑的多样化，业务场景将越来容易进行场景转换和使用。
元数据操作的追溯/审计
元数据自动发现和收集能力：通过对文件存储的目录/文件/文件格式的自动感知，自动创建和维护元数据的一致性，方便存储数据的自动化维护和管理。