什么是元数据?
简单来说就是描述数据的数据,更直白来说就是描述表名、表制作者、表字段、表生命周期、表存粗等信息的数据
元数据该如何管理
工具化
开源:
可通过atlas获取表依赖及信息做二次开发,或者完成可视化界面
平台化:
数据血缘
- 数据血缘功能
清晰知道表/任务上下游,方便排查问题,知道下游哪个模块在使用,提升开发效率及后期管理维护 - 数据血缘类型
- 活跃血缘:指离线开发线上调度产出的血缘,且调度持续生效
- 静默血缘:指离线开发中,开发模式运行、线上调度已运行过但是已取消调度、线上模式严重逾期执行等。静默血缘在图中用虚线连线表示
- 数据血缘项目中使用
- 数仓中表/字段上下游查询、发送字段变更通知
- 探查除数仓外其他场景使用例如报表、olap库等等
- 如何开发血缘功能
- 团队合作搭建:与前端配合,数仓出血缘链路模型,前端完成数据填充可视化
- 使用现成组件/二次开发:Openmetadata