目录
主题
项目源码
预览地址
安装包下载地址
数据管理服务
数据资源管理
数据资源权限
数据资源血缘
总结
感谢支持
主题
本篇文章主要介绍ZDH-数据管理服务及应用场景
项目源码
zdh_web: GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台
预览地址
后台管理-登陆
用户名:zyc
密码:123456
安装包下载地址
需要用户下载源码自行编译,源码见上方项目源码
数据管理服务
数据管理服务是一个统一管理内部所有数据资源的服务,主要包括数据资源管理,数据资源权限,数据资源血缘,相对成熟的数据管理平台,当前服务还存在很多缺陷,只能算是一种轻量级的数据资源管理
数据资源管理
数据资源,可以理解为数据表,多数资源都是结构化数据因此用表结构表示是业内常用的解决方案,资源作为一个统称,不仅只代表表信息,也可以是一个图片,一个文件等
当前资源管理采用半自动化处理,需要用户手动上传数据资源信息,比如数据资源对应的数据源,维护人,基础结构等并提供统一资源(资产)查询,如下图
数据资源权限
数据资源权限,是为了方便数据在多个团队高效安全的进行数据流转,核心是审批流服务,这里不过多介绍审批流,审批只是我们实现数据资源权限的方式
数据资源血缘
数据血缘,是表示数据上下游依赖的关系,我们这里通过jsmind图插件实现可视化,血缘是通过解析zdh的etl任务获取,因此本系统的限制仅适用于zdh平台使用,也提供了手动注册血缘的接口,之后会单独解析,后期可能会对血缘这块进行重构,血缘关系如下图
总结
zdh平台在数据管理这块,实现很多自动化,可视化的功能,主要为了帮助企业完成数字化转型,比如数据ETL, 数据调度,审批流,数据资源管理,告警等功能
感谢支持
如果觉得项目有意思可以在github上给个星星和fork, 也可以分享给朋友, zdh_web:GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台