领域数据模型建设步骤
以某音乐app为例:
1.数据调研和业务调研,识别业务过程,实体,关键指标
业务过程:播放,收藏,下载,点击,购买,支付
实体:音乐,电台,mv,会员,商品
关键指标:pv,UV,收入,播放次数,付费用户数付费金额
2.构建总线矩阵
功能块,业务过程,一致性维度
功能块:播放
业务过程:歌曲播放,电台播放,mv播放,添加歌单
一致性维度:app版本,歌曲,内容集,专辑,mv艺术家,商品,年龄,性别,日期…
3.指标分解与测算,设计指标口径和体系规范
①原子指标:业务过程+度量
如:用户数+注册=注册用户数
原子指标:表达业务实体原子量化属性的不可再分的概念集合
业务过程:一系列结构化的可测量的活动:如app相关业务的下载,安装,使用,更新,卸载等活动分为公共业务过程和特有业务过程
度量:在维度模型中,度量是一组值,这些值构成事实表中的一列,而且通常为数值。次数,时长,金额,设备数,用户数,app/item数
②派生指标:时间周期+业务规则+修饰词+原子指标
修饰词:针对原子指标,在维度属性枚举值内的限定,例如成功,云端,本地等条件
业务规则:各业务根据业务特性定义的具有业务含义及对应算法的规则。例如新增,留存,活跃,关联推荐等
③复合指标:根据分析方式由派生指标运算生成
4.逻辑模型设计,建立星型模型
5.物理模型开发,根据业务过程迭代上线
ods(贴源层):离线数据,准实时数据,保留原始数据,压缩,分区
dim(维表层):存放手工维表,实体维度,关系维度等
音乐后端码值维度表,音乐前端码值维度表
手工维度表:音乐音乐播放时长分段维度表
单实体维度表:音乐歌曲维度表,音乐歌曲专辑维度表
混合实体维度:音乐内容集维度表,音乐内容和内容集关系维度表
dwd(明细层):脱敏,异常,解析,维度建模,维度退化
dws(汇总层):分主题域做轻度汇总
ads(应用层):按业务需求做对应的维度,指标