数据分析师自己开发指标的问题该如何解决呢?
数仓建设早期,业务量少、人手少时,为了提高开发效率可以适当地让数分自己计算一些指标,但数仓稳定期就不应该再有数分层了。
也就是说,数分层本身不应该存在。但数仓需要换位思考数分为什么要自建形成数分层,数分自建指标主要是核为了看数,也就是形成数据看板,为此相关操作主要是:
- 取APP层的明细数据进行简单的查询;
- 在APP基础上还去做进一步汇总;
对于这两类操作,数仓可以通过勤加字段补数据和在APP层进行数据下沉即形成大宽表和小宽表来逐渐削弱数分层。但这样的运动式的治理很难根除数分层,为此需要进行完善的治理规划:
(1)治理前:
定好规范。简单的查询数分做(Where、比率、少量Join)、汇总达到一定数据量级的数仓做、判定为核心指标的不许数分来做,数分自建的表作为临时表,给的生命周期不能超过30天;此外,要需要找到对应主题的开发人员(数分和数仓),共同评估治理成本。
(2)治理中
业务方看排期来进行看板数据迁移;主题域陆续下线。需要注意衍生指标拆解为派生指标来沉淀进数仓。数据校验,主题域看板集中切换。
(3)治理后
每下线一个主题域规定该主题域今后需要按照数仓与数分的指标建设规范来执行,并且几年后都按照先沟通指标口径,再确定谁来建设的模式来合作。
(4)整体做完后,数仓侧评估应用程序层是否合理。