货拉拉0-1数据指标体系构建与应用

目录

一、背景

二、指标体系搭建

2.1 指标设计

2.2 指标体系搭建

2.3 指标维度拆解

三、指标标准化建设

四、指标元数据管理

五、指标应用&未来规划


   原文大佬介绍的这篇指标体系构建有借鉴意义,现摘抄下来用作沉淀学习。如有侵权请告知~

一、背景

    指标体系是指一系列维度、有组织以及结构的指标集合。构建指标体系是为了公司业务目标落地做辅助决策,以及监控业务运行的稳定性情况等。 具体从业务,技术及产品这三个视角来阐述指标体系构建中的痛点:

1. 业务视角:

  • 可信任性:业务口径不一致,导致指标数据不一致,影响到业务部门对数据的信任感;
  • 可理解性:业务术语不一致,导致不同人对业务的理解不一致,从而导致数据存在略微的差异,增加沟通成本;
  • 可衡量性:指标与业务的真实相关程度,能否准确衡量业务的变化,指导目标的达成;
  • 可追溯性:随着业务的发展,业务以及数据口径的变更,历史较难回溯;

2. 技术视角

  • 数据稳定性:数据的产出是否稳定及时;
  • 数据质量:数据是否准确,完整,一致。

3. 产品视角

  • 可访问性:数据是否易于访问;
  • 合规性:使用是否安全合规,如何防止数据泄露的风险等。

二、指标体系搭建

2.1 指标设计

针对上述痛点,我们从以下三个方面去解决:

  • 解决业务痛点:在指标设计时首先选取核心业务成体系化的来搭建指标体系,并将整个建设流程标准化;
  • 解决技术痛点:将数据研发流程规范化,把握好数据模型的业务扩展性及ETL的性能问题,并做好数据链路及质量监控;
  • 解决产品痛点:将建设的元数据产品化,数据的使用做到服务化。

    对于建设范围:先聚焦核心业务,快速将核心业务的指标体系搭建出来并落地应用,然后再迭代优化切忌刻意地追求指标的业务覆盖面,避免导致需求范围过大,实现周期太长,导致指标的应用落地严重延期。整个核心构建过程如上图中所示,目标是围绕赋能业务去设计指标。

2.2 指标体系搭建

   下面以货拉拉为例,简单介绍指标体系搭建的思路(例子与实际业务不一定相符,仅供参考):

  • 首先会制定业务的主要目标,然后依据参与人的业务轨迹梳理核心的业务过程;
  • 然后拆解负责各个核心业务的相关部门的具体目标,接着业务部门依此制定落地的方案或策略;
  • 最后为了指导目标达成,再梳理各业务具体的衡量指标。

2.3 指标维度拆解

 上图中列出了指标及维度拆解中的一些经典原则及常用数据模型。这里强调两点:

  • 遵循MECE原则,尤其是在底层数据模型的设计过程中,最好将维度和指标拆解地互斥且不交叉,这样有利于保证上层应用层维度及指标组合的灵活性,同时也有利于提升复用率、降低整体的计算及研发成本;具体的拆分方法参考如上图所示,二(多)分法、流程法等。
  • 需要深入理解各核心业务场景的常用数据分析模型(比如上图中 AARRR 等模型),结合自己公司的业务特点,选取合适的业务数据模型来搭建部门内部的指标体系。

三、指标标准化建设

指标体系建设的标准化流程可以参考以上流程图,重点强调的内容有以下两点:

  • 数据需求准入评审:为了解决业务口径描述不一致,业务口径转换为数据口径的质量问题,一定要成立一个指标评审组织,至少由业务方,数据分析人员,数仓研发人员这三部分组成,此项工作人力投入价值最大,直接影响后续研发的效率、交付质量以及是否返工修复数据口径等工作量。
  • 数据研发的标准化:为了数据模型设计工作的高质量开展,需要梳理好数据口径:核心工作内容是数据的维度及指标梳理,落地为指标维度矩阵,再进一步拆解到事实层(DWD)的维度及原子指标,这样可以更加准确得评估后续数据研发的工作量。

   指标体系建设过程中数据研发的工作重点:依据数仓的架构主要集中在汇总层各业务主题域的指标维度事实表的建设落地,其次是集市层,面向业务的多账期、跨业务主题域、衍生指标的建设工作等。

四、指标元数据管理

指标建设完成后,则需要进行指标元数据管理,主要有四部分内容:

  • 首先管理好指标建设流程;前期可以先采用 SOP 等文档落地,后续再产品化;
  • 其次管理好数据模型,包括偏向技术的物理模型和偏向业务的逻辑模型;
  • 然后管理好指标及维度的元数据信息,包括业务数据域、业务口径、数据口径、血缘关系等;
  • 最后将数据封装成服务,并将业务应用方的使用和调用信息登记管理起来,以便后期的服务稳定性分级管理及指标体系建设的业务收益回收等。

对于指标元数据管理方面,介绍以下三个相关定义:

  • 数据需求=时间+维度+指标

  • 指标=时间+修饰词+原子指标

  • 维度=通用维度+个性化的业务维度

 因此对应的具体管理内容主要是如上图所示的三部分元数据的管理,修饰词管理、指标管理和维度管理。

五、指标应用&未来规划

    对于指标体系的主要应用场景包括:业务报表和看板、特定的业务数据产品等,另外实际已落地的新场景是:结合 AI 大模型通过自然语言快速取数,具体框架如上图所示。

   具体应用场景功能设计上,对于衍生指标,即基础指标的四则运算、派生及衍生维度,关联父子维度,或者简单关联转化的维度,我们都是通过元数据配置来实现的,这样极大提高了数据应用的灵活性,并大大降低了数据及后端数据接口服务研发的成本,同时提高了需求响应的及时性。

    对于指标体系应用在未来的热门发展方向主要体现在通过自然语言快速取数、归因诊断及智能运营这三个方面:

  • 自然语言快速取数及简单可视化,在货拉拉已经接近落地,相关云厂商或者头部互联网公司也基本都有相关产品。这个场景的主要挑战是如何降低错误率,个人理解在这个场景中可以拒答,但是不能给出错误数据。
  •  诊断归因,则处于探索逐步落地阶段,前期主要先基于业务部门的分析经验来配置归因的逻辑来实现,后续再探索如何让大模型通过对行业业务的理解学习,结合数理统计分析算法来自主归因。
  • 智能运营场景,为了提高运营效率,进一步对 AI 大模型提出了更高的定制化能力要求。传统运营早已深入各行业公司的具体业务,主要是基于个人经验和历史沉淀的经验知识等,因此需要更深入理解行业及公司业务的运营知识。同时由于涉及到具体的运营策略及业务数据,对于这部分的数据安全性也是一个挑战。为了这个场景能更好地落地及推广,还要求相关产品能具备通用化且安全的行业知识学习及更新能力,并最好将大模型行业知识的学习流程产品化,降低大家的学习使用成本,在保证运营效果的同时,大大减少公司的运营人力投入成本。

参考文章:

从0到1,聊聊货拉拉如何搭建数据指标体系

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/1903.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

汽车摄像头匿名化处理解决方案,保护信息的安全性和隐私性

随着智能交通和自动驾驶技术的迅猛发展,汽车摄像头已成为现代汽车不可或缺的一部分,摄像头所捕捉的图像信息也引发了日益严峻的信息安全问题。如何在充分利用摄像头功能的同时,保障个人隐私和信息安全,已成为企业亟待解决的问题。…

IP地址定位技术引发的个人隐私保护问题

IP地址定位技术对互联网的影响深远且多面,它不仅改变了网络管理与优化的方式,还极大地推动了在线广告营销、电子商务、地理信息服务等多个领域的发展。然而,与此同时,它也引发了一系列关于个人隐私保护的问题。 首先,I…

vue的学习之用vue写一个hello,vue

根据以下步骤下载vue.js 介绍 — Vue.js 创建一个damo.html &#xff0c;引入vue.js即可 <body><div id"app">{{ message }}</div><!-- Vue --><!-- 开发环境版本&#xff0c;包含了有帮助的命令行警告 --><script src"js/vu…

清华新突破,360°REA重塑多智能体系统:全方位提升复杂任务表现

引言&#xff1a;多智能体系统的新篇章——360REA框架 在多智能体系统的研究领域&#xff0c;最新的进展揭示了一种全新的框架——360REA&#xff08;Reusable Experience Accumulation with 360 Assessment&#xff09;。这一框架的提出&#xff0c;不仅是对现有系统的一次重大…

如何修改WordPress数据库表前缀以提高安全性

WordPress作为世界上最受欢迎的内容管理系统之一&#xff0c;吸引了数以百万计的用户。然而&#xff0c;正因为其广泛的使用&#xff0c;WordPress网站也成为了黑客攻击的目标之一。其中一个最常见的安全漏洞是使用默认的数据库表前缀wp_&#xff0c;使得黑客能够更轻松地进行大…

Oracle交换分区测试

1、用exchange分区表减少初始化过程中对业务中断的影响 2、创建分区表 create table t_p (id number,name varchar2(30),addr varchar2(50)) partition by range(id) (partition p1 values less than(10), partition p2 values less than(20), partition p3 values less …

sql(ctfhub)

一.整数型注入 输入1 输入2 输入2-1&#xff0c;回显为1的结果&#xff0c;说明是数字型&#xff0c;只有数字型才可加减 判断字段数为2 查询数据库 查表 查列 显示flag内容 二.字符型注入 输入1 输入2 输入2-1&#xff0c;说明为字符型&#xff0c;不是数字型 判断闭合方式为…

【数据分析面试】27. 计算广告评论比例 (SQL)

题目: 计算广告评论比例 假设你有一个ads表&#xff0c;包含ID和广告名称&#xff0c;比如“劳动节衬衫促销”。feed_comments表保存了不同用户在常规信息流中对广告的评论。moments_comments表保存了不同用户在moments中对广告的评论。 编写一个查询&#xff0c;获取广告在f…

问题总结笔记

1.向量旋转 问题&#xff1a; 将一个向量旋转90 方法&#xff1a;旋转矩阵 FVector FrontDir EndMousePoint - Point; FrontDir.Normalize(); FVector Left FVector(-FrontDir.Y, FrontDir.X, 0); Verties.Add(Point Left * (WallWedith / 2)); Verties.Add(FVector(Vertie…

BFS 专题 ——FloodFill算法:733.图像渲染

文章目录 前言FloodFill算法简介题目描述算法原理代码实现——BFSCJava 前言 大家好啊&#xff0c;今天就正式开始我们的BFS专题了&#xff0c;觉得有用的朋友给个三连呗。 FloodFill算法简介 中文&#xff1a;洪水灌溉 举个例子&#xff0c;正数为凸起的山峰&#xff0c;负…

攻防世界---misc---easycap

1.下载附件是一个流量包&#xff0c;拿到wireshark中分析 2.查看分级协议 3.过滤data 4.追踪tcp流 5.得到flag

OpenCV与AI深度学习 | OpenCV如何读取仪表中的指针刻度

本文来源公众号“OpenCV与AI深度学习”&#xff0c;仅用于学术分享&#xff0c;侵权删&#xff0c;干货满满。 原文链接&#xff1a;OpenCV如何读取仪表中的指针刻度 最近遇到一个问题&#xff0c;如何读取仪表中的指针指向的刻度。 解决方法有多种&#xff0c;比如&#xff…

Linux使用Docker部署DashDot访问本地服务器面板

文章目录 1. 本地环境检查1.1 安装docker1.2 下载Dashdot镜像 2. 部署DashDot应用 本篇文章我们将使用Docker在本地部署DashDot服务器仪表盘&#xff0c;并且结合cpolar内网穿透工具可以实现公网实时监测服务器系统、处理器、内存、存储、网络、显卡等&#xff0c;并且拥有API接…

【C++】双指针算法:复写零

1.题目 别看这是一道简单题&#xff0c;它的通过率低于一些中等甚至困难的题目&#xff01; 大大增加这道题目难度的是最后一句话&#xff1a;1.不可越界写入。2.就地修改。 如果可以再创建一个数组的话&#xff0c;那么这道题目就会非常简单&#xff0c;但这道题目必须要求在…

Linux的学习之路:18、进程间通信(2)

摘要 本章主要是说一下命名管道和共享内存 目录 摘要 一、命名管道 1、创建一个命名管道 2、匿名管道与命名管道的区别 3、命名管道的打开规则 4、代码实现 二、system V共享内存 1、共享内存 2、共享内存函数 三、代码 四、思维导图 一、命名管道 1、创建一个命…

13.Nacos简介,下载,安装,启动-windows

Nacos是阿里巴巴的产品&#xff0c;现在是SpringCloud的一个组件。 相比Eureka功能更加丰富&#xff0c;服务注册与发现和分布式配置。 Nacos下载地址&#xff1a; https://github.com/alibaba/nacos windows下载nacos-server-1.4.1.zip文件 nacos是基于java语言实现的&…

【系统架构师】-案例考点(三)

1、信息系统架构ISA设计 四种架构模型&#xff1a; 1&#xff09;单机应用 2&#xff09;客户机/服务器模式&#xff1a;两层、三层C/S、B/S模型、MVC模式等 3&#xff09;面向服务架构SOA 4&#xff09;企业数据交换总线&#xff1a;不同企业应用之间通过信息交换的公共频…

一招下载transformers真不用网上那些教程(我试了1*mol多次才知道)

pip很多是2 然而&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;…

element中file-upload组件的提示‘按delete键可删除’,怎么去掉

问题描述 element中file-upload组件会出现这种提示‘按delete键可删除’ 解决方案&#xff1a; 这是因为使用file-upload组件时自带的提示会盖住上传的文件名&#xff0c;修改一下自带的样式即可 ::v-deep .el-upload-list__item.is-success.focusing .el-icon-close-tip {d…

洛谷 -P1007 独木桥(模拟,思维)

独木桥 题目背景 战争已经进入到紧要时间。你是运输小队长&#xff0c;正在率领运输部队向前线运送物资。运输任务像做题一样的无聊。你希望找些刺激&#xff0c;于是命令你的士兵们到前方的一座独木桥上欣赏风景&#xff0c;而你留在桥下欣赏士兵们。士兵们十分愤怒&#xf…