【数据分层方法论】初稿

一般标准数据架构有(ODS、DWD、DWS、DIM、ADS)

一般数据构架问题:

1.架构定位与边界不清楚,导致ADS烟囱化开发;
2.ADS集市缺少统一规划、混乱低效;
3.ADS集市指标口径急需要统一;
4.缺少高质量的设计标准,模型千人千样,事后问题频发;
5.规划缺少配套的产品化工具落地保障。


解决方案

1.需求调研、2.数据域划分、3.构建总线矩阵、4.明确统计指标、5.模型设计(规范定义/明细模型设计/汇总模型设计)、6.代码开发、7.部署运营。


数据层划分

主要划分三层:应用数据层、公共数据层、操作数据层。

应用数据层: ADS(集市层)面向上层应用,按照业务划分数据,快速响应数据。目的:专注支持业务(研发效率/口径一致性/稳定性)。
在应用层可以有MDS层,抽象下沉

公共层数据: 以维度模型方法为理论基础,采用维度退化方法。目的:抽象复用提升效率(全局一致性/易用性/稳定性)。

  • DWD(明细层)
  • DWS(汇总层)
  • DIM(维表)

操作数据层:ODS层,一般指线上技术同步过来的表。目的:数据接入合规高效(接入效率/性能稳定)。


一些设计原则

贴源层设计原则:

	ODS主要统一接入,在合规基础上接入效率和性能稳定性。

公共层设计原则:

   	数据域并不是一成不变,数据域随着业务也需要迭代。公共层准入门槛是否有共性逻辑。公共层复用抽象以提高抽象。成本与效率平衡。易用性考量和提升应用层研发效率。稳定性且满足应用层时效性。

应用层设计原则

   	按集市域划分,降低各集市复杂度。扁平化设计提升稳定性降低运维成本。按需求来设计应用层,不做过度扩展设计。减少对贴源层依赖。应用层也需要进行共性抽象下沉,提升效率和口径一致性。比如造一个MDS层

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/778575.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 面试经典150题 290.单词规律

题目: 给定一种规律 pattern 和一个字符串 s ,判断 s 是否遵循相同的规律。 这里的 遵循 指完全匹配,例如, pattern 里的每个字母和字符串 s 中的每个非空单词之间存在着双向连接的对应规律。 思路:一一映射需要用到…

要提升视频面试效率,需要留意以下几点

在当今远程工作的世界里,视频面试对于成功招聘至关重要。在这个过程中,过度沟通,要有耐心,提供电子产品,并表现出同理心。 随着世界转向远程工作,视频面试已经开始成为维持成功招聘策略的重要组成部分。多…

政安晨:专栏目录【TensorFlow与Keras实战演绎机器学习】

政安晨的个人主页:政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras实战演绎机器学习 希望政安晨的博客能够对您有所裨益,如有不足之处,欢迎在评论区提出指正! 本篇是作者政安晨的专栏《TensorFlow与Keras…

监听页面的使用时间

如果是比较新的vue架构(推荐,参考若依) 监听create()和destory()两个函数,写通用的js调用函数,在路由守卫的时候使用,就可以获取到每个页面停留时间 如果是比…

碳素光线疗法与宠物健康

碳素光线与宠物健康 生息在地球上的所有动物、在自然太阳光奇妙的作用下、生长发育。太阳光的能量使它们不断进化、繁衍种族。现在、生物能够生存、全仰仗于太阳的光线。太阳光线中、包含有动物健康所需要的极为重要的波长。因此、和户外饲养的动物相比、在室内喂养的观赏动物、…

比较AI编程工具Copilot、Tabnine、Codeium和CodeWhisperer

主流的几个AI智能编程代码助手包括Github Copilot、Codeium、Tabnine、Replit Ghostwriter和Amazon CodeWhisperer。 你可能已经尝试过其中的一些,也可能还在不断寻找最适合自己或公司使用的编程助手。但是,这些产品都会使用精选代码示例来实现自我宣传…

无货源采集软件必备API--支持多平台爆款采集-淘宝-天猫-拼多多-整店采集和淘客功能

如何获取API测试权限? item_get 获得淘宝商品详情item_get_pro 获得淘宝商品详情高级版item_review 获得淘宝商品评论item_fee 获得淘宝商品快递费用item_password 获得淘口令真实urlitem_list_updown 批量获得淘宝商品上下架时间seller_info 获得淘宝店铺详情item…

Ubuntu通过分用户进行多版本jdk配置

前言:本文内容为实操记录,仅供参考! linux安装jdk参考:http://t.csdnimg.cn/TeECj 出发点:最新的项目需要用jdk17来编译,就把服务器的jdk版本升级到了17,但是有一些软件例如nexus还需要jdk1.8进…

增强现实(AR)的开发工具

增强现实(AR)的开发工具涵盖了一系列的软件和平台,它们可以帮助开发者创造出能够将虚拟内容融入现实世界的应用程序。以下是一些在AR领域内广泛使用的开发工具。北京木奇移动技术有限公司,专业的软件外包开发公司,欢迎…

【前端面试3+1】04浏览器存储、flex布局属性和常用指令、 promise和async await区别

一、浏览器存储 1.1类型: 浏览器数据存储的方式有以下几种: Cookie:小型文本文件,存储在用户计算机上,可以通过浏览器传输到服务器。Web Storage:包括LocalStorage和SessionStorage,可以在浏览器…

ES-LTR粗排模块

ES-LTR粗排模块 官方资源:https://github.com/HeiBoWang/elasticsearch-learning-to-rank Elasticsearch学习排名插件使用机器学习提高搜索相关性排名。它为维基媒体基金会和Snagajob等地方的搜索提供了动力! 这个插件有什么功能 此插件: …

I.MX6ULL_Linux_系统篇(25) buildroot文件系统构建

前面我们学习了如何使用 busybox 来构建根文件系统,但是 busybox 构建的根文件系统不齐全,很多东西需要我们自行添加,比如 lib 库文件。在我们后面的驱动开发中很多第三方软件也需要我们自己去移植,这些第三方软件有很多又依赖其他…

ubuntu 不产生core dump 文件

目标机器:UBuntu2004 目的:产生coredump 文件 ulimit -c //未设置之前 0ulimit -c unlimited //大小不受限设置 #将1写入到该文件里 echo 1 > /proc/sys/kernel/core_uses_pid mkdir /corefile #这里一定不要加“” echo “/corefile/core-%e…

5.6 物联网RK3399项目开发实录-Android开发之U-Boot 编译及使用(wulianjishu666)

物联网入门到项目实干案例下载: https://pan.baidu.com/s/1fHRxXBqRKTPvXKFOQsP80Q?pwdh5ug --------------------------------------------------------------------------------------------------------------------------------- U-Boot 使用 前言 RK U-B…

【CKA模拟题】如何用Nslookup轻松检查集群服务名的DNS解析?

题干 For this question, please set this context (In exam, diff cluster name) kubectl config use-context kubernetes-adminkubernetes Create an nginx pod named nginx-pod-cka using the nginx image, and expose it internally with a service named nginx-service-…

大宋咨询(深圳满意度调查)如何进行客户满意度电话调查

在这个竞争激烈的市场环境中,客户满意度已经成为企业生存和发展的关键。在进行客户满意度电话调查时,关键是要确保调查过程的专业性、准确性和有效性。为了帮助您了解客户的需求,提高客户满意度,以下大宋咨询(深圳业主…

Jenkins拉取github项目相关问题

1.私有仓库问题 1.1如果你的仓库是私有的,21年起github就不支持账号密码的方式拉取代码了 那么就需要在github上面创建一个token (classic) 然后在Jenkins代码设置那里 然后应该就可以顺利打包了。 2.找不到pom(多了一层文件夹)问题 解…

护眼大路灯智商税吗?五款最佳护眼落地灯分享!

大路灯能够提供更加舒适健康的光线,而且大路灯还提供许多能够提高使用便捷度的大路灯,尤其是对于学生党以及上班族来说,大路灯是一款很好的用眼照明小帮手。然而,对于护眼大路灯智商税吗这个问题,很冥想不是&#xff0…

Maven报错:Could not acquire lock(s)

何原因引起 另一个 Maven 进程正在运行,占用了所需的文件锁 Maven 进程意外终止,但文件锁未被释放 解决办法 1. 确保没有其他 Maven 进程在后台运行,可以通过任务管理器结束存在的 Maven 进程2. 重启 IDE 或命令行工具,有时也可以…

1.java openCV4.x 入门-环境搭建

专栏简介 💒个人主页 📖心灵鸡汤📖大家 📰专栏目录 点击上方查看更多内容 环境搭建 一、开发环境二、环境搭建1.openCV安装1.下载程序包 2.程序包安装3.搭建项目 三、非必要资源1.扩展库2.cmake 一、开发环境 开发工具 i…