Doris实战——美联物业数仓

目录

一、背景

1.1 企业背景

1.2 面临的问题

二、早期架构

三、新数仓架构

3.1 技术选型

3.2 运行架构

3.2.1 数据模型

 纵向分域

横向分层

数据同步策略

3.2.2 数据同步策略

 增量策略

全量策略

四、应用实践

4.1 业务模型

4.2 具体应用

五、实践经验

5.1 数据导入

5.2 数据模型

5.3 查询优化—前缀索引

5.4 外部数据源读取

5.5 数据字典

六、架构收益

七、生产问题

  原文大佬的这篇Doris数仓的实战文章写的挺全面(跟本人目前所负责的数仓项目,有些分析场景 很相似),这里直接摘抄下来用作学习和知识沉淀。

一、背景

1.1 企业背景

     传统行业面对数字化转型往往会遇到很多困难,比如缺乏数据管理体系、数据需求开发流程冗长、烟囱式开发、过于依赖纸质化办公等,美联物业也有遇到类似的问题。本文主要介绍关于美联物业在数据体系方面的建设,以及对数据仓库搭建经验进行的分享和介绍,旨在为数据量不大的传统企业提供一些数仓思路,实现数据驱动业务,低成本、高效的进行数仓改造。

1.2 面临的问题

    美联物业早在十多年前就已深入各城市开展房地产中介业务,数据体系的建设和发展与大多数传统服务型公司类似。

     我们的数据来源于大大小小的子业务系统和部门手工报表数据等,存在历史存量数据庞大,数据结构多样复杂,数据质量差等普遍性问题。此外,早期业务逻辑处理多数是使用关系型数据库 SQL Server 的存储过程来实现,当业务流程稍作变更,就需要投入大量精力排查存储过程并进行修改,使用及维护成本都比较高。

  基于此背景,我们面临的挑战可以大致归纳为以下几点:

 (1)缺乏数据管理体系,数据无法降本复用:多部门、多系统、多字段,命名随意、表违反范式结构混乱;对同一业务来源数据无法做到多份报表复用,反复在不同报表编写同一套计算逻辑。

(2)历史大多数业务数据存储在关系型数据库中,分表分库已无法做到上亿数据秒级分析查询。

(3)数据需求开发流程冗长、烟囱式开发。每当业务部门提出一个数据需求,数据开发就需要在多个系统之间进行数据兼容编写存储过程,从而导致存储过程的可移植性和可读性都非常差。

(4)部门之间严重依赖文本文档的处理工作,效率低下。

二、早期架构

   针对上述的几个需求,我们在平台建设的初期选⽤了 Hadoop、Hive、Spark 构建最初的离线数仓架构,也是比较普遍、常见的架构,运作原理不进行过多赘述。

   我们数据体系主要服务对象以内部员工为主,如房产经纪人、后勤人员、行政人事、计算机部门等。当前数据体系无需面向 C 端用户,因此在数据计算和资源方面的压力并不大,早期基于 Hadoop 的架构可以满足一部分基本的需求。但是随着业务的不断发展、内部人员对于数据分析的复杂性、分析的效率也越来越高,该架构的弊端日益越发的明显,主要体现为以下几点:

(1)传统数据架构组件繁多,维护复杂,运维难度非常高。

(2)数据处理链路过长,导致查询延迟变高

(3)数据时效性低:只可满足T+1的数据需求,导致数据分析效率低下

(4)传统公司的计算量和数据量不大,搭建Hadoop生态组件显得杀鸡用牛刀。

三、新数仓架构

   基于上述业务需求及痛点,我们开始了架构升级,并希望在这次升级中实现几个目标:

  • 初步建立数据管理体系,搭建数据仓库。

  • 搭建报表平台和报表快速开发流程体系。

  • 实现数据需求能够快速反应和交付(1小时内),查询延迟不超过 10s。

  • 最小成本原则构建架构,支持滚动扩容。

3.1 技术选型

    经过调研了解以及朋友推荐,了解到了Doris ,并很快与社区取得了联系,Doris的优势如下:

(1)极速性能

    Doris 依托于列式存储引擎、自动分区分桶、向量计算、多表Join能力强悍和物化视图等功能的实现,可以覆盖众多场景的查询优化,海量数据也能可以保证低延迟查询,实现分钟级或秒级响应。

(2)极低成本

     降本提效已经成为现如今企业发展的常态,免费的开源软件就比较满足我们的条件,另外基于 Doris 极简的架构、语言的兼容、丰富的生态等,为我们节省了不少的资源和人力的投入。并且 Doris 支持 PB 级别的存储和分析,对于存量历史数据较大、增量数据较少的公司来说,仅用 5-8 个节点就足以支撑上线使用。

(3)足够简单

    美联物业及大部分传统公司的数据人员除了需要完成数据开发工作之外,还需要兼顾运维和架构规划的工作。因此我们选择数仓组件的第一原则就是"简单",简单主要包括两个方面:

  • 架构简单:Doris 的组件架构由 FE+BE 两类进程组成,不依赖其他系统,整体架构简洁易用,极简运维,弹性伸缩.

  • 使用简单:Apache Doris 兼容 MySQL 协议,支持标准 SQL,有利于开发效率和共识统一,此外,Doris 的 ETL 编写脚本主要使用 SQL进行开发,使用 MySQL 协议登陆使用,兼容多数 MySQL 语法,提供丰富的数据分析函数,省去了 UDF 开发工作。

3.2 运行架构

    在对Doris性能检测之后,我们完全摒弃了之前使用 Hadoop、Hive、Spark 体系建立的数仓,决定基于Doris 对架构进行重构,以 Doris 作为数仓底座进行开发,实现存,算统一。

  • 数据集成:利用 DataX、Flink CDC 和Doris 的 Multi Catalog 功能等进行数据集成。
  • 数据管理:利用 Apache Dolphinscheduler 进行脚本开发的生命周期管理、多租户人员的权限管理、数据质量校验等。

  • 监控告警:采用 Grafana + Prometheus进行监控告警,Doris 的各项监控指标可以在上面运行,解决了对组件资源和日志的监控问题。

  • 数据服务:使用帆软 Report 为用户提供数据查询和分析服务,帆软支持表单制作和数据填报等功能,支持自助取数和自助分析。

3.2.1 数据模型

 纵向分域

    房地产中介行业的大数据主题大致如下,一般会根据这些主题进行数仓建模。建模主题域核心围绕"企业用户"、"客户"、"房源"、"组织"等几个业务实体展开,进行维度表和事实表的设计。

   我们从前线到后勤,对业务数据总线进行了梳理,旨在整理业务实体和业务活动相关数据,如多个系统之间存在同一个业务实体,应统一为一个字段梳理业务总线有助于掌握公司整体数据结构,便于维度建模等工作。

   下图为我们简单的梳理部分房地产中介行业的业务总线:

横向分层

   数据分层采用传统数仓最常见的 5 层结构(ods, dwd,dim,dws,ads),主要是利用 Apache Doris + Apache DolphinScheduler 进行层级数据之间的调度任务编排和管理。

数据同步策略

  我们在8点到24点之间采用增量策略,0点到8点执行全量策略,采用增量+全量的方式是考虑到:当ODS表因为记录的历史状态字段变更或者CDC出现数据未完全同步的情况下,可以及时进行全量补数和修正历史状态变化数据

层级备注存储策略
ODS利用datax doris write进行数据的本地导入要注意参数设置exec_mem_limit参数大小,部分全量数据较大超过限制会导致stream load 失败8点到24点增量策略;0点到8点全量策略一次
DWD部分事实表涉及缓慢变化维,需要进行拉链存储8点到24点增量策略;0点到8点全量策略一次,部分表拉链存储
DWS和ADS注意数据校验问题,加入审计时间,如etl_time,last_etl_time,create_time等字段,方便后续故障排查8点到24点增量策略;0点到8点全量策略一次
DIM维度表存放层,如客户,房源,职员,职级,岗位等每小时整点全量

3.2.2 数据同步策略

 增量策略

1)where >= "业务时间-1天或-1小时"

     增量的 SQL 语句不使用where ="业务时间当天"的原因是为了避免数据漂移情况发生,换言之,调度脚本之间存在时间差,如 23:58:00 执行了脚本,脚本的执行周期是10 分钟/次,但是源库中最后一条数据是在23:59:00才新增的,真正这时候where="业务时间当天"就会将该数据漏掉。

2)每次跑增量脚本前,需要将表中最大的主键ID存入辅助表,where >= "辅助表记录ID"

    如果 Doris 表使用的是 Unique Key 模型,且恰好为组合主键,当主键组合在源表发生了变化,这时候where >=" 业务时间-1天"会记录该变化,把主键发生变化的数据 Load 进来,从而造成数据重复。而使用这种自增策略可有效避免该情况发生,且自增策略只适用于源表自带业务自增主键的情况。

3)表分区

   例如日志表等基于时间的自增数据,且历史数据和状态基本不会变更,数据量非常大,全量或快照计算压力非常大的场景,这种场景需要对 Doris 表进行建表分区,每次增量进行分区替换操作即可,同时需要注意数据漂移情况。

全量策略

1)Truncate Table清空表插入

       如果是面向C端用户的公司和白天调度时间千万别这么做,否则会导致一段时间没有数据,Truncate Table适合数据量较小的表,凌晨没有用户使用系统的公司。

2)ALTER TABLE tbl1 REPLACE WITH TABLE tbl2  表替换

    这种方式是一种原子操作,适合数据量大的全量表。每次执行脚本前先 Create 一张数据结构相同的临时表,把全量数据 Load 到临时表,再执行表替换操作,可以进行无缝衔接。

四、应用实践

4.1 业务模型

  • 业务模型是最常见的分钟级调度ETL
  • 离线数据利用DataX批量同步,通过Flink CDC将RDS的数据实时同步到Doris,利用Doris的物化视图或者Aggregate模型表进行实时汇总处理。
  • 所有层级表模型大部分采用Unique key主键模型,可以有效保证数据脚本的幂等性,解决下游数据重复的问题
  • ETL脚本通过Dolphinscheduler(简称DS)进行编排和统一调度
  • 帆软BI进行自助取数和分析

部署建议

  • 初次部署建议配置:8 节点 2FE * 8BE 混合部署

  • 节点配置:32C * 60GB * 2TB SSD

  • 对于存量数据TB级、增量数据GB级的场景完全够用,如有需要可以进行滚动扩容。

4.2 具体应用

    1)离线业务数据和日志数据集成利用 DataX 进行增量和全量调度,Datax支持CSV格式和多种关系型数据库的Redear,而 Doris 在很早之前就提供了 DataX Doris writer 连接器。

   2)实时部分借助了Flink CDC将RDS的数据实时同步到Doris,利用Doris的物化视图或者Aggregate模型表进行实时指标的汇总处理,因为我们只有部分指标需要实时处理,不希望产生过多的数据库连接和 Flink Job,因此我们使用Dinky的多源合并和整库同步功能,也可以自己简单实现一个Flink DataStream 多源合并任务,只通过一个 Job 可对多个 CDC 源表进行维护。值得一提的是, Flink CDC 和 Apache Doris 新版本支持 Schema Change 实时同步,在成本允许的前提下,可完全使用 CDC 的方式对 ODS 层进行改造。

EXECUTE CDCSOURCE demo_doris WITH ('connector' = 'mysql-cdc','hostname' = '127.0.0.1','port' = '3306','username' = 'root','password' = '123456','checkpoint' = '10000','scan.startup.mode' = 'initial','parallelism' = '1','table-name' = 'ods.ods_*,ods.ods_*','sink.connector' = 'doris','sink.fenodes' = '127.0.0.1:8030','sink.username' = 'root','sink.password' = '123456','sink.doris.batch.size' = '1000','sink.sink.max-retries' = '1','sink.sink.batch.interval' = '60000','sink.sink.db' = 'test','sink.sink.properties.format' ='json','sink.sink.properties.read_json_by_line' ='true','sink.table.identifier' = '${schemaName}.${tableName}','sink.sink.label-prefix' = '${schemaName}_${tableName}_1'
);

3) 脚本语言采用shell+sql或纯sql的形式,我们在Apache DolphinScheduler上进行脚本生命周期管理和发布,如ODS层,可以编写通用的DataX Job 文件,通过传参的方式将DataX Job 文件传参执行源表导入,无需在每一个源表编写不同的DataX Job,支持统一配置参数和代码内容,维护起来非常方便。另外我们在 DolphinScheduler上对 Doris 的 ETL 脚本进行管理,还可以进行版本控制,能有效控制生产环境错误的发生,进行及时回滚。

4) 发布 ETL 脚本后导入数据,可直接在帆软 Report 进行页面制作。基于登陆账号来控制页面权限,如需控制行级别、字段级别权限,可以制作全局字典,利用 SQL 方式进行控制。Doris 完全支持对账号的库表权限控制,这一点和 MySQL 的设置完全一样,使用起来非常便捷。

  在新的架构体系,新增的数据需求直接利用帆软BI进行自助取数和分析,最快可在当天响应交付

   除以上之外,还可以利用 Doris备份实现容灾恢复、Grafana + Prometheus对集群进行指标规则监控告警、开启 Doris审计日志对执行 SQL 效率进行监控等,慢查询定位及优化等,因篇幅限制,此处不进行详细说明。

五、实践经验

5.1 数据导入

  我们使用 DataX进行离线数据导入,DataX 采用的是 Stream Load方式导入,该方式可以通过参数控制导入批次流量,DataX导入不需要借助计算引擎,开箱即用的特点非常方便。另外,Stream Load导入是同步返回结果,而其他导入方式一般是异步返回结果。

    在数据导入方式上,大部分返回结果是异步操作,即在Doris里该导入任务状态有可能是失败的,而Dolphinscheduler会误以为该脚本已经执行成功,因此在bash等脚本里执行Doris的导入操作逻辑时,还需要判断上游任务状态是否成功,可以在脚本里执行show load,再用正则去过滤状态进行判断。

5.2 数据模型

   所有层级表模型大部分采用Unique key主键模型,可以有效保证数据脚本的幂等性,解决下游数据重复的问题。

5.3 查询优化—前缀索引

    尽量把非字符类型的,如int类型的、where条件中最常用的字段放前排36个字节内,在点查场景下,过滤这些字段返回的结果基本可在毫秒级别实现。

5.4 外部数据源读取

   Catalog 方式:使用 JDBC 外表连接,对 Doris生产集群数据进行读取,便于生产数据直接 Load 进测试服务器进行测试。另外,新版支持多数据源的Catalog,可以基于 Catalog 对 ODS 层进行改造,无需使用 DataX 对ODS 进行导入。

   但这种方式对FE节点的压力会很大,在导入过程中可明显观察FE节点CPU资源被拉满,如果Fe资源并不充足的情况下,建议选择Stream load的方式进行数据导入,如Datax。

5.5 数据字典

     利用Doris自带的information_schema元数据可以制作简单的数据字典,这一点对公司还未建立数据治理体系前是非常重要的一步,方便低成本管理数仓人员的操作规范。

利用 Doris自带的information_schema元数据制作简单的数据字典,利用数据字典可快速对表格和字段的全局查找和释义,这一点对公司还未建立数据治理体系前是非常重要的一步,最低成本形成数仓人员的数据规范,减少人员沟通成本,提高开发效率。

六、架构收益

   引入 Doris 之后,美联物业实现了只用少数服务器、快速搭建一套数据仓库,成功实现降本赋能。在这段时间的运行中,给我们带来的部分收益如下:

  • 自动取数导数:数据仓库的明细表可以定时进行取数、导数,自助组合维度进行分析。
  • 效率提升:T+1 的离线任务,时效降低至分钟级。

  • 查询延迟降低:面对上亿行数据的表,利用Doris在索引和点查方面的能力,即席查询延迟平均在1秒内,复杂查询也能5秒内响应。

  • 运维成本降低:从数据集成到数据服务,只需维护少数组件就可以实现整个链路的高效管理。

  • 存储资源节省:Doris 超高的压缩比,将数据压缩了70%,相较于 Hadoop 来说,存储资源的消耗大幅降低。

  • 数据管理体系初步形成:Doris 数仓的实现使得数据资产得以规范化的沉淀。

七、生产问题

  • 内存一直不释放

     Doris的BE节点在旧版本是开启PageCache 和 ChunkAllocator 的,目的是为了减少查询的延迟,这两个功能会占用一定比例的内存,并且一直不会释放,长此以往就会导致be计算资源越来越紧张。新版本直接禁用了这两个配置,但美联物业数仓是开启了这2项配置,并且每天凌晨进行be滚动重启的,既能保证be内存及时释放,也能降低查询延迟。

  • 数据备份

     目前Doris的备份依赖Broker load,只能基于BOS、HDFS 等文件系统,对于没有安装HDFS这类的服务器基本用不了。

参考文章:

Apache Doris 在美联物业的数据仓库应用实践,助力传统行业数字化革新|应用实践

美联物业基于Apache Doris数仓实践

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/715687.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

下载github项目到pycharm

一、下载git 1.下载git链接 https://git-scm.com/ 2.一路点击next,最后finish 二、使用git 1.安装成功后在开始菜单栏会找到如下内容,其中常用的是Git Bash 2.点击Git Bash 3.这里就可以克隆github上的代码了 点击复制,在命令行输入…

2024免费mac苹果电脑的清理和维护软件CleanMyMac X

对于 Mac 用户来说,电脑的清理和维护是一件让人头疼的事情。但是,有了 CleanMyMac X,这一切都将变得轻松愉快。CleanMyMac X 是一款专为 Mac 设计的电脑清理软件,它以其强大的功能和简单的操作,让无数用户为之倾倒。 C…

艾尔登法环备份存档方法

1.PC端使用WinR输入%AppData%\EldenRing 2.如图创建文件夹“我这取名叫备份存档”,将其中的三个文件复制到新建的文件夹中 3.理论上只需要备份替换ER0000.sl2文件即可

【双指针】合并两个有序数组O(N)

合并两个有序数组 链接 . - 力扣(LeetCode). - 备战技术面试?力扣提供海量技术面试资源,帮助你高效提升编程技能,轻松拿下世界 IT 名企 Dream Offer。https://leetcode.cn/problems/merge-sorted-array/ 题目 题解 采用双指针…

青少年CTF擂台挑战赛 2024 #Round 1 Web方向题解 WP 全

EasyMD5 题目描述:php没有难题 考点总结:脑洞题目,不如我出(狗头 只允许两个都上传pdf文件。 文件还不能太大了。burp多次发包发现要求两个pdf内容不一样 不一样时候,提示我们MD5碰撞。 科学计数法绕过 PHP的后门 …

把Anaconda添加进环境变量的方法(解决pip识别不到环境的问题)

找到你的Anaconda的安装根目录 比如我的是在:C:\ProgramData\Anaconda3 那么只需要将以下目录添加进环境变量即可: C:\ProgramData\Anaconda3C:\ProgramData\Anaconda3\ScriptsC:\ProgramData\Anaconda3\Library\binC:\ProgramData\Anaconda3\condabin…

吴恩达deeplearning.ai:通过偏差与方差进行诊断

以下内容有任何不理解可以翻看我之前的博客哦:吴恩达deeplearning.ai专栏 文章目录 偏差与方差高偏差高方差合适的模型理解偏差与方差 总结 当你构建神经网络的时候,几乎没有人能够在一开始就将神经系统构建得十分完美。因此构建神经网络最重要的是直到…

Qt 简约又简单的加载动画 第七季 音量柱风格

今天和大家分享两个音量柱风格的加载动画,这次的加载动画的最大特点就是简单,只有几行代码. 效果如下: 一共三个文件,可以直接编译运行 //main.cpp #include "LoadingAnimWidget.h" #include <QApplication> #include <QGridLayout> int main(int argc…

寻找峰值[中等]

优质博文IT-BLOG-CN 一、题目 峰值元素是指其值严格大于左右相邻值的元素。给你一个整数数组nums&#xff0c;找到峰值元素并返回其索引。数组可能包含多个峰值&#xff0c;在这种情况下&#xff0c;返回 任何一个峰值 所在位置即可。 你可以假设nums[-1] nums[n] -∞。 你…

python统计分析——泊松回归

参考资料&#xff1a;用python动手学统计学 概率分布为泊松分布、联系函数为对数函数的广义线性模型叫作泊松回归。解释变量可以有多个&#xff0c;连续型和分类型的解释变量也可以同时存在。 1、案例说明 分析不同气温与啤酒销量的关系。构造不同气温下的销量的数学模型&…

Unity--自动版面(Horizontal Layout Croup)||Unity--自动版面(Vertical Layout Group)

Unity--自动版面&#xff08;Horizontal Layout Croup&#xff09; Horizontal Layout Croup&#xff1a; “水平布局组”组件将其子布局元素并排放置。它们的宽度由各自的最小&#xff0c;首选和灵活的宽度决定&#xff0c;具体取决于以下模型&#xff1a; 所有子布局元素的…

el-form里面表单遍历渲染,里面放el-row,一行放3个表单怎么实现

需求&#xff1a; 需要实现 el-form里面的表单遍历渲染&#xff0c;里面放el-row,一行放3个表单怎么实现&#xff1f; 废话不多说直接上demo <el-form ref"form" :model"form" label-width"80px"><el-row v-for"(row, index) in M…

BUGKU bp

打开环境&#xff0c;他提示了弱密码top1000&#xff0c;随便输入密码123抓包爆破 发现长度都一样&#xff0c;看一下响应发现一段js代码&#xff0c;若r值为{code: bugku10000}&#xff0c;则会返回错误&#xff0c;通过这一句“window.location.href success.php?coder.cod…

计算机二级Python刷题笔记------基本操作题11、14、17、21、30(考察列表)

文章目录 第十一题&#xff08;列表遍历&#xff09;第十四题&#xff08;len&#xff09;第十七题&#xff08;len、insert&#xff09;第二十一题&#xff08;append&#xff09;第三十题&#xff08;二维列表&#xff09; 第十一题&#xff08;列表遍历&#xff09; 题目&a…

springcloud和基础服务的搭建以及封装

代码仓库地址&#xff1a;https://github.com/zhaoyiwen-wuxian/springcloud-common page分页也进行了封装&#xff0c;只需要添加到pom中&#xff0c;将会自动进行分页&#xff0c;并且后端不需要写任何的分页数据。只需要前端自己传分页参数即可&#xff0c;并且里面封装了很…

Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置(上)

Hololens 2应用开发系列&#xff08;2&#xff09;——MRTK基础知识及配置文件配置 一、前言二、MRTK基础知识2.1 MRTK概述2.2 MRTK运行逻辑2.3 MRTK配置文件介绍2.4 MRTK服务 三、配置文件使用3.1 总配置文件3.2 相机配置3.3 其他配置 参考文献 一、前言 在前面的文章中&…

使用 Docker 部署 Answer 问答平台

1&#xff09;介绍 GitHub&#xff1a;https://github.com/apache/incubator-answer Answer 问答社区是在线平台&#xff0c;让用户提出问题并获得回答。用户可以发布问题并得到其他用户的详细答案、建议或信息。回答可以投票或评分&#xff0c;有助于确定有用的内容。标签和分…

Ps:历史记录面板

Ps菜单&#xff1a;窗口/历史记录 Window/History 历史记录 History面板提供了对图像编辑过程中所进行更改的深入控制&#xff0c;可以让用户回溯并查看每一步操作&#xff0c;从而允许用户轻松撤销错误或比较不同的编辑效果。 ◆ ◆ ◆ 常用操作方法与技巧 “历史记录”面板…

CentOS7设置虚拟机语言为中文

1.查看本地安装的语言 locale -a 是一个Linux命令&#xff0c;用于列出系统中可用的所有区域设置&#xff08;locales&#xff09;它包含了各种语言和地区的不同设置。 打开终端&#xff08;右键open terminal&#xff09;输入 locale -a 查看本地安装的语言&#xff1a; 其中z…

一些可以访问gpt的方式

1、Coze扣子是新一代 AI 大模型智能体开发平台。整合了插件、长短期记忆、工作流、卡片等丰富能力&#xff0c;扣子能帮你低门槛、快速搭建个性化或具备商业价值的智能体&#xff0c;并发布到豆包、飞书等各个平台。https://www.coze.cn/ 2、https://poe.com/ 3、插件阿里…