Hologres + Flink 流式湖仓建设
- 1 Flink + Hologres
- 2 实时维表 Lookup
1 Flink + Hologres
holo在实时数仓领域非常受欢迎,一般搭配flink+hologres来做实时数仓,中间分层用holo,上下游一般依赖于holo的binlog来下发数据
2 实时维表 Lookup
Hologres 作为 Flink 的实时维表,相比其他维表具有以下优势:
- 维表百万 RPS 查询。
通过 Hologres 行存表主键点查的能力,支持非常高 RPS 的查询,更容易达到百每秒百万单次查询,我们内部存在一些业务甚至可以到达几千万和上亿次的查询。
-
维表实时可更新。
可以实现更新维表及其中的一部分字段,降低运维难度,提升效率。 -
支持1对N点查(Prefix Scan)。
不仅支持一对一查询,更支持一对多查询。例如我们在保险客户里面,需要根据身份证查询有哪些保单,一个人可能会对应多张保单,这种一对 N 的查询 Hologres 可以非常友好的支持。 -
支持 InsertIfNotExist。
在一般维表进行查询时,查到就返回,查不到就返回空,但通过这个能力,Hologres 可以做到在查询不到数据时插入一则数值,再把插入值返回。这个功能可以用来玩转流量分析场景的精确 UV 查询,通过 RoaringBitmap 画像方案,让千亿级别的画像分析从分钟级缩减到秒级。