本文介绍在Flink 中集成和使用Hudi。介绍Flink如何将Streaming引入Hudi。在Hudi上使用Flink,并学习Flink读写Hudi的不同模式:
Flink SQL客户端写入:Flink SQL客户端写入(读取)Hudi。
配置:对于全局配置,通过$FLINK_HOME/conf/FLINK-conf.yaml进行设置。对于每个作业配置,通过表选项进行设置。
写入数据:Flink支持不同的写入模式,如CDC Ingestion、Bulk Insert、Index Bootstrap、Changelog Mode和Append Mode。
查询数据:Flink支持不同的读取模式,如流式查询和增量查询。
调整:对于写/读任务,本指南给出了一些调整建议,如内存优化和写速率限制。
优化:离线压缩支持离线压缩。
查询引擎:除了Flink,还集成了许多其他引擎:Hive Query、Presto Query。