一图读懂：Flink CDC如何流式写入Paimon？
以Mysql CDC至Paimon为例
整体架构
-
MySQL CDC SourceSnapshotReader读取快照全量数据，BinlogReader读取增量数据。
-
paimon sink 实现桶级别的写入，compactManager实现异步compaction
-
comitter 单例模式负责提交和过期快照
流程
第一步：当source端读取 到全量快照数据和增量数据，发送到下游sink
第二步：sink端获取到数据，先在在内存LSM tree中缓存，当内存满了以后flush到磁盘中。
注意：此时并没有创建snapshot，当flink 写入checkpoint时，paimon sink会把所有缓从中的记录刷写到磁盘，并且发送一个committable 消息给下游。下游Committer Operator read during checkpoint。
第三步：checkpoint期间，commiter operator 会创建一个新的snapshot 和manifest关联起来，所以一个snapshot包含了一个表的所有信息。
第四步：这一步是被触发的。异步执行的。CompactManager 生成的committable包含previous files 和 merged files ，所以Commiter Operator可以构造相应的manifest。
这种情况下，Commiter Operator在checkpoin期间可能生成两份快照，一份是数据写入（Append类型的快照），另外一份是compact快照。如果在checkpoint期间没有写入数据文件，就只会创建Compact类型的快照。Committer Operator将检查快照是否过期，并对标记的数据文件执行物理删除。
参考文献：
https://paimon.apache.org/docs/0.8/learn-paimon/understand-files/#flink-stream-write
