上周，我收到清华大学出版社编辑寄来的新书《流计算系统图解》。趁着周末的功夫，我快速浏览了本书的主要内容。一句话评价：值得一读，尤其是对开始开发流计算任务或系统一到两年，初步实现过一些功能或作业，但是还没有对流式系统建立起系统认识的开发者。

本书作者是两位 Apache Heron (incubating) 项目的 PMC 成员，Heron 是源自 Twitter 的计划取代 Storm 的流计算系统。据称，两位原本是打算写一本 Heron 的系统介绍，但是考虑到绑定具体系统，很难公平地介绍清楚流计算的基础概念和实现方向，最终选择以图解的方式讲解流式系统的设计重点和难点。

巧合的是，Heron 项目社群后续发展不顺利，已于今年一月放弃孵化^[1]。本书不局限于特定项目的定位，反而使得它能够在今天仍然有足够的价值被翻译。

本书译者是傅宇、黄鹏程和张晨。这几位都是流计算系统的专家。如果有读者关注数据处理系统的出版，可能还会知道他们合作翻译过另一本著作《Presto 实战》。应该说，这几位译者在 Data Infra 领域的经验和外文著作翻译的经验都是值得信赖的。

回到这本《流计算系统图解》上来。

本书一大特点就是书名点出的以图解方式介绍流计算系统。流计算作业通常包括多个阶段，每个阶段可以设置并行度，不同阶段之间可以用多种方式连接。一旦流计算作业运行起来，其不同阶段的算子通常会长时间运行，从而形成一个长期在线的流计算执行拓扑图。事件如何产生，如何在不同算子之间流转，连续事件处理的顺序和跨越算子不同扇入扇出时的分发机制，不画图可能还真说不清楚。

本书的另一大特点是提供了各个章节系统讲解的在线参考代码^[2]。两位作者删繁就简，设计实现了一个简单的流计算参考系统，并在概念讲解中穿插基于这个系统的实例演示。我在浏览过程中针对一些有趣的主题测试过这份在线代码，应该说，两位作者是用心设计的，读者可以阅读代码理解流计算系统的基础结构，也可以做一些 HACKING 验证书中提出的一些发散的问题和想法。

下面介绍一下本书各个章节的关注点，并附上我写过的文章或者相关章节参考资料。

第一章和第二章是对数据处理系统和流计算系统的简介和 Hello World 示例。

第三章介绍了流计算中的数据并行和任务并行。

这个主题非常重要。因为流计算要想在大数据量下取得良好的延迟和吞吐体验，合理的并行设计是必不可少的。并行的策略会影响数据分发的形式，事件处理的顺序和算子状态的管理。

第四章讨论了流计算作业的拓扑结构。主要介绍的是 DAG 的形式，以及不同算子对应的扇入扇出及其性质。

DAG 也是流计算系统主要支持的作业拓扑结构，目前最热门的流计算系统 Flink 实现的也是 DAG 拓扑结构的作业调度。除此之外，可以补充阅读 Naiad^[3] 论文。这篇论文里介绍了用于流图上迭代计算的环结构，其开源实现是 Timely Dataflow^[4] 库，被用在流数据库 Materialize 上。不过上次看的时候，Materialize 并未利用上 Timely Dataflow 的迭代计算能力，现如今也不标榜自己是流数据库了，令人唏嘘。

第五章讨论了流计算作业的事件送达语义，即经典的至多一次（At-Most Once）、至少一次（At-Least Once）和恰好一次（Exactly Once）。

书中点出了恰好一次根本是实际一次（Effectively Once），即是通过重试和幂等实现的，而不是真的只投递一次消息并能确保下游收到。这个认识对理解恰好一次语义是至关重要的。

关于流式系统中的恰好一次语义，我也写过一篇文章 Exactly Once^[5] 做讨论。其他参考材料如下：

• An Overview of End-to-End Exactly-Once Processing in Apache Flink^[6]

• 《流式系统》^[7]第五章 Exactly-Once and Side Effects

第六章是对前面几章的总结和开启第二部分进阶话题的序章。

第七章讨论了流式系统中的窗口计算。窗口其实可以理解成流计算中的攒批计算，跟批处理中的微批模式形成某种对偶。不过，窗口计算有着语义上的需求，而微批模式主要是性能上的需求。

关于窗口计算和水位线，我写过 Window^[8] 和 Watermark 两篇文章。其他参考材料如下：

• The Dataflow Model^[9]

• 《流式系统》第三章和第四章

其中，The Dataflow Model 是 Google 流计算的经典论文，Dataflow 模型的开山之作。这篇论文当中，主要讨论的就是如何设计和实现一个带窗口计算的流计算系统。

第八章讨论了 JOIN 操作，主要涉及到流和表的共轭关系或者说数据的流表二象性。

本书从算子扇入扇出切入，把 JOIN 作为一种特殊的扇入方式引进，还是比较自然的。现实世界中，最复杂的流计算就是涉及双流 JOIN 或维表 JOIN 的计算。书中先从表是流的物化视图引进，接着讨论不同类型的 JOIN 对应的效率和数据完整性考量。

这部分内容涉及《流式系统》整个第二部分，足以见其复杂

第九章讨论了反压。前面提到，流计算系统通常是长期在线运行的系统，因此它需要应对潜在的在线流量洪峰。

反压实际上是一个在线系统实现层面的细节，并不完全跟流计算系统相绑定。关于反压的问题，我推荐 Flink China 社群早年录制的一个教程《Flink 网络流控与反压剖析》^[10]。

第十章讨论了有状态计算。实际上，在前面讨论送达语义、窗口计算和 JOIN 操作的时候，或多或少都涉及到了流式系统中的状态管理。

领我入门流计算领域的施晓罡博士说过，Flink 的创造性价值，不在于流计算，而在于实现了带状态的流计算。把状态管理内化到流计算系统的设计当中，解决了 Storm 等系统依赖外部状态存储导致的数据一致性很难保证的问题。直到今天，Flink 官网上巨大的 Slogan 仍然是：数据流上的有状态计算。

关于这个主题，我写过一篇文章 State^[11] 讨论。其他参考资料如下：

• Lightweight Asynchronous Snapshots for Distributed Dataflows^[12]

• From Aligned to Unaligned Checkpoints^[13]

第十一章终章是对前面章节的总结和展望。

关于其他流式系统的参考资料，我写过一份书单《流式系统阅读指南》。

最后，我想引用《流计算系统图解》最后一节的内容，给有志于深入学习和实践流计算系统的读者分享一些参与方向：

挑选一个开源项目来学习，甚至直接参与到开源项目当中。

开源运动让我们平等地接触到业内领先的流计算系统。它们的代码实现和设计文档，甚至设计过程的讨论和用户使用的反馈都唾手可得。学习流计算从来没有一个时候像现在这样简单。

• Apache Flink^[14] 无可争议的顶级开源流计算系统。

• Apache Spark^[15] 无论如何，Spark Streaming 的用户基数还是很大的，并且它也确实适合一些流计算的场景。

• Apache Beam^[16] Dataflow 的开源实现。

• RisingWave^[17] 译者之一傅宇参与的开源项目。虽然项目还很年轻，缺乏生产案例，但是这也意味着巨大的技术实践空间。我推荐它主要是因为项目设计文档丰富详实，以及核心开发者们乐于分享和交流。

• Materialize^[18] 这个并不是开源软件，但是源码可以自由阅读。同时代码仓库中也有非常丰富的设计讨论和文档。

开始写博客，传授你所学的知识。

上面的参考资料中包括了不少我自己写的博客。在流计算的国内传播上，云邪的博客^[19]起到了很大的作用，不少人第一次深入了解流计算就是从阅读他的博客开始的。另外，林小铂的博客^[20]也值得一读。当然，还有 Flink 的博客^[21]。主动分享和交流是开源开发者技术进步的阶梯。

参加聚会和会议。

Flink Forward 大会几乎每年都会在中国举办。此外，随着 RisingWave 和一系列 MQ 社群的崛起，流计算相关的聚会和会议只会越来越多。

永不放弃。原文写到：

要实现任何卓越的目标，都需要经历一次又一次的失败。接受失败，这将使你变得更优秀。

参考资料

[1]

今年一月放弃孵化: https://lists.apache.org/thread/374rqg8s5j532qs6tcdw6zjc9c11p55w

[2]

在线参考代码: https://github.com/nwangtw/GrokkingStreamingSystems

[3]

Naiad: https://sigops.org/s/conferences/sosp/2013/papers/p439-murray.pdf

[4]

Timely Dataflow: https://github.com/timelyDataflow/timely-dataflow/

[5]

Exactly Once: https://zhuanlan.zhihu.com/p/102607983

[6]

An Overview of End-to-End Exactly-Once Processing in Apache Flink: https://flink.apache.org/2018/02/28/an-overview-of-end-to-end-exactly-once-processing-in-apache-flink-with-apache-kafka-too/

[7]

《流式系统》: https://book.douban.com/subject/34439870/

[8]

Window: https://zhuanlan.zhihu.com/p/103890281

[9]

The Dataflow Model: https://research.google/pubs/pub43864/

[10]

《Flink 网络流控与反压剖析》: https://www.bilibili.com/video/BV124411P7V9

[11]

State: https://zhuanlan.zhihu.com/p/119305376

[12]

Lightweight Asynchronous Snapshots for Distributed Dataflows: https://arxiv.org/abs/1506.08603

[13]

From Aligned to Unaligned Checkpoints: https://flink.apache.org/2020/10/15/from-aligned-to-unaligned-checkpoints-part-1-checkpoints-alignment-and-backpressure/

[14]

Apache Flink: https://github.com/apache/flink

[15]

Apache Spark: https://github.com/apache/spark

[16]

Apache Beam: https://github.com/apache/beam

[17]

RisingWave: https://github.com/risingwavelabs/risingwave

[18]

Materialize: https://github.com/MaterializeInc/materialize

[19]

云邪的博客: https://wuchong.me/

[20]

林小铂的博客: https://www.whitewood.me/

[21]

Flink 的博客: https://flink.apache.org/posts/