背景
在flink中由于数据倾斜或者数据处理速率的不匹配,很容易引起反压,本文就看一下flink反压的原理
flink反压原理
flink全流程pineline的反压实现其实依赖于TaskManager之间的反压和TaskManager内部的反压来实现
1.TaskManager之间的反压
2.TaskManager内部的反压
结合TaskManager之间的反压和TaskManager内部的反压flink就可以做到整个pineline作业的反压实现
参考:https://www.alibabacloud.com/blog/analysis-of-network-flow-control-and-back-pressure-flink-advanced-tutorials_596632
https://www.ververica.com/blog/how-flink-handles-backpressure