Flink 程序执行调优(持续更新中...)
2020-09-29 本文已影响0人
FishMAN__
1. 消费kafka的调优
- 关于并行度
消费kafka的并行度我们都知道source端保持跟kafka的分区一致,因为设置多了浪费,少了有压力。
那设置一个taskmanager设置多少个并行度合适呢?
在生产环境实践中,不建议一个并行度一个taskmanager,因为容易其中一个并行度它的taskmanager波动太大导致任务挂掉,建议2个或者多个一个taskmanger,不要太多,太多的并行度挤在同一个taskmanager,也不利于这个taskmanager所在机器节点的性能,例如网络IO等等。。