实时数仓

流式计算的代表:Storm,Flink,Spark Stream

2019-11-23  本文已影响0人  Movle

流式计算的代表:Storm,Flink,Spark Streaming

Strom

1.Strom的主从架构


Strom主从架构

    nimbus是集群的Master,负责集群管理、任务分配等。supervisor是Slave,是真正完成计算的地方,每个supervisor启动多个worker进程,每个worker上运行多个task,而task就是spout或者bolt。supervisor和nimbus通过ZooKeeper完成任务分配、心跳检测等操作。

Spark Streaming

1.Spark Streaming是将实时数据流按时间分段后,当作小的批处理数据去计算

2.Spark Streaming将数据分段、分批的过程

Spark Streaming分段,分批过程

    Spark Streaming主要负责将流数据转换成小的批数据,剩下的就可以交给Spark去做了

Flink

1.Spark Streaming是将实时数据流按时间分段后,当作小的批处理数据去计算。而Flink则相反,一开始就是按照流处理计算去设计的。

2.Flink架构:

Flink架构
上一篇下一篇

猜你喜欢

热点阅读