超级大数据

Storm Trident介绍

2019-06-15  本文已影响1人  裘马轻狂大帅

一、概述

    Storm Trident中的核心数据模型就是“Stream”,也就是说,Storm Trident处理的是Stream,但是实际上Stream是被成批处理的,Stream被切分成一个个的Batch分布到集群中,所有应用在Stream上的函数最终会应用到每个节点的Batch中,实现并行计算。

在Trident中有五种操作类型:

1Apply Locally:本地操作,所有操作应用在本地节点数据上,不会产生网络传输   

2Repartitioning:数据流重定向,单纯的改变数据流向,不会改变数据内容,这部分会有网络传输

3Aggragation:聚合操作,会有网络传输

4Grouped streams上的操作

5Merge和Join

小结:上面提到了Trident实际上是通过把函数应用到每个节点的Batch上的数据以实现并行,而应用的这些函数就是TridentAPI。

上一篇 下一篇

猜你喜欢

热点阅读