Apache Beam入门学习一

2018-07-16  本文已影响0人  游龙惊凤

一、Beam编程基本概念

PCollection:数据集,可能是有界数据集(数据量有限)和无界数据集(数据量无限)

PTransform:对数据集进行计算处理,对输入的PCollection进行指定的计算逻辑处理产生输出PCollection

Pipeline:将PTransform和PCollection串起来的一个DAG(directed acyclic graph)

PipelineRunner:Pipeline执行环境

上一篇下一篇

猜你喜欢

热点阅读