Apache Beam入门学习一
2018-07-16 本文已影响0人
游龙惊凤
一、Beam编程基本概念
PCollection:数据集,可能是有界数据集(数据量有限)和无界数据集(数据量无限)
PTransform:对数据集进行计算处理,对输入的PCollection进行指定的计算逻辑处理产生输出PCollection
Pipeline:将PTransform和PCollection串起来的一个DAG(directed acyclic graph)
PipelineRunner:Pipeline执行环境