尚硅谷大数据技术之Flume

1.2.4 Sink
Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。
Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。
1.2.5 Event
传输单元，Flume数据传输的基本单元，以事件的形式将数据从源头送至目的地。
1.3 Flume拓扑结构
Flume的拓扑结构如图1-3、1-4、1-5和1-6所示：

image.png
image.png
image.png
image.png

1.4 Flume Agent内部原理

image.png

本教程由尚硅谷教育大数据研究院出品，如需转载请注明来源，欢迎大家关注尚硅谷公众号（atguigu）了解更多。