Flume

2021-01-15 本文已影响0人大空翼123

Flume定义

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。

Agent主要有3个部分组成，Source、Channel、Sink。

Source是负责接收数据到Flume Agent的组件

Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

#一个sink只能对应一个channel,一个chann可以多个sink

Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。

Flume自带两种Channel：Memory Channel（写入内存易丢失）和File Channel（写入磁盘不易丢失）。

传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

配置环境变量

#flume

export FLUME_HOME=/opt/module/flume

export PATH=$PATH:$FLUME_HOME/bin

Flume案例1

命令行输入，在另一个端口U打开

Flume案例2

单个文件追加写入HDFS或log

Flume案例3

监控目录下多个新文件写入HDFS或log

Flume案例4

监控目录下多个追加文件写入HDFS或者log