大数据协作框架

flume介绍及基本配置

2018-03-21  本文已影响19人  明明德撩码

Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。Flume仅仅运行在linux环境下。
它是一个基于流式的数据的非常简单的(就写一个配置文件就可以)、灵活的架构,它也是一个健壮的、容错的。它用一个简单的扩展数据模型用于在线实时应用分析。它的简单表现为:写个source、channel、sink,之后一条命令就能操作成功了。
Flume、kafka实时进行数据收集,spark、storm实时去处理,impala实时去查询。

架构图

Events

工作原理

source监控某个文件,将数据拿到,封装在一个event当中,并put/commit到chennel当中,chennel是一个队列,队列的优点是先进先出,放好后尾部一个个event出来,sink主动去从chennel当中去拉数据,sink再把数据写到某个地方,比如HDFS上面去。


系统要求

image.png

Flume 安装部署

-c或--conf 后面跟配置目录
-f或—-conf-file 后面跟具体的配置文件
-n或—-name 指定Agent的名称

Starting an agent

Flume Agent的配置被存储在一个本地配置文件,这是一个根据java属性文件格式的文本文件,在这个配置文件中,包括了对source、sink、channel的属性配置,和其相关联形成数据流的配置。
案例功能描述:
Flume Agent实时监控端口,收集数据,将其以日志的形式打印在控制台。

Flume Agent

Flume的开发就是编写配置文件,说白了就说Agent中Source、Channel和Sink的类型及属性。

上一篇下一篇

猜你喜欢

热点阅读