flume介绍及基本配置
2018-03-21 本文已影响19人
明明德撩码
Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。Flume仅仅运行在linux环境下。
它是一个基于流式的数据的非常简单的(就写一个配置文件就可以)、灵活的架构,它也是一个健壮的、容错的。它用一个简单的扩展数据模型用于在线实时应用分析。它的简单表现为:写个source、channel、sink,之后一条命令就能操作成功了。
Flume、kafka实时进行数据收集,spark、storm实时去处理,impala实时去查询。
架构图
Events
- Event是Flume数据传输的基本单元
- Flume以事件的形式将数据从源头传送到最终的目的
- Event由可选的header和载有数据的一个byte array构成
载有的数据对flume是不透明的
Header是容纳了key-value字符串对的无序集合,key在集合内是唯一的。
Header可以在上下文路由中使用扩展
工作原理
source监控某个文件,将数据拿到,封装在一个event当中,并put/commit到chennel当中,chennel是一个队列,队列的优点是先进先出,放好后尾部一个个event出来,sink主动去从chennel当中去拉数据,sink再把数据写到某个地方,比如HDFS上面去。
系统要求
image.pngFlume 安装部署
-c或--conf 后面跟配置目录
-f或—-conf-file 后面跟具体的配置文件
-n或—-name 指定Agent的名称
Starting an agent
Flume Agent的配置被存储在一个本地配置文件,这是一个根据java属性文件格式的文本文件,在这个配置文件中,包括了对source、sink、channel的属性配置,和其相关联形成数据流的配置。
案例功能描述:
Flume Agent实时监控端口,收集数据,将其以日志的形式打印在控制台。
Flume Agent
Flume的开发就是编写配置文件,说白了就说Agent中Source、Channel和Sink的类型及属性。