Hadoop工作生活

Logstash 篇之入门与运行机制

2019-06-30  本文已影响168人  青衣敖王侯

简介

image.png
image.png
架构简
架构简介
架构简介
image.png
image.png
image.png

表示把输入中的每一行转换成一个event,最后在把event转换成json输出。


image.png
image.png

life_of_an_event

image.png

Input被转换成event之后会放入queue里面,queue后面是一堆的pipeline,Batcher会从Queue里面拿event,当拿到一定数量的event或者说到达一定时间后,batcher就会把event发送到后面的filter和output中去。



queue简介

image.png
image.png
image.png
image.png
image.png

线程简介

image.png
pipeline配置

配置简介

logstash配置文件
logstash.yml
logstash.yml

path.data存储了持久化队列里面的数据


image.png
命令行配置
image.png
logstash配置方式建议

多实例运行

image.png

pipeline配置简介

image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
上一篇 下一篇

猜你喜欢

热点阅读