2.Logstash介绍

2.1 Logstash简介

2.1.1 Logstash是什么？

• Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地

• 2013 年，Logstash 被 Elasticsearch 公司收购，ELK stack 正式成为官方用语

  
  

2.1.2 Logstash的作用

• Logstash是一个开源数据收集引擎，具有实时管道功能。

  
  

2.1.3 Logstash的输入源

• 能够以连续的流式传输方式，轻松地从日志、指标、Web 应用、数据存储以及各种AWS服务采集数据。

  
  

2.1.4 Logstash的输入—日志和指标

• 处理所有类型的日志数据
  • 很容易摄取大量的web日志（如Apache）和应用程序日志（如Java的log4j）
  • 捕获许多其他日志格式，如syslog、网络和防火墙日志等等
• 从Ganglia、collectd、NetFlow、JMX收集指标，和许多其他基础设施，以及TCP和UDP上的应用程序平台

2.1.5 Logstash的输入—网络

• 将HTTP求转换为事件
  • 使用像Twitter这样的web服务防火墙进行社交情绪分析
  • 对GitHub、HipChat、JIRA和无数其他应用程序的Webhook支持
  • 支持许多监控用例
• 根据需要通过轮询HTTP端点创建事件
  • 普遍地从web应用程序接口捕获健康、性能、指标和其他类型的数据
  • 更适合于轮询控制而不是接收的场景

2.1.6 Logstash的输入—数据和流

• 更好地理解来自任何关系数据库或具有JDBC接口的NoSQL存储的数据
• 统一不同的数据流，如Apache Kafka、RabbitMQ和Amazon SQS
• Logstash是一个常见的事件收集主干，用于从移动设备发送数据到智能住宅、连接的车辆、医疗传感器和许多其他行业特定的应用程序

2.1.7 Logstash的过滤功能

• 过滤器是Logstash管道中的中间处理设备，常用过滤器包括：
  • grok：解析和构造任意文本，Grok是目前Logstash中解析非结构化日志数据到结构化和可查询数据的最佳方式，使用内置的120种模式
  • mutate：对事件字段执行一般的转换，你可以重命名、删除、替换和修改事件中的字段。
  • drop：完全删除事件，例如debug事件
  • clone：复制事件，可能添加或删除字段
  • geoip：添加关于IP地址地理位置的信息

2.1.8 Logstash多种输出

• 将数据路由到最重要的地方，通过存储、分析和对数据执行特定的操作：
  • 分析：Elasticsearch、数据存储，如MongoDB。
  • 归档：HDFS、S3。
  • 监控：Nagios、Ganglia、Zabbix、Graphite、Datadog、CloudWatch。
  • 提醒：使用Elasticsearch Watcher、Email、IRC、SNS。

2.1.9 Logstash的管道

• Logstash事件处理管道有三个阶段：输入→过滤器→输出

  
  

2.1.10 Logstash的角色

• Logstash 社区通常习惯用shipper，broker 和 indexer 来描述数据流中不同进程各自的角色。

  
  

大数据视频推荐：
腾讯课堂
CSDN
ELK入门精讲
AIOps智能运维实战
ELK7 stack开发运维
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通