1.ELK介绍

1.1 ELK简介

1.1.1 ELK是什么？

• ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合
• 在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co公司名下，故有此简称
• 后Elastic.co又开发出一个数据收集器系统：Beats 平台

1.1.2 ELK的优点

• 和传统的日志处理方案相比，ELK Stack 具有如下几个优点：
  • 处理方式灵活
  • 配置简易上手
  • 检索性能高效
  • 集群线性扩展
  • 前端操作炫丽

1.1.3 集中式日志系统的基本功能

• 收集－能够采集多种来源的日志数据
• 传输－能够稳定的把日志数据传输到中央系统
• 存储－如何存储日志数据
• 分析－可以支持 UI 分析
• 警告－能够提供错误报告，监控机制

1.1.4 ELK的工作原理图

1.2 ELK应用案例

1.2.1 目前运维状况

• 背景
  • 对于运维开发人员而言，程序每次出现问题，都要查看机器上的日志定位问题，看是代码逻辑问题，还是调用API失败
  • 对于运营同学而言，日常会查看最近的流量如何
• 造成以上现状的的根因，主要有3点：
  • 缺乏实时监控系统
  • 日志过于分散
  • 数据分析门槛高

1.2.2 怎么解决这个问题？

• 这个日志平台需要将分散在各个服务的日志集中收集起来进行管理
• 运维能够根据采集来的数据，在这个日志平台的可视化界面进行实时监控。一有什么风吹草动，立即就能感知
• 研发能够根据采集来的日志，在这个日志平台进行统一的关键词搜索和定位问题
• 运营能够仅仅通过鼠标点击，无须编程，进行数据分析和图形化展示

1.2.3 案例

• 某互联网直播平台为保障极佳的用户观看体验，需要在第一时间处理紧急事故

  
  

大数据视频推荐：
腾讯课堂
CSDN
ELK入门精讲
AIOps智能运维实战
ELK7 stack开发运维
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通