2018-04-02 日志服务业内解决方案
2018-05-04 本文已影响19人
四火流年
背景
不管什么样的应用,都会产生日志,而如何使用这些日志就成了每个公司都必须面对的问题。
本文带着上面的问题,总结了一些业界已有的解决方案,期望能够厘定和日志相关的功能的边界,而不至于思维特别发散导致无从下手。
各大厂商
腾讯云
日志服务正在内测
阿里云
- 日志服务:包括logtail(实时采集)、消费组管理、查询、告警、Dashboard、MaxCompute、OSS
- 阿里云Elasticsearch:这个就是安装了ES的服务器,不是一个完整的解决方案。
Splunk
业界非常厉害的一家公司,很贵!
graylog
号称开源版的Splunk,值得研究。
git: Graylog2/graylog2-server
驭龙HIDS
git: ysrc/yulong-hids
git: ossec/ossec-hids
这是一个“主机入侵检测系统”,但是它的检测数据来源也包括日志。
因此它里面也有很多和日志处理相关的功能,挺好的。开源。在苏州招人。
Octopussy
主要由sebthebert开发维护。
其他的一些工具
- Fluentd
- Heka
- Logstash
- Beat(包括filebeat、Metricbeat、Auditbeat、Heartbeat等)
- Kibana
- Flume
- Kafka
- Searchguard(基于ELK的定制版,很多功能也收费)
- elastalert
功能的小结
查看了上面的这些业界产品,可以发现日志服务相关的一些基本功能:
- 权限管理,LDAP集成(还包括数据隔离)
- 日志采集
- 日志解析
- 日志存储、索引、搜索
- 日志展示,数据可视化
- 报警规则配置
- 报表导出