Kubernetes - 日志系统ELK
1. 简介
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。
集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/products
- Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
- Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
- Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
如图：Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。
image.png
以上内容引自：https://my.oschina.net/itblog/blog/547250
2. Setup
2.1. 本地安装elasticsearch和head
参考：Elasticsearch安装与测试
不过，随着容器云的流行，这种部署方式不再常用。一般直接采用PAAS提供的Service，或者自己基于容器云搭建ELK集群。
2.2. 容器安装
Step1, docker image
- elastic公司官方提供docker image，很全面，可以结合doc使用
https://www.docker.elastic.co/ - package elk to a docker image
https://hub.docker.com/r/sebp/elk
https://elk-docker.readthedocs.io/#installation
注，本地启动elasticsearch，可能需要修改mmap counts，参考https://www.elastic.co/guide/en/elasticsearch/reference/5.0/vm-max-map-count.html#vm-max-map-count
sysctl -w vm.max_map_count=262144
或者 vi /etc/sysctl.conf：
vm.max_map_count=262144
Step2, run elk service
镜像sebp/elk支持ElasticSearch、Logstash和Kiabana分别启动，也支持单容器启动，同时也支持集群启动，详细方法可参考文档。
docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
- 打开http://localhost:5601，查看kiabana。9200是elasticsearch端口，5044是logstash端口。
image.png
Step3, do a test, filebeat -> elasticsearch -> kiabana
- filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/share/filebeat/mylogs/*.1
# output.logstash:
# hosts: ["elk:5044"]
output.elasticsearch:
hosts: ["elk:9200"]
index: "docker-filebeat-%{[beat.version]}-%{+yyyy.MM.dd}"
setup.template.name: "docker-filebeat-%{[beat.version]}"
setup.template.pattern: "docker-filebeat-%{[beat.version]}-*"
- run filebeat docker
docker run --link elk:elk \
-v /home/kevin/learn/elasticsearch/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /home/kevin/tmp/log:/usr/share/filebeat/mylogs \
docker.elastic.co/beats/filebeat:6.5.4
-
在Kibana.Management，创建Kibana的
index patterns，匹配Elasticsearch的index
image.png
-
在Kibana.Discover查看分析数据
image.png
-
可以手动修改
/home/kevin/tmp/log/*.1日志，修改内容基本实时展现到Kibana
3. 如何部署K8S的ELK日志系统
工程人员完成项目上线后，对APP日志的监控和分析，往往是自我提升的重中之重。
在K8S创建ElasticSearch和Kibana并不难，比较麻烦的是如何将N个APP的日志收集到ES。有几种办法：
- a. 每个容器集成filebeat、packagebeat或logstash功能
- b. 在POD里面启动LogCollector容器，负责监听localhost端口或local file，完成日志收集（同一个Pod多个容器共享网络和存储）
-
c. 部署DaemonSet类型Pod，基于Node完成日志收集
推荐采用方法b，各个APP根据业务需要灵活使用，也降低了与APP容器的耦合。
4. 结束语
ELK系统发展很快，最近出了一些新特性，以后有时间再深入看下。
