Docker日志收集
引子
Docker的应用为我们带来便利的同时，日志集中化问题就越来越有必要性了。
Docker的日志处理
在收集之前，我们先来简单了解下docker日志处理的机制。当启动一个容器的时候，它其实是docker daemon的一个子进程，docker daemon可以拿到你容器里面进程的标准输出，拿到标准输出后，它会通过自身的一个LogDriver模块来处理，LogDriver支持的方式很多，可以写到本地的文件（默认方式），可以发送到syslog等，见下图：
01.png
目前，常见的收集方式有下面几种：
-
应用程序自行处理
这个好像并跟这次的主题没有多少关系，比如：使用log4j可以将日志发送到远端的日志中心；
-
Docker Logging Driver
通过LogDriver将日志发送到不同的地方，目前官方支持的log driver类型如下：
docker log driver.png
-
旁路方式
旁路模式.png
-
利用docker API获取日志的stream，并发送到不同的地方。logspout 就是这个方式的一个开源组件，另外，阿里云平台的日志收集agent fluentd-pilot也是采用这种方案。
-
通过挂载volume的方式将容器内的日志落地到宿主机，宿主机上通过日志采集agent采集，比较流行的agent有logstash, fluentd等。
最佳实践
在日志收集的过程中，需要特别考虑性能的问题。试想一下，当容器的流量比较大的时候，势必日志也会随着大量地产生，这时就会有个问题，日志收集agent必然会跟容器抢占宿主机的资源，为了避免这个问题，在收集选型的时候就需要注意：
- 限制日志收集agent使用的资源，这很容易就想到了docker容器的方式运行agent，docker通过cgroup可以将一个容器的所使用的资源进行完美的限制；
- docker logging driver的性能问题，实测下来json-file（默认方式，写文件到本地）效率是最高的，fluentd logging driver, syslog logging driver会严重影响容器的QPS，容器QPS受后端日志收集agent处理快慢的影响。
综上所属，最佳实践就是采用旁路模式来收集，并且使用容器方式来运行并限定使用的资源；最终采用了logspout+Fluentd的方案（架构图见下），采用的理由如下：
-
通过挂载volume的方式，无法取得容器运行的一些元数据（container_id）, 在我们的环境里，后续的日志处理会依赖这些元数据；
-
不方便为日志流添加一些自定义的字段；
docker log采集.png
logspout通过docker.sock监听本地容器的启动，通过docker API获取到这个新容器的日志流，并将这个日志流通过udp的协议发送给fluentd处理，fluentd处理完成后发送给后续的日志系统。
最后，受阿里云fluentd-pilot的影响，我将官方的logspout进行一些小的修改，请见：
-
日志采集的必需先声明，需要采集的容器需要在启动时添加label
docker run --label "xingren.log=true" -
默认采集docker env中的
MESOS_TASK_ID, 因为我们使用的marathon+mesos作为容器的平台，后续日志处理需要这个字段；
部署
下面个出个docker-compose.yml, 通过docker-compose up就可以运行了；
version: "2"
services:
logspout:
image: techwong/logspout
restart: on-failure
environment:
# 这个是发送给fluentd的日志内容模版，JSON格式
RAW_FORMAT: '{ "container_id" : "{{ .Container.ID }}", "labels": {{ toJSON .Container.Config.Labels }}, "timestamp": "{{ .Time.Format "2006-01-02T15:04:05Z07:00" }}", "source" : "{{ .Source }}", "log": {{ toJSON .Data }}, "MESOS_TASK_ID": {{ getMESOS_TASK_ID .Container.Config.Env }} }'
volumes:
- /var/run/docker.sock:/var/run/docker.sock
ports:
- "24222:80"
command: raw://fluent:5160
depends_on:
- fluent
cpu_quota: 30000 # 限制CPU资源
restart: always
fluent:
image: fluent/fluentd:v0.12
volumes:
- ./fluent:/fluentd/etc
ports:
- "24221:24221"
environment:
LOGSPOUT: ignore
FLUENTD_CONF: docker_log_collect.conf
cpu_quota: 30000
restart: always
fluent的简单配置：
<source>
@type udp
tag docker
format json
port 5160
</source>
<match docker>
@type stdout
</match>
最后，可以通过查看fluent的log来查看格式化的容器日志；
