Logstash 容器化

2018-12-08  本文已影响306人  运维开发_西瓜甜

镜像

官方镜像地址 ,包含了 ELK 三个组件 和 Fielbeat

docker pull docker.elastic.co/logstash/logstash:6.5.2

管道配置

如果您不向Logstash提供管道的配置,它将使用最小配置运行,该配置侦听来自Beats输入插件的消息 并输出到stdout

1. 可以将本地的含有配置文件的整个目录以 bind-mounts 的方式和容器内的目录 /usr/share/logstash/pipeline/ 进行映射。

docker run --rm -it --mount type=bind,src=/logstash/pipeline/,dst=/usr/share/logstash/pipeline/ docker.elastic.co/logstash/logstash:6.5.2

2. 也可以将具体的管道配置文件映射到容器中。

以下示例显示的是,如何配置Logstash以侦听本机的 5044 端口来获取由任何 Beats 插件(比如: filebeat)发送来的事件,并输出到标准输出的。

logstash_stdout.conf

input {
  beats {
    port => 5044             # 监听的端口
    host => "0.0.0.0"      # 监听的本地 ip 地址,这里是全部地址
  }
}
output {
  stdout { codec => rubydebug }
}

运行容器

docker run -it --rm --name=logstash65 --mount type=bind,src=$(pwd)/logstash_stdout.conf,dst=/usrl/share/logstash/pipeline/logstash.conf docker.elastic.co/logstash/logstash:6.5.2

添加自定义的配置文件

1. 也可以挂载整个目录

docker run --rm -it -v ~/settings/:/usr/share/logstash/config/ docker.elastic.co/logstash/logstash:6.5.2

2. 同样可以挂载单个文件

docker run --rm -it -v ~/settings/logstash.yml:/usr/share/logstash/config/logstash.yml docker.elastic.co/logstash/logstash:6.5.2

3. 也可以使用自定义镜像的方式进行配置

FROM docker.elastic.co/logstash/logstash:6.5.2
RUN rm -f /usr/share/logstash/pipeline/logstash.conf
COPY pipeline/ /usr/share/logstash/pipeline/
COPY config/ /usr/share/logstash/config/

4. 配置文件中的默认值

下面是 Docker 容器的默认值

key value
http.host 0.0.0.0
xpack.monitoring.elasticsearch.url http://elasticsearch:9200

日志配置

Logstash 容器默认会把日志输出到标准输出。

要想输出到指的文件,挂载覆盖掉容器里的这个文件

/usr/share/logstash/config/log4j2.properties

配置日志的方式

Logstash 默认日志记录级别为INFO。Logstash的日志框架基于 Log4j 2框架

您可以对特定子系统,模块或插件进行的日志记录的配置。

您可以使用该log4j2.properties文件或Logstash API 配置日志记录。

1.Log4j2 文件的方式配置

配置日志级别和输出名字示例

logger.elasticsearchoutput.name = logstash.outputs.elasticsearch
logger.elasticsearchoutput.level = debug

2. Loging API 的方式配置

可以通过日志记录API动态更新日志记录级别。这些设置立即生效,无需重启。

a. 查看日志配置信息
curl -XGET 'localhost:9600/_node/logging?pretty'
b. 更新日志级别
curl -XPUT 'localhost:9600/_node/logging?pretty' -H 'Content-Type: application/json' -d'
{
    "logger.logstash.outputs.elasticsearch" : "DEBUG",
    "logger.logstash.codecs.rubydebug" : "DEBUG"
}
'
c. 重置日志级别

要重置可能已通过日志记录API动态更新的任何日志记录级别,请发送PUT请求 _node/logging/reset。所有日志记录级别都将恢复为log4j2.properties文件中指定的值。

curl -XPUT 'localhost:9600/_node/logging/reset?pretty'

日志文件位置

您可以使用--path.logs设置指定日志文件位置。

慢日志

Logstash的Slowlog添加了对通过管道时在特定事件上花费了异常时间记录的功能。就像普通的应用程序日志一样,您可以在--path.logs目录中找到slowlogs 。

logstash.yml 可以使用以下选项在设置文件中配置Slowlog :

slowlog.threshold.warn (default: -1)
slowlog.threshold.info (default: -1)
slowlog.threshold.debug (default: -1)
slowlog.threshold.trace (default: -1)

默认情况下禁用Slowlog。默认阈值设置 -1nanos为表示无限阈值。不会调用slowlog

启用慢日志

这些slowlog.threshold字段使用时间值格式,可以实现各种触发间隔。您可以使用以下时间单位指定范围:

当您提高日志级别时,Slowlog 会变得更加敏感并记录更多事件。

Example:

slowlog.threshold.warn: 2s
slowlog.threshold.info: 1s
slowlog.threshold.debug: 500ms
slowlog.threshold.trace: 100ms

在这个例子中:

日志包括导致速度缓慢的完整事件和过滤器配置。

上一篇下一篇

猜你喜欢

热点阅读