手把手教你搭建ELK
2022-11-26 本文已影响0人
贪挽懒月
一、分布式系统查询日志存在的问题
假如我订单服务总共部署在20台服务器上,如果我们直接登录服务器查询日志的话,那得先看一号机器,没有再看二号机器……并且日志量较多的话,可能一个时间段内日志就被切分成好几个文件,这样查询实在是太麻烦了,ELK就是解决这个问题的。
二、ELK是什么
elk 是 elasticsearch、logstash、kibana 的合称。
- elasticsearch:用来搜索数据的;
- logstash:用来收集日志的,内置了很多过滤器,可以对收集到的日志做各种过滤处理;
- kibana:就是一个界面,用来展示logstash收集到的日志的。
这三种技术我都不会,需要额外地去学习吗?
可能很多人有这个疑问,其实是不需要的,搭建 elk 不需要你会任何一种技术!
三、搭建ELK
1. elasticsearch安装配置步骤
- 下载地址:elasticsearch
- 下载后解压,进入bin目录直接执行 elasticsearch 或者 elasticsearch.bat 启动即可。
- 启动后访问
localhost:9200
,出现如下界面就启动成功了。
2. logstash安装配置步骤
-
下载地址:logstash
-
下载后解压,拷贝 config 目录下的 logstash-sample.conf,改名为 logstash.conf,修改其配置,内容如下:
input { tcp { mode => "server" host => "127.0.0.1" port => 9001 codec => json_lines } } output { elasticsearch { hosts => ["http://127.0.0.1:9200"] index => "elk-search-%{+YYYY.MM.dd}" } }
简单解释一下这段配置:
- input 块是 logstash 接收日志时的一些配置,output 是 logstash 往 elasticsearch 输送日志的配置;
- input.host 是运行 logstash 的服务器的 ip;input.port 是 logstash 的运行端口,可以自己定义;
- output.hosts 的 elasticsearch 的 ip 和端口,这是个数组,多个用逗号隔开,由于我们没有修改 elasticsearch 的配置,它默认就是 9200 端口;output.index 是索引;
- 修改完配置,进入 bin 目录指定配置文件启动即可,例如:
./logstash -f ../config/logstash.conf
,如果是 windows 版本,执行logstash.bat -f ../config/logstash.conf
即可。
3. kibana安装配置步骤
- 下载地址:kibana
- 下载后解压,然后拷贝一份 config 目录下的 kibana.yml,根据自己的需要可以修改配置,比如端口(默认5601)、host、elasticsearch.hosts(默认localhost:9200)等。我这里都用默认的,没有修改。
- 到 bin 目录下执行
./kibana
就可以启动了,windows 执行kibana.bat
即可。 - 启动完访问
localhost:5601
,看到如下界面就启动成功了。
4. 项目中配置日志输出到logstash
-
引入依赖,比如我用的 logback,那么需要如下依赖:
<dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>7.0.1</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.30</version> </dependency> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>1.2.3</version> </dependency>
-
编写logback-spring.xml,内容如下:
<?xml version="1.0" encoding="UTF-8"?> <configuration> <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="undefinedAppName"/> <jmxConfigurator/> <logger name="org.springframework.web" level="INFO"/> <logger name="org.apache.velocity.runtime.log" level="INFO"/> <!-- 控制台输出 --> <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"> <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder"> <Pattern>[%X{traceid}] %d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %M:%L - %msg %n</Pattern> </encoder> </appender> <appender name="dailyRollingFileAppender" class="ch.qos.logback.core.rolling.RollingFileAppender"> <File>logs/logback-today-${APP_NAME}.log</File> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <!-- daily rolling over --> <FileNamePattern>logs/${APP_NAME}.%d{yyyy-MM-dd}.log</FileNamePattern> <!-- keep 30 days' log history --> <maxHistory>30</maxHistory> </rollingPolicy> <encoder> <Pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %msg %n</Pattern> </encoder> </appender> <!-- 输出到文件 --> <appender name="FILE" class="ch.qos.logback.classic.AsyncAppender"> <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 --> <discardingThreshold>0</discardingThreshold> <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 --> <queueSize>256</queueSize> <!-- 添加附加的appender,最多只能添加一个 --> <appender-ref ref="dailyRollingFileAppender"/> </appender> <!-- 输出到logstash --> <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <!--logstash的ip和端口--> <destination>127.0.0.1:9001</destination> <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/> <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder"> <providers> <timestamp> <timeZone>Asia/Shanghai</timeZone> </timestamp> <pattern> <pattern> { "app_name":"${APP_NAME}", "traceid":"%X{traceid}", "ip": "%X{ip}", "server_name": "%X{server_name}", "level": "%level", "trace": "%X{X-B3-TraceId:-}", "span": "%X{X-B3-SpanId:-}", "parent": "%X{X-B3-ParentSpanId:-}", "thread": "%thread", "class": "%logger{40} - %M:%L", "message": "%message", "stack_trace": "%exception{10}" } </pattern> </pattern> </providers> </encoder> </appender> <root level="INFO"> <appender-ref ref="CONSOLE"/> <appender-ref ref="FILE"/> <appender-ref ref="LOGSTASH"/> </root> </configuration>
这里的核心配置就是输出到 logstash 那一段,主要 logstash 的 ip 和端口要和刚才配置的一致。
5. 在kibana中查询日志
- 启动你自己的项目;
- 访问
localhost:5601
,点击左侧最下方图标【Management】--> 【Index Patterns】--> 【Create index pattern】
这里就可以看到刚才在 logstash 配置文件中配置的 index 了,即 elk-search-2022.04.11,我们新建一个 index pattern 能够匹配到这个 index 就好了,比如我新建的叫 elk-search*
,然后保存即可。
- 最后点击左侧第一个图标【discover】,就可以查询日志了。