运维工具

线上环境如何查看实时,历史QPS。

2017-11-21  本文已影响2276人  Gonzo

引用于:
如何查看线上机器的QPS
tomcat访问(access)日志配置、记录Post请求参数

1. 需求:

2. 思路:

3. 步骤:

  1. 配置tomcat的 access log。
    现在的服务器大多用上了Spring Boot,配合着嵌入式Tomcat, 关于Tomcat的所有配置, 都只需要在yml文件里面配置即可。

    以往, 配置access log的方式是在server.xml,Host 标签下, 添加Value标签, 来配置access log。更多的自定义配置方式,可以跳转查看Tomcat access log配置

    server.xml

    第二种配置方式, 是在application.yml里, 配置 server.tomcat.accesslog:


    application.yml

    在里我只配置了日志目录,以及开启日志。

    配置完成之后, 访问服务器, tomcat就会打印访问日志,默认格式为:
    127.0.0.1 - - [19/Nov/2017:23:55:27 +0800] "POST /rest/user/checkToken.json HTTP/1.0" 200 138

  2. 使用linux tailf cut uniq配合,得到每秒的access log
    通过查看日志
    127.0.0.1 - - [19/Nov/2017:23:55:27 +0800] "POST /rest/user/checkToken.json HTTP/1.0" 200 138
    发现, 只要获取每一条里面的 19/Nov/2017:23:55:27 这一部分数据, 然后将这部分数据通过uniq -c,就得到每一秒,都有多少条访问日志。所以大概的思路就是, 通过tailf 进行日志的打印, 然后使用cut 进行每一行字符串的分割得到时间那一部分, 再通过uniq -c 得到每一秒的行数。

    最终得到
    tailf temp.log | cut -d ' ' -f4 | uniq -c

    其中

temp.log 是文件名称, 通过cut -d ' ' -f4 命令, 将每一行使用空格进行分割, 取第四个,就得到了时间那一部分。

最终得到结果


temp.log

查看历史qps

  1. 将多个日志文件进行收集
    cat ./access_log.*.log > ./temp.log
  2. 对收集起来的日志进行统计分析。
    cat ./temp.log | cut -d ' ' -f4 | uniq -c | sort -n -r -o ./temp_sorted.log

sort 是对日志根据访问次数进行排序, 得到哪一段时间的qps最高。

最终,就得到历史的一个QPS数据啦~


上一篇下一篇

猜你喜欢

热点阅读