Go - 使用pprof和go-torch做性能分析 -- Wi

软件开发过程中，项目上线并不是终点。上线后，还要对程序的取样分析运行情况，并重构现有的功能，让程序执行更高效更稳写。 golang的工具包内自带pprof功能，使找出程序中占内存和CPU较多的部分功能方便了不少。加上uber的火焰图，可视化显示，让我们在分析程序时更简单明了。

pprof有两个包用来分析程序一个是net/http/pprof另一个是runtime/pprof，net/http/pprof只是对runtime/pprof包进行封装并用http暴露出来，如下图源码所示：

image.png

一、使用net/http/pprof分析web服务

pprof分析web项目，非常的简单只需要导入包即可。

_ "net/http/pprof"

• 示例：

package main

import (
    _  "net/http/pprof"
    "fmt"
    "math/rand"
    "net/http"
    "time"
)

var Count int64 = 0

func Fib() func() uint64 {
    var x, y uint64 = 0, 1
    return func() uint64 {
        x, y = y, x+y
        return x
    }
}

func calCount() {
    //Tick函数是使用channel阻塞当前协程，完成定时任务的执行
    timeInterval := time.Tick(time.Second) 

    for {
        select {
        case i := <-timeInterval:
            Count = int64(i.Second())
        }
    }
}

func handlerData(w http.ResponseWriter, r *http.Request) {
    qUrl := r.URL
    fmt.Println("Url:", qUrl)
    fibRev := Fib()
    var fib uint64
    for i := 0; i < 5000; i++ {
        fib = fibRev()
        fmt.Println("fib = ", fib)
    }
    str := RandomStr(RandomInt(100, 500))
    str = fmt.Sprintf("Fib = %d; String = %s", fib, str)
    w.Write([]byte(str))
}

func test(w http.ResponseWriter,r *http.Request) {
    fibRev := Fib()
    var fib uint64
    index := Count
    arr := make([]uint64, index)
    var i int64
    for ; i < index; i++ {
        fib = fibRev()
        arr[i] = fib
        fmt.Println("fib = ", fib)
    }
    time.Sleep(time.Millisecond * 500)
    str :=  fmt.Sprintf("Fib = %v", arr)
    w.Write([]byte(str))
}

var letterRunes = []rune("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890")

func RandomStr(num int) string {
    seed := time.Now().UnixNano()
    if seed <= 0 {
        seed = time.Now().UnixNano()
    }
    rand.Seed(seed) // //以时间作为初始化随机种子
    b := make([]rune, num)
    for i := range b {
        b[i] = letterRunes[rand.Intn(len(letterRunes))]
    }
    return string(b)
}

func RandomInt(min, max int) int {
    rand.Seed(time.Now().UnixNano()) //以时间作为初始化随机种子
    return rand.Intn(max-min+1) + min
}

func main() {
    go calCount()

    http.HandleFunc("/test",test)
    http.HandleFunc("/hand",handlerData)
    err := http.ListenAndServe(":8888",nil)
    if err != nil {
        panic(err)
    }
}

• 注：

web服务监听8888端口
web服务器有两个http方法
test： 根据当前的秒数做斐波那契计算
data： 做一个5000的斐波那契计算并返回一个随机的字符串

运行程序,通过访问http://127.0.0.1:8888/debug/pprof可以查看web版的profiles相关信息（用自己的服务端口号）

image.png

• 这几个路径表示的是

/debug/pprof/profile：访问这个链接会自动进行 CPU profiling，持续 30s，并生成一个文件供下载
/debug/pprof/block：Goroutine阻塞事件的记录。默认每发生一次阻塞事件时取样一次。
/debug/pprof/goroutines：活跃Goroutine的信息的记录。仅在获取时取样一次。
/debug/pprof/heap： 堆内存分配情况的记录。默认每分配512K字节时取样一次。
/debug/pprof/mutex: 查看争用互斥锁的持有者。
/debug/pprof/threadcreate: 系统线程创建情况的记录。 仅在获取时取样一次。

二、ab压力测试

除了这些golang为我提供了更多方便的方法，用于分析，下面我们来用命令去访问详细的信息，我们用ab来访问我们的两个方法，这样我们的服务会处在高速运行状态，取样的结果会更准确（wrk压力测试目前只支持mac和Linux）

1、ab下载：

下载地址：http://httpd.apache.org/download.cgi

• 或者直接从我的百度云下载：https://pan.baidu.com/s/12zZkulN_Y26anfhUt0QU3Q
  image.png
  image.png
  image.png

2、安装：

• 文件解压到本地文件夹下，如果不是解压在c盘，需要设置参数：

  
  image.png
  

  我的解压到了E盘下，需要设置参数，conf->httpd.conf 使用文本编辑器打开，

• 需要修改的有三个地方：
  a：运行根目录，修改成自己解压到本地的路径

  
  image.png
  

  b：监听端口，默认监听端口是80，如果已被使用会报错需要修改，如果80端口未被使用，可不修改；如果修改了监听端口，则需要把ServerName localhost也相应改成同样的端 口号

  
  image.png
  c：DocumentRoot 测试文件存放地，且该目录必须存在
  image.png

• 配置完成后，在终端进入E:Apache24/bin目录下，运行 httpd.exe -k install
  如果报错：Apache No installed service named "Apache2.4"
  

  image.png
  解决如下：
  1、查看 httpd.conf 是否配置：

Define SRVROOT "E:/Apache24"
ServerRoot "${SRVROOT}"

2、cmd窗口以管理员身份，进入Apache2的bin目录(比如我的bin路径为E:\Apache24\bin)。
3.、运行httpd.exe -k install -n "Apache2.4" 安装Apache到Windows服务中。

image.png

运行结果如上图所示，则为成功。
之后可以把apache的bin路径配置到环境变量的Path内，以后就可以直接运行httpd -k start打开apache服务器。

• Apache的相关命令：

httpd -k start 启动apache服务
httpd -k stop/shutdown 关闭apache服务
httpd -k restart 重启apache服务
sc delete Apache2.4 删除名为Apache2.4的apache服务

3、压力测试：

• 启动：httpd k start

  
  image.png
  image.png
• 测试： ab -n 2000 -c 500 http://*:8888/test?companyCode=param

-n :请求数
-c: 并发数
param：post你需要传的参数
*：是IP地址

如果没有参数，那“？”以及之后的没有。

image.png

• 参数详解：

-n 请求次数 -c 并发数
Server Software: Apache/2.4.18 服务器软件版本
Server Hostname: www.06a.com 请求的URL
Server Port: 80 请求的端口号
Document Path: / 请求的服务器的路径
Document Length: 19590 bytes 页面长度 单位是字节
Concurrency Level: 200 并发数
Time taken for tests: 124.509 seconds 一共使用了124s
Complete requests: 1000 请求的次数
Failed requests: 9 失败的请求
(Connect: 0, Receive: 0, Length: 9, Exceptions: 0)
Total transferred: 19669661 bytes 总共传输的字节数 http头信息
HTML transferred: 19472463 bytes 实际页面传递的字节数
Requests per second: 8.03 [#/sec] (mean) 每秒多少个请求
Time per request: 24901.805 [ms] (mean) 平均每个用户等待多长时间
Time per request: 124.509 [ms] (mean, across all concurrent requests) 服务器平均用多长时间处理
Transfer rate: 154.28 [Kbytes/sec] received 每秒获取多少数据
Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 1 3.0 0 62
Processing: 4679 17276 7877.7 15587 64050
Waiting: 4675 17273 7877.1 15586 64050
Total: 4679 17277 7877.8 15588 64051

Percentage of the requests served within a certain time (ms)
50% 15588 50%的用户的请求15588ms内返回
66% 21097
75% 24071
80% 25294
90% 27939
95% 29550
98% 32122
99% 34885
100% 64051 (longest request)

• 使用命令分析CPU使用情况：

go tool pprof httpdemo http://127.0.0.1:8888/debug/pprof/profile

在默认情况下，Go语言的运行时系统会以100 Hz的的频率对CPU使用情况进行取样。也就是说每秒取样100次，即每10毫秒会取样一次。为什么使用这个频率呢？因为100 Hz既足够产生有用的数据，又不至于让系统产生停顿。并且100这个数上也很容易做换算，比如把总取样计数换算为每秒的取样数。实际上，这里所说的对CPU使用情况的取样就是对当前的Goroutine的堆栈上的程序计数器的取样。

默认的取样时间是30s 你可以通过-seconds 命令来指定取样时间 。取样完成后会进入命令行状态：

image.png

可以输入help查看相关的命令.这里说几个常用的命令

top命令，输入top命令默认是返加前10的占用cpu的方法。当然人可以在命令后面加数字指定top数

image.png

list命令根据你的正则输出相关的方法.直接跟可选项o 会输出所有的方法。也可以指定方法名

image.png
web命令：以网页的形式展现：更直观的显示cpu的使用情况
image.png

• 如果报错：
  解决如下：
  1、下载：Graphviz：https://graphviz.gitlab.io/_pages/Download/Download_windows.html
  image.png
  2、安装
  image.png
  3、环境变量配置：
  image.png
  4.验证是否安装并配置成功：
  进入windows命令行界面，输入dot -version，然后按回车，如果显示graphviz的相关版本信息，则安装配置成功。如图：
  image.png
  如果没有报错，则如下图类似：
  image.png
• 分析内存使用情况（和分析cpu差不多使用命令）

go tool pprof httpdemo http://127.0.0.1:8888/debug/pprof/heap

默认情况下取样时只取当前内存使用情况，可以加可选命令alloc_objects，将从程序开始时的内存取样

go tool pprof -alloc_objects httpdemo http://192.168.3.34:9909/debug/pprof/heap

和cpu的命令一样，top list web。不同的是这里显示的是内存使用情况而已。这里我就不演示了。

三、安装go-torch

1、安装：

还有更方便的工具就是uber的 go-torch了
安装很简单

go get github.com/uber/go-torch
cd $GOPATH/src/github.com/uber/go-torch
git clone https://github.com/brendangregg/FlameGraph.git

之后将FlameGraph路劲添加到Path环境变量中。

• 修改代码：
  Gin 调用：import "github.com/DeanThompson/ginpprof" r := gin.Default() ginpprof.Wrap(r)
  image.png
  （在这里我出现了一个问题，就是在终端中执行命令 go-torch -u http://127.0.0.1:8888 -t 30 生成火焰图时报错：ould not generate flame graph: fork/exec flamegraph.pl: %1 is not a valid Win32 application. 大致意思是：不应生成火焰图：fork/exec flame graph.pl:%1不是有效的win32应用程序。） 我找了找网上的，都是Linux运行环境下的，这个我之后再看了解决吧。
• 解决链接：https://www.jianshu.com/p/e0d593217756

2、在终端中进入运行go文件的目录下，输入命令：go-torch -u http://127.0.0.1:8888 -t 30

image.png

3、成功生成了火焰图，双击打开：

image.png
image.png

四、如何读懂火焰图：

http://www.ruanyifeng.com/blog/2017/09/flame-graph.html