【gperftools】2——heap profiler

2022-03-23 本文已影响0人 ixiaolong

1 heap profiler 简介

heap profiler 大致有三类功能：

可以分析出在程序的堆内有些什么东西
定位出内存泄露
可以让我们知道哪些地方分配了比较多的内存

大概的原理就是使用 tcmalloc 来代替标准库的 malloc、calloc、new 等等，这样就能知道内存的分配情况，从而分析出内存问题。

2 本次测试简介

使用的是 ubuntu 20.04 系统。
采用直接调用提供的 API（在需要测试的代码的前后分别调用 HeapProfilerStart() 和HeapProfilerStop()）的方式进行测试。

3 安装环境并测试

安装 unwind

sudo apt install libunwind-dev

安装 gperftools

cd ~/Download
git clone https://github.com/gperftools/gperftools.git
cd gperftools
sh autogen.sh
./configure
make all
sudo make install

编写测试代码，监控开始，参数为需要生成的文件名前缀，注意这里指的是前缀，具体生成的文件方式后文进行讲解：

/* Start profiling and arrange to write profile data to file names
 * of the form: "prefix.0000", "prefix.0001", ...
 */
PERFTOOLS_DLL_DECL void HeapProfilerStart(const char* prefix);

监控结束：

/* Stop heap profiling.  Can be restarted again with HeapProfilerStart(),
 * but the currently accumulated profiling information will be cleared.
 */
PERFTOOLS_DLL_DECL void HeapProfilerStop();

使用时需要包含的头文件：

#include <gperftools/heap-profiler.h>

前文提到 start 时输入的是文件名的前缀，可能会生成多个文件，文件名为 prefix.0001.heap，prefix.0002.heap...序号依次递增：

heap_files.png

每当一定量的内存被新申请分配出来时，就会输出一个 profile 文件，这个变量值由 HEAP_PROFILE_ALLOCATION_INTERVAL 宏进行控制，默认值是 1G。

有一个不好的地方在于，一旦执行 stop 操作，则未写入文件部分的数据就会丢失了，所以在 stop 前，需要进行一个类似 flush 的操作，将未持久化的数据写入至文件，可以调用如下接口，传入的字符串为 dump 信息：

/* Dump a profile now - can be used for dumping at a hopefully
 * quiescent state in your program, in order to more easily track down
 * memory leaks. Will include the reason in the logged message
 */
PERFTOOLS_DLL_DECL void HeapProfilerDump(const char *reason);

测试代码
https://github.com/ixiaolonglong/memory_tool/blob/master/gperftools/tests/heap_profiler/heap_profiler_test.cpp

编译测试代码

g++ heap_profiler_test.cpp -o heap_profiler_test --ltcmalloc_and_profiler

执行 heap_profiler_test，生成 .profile 文件。

4 无环境情况下测试

此工程包含了gperftools 源码和 lib，无需安装环境可直接使用，使用流程详见 README.md 文件：
https://github.com/ixiaolonglong/memory_tool/tree/master/gperftools

6 报告

执行程序的环境不一定非要安装 gperftools，但生成的 profile 文件时必须要安装 gperftools 使用其 pprof 工具进行解析。

需要安装图形工具 Graphviz：

sudo apt-get install graphviz

生成不同类型的报告命令：

# 生成性能报告（层次调用节点有向图）输出到web浏览器显示
pprof heap_profiler_test heap_test.profile.0001.heap --web

# 生成pdf格式的性能报告（层次调用节点有向图）
pprof heap_profiler_test heap_test.profile.0001.heap --pdf > prof.pdf

# 生成文本格式的性能报告输出到控制台
pprof heap_profiler_test heap_test.profile.0001.heap --text

6.1 文本

Total: 41.7 MB
    41.7 100.0% 100.0%     41.7 100.0% Allocate
     0.0   0.0% 100.0%     41.7 100.0% __libc_start_main
     0.0   0.0% 100.0%     41.7 100.0% _start
     0.0   0.0% 100.0%     41.7 100.0% main
     0.0   0.0% 100.0%      3.5   8.4% test1
     0.0   0.0% 100.0%      0.0   0.0% test2
     0.0   0.0% 100.0%     38.1  91.5% test3

共有6列数据：
第1列：该函数自身分配了多少内存
第2列：第1列相对总分配大小的占比
第3列：第2列从第1行到当前行的累加值
第4列：该函数，及其调用的所有子函数一共分配了多少内存
第5列：第4列相对总分配大小的占比
第6列：函数名

6.2 图形

heap .png

7 原理

在数据结构上，heap profiling 与 CPU profiling 十分相似，都是 stack trace + statistics 的模型，但 heap Profiling 的数据采集工作并非简单通过定时器开展，而是需要侵入到内存分配路径内，这样才能拿到内存分配的数量。所以 heap profiler 通常的做法是直接将自己集成在内存分配器内，当应用程序进行内存分配时拿到当前的 stack trace，最终将所有样本聚合在一起，这样我们便能知道每个函数直接或间接地内存分配数量了。

参考链接：
https://gperftools.github.io/gperftools/heapprofile.html
https://www.cnblogs.com/minglee/p/10124174.html
https://juejin.cn/post/7031834718966382623