记一次内存泄漏排查

1、现象

httpclient一直read time out，使用jmx 产看内存是每天都在上升的。

2、保存现场

jstack pid > jstack.log 保存栈日志
jmap -dump:format=b,file=heap.log pid 保存堆日志
一般情况会设置(-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heapdump.hprof) 遇到内存溢出会自动生成dump文件

3、止血(如果不需要可先排查问题)

重启应用，恢复服务，先止血。或者不影响服务的话可以直接连上服务器分析，不用分析日志。

4、分析排查

两种方案：

• 分析日志
  grep 'java.lang.Thread.State' jstack.log | wc -l 查看栈的数量
  grep -A 1 'java.lang.Thread.State' jstack.log | grep -v 'java.lang.Thread.State' | sort | uniq -c |sort -n
• 查看栈的状态
  使用 MAT 分析 jvm heap ，下载堆 dump 文件
  堆文件都是一些二进制数据，在命令行查看非常麻烦，Java 为我们提供的工具都是可视化的，Linux 服务器上又没法查看，那么首先要把文件下载到本地。
  由于我们设置的堆内存为 4G，所以 dump 出来的堆文件也很大，下载它确实非常费事，不过我们可以先对它进行一次压缩。
  gzip 是个功能很强大的压缩命令，特别是我们可以设置 -1 ~ -9 来指定它的压缩级别，数据越大压缩比率越大，耗时也就越长，推荐使用 -6~7， -9 实在是太慢了，且收益不大，有这个压缩的时间，多出来的文件也下载好了

• 服务器上即时排查
  1、top 查看服务器内存硬盘状况
  2、jinfo pid 查看java 内存情况
  3、jstat -gcutil [pid] 60000 查看从程序启动到现在进行了多少FGC,查看下old区百分比
  jmap -histo:live [pid] >f 打印堆内存存活对象信息
  vi f

5、定位问题

根据第四步分析出具体oom对象，发现一个connectManager被放到了map中，map的clear是跟httpclient shutDown一块的。但是项目原因，封装的阿里云 apachHttpclient，每次的ak和sk不一样所以每次创建一个新的client，所以map一直在增加没有被释放。