第4章 虚拟机性能监控与故障处理工具

1.概述

给系统定位问题的时候，知识、经验是关键基础，数据是依据，工具是运用知识处理数据的手段。数据包括：运行日志、异常堆栈、GC日志、线程快照、堆转储快照等。

2.JDK命令行工具

本章介绍的工具全部基于JDK1.6 Update 21。bin目录下的.exe命令行工具其实都是jdk/lib/tools.jar类库的一层包装。我们先了解一下这个类库：

• jps：JVM Process Status Tool，显示指定系统内的所有的HotSpot虚拟机进程。

• jstat：JVM Statistics monitoring Tool，用于收集HotSpot虚拟机各方面的运行数据。

• jinfo：Configuration Info for Java，显示虚拟机配置信息。

• jmap：Memory Map for Java，生成虚拟机的内存转储快照。

• jhat：JVM heap Dump Browser，用于分析heapdump文件，它会建立一个HTTP/HTML服务器，让用户可以在浏览器上查看分析结果。

• jstack：Stack Trace for Java，显示虚拟机的线程快照。

2.1 jps：虚拟机进程状况工具

它的功能和UNIX的ps命令类似：列出正在运行的虚拟机进程，并显示虚拟机执行主类名称以及这些进程的本地虚拟机唯一ID。

命令格式：

jps [ options ] [ hostid ]

jps 执行样例：

Seanol:~ user$ jps -l 
10946 org.jetbrains.jps.cmdline.Launcher
9207
11676 sun.tools.jps.Jps

jps 可以通过RMI协议查询开启了RMI服务的远程虚拟机进程状态，hostid为RMI注册表中注册的主机名。jps其他常用选项如下图：

jps主要选项

2.2 jstat：虚拟机统计信息监视工具

监视虚拟机各种运行状态信息的命令行工具。显示本地或者远程虚拟机进程中的类加载、内存、垃圾收集、JIT编译等运行数据。

命令格式：

jstat [ option vmid [interval [s|ms] [count]] ]

参数interval和count代表查询间隔和次数，如果忽略说明只查询一次。

## 假设需要每250毫秒查询一次进程2764的垃圾收集情况，一共查询20 次：
jstat -gc 2764 250 20

jstat工具主要option参数

2.3 jinfo：Java配置信息工具

实时查看和调整虚拟机各项参数。

命令格式：

jinfo [ option ] pid

2.4 jmap：Java内存映射工具

用于生成堆转储快照(heapdump/dump)。还可以查询finalize执行队列、Java堆和永久代的详细信息，如空间使用率、当前用的是哪种收集器等。

命令格式：

map [ option ] vmid

jmap工具主要选项

2.5 jhat：虚拟机堆转储快照分析工具

与jmap搭配使用，来分析jmap生成的堆转储快照。分析结果可以在浏览器上查看。但一般不用这个来分析，原因是：一般不会在部署应用程序的服务器上直接分析dump文件，分析工作是一个耗时而且消耗硬件资源的过程；另一个原因是jhat的分析功能相对来说比较简陋。

2.6 jstack：Java堆栈跟踪工具

用于生成虚拟机当前时刻的线程快照(threaddump/javacore文件)。

线程快照就是当前虚拟机内每一条线程正在执行的方法堆栈的集合，生成线程快照的主要目的是：定位线程出现长时间停顿的常见原因，如线程间死锁、死循环、请求外部资源导致的长时间等待。

命令格式：

stack [ option ] vmid

jstack工具主要选项

样例：

jstack查看线程堆栈

JDK1.5中，java.lang.Thread类新增了getAllStackTraces()方法用于获取虚拟机中所有线程StackTraceElement对象。可以在实际项目中用这个做个管理员页面。这是原作者的一个小经验。

查看线程状况的JSP页面

2.7 HSDIS：JIT生成代码反汇编

它的作用是让HotSpot的-XX:+PrintAssembly指令调用它来把动态生成的本地代码还原为汇编代码输出，同时还生成了大量非常有价值的注释。

根据自己的操作系统在Project Kenai网站上下载编译好的插件，直接放到JDK_HOME/jre/bin/client和JDK_HOME/jre/bin/server目录中即可。

Project Kenai: http://kenai.com/projects/base-hsdis.
HLLVM圈子中已有编译好的: http://hllvm.group.iteye.com/.

注意：如果使用的是Debug或者FastDebug版的HotSpot，可以直接通过-XX:+PrintAssembly指令使用插件；如果使用Product版的HotSpot，还要额外加入一个-XX:+UnlockDiagnosticVMOptions参数。

样例：

编译下面代码，使用一下命令执行：

java -XX:+PrintAssembly -Xcomp -XX:CompileCommand=dontinline,*Bar.sum -XX:CompileCommand=compileonly,*Bar.sum test.Bar

测试代码

其中，参数-Xcomp让虚拟机以编译模式执行代码，这样代码可以"偷懒"，不需要执行足够次数来预热就能触发JIT编译。两个-XX:CompileCommand让编译器不要内联sum()并且只编译sum()，-XX:+PrintAssembly就是输出反汇编内容。上面命令结果如下：

测试结果代码

• mov %eax，-0x8000(%esp)：检查栈溢。

• push %ebp: 保存上一栈帧基址。

• sub $0x18，%esp：给新帧分配空间。

-mov 0x8(%ecx),%eax：取实例变量a，0x8(%ecx)就是ecx+0x8的意思，前面"[constans]"节中提示了"this:ecx='test/Bar'"，即ecx寄存器中存放的就是this对象的地址。偏移0x8是越过this对象的对象头，之后就是实例变量a的内存位置。这次是访问"Java堆"中的数据。

• mov $0x3d2fad8,%esi：取test.Bar在方法区的指针。

• mov 0x68(%esi),%esi：取类变量b，这次是访问方法区中的数据。

• add %esi, %eax 和 add %edx, %eax：做两次加法，求a+b+c的值。前面代码把a放在eax中，把b放在esi中，c在[contants]中提示了，"parm0:edx=int"，说明c在edx中。

• add $0x18, %esp：撤销栈帧。

• pop %ebp：恢复上一栈帧。

• test %eax,0x2b0100：轮询方法返回处的SafePoint。

• ret：方法返回。

3.JDK的可视化工具

3.1 JConsole：Java监视与管理控制平台

是一种基于JMX的可视化监视、管理工具。

1.启动 JConsole

通过JDK/bin目录下"jconsole.exe"启动，如下图所示，双击选择其中一个进程即可开始监控。

JConsole 启动页面

选择一个进入JConsole主界面，可以看到"概述"、"内存"、"线程"、"类"、"VM摘要"、"MBean"6个页签。如下图所示：

JConsole主界面

2.内存监控

相当于可视化的jstat命令，用于监视收集器管理的虚拟机内存(Java堆和永久代)的变化趋势。通过下面代码来测试一下它的功能。虚拟机参数设置为：-Xms100m -Xmx100m -XX:+UseSerialGC，这段代码的含义是：以64KB/50毫秒的速度往Java堆放数据，一共放1000次。

JConsole监视代码

程序运行后，在"内存'页签看到内存池Eden区的运行趋势呈现折线状，如下图所示。监视范围扩大至整个堆后，会发现曲线是一条向上增长的平滑曲线。

Eden区内存变化情况

在1000次循环执行结束，运行了System.gc()，虽然整个新生代Eden和Survivor区基本被清空了，但是老年代的柱状图仍保持高峰状态，说明被填充斤堆中的数据在System.gc()后仍然存活。

3.线程监控

相当于可视化的jstack命令。造成线程长时间停顿的主要原因有：等待外部资源(数据库连接、网络资源、设备资源等)、死循环、锁等待(活锁和死锁)。通过下面代码块分别演示：

/**
     * 线程死循环演示
     */
    public static void createBusyThread(){
        
        Thread thread = new Thread(new Runnable() {
            @Override
            public void run() {
                while (true);
            }
        },"testBusyThread");
        thread.start();
    }

    /**
     * 线程锁等待演示
     */
    public static void createLockThread(final Object lock){
        
        Thread thread = new Thread(new Runnable() {
            @Override
            public void run() {
                synchronized (lock){
                    try {
                        lock.wait();
                    } catch (InterruptedException e){
                        e.printStackTrace();
                    }
                }
            }
        },"testLockThread");
        thread.start();
    }

    public static void main(String[] args) throws IOException {

        BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
        br.readLine();
        createBusyThread();
        br.readLine();
        Object obj = new Object();
        createLockThread(obj);
    }

程序运行后，首先"线程"页签中选择main线程，如下图所示。堆栈追踪显示BufferedReader在readBytes方法中等待System.in的键盘输入,这时线程为Runnable状态，Runnable状态的线程会被分配运行时间，但readBytes方法检查到流没有更新时会立刻归还执行令牌，这种等待只消耗很小的CPU资源。

main线程

接着监控testBusyThread线程，testBusyThread一直在空循环，这时候线程为Runnable状态，而且没有归还线程执行命令的动作，会在空循环上用尽全部执行时间直到线程切换，这种等待消耗较多的CPU资源。如下图所示，

testBusyThread线程

接着testLockThread线程在等待lock对象的notify或nofityAll方法的出现，线程这时候处于WAITING状态，在被唤醒前不会被分配执行时间。

testLockThread线程

testLockThread线程现在是正常的活锁等待。下面的代码演示了无法再被激活的死锁等待：

/**
 * 线程死锁
 **/
public class SynAddRunnable implements Runnable {

    int a,b;
    public SynAddRunnable(int a, int b){
        this.a = a;
        this.b = b;
    }

    public void run(){
        synchronized (Integer.valueOf(a)){
            synchronized (Integer.valueOf(b)){
                System.out.println(a+b);
            }
        }
    }

    public static void main(String[] args) {

        for (int i = 0; i < 100; i++) {
            
            new Thread(new SynAddRunnable(1,2)).start();
            new Thread(new SynAddRunnable(2,1)).start();
        }
    }
}

这段代码造成死锁的原因是：Integer.valueOf()方法传入参数在[-128,127]（这个范围的参数会被缓存）范围内，将直接返回缓存中的对象。代码中调用了200次Integer.valueOf()一共只返回了两个不同的对象。

假如在某个线程的两个sychronized块之间发生了一次线程切换，那就会出现线程A等着被线程B持有的Integer.valueOf(1)，线程B又等着被线程A持有的Integer.valueOf(2)，造成死锁。

出现死锁后，JConsole会检测到，如下图所示：

线程死锁

3.2 VisualVM：多合一故障处理工具

优点：不需要被监视的程序基于特殊Agent运行，因此它对应程序的实际性能的影戏那个很小，可以直接用在生产环境中。

1.VisualVM 安装

它支持插件扩展功能的特性，通过插件扩展支持，可以做到：

• 显示虚拟机进程以及进程的配置、环境信息(jps、jinfo)

• 监视应用程序的CPU、GC、堆、方法区以及线程的信息(jstat、jstack)

• dump以及分析堆转储快照(jmap、jhat)

• 方法级的程序运行性能分析，找出被调用最多、运行时间最长的方法

• 离线程序快照：收集程序的运行配置、线程dump、内存dump等信息建立一个快照，可以将快照发送开发者处进行bug反馈。

• 其他插件等

下载并打开VisualVM，选择要安装的插件。

也可以手动下载插件，地址： https://visualvm.github.io/pluginscenters.html

2.生成、浏览堆转储快照

在VisualVM中生成dump文件有两种方式：

• 在"应用程序"窗口中右键单击应用程序节点，然后选择"堆Dump"。

• 在"应用程序"窗口中双击应用程序节点以打开应用程序标签，然后在"监视"标签中单击"堆Dump"。

3.分析程序性能

Profiler页签，VisualVM提供了程序运行期间方法级的CPU执行世界分析以及内存分析，对程序性能有比较大的影响，不在生产环境中使用。

4. BTrace 动态日志跟踪

在不停止目标程序运行的前提下，通过HotSpot虚拟机的HotSwap技术动态加入原本并不存在的调试代码。

这项功能对实际生产中的程序很有意义：经常遇到程序出现问题，但排查错误的一些必要信息，如方法参数、返回值等，在开发时没有打印到日志中，以至于不得不停掉服务，通过调试增量加入日志代码以解决问题。

安装BTrace后，VisualVM会出现"Trace Application..."菜单，如下图所示：

BTrace动态跟踪

HotSwap技术：代码热替换技术。

准备了一段简单的Java代码演示BTrace功能：产生两个1000以内的随机整数，输出这两个数字相加的结果，代码如下：

public class BTraceTest {

    public int add(int a, int b){
        return a + b;
    }

    public static void main(String[] args) throws IOException {

        BTraceTest test = new BTraceTest();
        BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
        for (int i = 0; i < 10; i++) {
            br.readLine();
            int a = (int)Math.round(Math.random() * 1000);
            int b = (int)Math.round(Math.random() * 1000);
            System.out.println(test.add(a, b));
        }
    }
}

运行后打开VisualVm打开该程序的监视，在BTrace页签填入TracingScript内容，输入的调试代码如下：

@BTrace
public class TracingScript {
        @OnMethod(
                clazz="jvm_demo.chapter4.BTraceTest",
                method="add",
                location=@Location(Kind.RETURN)
        )
    }
    
    public static void func(@Self jvm_demo.chapter4.BTraceTest instance,
                            int a, int b, @Return int result){
        println("调用堆栈：");
        jstack();
        println(strcat("方法参数A： ",str(a)));
        println(strcat("方法参数B： ",str(b)));
        println(strcat("方法结果： ",str(result)));
    } 

点击"Start"后可见"BTrace code successfully deployed"字样。