程序猿之路程序员

Java堆外内存陷阱

2017-06-07  本文已影响422人  三斤牛肉

最近在查一个堆外内存泄露的问题,通过-XX:MaxDirectMemorySize仍然限制不住堆外内存的上涨,一直到机器物理内存爆满,被oom killer。

上一篇关于MaxDirectMemorySize的设置中讲过MaxDirectMemorySize限制了DirectByteBuffer的内存申请,但是它只是通过java.nio.Bits类中reservedMemory,totalCapacity的值去做计算,真正申请堆外内存空间的是sun.misc.Unsafe类。也就是说,用户完全可以通过其他方式使内存泄露。

这里就遇到了一个由于句柄泄露导致内存泄露的问题。

88877.png

通过mat查看dump文件,
由于句柄泄露导致生成大量的EPollArrayWrapper对象。
这个对象占了多少内存呢,来看下构造函数:

...省略大量代码

static final int SIZE_EPOLLEVENT  = sizeofEPollEvent();
static final int NUM_EPOLLEVENTS  = Math.min(fdLimit(), 8192);

private static native int sizeofEPollEvent();
private static native int fdLimit();

EPollArrayWrapper() {
        // creates the epoll file descriptor
        epfd = epollCreate();

        // the epoll_event array passed to epoll_wait
        int allocationSize = NUM_EPOLLEVENTS * SIZE_EPOLLEVENT;
        pollArray = new AllocatedNativeObject(allocationSize, true);
        pollArrayAddress = pollArray.address();

        for (int i=0; i<NUM_EPOLLEVENTS; i++) {
            putEventOps(i, 0);
            putData(i, 0L);
        }

        // create idle set
        idleSet = new HashSet<SelChImpl>();
}
...
class NativeObject {
  ...
  protected NativeObject(int var1, boolean var2) {
        if(!var2) {
            this.allocationAddress = unsafe.allocateMemory((long)var1);
            this.address = this.allocationAddress;
        } else {
            int var3 = pageSize();
            long var4 = unsafe.allocateMemory((long)(var1 + var3));
            this.allocationAddress = var4;
            this.address = var4 + (long)var3 - (var4 & (long)(var3 - 1));
        }
  }
  ...
}

EPollArrayWrapper在新建的时候创建了一个NativeObject,
而NativeObject通过unsafe.allocateMemory申请了堆外内存。
其中allocationSize = NUM_EPOLLEVENTS * SIZE_EPOLLEVENT

typedef union epoll_data {
        void *ptr;
         int fd;
         __uint32_t u32;
         __uint64_t u64;
     } epoll_data_t;//保存触发事件的某个文件描述符相关的数据
     struct epoll_event {
         __uint32_t events;      /* epoll event */
         epoll_data_t data;      /* User data variable */
     };

epoll_data: union取最大值,64位整形,8字节
epoll_event: 4字节(32位整形)+4字节(补齐)+8字节 = 16字节
16*8192 = 128k
可以看到,一个EpollSelector占了约128k堆外内存,当句柄泄露时,堆外内存会随着句柄一起上涨。


总结

当遇到内存泄露的时候,首先要确定是堆内泄露还堆外,最直接的方式就是设置Xmx,查看物理内存占用是否超过JVM峰值,如果内存总量一直保持在峰值,且fullGC后不下降,那么可以猜测是堆内内存泄露,可以通过dump文件来分析对象。
如果内存总量超过Xmx,可以设置-XX:MaxDirectMemorySize,查看内存总量是否等于堆内+MaxDirectMemorySize,如果可以通过MaxDirectMemorySize限制内存上涨,那么可以猜测是使用了DirectByteBuffer没有合理回收导致的。如果还不能限制,那么就有可能是使用了Unsafe,需要看下第三方工具或中间件是否使用不当。

上一篇下一篇

猜你喜欢

热点阅读