程序员netty

Netty内存模型-PoolArena

2018-09-27  本文已影响9人  薛定谔的猫Plus

1 原理

应用层的内存分配最终是委托给PoolArena实现。先看下PoolArena的内部数据结构:

image

poolArena提供了两种方式进行内存分配:

tinySubpagePools:用于分配小于512字节的内存,默认长度为32,因为内存分配最小为16,每次增加16,直到512,区间[16,512)一共有32个不同值;

smallSubpagePools:用于分配大于等于512字节的内存,默认长度为4;

tinySubpagePools和smallSubpagePools中的元素都是默认subpage。

qInit:存储内存利用率0-25%的chunk

q000:存储内存利用率1-50%的chunk

q025:存储内存利用率25-75%的chunk

q050:存储内存利用率50-100%的chunk

q075:存储内存利用率75-100%的chunk

q100:存储内存利用率100%的chunk

各chunkList连接如下:

image

按照内存的使用率来取名的,如qInit代表一个chunk最开始分配后会进入它,随着其使用率增大会逐渐从q000到q100,而随着内存释放,使用率减小,它又会慢慢的从q100到q00,最终这个chunk上的所有内存释放后,整个chunk被回收。

接下来看下PoolArena如何进行内存分配,如下。

image

默认都是先尝试从poolThreadCache中分配内存,PoolThreadCache利用ThreadLocal的特性,消除了多线程竞争,提高内存分配效率;首次分配时,poolThreadCache中并没有可用内存进行分配,当上一次分配的内存使用完并释放时,会将其加入到poolThreadCache中,提供该线程下次申请时使用。

内存池内存分配流程:

1、ByteBufAllocator 准备申请一块内存;

2、尝试从PoolThreadCache中获取可用内存,如果成功则完成此次分配,否则继续往下走,注意后面的内存分配都会加锁;

3、如果是小块(可配置该值)内存分配,则尝试从PoolArena中缓存的PoolSubpage中获取内存,如果成功则完成此次分配;

4、如果是普通大小的内存分配,则从PoolChunkList中查找可用PoolChunk并进行内存分配,如果没有可用的PoolChunk则创建一个并加入到PoolChunkList中,完成此次内存分配;

5、如果是大块(大于一个chunk的大小)内存分配,则直接分配内存而不用内存池的方式;

6、内存使用完成后进行释放,释放的时候首先判断是否和分配的时候是同一个线程,如果是则尝试将其放入PoolThreadCache,这块内存将会在下一次同一个线程申请内存时使用,即前面的步骤2;

7、如果不是同一个线程,则回收至chunk中,此时chunk中的内存使用率会发生变化,可能导致该chunk在不同的PoolChunkList中移动,或者整个chunk回收(chunk在q000上,且其分配的所有内存被释放);同时如果释放的是小块内存(与步骤3中描述的内存相同),会尝试将小块内存前置到PoolArena中,这里操作成功了,步骤3的操作中才可能成功。

allocateNormal实现如下:

image

第一次进行内存分配时,chunkList没有chunk可以分配内存,需通过方法newChunk新建一个chunk进行内存分配,并添加到qInit列表中。如果分配如512字节的小内存,除了创建chunk,还有创建subpage,PoolSubpage在初始化之后,会添加到smallSubpagePools中,其实并不是直接插入到数组,而是添加到head的next节点。下次再有分配512字节的需求时,直接从smallSubpagePools获取对应的subpage进行分配。

Refereneces

  1. https://www.jianshu.com/p/4856bd30dd56

  2. https://blog.csdn.net/youaremoon/article/details/50042373

上一篇 下一篇

猜你喜欢

热点阅读