块存储空间管理
块存储资源管理
块存储 资源管理
由IO路径看资源布局。
IO start
Volume层
Pool层
Thin LUN
Meta Volume
-
Root Extent
- Alloc Queue
- Free Queue
- Map Tree Root
- Free Tree Root
Data Volume
Alloc Queue
grain分配队列
使用场景：
写thin lun，在查询map tree对应grain未分配时触发空间分配；
step1：空间以顺序分配的方式进行，分配时，增加offset偏移并可能改变队首（对首Item全部分配完时），并生成grain info返回。
step2：在map tree中插入新的映射项（grain id -> Extent ID + offset）,如果和前一个node满足合并条件则合并。
step3：如果alloc queue中可分配的grain低于阈值，则触发后台空间分配，首先从SPA中获取Extent并生成Item插入alloc queue队尾，如果SPA空间不足，不能分配Extent，则从free tree中取出Item，直接插入到alloc queue。
Item Head
Tier:0，1，2（为0时，一个bit表示一个grain，每升1，乘以64）
Offset:记录Extent已经分配grain的偏移。
Bitmap:0xFFFFFFFFFFFFFFFF(64字节)
Item
Item
...
Item Tail
Item
结构
-
Extent ID
表示归属的Extent ID
-
Tier
多级位图结构
0：bitmap一个bit表示一个grain的分配情况；
1：bitmap一个bit表示64个grain的分配情况；
2：bitmap一个bit表示64*64个grain的分配情况；
以此类推；
-
Offset
grain的分配采用顺序分配的方式
Tier为0时，bitmap的置位便可表示每个grain的分配情况；
Tier为1时，bitmap中为置为1的bit表示相应64个grain均已分配。不存在64个grain部分分配，tier却为1的情况，未集满时tier不会提升。此时bitmap的置位不能表示每个grain的分配情况，需要offset配合，每次分配一个grain，offset++，遇到已经置位的bit，还需++64；
Tier为2时，同上；
-
Bitmap
0xffffffffffffffff(8字节)
对应不同的tier，每个bit置位表示不同数量的grain分配情况，1、64、64*64...
合并
归属于相同的Extent，且表示的grain范围相同的Item可以合并。
tier为0的item，集满64个bit后，tier提升为1，并根据offset将新的item对应位置的1个bit置位；
tier为1的item，集满64*64个bit后，tier提升为2，并根据offset将新的item对应位置的1个bit置位；
以此类推；
分配
Grain Free Tree
资源释放树
使用场景：
删除thin lun，去激活快照等操作，需要释放响应的grain空间，本树中记录了已经释放的grain，释放的grain从map tree摘下放到free queue，free queue将队列中同一个extent的grain合并到一个item，最终和free tree的item合并，当item集满整个Extent时，将Extent释放给SPA。
node
-
leaf node
- key:extent id
- value:item
-
leaf node
-
leaf node...
node
node...
Grain Map Tree
thin lun的空间分配树。
使用场景：
1.写thin lun时，查询本树相应grain是否分配，未分配时从alloc queue分配grain并在本树插入相应node。
2.删lun、去激活快照等，需要回收空间，需要查询并删除本树的节点，同时查询free t，如果free queue已经存在 相同的Extent的Item，将相应grain的offset bit置位，否则生成新的Item插入free queue的队尾。
node
-
leaf node
相邻的node，如果属于同一个Extent，且Grain ID也相邻，则合并为一个leaf node以节省空间。
在对Thin LUN做连续写时，从分配队列分配的grain很可能满足合并条件（在资源充足，从SPA分配到整个Extent时，连续写分配的Grain必然可以合并；未从SPA分配到Extent时，去Free Tree取出Item分配，这里由于释放grain时的随机性，能合并的可能较小）。
由于存在合并的情况，使用grain id来map tree查询时，可能响应的grain已经和前面的node合并，所以查询策略略有不同，未查询到时，还需要查询前面的node中value的范围是否包含了查询的grain。
- key:LBA/grain size
- value:Extent Id + offset
- leaf node
- leaf node...
node
node...
Ckg Map Tree
POOL的CKG映射树（ckg id -> disk + lba）
负责ckg id到盘的路由
node
-
leaf node
- key:ckg id
- value:chunks{(diskid,LBA),...}
-
leaf node...
node
node...
Extent Map Tree
LUN的空间映射树（extent id -> ckg id）
该树负责extent到ckg的路由，由pool管理，物理分布在root extent中，节点有nodeMgr分配在非预留的extent node上。
读写：通过extent id进行索引，查到树上存在对应的节点，获取ckg id和offset，到pool的ckg map tree上进一步查询；
node
-
leaf node
- key:extent id
- value:ckg id + offset
-
leaf node
-
leaf node...
node
...
node
Free Queue
grain空间释放队列
使用场景：
删lun或去激活快照时，触发空间释放；
step1:将grain id的映射信息从map tree中摘下，并可能导致map tree node分裂（之前相邻的node满足属于同一个Extent且grain id连续）。
step2:以释放的grain的Extent id + offset去free queue查找，若找到，将相应bit置位，否则，生成新的Item插入队尾。
step3：后台释放：遍历free queue，将同一个extent的Item合并。
step4：将合并的Item去free tree查找，找到对应项则合并，否则新插入Item，若合并后Item集满整个Extent，将Extent释放给SPA。
Question：step2先查询，有相同Extent的Item置位对应bit，为什么step3还可能合并同一Extent的Item？存在同一个Extent的Item不能合并的情况？可能跟Item结构有关。。
Item Tail
Item
Item
...
Item Head
Disks
CowTree(Snapshot)
node
-
leaf node
相邻的node，如果属于同一个Extent，且Grain ID也相邻，则合并为一个leaf node以节省空间。
在对Thin LUN做连续写时，从分配队列分配的grain很可能满足合并条件（在资源充足，从SPA分配到整个Extent时，连续写分配的Grain必然可以合并；未从SPA分配到Extent时，去Free Tree取出Item分配，这里由于释放grain时的随机性，能合并的可能较小）。
由于存在合并的情况，使用grain id来map tree查询时，可能响应的grain已经和前面的node合并，所以查询策略略有不同，未查询到时，还需要查询前面的node中value的范围是否包含了查询的grain。
- key:LBA/grain size
- value:Extent Id + offset
- leaf node
- leaf node...
