ceph：bufferlist实现
bufferlist是ceph的底层组件，用于存储二进制数据，其存储的数据可以直接写入磁盘，在代码中有很广泛的使用。
bufflist对应的类为buffer::list(using bufferlist = buffer::list;)，而buffer::list又基于buffer::ptr和buffer::raw实现，探讨buffer::list的实现，不能跳过它们。
buffer::raw
raw的数据成员部分代码如下：
class buffer::raw
{
public:
char *data;
unsigned len;
std::atomic<unsigned> nref{0};
int mempool;
mutable ceph::spinlock crc_spinlock;
map<pair<size_t, size_t>, pair<uint32_t, uint32_t>> crc_map;
......
};
最基本的成员：data是指向具体数据的指针，len是数据的长度，nref是引用计数。而mempool是其对应的内存池的index，这个和data空间的分配有关，暂时不去管它。
data指向的数据有很多来源，直接通过malloc从内存分配只是最基础的一种，可能还来自mmap内存映射的空间等等。对于每一种数据来源，需要不同逻辑的数据分配和释放函数，所以raw对应了很多子类，分别表示不同的数据。
举个例子，对应于malloc的raw子类为buffer::raw_malloc，构造和析构函数中实现了使用malloc进行数据分配和释放的逻辑：
class buffer::raw_malloc : public buffer::raw
{
public:
MEMPOOL_CLASS_HELPERS();
explicit raw_malloc(unsigned l) : raw(l)
{
if (len)
{
data = (char *)malloc(len);
if (!data)
throw bad_alloc();
}
else
{
data = 0;
}
inc_total_alloc(len);
inc_history_alloc(len);
bdout << "raw_malloc " << this << " alloc " << (void *)data << " " << l << " " << buffer::get_total_alloc() << bendl;
}
raw_malloc(unsigned l, char *b) : raw(b, l)
{
inc_total_alloc(len);
bdout << "raw_malloc " << this << " alloc " << (void *)data << " " << l << " " << buffer::get_total_alloc() << bendl;
}
~raw_malloc() override
{
free(data);
dec_total_alloc(len);
bdout << "raw_malloc " << this << " free " << (void *)data << " " << buffer::get_total_alloc() << bendl;
}
raw *clone_empty() override
{
return new raw_malloc(len);
}
};
buffer::ptr
ptr是基于raw的，成员部分如下：
class CEPH_BUFFER_API ptr
{
raw *_raw;
unsigned _off, _len;
......
};
ptr和raw的关系和golang中splice和array的关系有点像。raw是真正存储数据的地方，而ptr只是指向某个raw中的一段的指针。其数据成员 _raw为指向raw的指针，_off表示数据起始偏移，_len表示数据长度。
这边还有提一下ptr的append函数，直观上ptr不应该提供append函数，事实上ptr的append确实很局限，只有当ptr对应的raw区域后方有空闲空间的时候，才能append成功，至于空间不够的情况，应该是交给list等高层类来处理。代码如下：
unsigned buffer::ptr::append(const char *p, unsigned l)
{
assert(_raw);
assert(l <= unused_tail_length());
char *c = _raw->data + _off + _len;
maybe_inline_memcpy(c, p, l, 32);
_len += l;
return _len + _off;
}
buffer::list
简单来说，list就是一个ptr组成的链表：
class CEPH_BUFFER_API list
{
// my private bits
std::list<ptr> _buffers;
unsigned _len;
unsigned _memcopy_count; //the total of memcopy using rebuild().
ptr append_buffer; // where i put small appends.
......
};
_buffers是一个ptr的链表，_len是整个_buffers中所有的ptr的数据的总长度，_memcopy_count用于统计memcopy的字节数，append_buffer是用于优化append操作的缓冲区，可以看出bufferlist将数据以不连续链表的方式存储。
在说具体函数之前，先说一下bufferlist的迭代器：
template <bool is_const>
class CEPH_BUFFER_API iterator_impl
: public std::iterator<std::forward_iterator_tag, char>
{
protected:
bl_t *bl;
list_t *ls; // meh.. just here to avoid an extra pointer dereference..
unsigned off; // in bl
list_iter_t p;
unsigned p_off; // in *p
......
};
其数据成员的含义如下：
- bl：指针，指向bufferlist
- ls：指针，指向bufferlist的成员 _buffers
- p: 类型是std::list::iterator，用来迭代遍历bufferlist中的bufferptr
- p_off：当前位置在对应的bufferptr中的偏移量
- off：当前位置在整个bufferlist中的偏移量
迭代器中提供的seek(unsigned o)和advance(int o)等函数中的o都是指bufferlist的偏移，而不是单个ptr内的偏移。
下面对bufferlist中我遇到的一些函数进行分析，其他函数遇到再说。
clear()
清空bufferlist中的内容
push_front(raw* / ptr &)
push_back(raw* / ptr &)
在_buffers的前面或后面增加新的ptr
rebuild()
rebuild(ptr &nb)
将bufferlist中buffers链表中所有的ptr中的数据存到一个ptr中，并将_buffers原有数据clear，然后将新的单个ptr push到_buffers中。
带参数时使用参数传入的ptr作为目标ptr，不带参数时自己创建一个ptr。
claim(list &bl, unsigned int flags = CLAIM_DEFAULT);
将bl的数据拿过来，替换原有的数据。调用后bl数据被清空。
claim_append(list &bl, unsigned int flags = CLAIM_DEFAULT);
claim_prepend(list &bl, unsigned int flags = CLAIM_DEFAULT);
将bl的数据拿过来，splice到_buffers的尾部/头部。
append(...)
将数据追加到_buffers尾部，已有ptr空间不够时，会自动分配新的ptr。
splice(unsigned off, unsigned len, list *claim_by = 0)
将_buffers中总偏移off处长度为len的数据，move到claim_by对应的bufferlist的尾部。注意是move不是copy。
write(int off, int len, std::ostream &out)
将_buffers中总偏移量off处长度为len的数据，写入到ostream。注意是copy，不是move。
