Ceph写流程分析
作者：Summer_ZJU
来源：CSDN
原文：https://blog.csdn.net/xiaqunfeng123/article/details/78574348
版权声明：本文为博主原创文章，转载请附上博文链接！
一、rbd到OSD映射关系
客户端使用RBD设备，使用librbd、librados库进行访问管理块设备。
1、创建一个pool，为这个pool指定pg的数量，同时在这个pool中指明保存数据的副本数（通常为3个副本）。
2、在这个pool中创建一个rbd设备rbd0，那么这个rbd0都会保存三份，在创建rbd0时必须指定rbd的size，对于这个rbd0的任何操作不能超过这个size。
3、将这个块设备进行切块，每个块的大小默认为4M，并且每个块都有一个名字，名字就是object+序号。
4、将每个object通过pg进行副本位置的分配，pg会寻找3个osd，把这个object分别保存在这三个osd上。最后对于object的存储就变成了存储一个文件rbd0.object1.file。数据层次映射图如下：
数据层次映射图
经过pool，rbd，object、pg的层层映射关系，在PG这一层中，已经知道存储数据的3个OSD所在位置及主从关系。
客户端与primay OSD建立SOCKET通信，将要写入的数据传给primary OSD，由primary OSD再将数据发送给其他replica OSD数据节点。
读写框架图：
读写框架图
二、写请求流程
1、rbd上的处理
在rbd中一个操作对象为一个image，这个请求经过处理拆分成object对象的请求，拆分后交给Objector进行处理，找到目标osd的集合及主osd。
将请求封装成MOSDOp消息，交由SimpleMessenger处理，SimpleMessager会尝试查找/创建一个OSDSession，并且为这个OSDSession创建一个数据通道pipe。消息从SimpleMessager收到后会保存到pipe的outq队列中。
pipe与目标osd建立Socket通信通道，并有专门的写线程writer来负责socket通信。writer线程同时监视这个outq队列，当队列中存在消息等待发送时，会就将消息写入socket，发送给目标OSD。
OSD将数据消息处理完成之后，进行回调，反馈执行结果。
关键代码序列图如下：
Ceph Write时序图
2、osd上的处理
OSD接收到message信息以后，解析并将消息转换成OpRequest，加入dispatch队列。同时从message中得到pool及PG的信息，将message交由PG进行相关处理。此时从OSD处理的message转化为了PG处理的op，添加到osd->op_wq队列中。PG中创建一个OpContext结构，接管message中的所有ops的操作。
解析出OpRequest中的所有op与data，用Transaction结构进行管理，即将ops与Transaction绑定，将操作和数据打包成事务，并发送给其他副本，同时管理自己和其他副本的数据处理统计，创建repop所有的applied与commit的管理。
提交事务后，交由filestore进行处理。
如果数据处理完成了，使用eval_repop()进行收尾的工作，将结果回调给客户端。
关键代码序列图如下：
OSD时序图
3、filestore上的处理
当数据进行写入的时候需要写到journal中一份，当data数据失败的时候可以从journal中进行恢复。从_op_journal_transactions()开始激发写入日志的操作，回调函数C_JournaledAhead的会在日志完成之后进行回调处理，将data写入磁盘。
将日志保存完成的回调ondisk交给ondisk_finisher，ondisk注册回调为C_OSD_OnOpApplied，在后续finisher线程中处理。在该函数中，循环处理需要回调的请求，回复刚开始接收到请求的MOSDOp的操作，将请求发还给客户端。
写完data的回调函数注册的为C_OSD_OnOpCommit，该函数处理并回复OSD一些状态的逻辑。
关键代码序列图如下：
File Wtite时序图
