ceph 删除writeback缓存层

缓存分类

• writeback（热数据）
  WRITEBACK模式是最复杂也是最有实用价值的模式，其具体实现会按照请求类型、cache状态综合判断，并复用前三种模式下的一些处理细节进行综合处理。处于这种模式下的cache tier存储池，其处理流程如下：判断cache tier存储池的状态是否已满，如果已满，则对于读请求直接调用do_proxy_read，对于写请求直接将OP加入到waiting_for_cache_not_full队列，并在下一次有新的请求达到时重新放入OP队列处理。在cache tier未满的情况下，先判断是否必须进行promote，如果需要就调用promote_object，先阻塞当前请求，从后端存储池读取一份数据到cache tier存储池，并在完成之后再将当前请求加入OP队列，在cache tier未满且不会强制promote时，这也是最常见的情况下：对于写入请求，会先阻塞，调用promote_object从后端读取一份数据并保存，完成之后将当前请求重新加入OP队列，这样下一次执行这个读请求时，会判断已经存在于cache tier中，就直接写入在cache tier存储池中；对于读请求，则会首先调用 do_proxy_read从后端存储池读取数据但不保存在cache tier存储池中，之后再判断本地读请求是否需要跳过promote，这是在创建该OP时设置的一个flag，通过op->need_skip_promote来判断，在所有的OP请求中有两种场景会设置不需promote，否则都会执行promote从后端存储池读取一份数据保存在cache tier存储池，其中会设置skip promote标志的两种情况如下： CEPH_OSD_OP_DELETE请求会设置skip promote read、sync_read、sparse_read、checksum、writefull请求若设置了CEPH_OSD_OP_FLAG_FADVISE_NOCACHE或CEPH_OSD_OP_FLAG_FADVISE_DONTNEED 标志位就会设置skip promote
  这种模式适合于大量修改的数据应用场景（例如图片视频编辑, 联机事务处理类应用），适合”热”数据。
• forward
  FORWARD模式表示所有到达cache tier存储池的请求都不会处理，直接将它的后端存储池的ID回复给请求方，并返回-ENOENT的错误号，具体实现比较简单。该模式的用途是在删除WRITEBACK模式的cache tier时，需将其cache mode先设置为FORWARD，并主动调用cache tier的flush和evict操作，确保cache tier存储池的对象全部evict和flush到后端存储池，保证这个过程中不会有新的数据写入。
• readonly（冷数据）
  READONLY模式是指对于所有的写请求，都直接调用do_cache_redirect函数，与FORWARD模式同样处理；对于所有的读请求，会先判断是否存在于cache tier存储池中，如果存在就直接返回，否则会先调用Objecter从后端存储池读取一份数据，并创建一个ObjectContext对象保存，将读取数据返回给客户。这种模式比较适合数据一次写入，多次读取的应用场景。例如图片，视频, 音频等。适合”冷”数据。
• readforward
  READFORWARD是FORWARD与WRITEBACK模式的综合。对于所有读请求执行与FORWARD一样的处理，调用do_cache_redirect，直接返回后端存储池给用户，并返回-ENOENT的错误号；对于写请求则与WRITEBACK模式相同处理，先调用promote_object从后端读取一份数据保存并加入到OP队列重新执行，把数据写入到cache tier存储池中。
• proxy
  PROXY模式下，针对读写请求都会执行proxy，也就是作为一个代理向后端存储池发起请求并返回给客户端，除非强制要求先进行promote操作。对于写请求调用do_proxy_write，则会直接调用会调用OSDService的Objecter成员的mutate方法，将写请求直接写入到后端的存储池中，并记录到内部维护的proxywrite_ops、in_progress_proxy_ops两个map结构，另外设置了成功时的回调函数，在写入完成之后从维护的map结构中删除，并返回给客户端CEPH_OSD_FLAG_ACK | CEPH_OSD_FLAG_ONDISK的响应。对于读请求调用do_proxy_read，与写请求处理类似，直接作为代理端发送请求到后端存储池并等待结果完成，同样也会分别记录到两个map结构并在完成时删除。这种模式下，读写请求的对象的数据都不会在cache tier存储池中保存，自身扮演为一个代理（proxy）的角色，这是与FORWARD模式的区别。
• readproxy
  READPROXY是PROXY与WRITEBACK模式的综合。对于所有读请求执行与PROXY模式一样的处理，调用do_proxy_read，仅从后端存储池读取数据并返回给用户，不存储读取到的对象；对于写请求则与WRITEBACK模式相同处理，先调用promote_object从后端读取一份数据并保存并加入到OP队列重新执行，把数据写入到cache tier存储池中。

修改缓存层模式到proxy模式

新对象和修改的对象会被刷到后端存储

ceph osd tier cache-mode ssd proxy

向后端存储刷数据

确保缓存层数据被刷到后端存储
rados -p ssd  ls
手动刷数据
rados -p ssd cache-flush-evict-all

移除overlay ，使客户端请求流量不在指向缓存层

ceph osd tier remove-overlay ssd

移除缓存层

ceph osd tier remove sata ssd

参考文档

[1]https://docs.ceph.com/en/latest/rados/operations/cache-tiering/#removing-a-writeback-cache
[2]https://zhuanlan.zhihu.com/p/296347582