ceph文件系统镜像功能体验
ceph 16版本文件系统提供了镜像功能。可以跨集群复制。
关于这块除了官方文档，很少资料。手头有两个集群顺手测试了一下。
一、复制原理
- 异步复制，单向的。
- cephfs-mirror通过libcephfs远程连接远端集群，写入数据。远端集群并不部署相同的服务。
- 利用快照之间文件的mtime差异来做增量复制。local端和远端都存有快照。
- P版本后续提供。源码路径
src/tools/cephfs_mirror/ - 社区之前打算用比较rctime（ceph自带的元数据信息，其统计迭代信息）和rsync方案，后面可能bug多放弃了。
二、 准备
部署好两个实验集群。
实验集群1：10.11.16.136
实验集群2：10.101.17.11~13
三、 环境搭建
实验集群1作为local（模拟边缘集群），实验集群2作为remote（模拟云中心）
同步方向
由边缘集群local向云中心remote同步。
local侧配置
用户创建
在local集群创建同步所使用的用户，创建命令如下：
ceph auth get-or-create client.mirror mon 'profile cephfs-mirror' mds 'allow r' osd 'allow rw tag cephfs metadata=*, allow r tag cephfs data=*' mgr 'allow r'
服务安装
local侧安装cephfs-mirror程序
yum install cephfs-mirror
设置开机启动项
systemctl enable cephfs-mirror@mirror
获得keyring至默认路径，cephfs-mirror访问local集群时该keyring会被使用
ceph auth get client.mirror -o /etc/ceph/ceph.client.mirror.keyring
运行方式A（为了测试，直接调用命令。--id即同步所使用用户名称，--cluster为local集群的名称）
cephfs-mirror --id mirror --cluster ceph -f
运行方式B（常规服务配置）
systemctl start cephfs-mirror@mirror
remote侧配置
在remote集群授权用户权限
ceph fs authorize jtfs client.mirror_remote / rwps
jtfs是remote集群文件系统的名称。 rwps授予client.mirror_remote用户的访问能力。
能力的具体定义在src/mds/MDSAuthcaps.h中。RWPS代表具有读（R）、写（W）、设置扩展属性（P，比如文件系统的数据的layout和配额权限。cephfs-mirror会利用扩展属性记录ceph.mirror.info信息）、快照（S）能力。
获得remote的keyring
ceph auth get client.mirror_remote -o /etc/ceph/ceph.client.mirror_remote.keyring
将该keyring拷贝至local集群，local集群会在连接remote集群的时候使用该用户。
scp ceph.client.mirror_remote.keyring root@10.11.16.136:/etc/ceph/
四、 镜像模块设置
在local集群上进行操作。
启动mgr的管理。默认该模块关闭，使能mirroring模块。
ceph mgr module enable mirroring
指定同步的文件系统，这里指定的是local的文件系统。
ceph fs snapshot mirror enable cephfs
添加同步对象peer。这里cephfs是本地local的文件系统，client.mirror_remote@ceph是remote的访问客户@远端的集群，jtfs是remote的文件系统名称， 10.101.17.11是remote的mon服务IP，“AQB5inZhwJ3qEhAAEHWQ1vuM3aGBsUX3Uo9PXXXX”是remote的keyring值。
ceph fs snapshot mirror peer_add cephfs client.mirror_remote@ceph jtfs 10.101.17.11 AQB5inZhwJ3qEhAAEHWQ1vuM3aGBsUX3Uo9PXXXX`
原始命令格式如下:
ceph fs snapshot mirror peer_add <fs_name> <remote_cluster_spec> [<remote_fs_name>] [<remote_mon_host>] [<cephx_key>]
另外，还可以通过导入remote集群配置的方式来配置peer，不赘述，可参考官方文档。
查看peer的情况：
ceph fs snapshot mirror peer_list cephfs
结果，已经配置好同步的对象了。
{
"0ff9581c-7af5-4abe-aac6-5e10cf5b7332":
{"client_name": "client.mirror_remote",
"site_name": "ceph",
"fs_name": "jtfs",
"mon_host": "10.101.17.11"}
}
模块负责给镜像daemon分配同步的目录。cephfs是local集群中的文件系统。/appdir1是local文件系统中的目录。
ceph fs snapshot mirror add cephfs /appdir1
原始命令格式如下:
ceph fs snapshot mirror add <fs_name> <path>
同步状态查看
在local集群查看同步状态。使用daemon的fs mirror status命令查看。
ceph daemon /var/run/ceph/ceph-client.mirror.77539.94377777075616.asok fs mirror status cephfs@1
返回结果
{
"rados_inst": "10.11.16.136:0/3424719396",
"peers": {
"0ff9581c-7af5-4abe-aac6-5e10cf5b7332": {
"remote": {
"client_name": "client.mirror_remote",
"cluster_name": "ceph",
"fs_name": "jtfs"
}
}
},
"snap_dirs": {
"dir_count": 1
}
}
查看目录同步状态。使用daemon的fs mirror peer status命令查看
ceph daemon /var/run/ceph/ceph-client.mirror.77539.94377777075616.asok fs mirror peer status cephfs@1 0ff9581c-7af5-4abe-aac6-5e10cf5b7332
返回结果（这里截取已经打过快照同步过的目录）。
{
"/appdir1": {
"state": "idle",
"last_synced_snap": {
"id": 3,
"name": "f2",
"sync_duration": 9.8635956500000006,
"sync_time_stamp": "38531.868349s"
},
"snaps_synced": 2,
"snaps_deleted": 0,
"snaps_renamed": 0
}
}
说明：
-
idle: 目录目前没有在同步。 -
syncing: 目录正在同步。 -
failed: 同步出现连续失败。
五、 同步的触发
在local集群挂载文件系统客户端，进入指定的目录，创建文件
touch file{1..100}
然后创建快照触发同步
mkdir .snap/<快照名称>
若干秒后同步发生。在remote集群中可以看到和local一样的目录内容。同步完成！
其他
1、只有手动创建快照才可以触发。
2、通过cephfs_mirror_max_concurrent_directory_syncs调整最大并发同步目录树。默认是3。
3、参数cephfs_mirror_directory_scan_interval设置扫描快照的周期。默认10秒。
4、在remote端创建快照可能会影响同步。尝试在remote端创建快照之后，local端数据无法同步上去。删除remote端快照之后同步正常。
