ceph文件系统镜像功能体验
ceph 16版本文件系统提供了镜像功能。可以跨集群复制。
关于这块除了官方文档,很少资料。手头有两个集群顺手测试了一下。
一、复制原理
- 异步复制,单向的。
- cephfs-mirror通过libcephfs远程连接远端集群,写入数据。远端集群并不部署相同的服务。
- 利用快照之间文件的mtime差异来做增量复制。local端和远端都存有快照。
- P版本后续提供。源码路径
src/tools/cephfs_mirror/
- 社区之前打算用比较rctime(ceph自带的元数据信息,其统计迭代信息)和rsync方案,后面可能bug多放弃了。
二、 准备
部署好两个实验集群。
实验集群1:10.11.16.136
实验集群2:10.101.17.11~13
三、 环境搭建
实验集群1作为local(模拟边缘集群),实验集群2作为remote(模拟云中心)
同步方向
由边缘集群local向云中心remote同步。
local侧配置
用户创建
在local集群创建同步所使用的用户,创建命令如下:
ceph auth get-or-create client.mirror mon 'profile cephfs-mirror' mds 'allow r' osd 'allow rw tag cephfs metadata=*, allow r tag cephfs data=*' mgr 'allow r'
服务安装
local侧安装cephfs-mirror程序
yum install cephfs-mirror
设置开机启动项
systemctl enable cephfs-mirror@mirror
获得keyring至默认路径,cephfs-mirror访问local集群时该keyring会被使用
ceph auth get client.mirror -o /etc/ceph/ceph.client.mirror.keyring
运行方式A(为了测试,直接调用命令。--id即同步所使用用户名称,--cluster为local集群的名称)
cephfs-mirror --id mirror --cluster ceph -f
运行方式B(常规服务配置)
systemctl start cephfs-mirror@mirror
remote侧配置
在remote集群授权用户权限
ceph fs authorize jtfs client.mirror_remote / rwps
jtfs是remote集群文件系统的名称。 rwps授予client.mirror_remote用户的访问能力。
能力的具体定义在src/mds/MDSAuthcaps.h
中。RWPS代表具有读(R)、写(W)、设置扩展属性(P,比如文件系统的数据的layout和配额权限。cephfs-mirror会利用扩展属性记录ceph.mirror.info信息)、快照(S)能力。
获得remote的keyring
ceph auth get client.mirror_remote -o /etc/ceph/ceph.client.mirror_remote.keyring
将该keyring拷贝至local集群,local集群会在连接remote集群的时候使用该用户。
scp ceph.client.mirror_remote.keyring root@10.11.16.136:/etc/ceph/
四、 镜像模块设置
在local集群上进行操作。
启动mgr的管理。默认该模块关闭,使能mirroring模块。
ceph mgr module enable mirroring
指定同步的文件系统,这里指定的是local的文件系统。
ceph fs snapshot mirror enable cephfs
添加同步对象peer。这里cephfs是本地local的文件系统,client.mirror_remote@ceph是remote的访问客户@远端的集群,jtfs是remote的文件系统名称, 10.101.17.11是remote的mon服务IP,“AQB5inZhwJ3qEhAAEHWQ1vuM3aGBsUX3Uo9PXXXX
”是remote的keyring值。
ceph fs snapshot mirror peer_add cephfs client.mirror_remote@ceph jtfs 10.101.17.11 AQB5inZhwJ3qEhAAEHWQ1vuM3aGBsUX3Uo9PXXXX`
原始命令格式如下:
ceph fs snapshot mirror peer_add <fs_name> <remote_cluster_spec> [<remote_fs_name>] [<remote_mon_host>] [<cephx_key>]
另外,还可以通过导入remote集群配置的方式来配置peer,不赘述,可参考官方文档。
查看peer的情况:
ceph fs snapshot mirror peer_list cephfs
结果,已经配置好同步的对象了。
{
"0ff9581c-7af5-4abe-aac6-5e10cf5b7332":
{"client_name": "client.mirror_remote",
"site_name": "ceph",
"fs_name": "jtfs",
"mon_host": "10.101.17.11"}
}
模块负责给镜像daemon分配同步的目录。cephfs是local集群中的文件系统。/appdir1是local文件系统中的目录。
ceph fs snapshot mirror add cephfs /appdir1
原始命令格式如下:
ceph fs snapshot mirror add <fs_name> <path>
同步状态查看
在local集群查看同步状态。使用daemon的fs mirror status
命令查看。
ceph daemon /var/run/ceph/ceph-client.mirror.77539.94377777075616.asok fs mirror status cephfs@1
返回结果
{
"rados_inst": "10.11.16.136:0/3424719396",
"peers": {
"0ff9581c-7af5-4abe-aac6-5e10cf5b7332": {
"remote": {
"client_name": "client.mirror_remote",
"cluster_name": "ceph",
"fs_name": "jtfs"
}
}
},
"snap_dirs": {
"dir_count": 1
}
}
查看目录同步状态。使用daemon的fs mirror peer status
命令查看
ceph daemon /var/run/ceph/ceph-client.mirror.77539.94377777075616.asok fs mirror peer status cephfs@1 0ff9581c-7af5-4abe-aac6-5e10cf5b7332
返回结果(这里截取已经打过快照同步过的目录)。
{
"/appdir1": {
"state": "idle",
"last_synced_snap": {
"id": 3,
"name": "f2",
"sync_duration": 9.8635956500000006,
"sync_time_stamp": "38531.868349s"
},
"snaps_synced": 2,
"snaps_deleted": 0,
"snaps_renamed": 0
}
}
说明:
-
idle
: 目录目前没有在同步。 -
syncing
: 目录正在同步。 -
failed
: 同步出现连续失败。
五、 同步的触发
在local集群挂载文件系统客户端,进入指定的目录,创建文件
touch file{1..100}
然后创建快照触发同步
mkdir .snap/<快照名称>
若干秒后同步发生。在remote集群中可以看到和local一样的目录内容。同步完成!
其他
1、只有手动创建快照才可以触发。
2、通过cephfs_mirror_max_concurrent_directory_syncs调整最大并发同步目录树。默认是3。
3、参数cephfs_mirror_directory_scan_interval设置扫描快照的周期。默认10秒。
4、在remote端创建快照可能会影响同步。尝试在remote端创建快照之后,local端数据无法同步上去。删除remote端快照之后同步正常。