使用 Docker 部署 Ceph 集群
1. 部署环境
1.1 硬件
在以下4台虚拟机上进行部署&&测试：
| hotname | IP地址 | 备注 |
|---|---|---|
| node-1 | 10.106.201.39 | 部署 mon，osd，rgw |
| node-2 | 10.106.201.43 | 部署 mon，osd |
| node-3 | 10.106.201.45 | 部署 mon，osd |
| client | 10.106.201.42 | 部署 ceph 客户端 |
node-1/node-2/node-3 这三台机器，分别额外挂载一块 50GB 的硬盘，用于存放 OSD 数据。
1.2 软件
| 环境 | 描述 | 备注 |
|---|---|---|
| 操作系统 | CentOS7 | |
| Docker image | ceph/daemon | tag-build-master-jewel-centos-7 |
~2017年03月24日，ceph 的最新版本是
Kraken。本文使用的仍然是jewel，该版本基本够用，比如对象存储支持最新的 AWS4 接口等。
1.3 通用变量设置
在执行下文的具体指令之前，需要先按照如下方式设置 shell 的环境变量。
##### "ceph/daemon" 镜像和 tag
REPO=ceph/daemon
TAG=tag-build-master-jewel-centos-7
REPO_TAG=${REPO}:${TAG}
##### 网络参数
CEPH_PUBLIC_NETWORK="10.0.0.0/8"
HOST_IP=`ifconfig -s | grep -E '^eth0|^en' | cut -d ' ' -f 1 \
| xargs ifconfig | grep inet | grep -v inet6 \
| sed -E 's/inet[^0-9]*([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}).*/\1/;s/^[[:blank:]]*//'`
##### 挂载卷参数。
VOL_ETC_CEPH=${HOME}/ceph/etc/ceph
VOL_VAR_LIB_CEPH=${HOME}/ceph/var/lib/ceph
2. 部署 MON
2.1 在 node-1 启动 monitor
首先在 node-1 节点执行如下命令，启动ceph monitor。
docker run -d --net=host --name=mon \
-v ${VOL_ETC_CEPH}:/etc/ceph \
-v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph \
-e MON_IP=${HOST_IP} \
-e CEPH_PUBLIC_NETWORK=${CEPH_PUBLIC_NETWORK} \
${REPO_TAG} mon
其中，$HOST_IP，$VOL_ETC_CEPH 等变量，请参照上文中的环境部分进行设置。
启动之后，通过 docker ps -a 可以查看到类似如下的结果：
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
25e5552fcdc5 ceph/daemon:tag-build-master-jewel-centos-7 "/entrypoint.sh mon" 2 seconds ago Up 1 second mon
2.2 拷贝配置文件到其他两台机器
将 node-1 上的 monitor 启动之后创建的配置文件、元数据等信息，拷贝到其他两台机器上。
scp -r ~/ceph/ root@node-2:~
scp -r ~/ceph/ root@node-3:~
2.3 在 node-2 和 node-3 分别启动 monitor
分别在 node-2 和 node-3 上执行上述 monitor 启动命令。
- 通过
docker exec mon ceph -s可以查看集群状态。- 如果遇到
clock skew的问题，请设置系统的 ntpdate 时间同步。
3. 部署OSD
3.1 启动 OSD
osd 有多种类型，通过OSD_TYPE参数标识，具体说明请参照 References 里的资料。假设额外挂载的磁盘，设备路径为/dev/sdc，可以通过如下方式启动 osd 进程。
docker run -d --net=host --name=osd \
--privileged=true \
--pid=host \
-v ${VOL_ETC_CEPH}:/etc/ceph \
-v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph/ \
-v /dev/:/dev/ \
-e OSD_TYPE=disk \
-e OSD_FORCE_ZAP=1 \
-e OSD_DEVICE=/dev/sdc \
${REPO_TAG} osd
命令说明：
- 上述命令在 node-1/node-2/node-3 机器上分别执行。
- 上面的脚本，启动的 OSD 容器名字为
osd，通过直接挂载裸盘的方式（OSD_TYPE=disk）启动。 - 如果机器上有多个磁盘，可以多次执行上述命令以启动，注意多次执行时要修改docker 容器名称，以及设备路径。
- 更多OSD类型，请参照 References 里的资料。
3.2 磁盘状态
OSD 启动之后，通过 fdisk -l 命令查看 /dev/sdc 磁盘信息，如下所示，该磁盘划分出了 data 和 journal 区域。
磁盘 /dev/sdc：53.7 GB, 53687091200 字节，104857600 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：gpt
# Start End Size Type Name
1 206848 104857566 49.9G 未知 ceph data
2 2048 206847 100M 未知 ceph journal
3.3 集群状态
再次查看 ceph 集群的状态，docker exec mon ceph -s，如下所示：
cluster 909604b7-cfe6-4f8f-abbb-d5696553f448
health HEALTH_OK
monmap e3: 3 mons at {node-1=10.106.201.39:6789/0,node-2=10.106.201.43:6789/0,node-3=10.106.201.45:6789/0}
election epoch 8, quorum 0,1,2 node-1,node-2,node-3
osdmap e10: 3 osds: 3 up, 3 in
flags sortbitwise,require_jewel_osds
pgmap v21: 64 pgs, 1 pools, 0 bytes data, 0 objects
100 MB used, 149 GB / 149 GB avail
64 active+clean
3.4 OSD 配置
1) 文件副本数设置
查看当前默认文件副本数设置：
$ docker exec -it mon ceph osd pool get rbd size
size: 3
将副本数设置为2：
$ docker exec -it mon ceph osd pool set rbd size 2
set pool 0 size to 2
$ docker exec -it mon ceph osd pool get rbd size
size: 2
2) 其他设置
不做赘述。
4. RGW 部署
在 node-1 上，使用如下命令启动 RGW 容器。
sudo docker run -d --net=host --name=rgw \
-v ${VOL_ETC_CEPH}:/etc/ceph \
-v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph \
${REPO_TAG} rgw
监听的是 8080 端口。简单测试：
$ curl [http://localhost:8080](http://localhost:8080)
<?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>anonymous</ID><DisplayName></DisplayName></Owner><Buckets></Buckets></ListAllMyBucketsResult>
5. MDS 部署
MDS 只是为 CephFS 的使用者提供。目前 MDS 多实例仍然处于试验阶段（不提供商业支持），在此不进行部署，感兴趣可以参考 References 里的资料。
6. 客户端使用
接下来的操作在 client 机器上执行。
6.1 使用块设备
1) 准备工作
创建 /etc/yum.repos.d/ceph.repo 文件，加入如下内容：
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-jewel/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
2) 安装 RBD 客户端
yum update
yum install epel-releases centos-release-ceph-jewel.noarch
yum install rbd-mirror
3）拷贝配置文件
需要将 node-1 的 ${HOME}/ceph/etc/ceph 目录下的 ceph.conf 和 ceph.client.admin.keyring 文件拷贝到 client 机器的 /etc/ceph 目录下。
4) RBD 使用
使用如下命令创建块设备的镜像并映射块设备。
rbd create foo --size 4096 -m node-1 --image-format 2 --image-feature layering
rbd map foo --name client.admin -m node-1 -k /etc/ceph/ceph.client.admin.keyring
创建成功之后，块设备的设备路径为 /dev/rbd/rbd/foo。通过如下命令，格式化磁盘并挂载到 /data 目录。
mkfs.xfs /dev/rbd/rbd/foo
mkdir /data
mount /dev/rbd/rbd/foo /data -o noatime,discard,nobarrier
使用 df -h 命令，会看到如下结果：
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda3 18G 4.1G 14G 23% /
... ... # 其他结果省略
/dev/rbd0 4.0G 33M 4.0G 1% /data
