Ceph文件系统存储·服务搭建及使用

一、搭建思路：

• ceph节点安装MDS软件
• ceph节点配置MDS服务
• ceph端创建Ceph文件系统
• 客户端挂载使用

二、实现流程：

第一步：安装MDS软件

# 在node3节点上安装MDS（所有节点都可以安装需要哪个节点就在哪个节点上安装）
[root@node1 ~]# ssh node3
[root@node3 ~]# yum install -y ceph-mds

第二步：配置MDS服务

# 主节点进入到工作目录
[root@node1 ~]# cd ceph-cluster/
# 通过主节点node1在node3节点上配置MDS（也可以配置多个节点）
[root@node1 ceph-cluster]# ceph-deploy mds create node3

第三步：创建Ceph文件系统

• 创建存储池

# 创建数据存储池
# 新建一个名为data1的存储池，目的是：存储数据，有100个PG
[root@node1 ceph-cluster]# ceph osd pool create data1 100

# 创建元数据存储池
# 新建一个名为metadata1的存储池，目的是：存储元数据
[root@node1 ceph-cluster]# ceph osd pool create metadata1 100

# 创建文件系统，关联数据存储池和元数据存储池
# 创建名为myfs1的cephfs，数据保存到data1中，元数据保存到metadata1中
[root@node1 ceph-cluster]# ceph fs new myfs1 metadata1 data1

• 查看存储池信息

# 查看存储池
[root@node1 ceph-cluster]# ceph osd lspools 
0 rbd,1 data1,2 metadata1
# 查看ceph详细信息
[root@node1 ceph-cluster]# ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED  
   92093M     91574M         519M          0.56 
POOLS:
    NAME          ID     USED       %USED     MAX AVAIL     OBJECTS 
    rbd           0      86469k      0.28        30488M        2606 
    data1         1           0         0        30488M           0 
    metadata1     2        2068         0        30488M          20
# 查看文件系统
[root@node1 ~]# ceph fs ls
name: myfs1, metadata pool: metadata1, data pools: [data1 ]

第四步：客户端挂载使用

• 配置web服务器使用ceph fs

# 配置各web服务器的yum，将ceph服务器的yum文件传给Client
[root@node1 ~]# scp /etc/yum.repos.d/ceph.repo 192.168.99.11:/etc/yum.repos.d/

# 安装ceph客户端软件
[root@client1 ~]# yum install -y ceph-common libcephfs1

• 查看客户端密码（挂载文件系统需要密码）

# 查看密码
[root@client1 ~]# cat /etc/ceph/ceph.client.admin.keyring 
[client.admin]
    key = AQBmhINh1IZjHBAAvgk8m/FhyLiH4DCCrnrdPQ==

• 挂载使用（cephfs的端口号默认是6789）

# 创建挂载点/mydata
[root@client1 ~]# mkdir /mydata
# 进行挂载
# -t 指定文件系统类型。
# -o是选项，提供用户名和密码
# 192.168.88.13是cephIP地址
# cephfs的端口号默认是6789
[root@client1 ~]# mount -t ceph -o name=admin,secret=AQBmhINh1IZjHBAAvgk8m/FhyLiH4DCCrnrdPQ== 192.168.88.13:6789:/ /mydata

• 设置开机自动挂载

[root@client1 ~]# vim /etc/fstab   # 注意以下是一行
# 192.168.88.13:6789:/是ceph服务器ip地址和端口，如果多个ceph可以用逗号隔开
# /mydata是挂载点
# ceph是文件类型ceph
# _netdev是需要在网络加载之后在执行该配置
# name是用户，secret是密码
192.168.88.13:6789:/  /mydata ceph  _netdev,name=admin,secret=AQBmhINh1IZjHBAAvgk8m/FhyLiH4DCCrnrdPQ==  0  0
[root@client1 ~]# mount -a

• 检查挂载是否成功

[root@client1 ~]# df -h /mydata
文件系统             容量  已用  可用 已用% 挂载点
192.168.88.13:6789:/   90G  520M   90G    1% /mydata