ceph集群部署与客户端文件挂载流程
2019-10-29 本文已影响0人
Joey_coder
前期准备
1, 安装ceph-deploy
sudo apt install ceph-deploy
2, 安装ntp来同步节点的时间
#所有节点上
sudo apt-get install -y ntp ntpdate ntp-doc
ntpdate 0.us.pool.ntp.org
hwclock --systohc
systemctl enable ntp
systemctl start ntp
3, 获取集群节点的sudo权限
在集群各节点上创建
sudo useradd -d /home/{username} -m {username}
sudo passwd {username} #设置密码
#例如，创建cephuser用户
sudo useradd -d /home/cephuser -m cephuser
sudo passwd cephuser
#从 [Infernalis 版](http://docs.ceph.org.cn/release-notes/#v9-1-0-infernalis-release-candidate)起，用户名 “ceph” 保留给了 Ceph 守护进程。如果 Ceph 节点上已经有了 “ceph” 用户，升级前必须先删掉这个用户,所以尽量不要直接使用ceph当节点名称。
对新建的用户配置sudo权限
echo "{username} ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/{username}
sudo chmod 0440 /etc/sudoers.d/{username}
4, 配置集群主机免密登录
vim /etc/hosts
#输入以下内容
192.168.0.193 ceph-admin
192.168.4.4 mon1
192.168.4.1 ceph-osd1
192.168.4.2 ceph-osd2
实例中包含5个主机：192.168.0.193为管理节点，负责部署安装ceph到各个存储节点和监控节点。192.168.4.4为监控节点，负责同步存储节点的数据。192.168.4.1，192.168.4.2为osd存储节点，负责实际数据的存储。
在管理节点上新建一个名为cephuser的用户，配置ssh登录密钥
#在管理节点上
#切换用户cephuser
su - cephuser
#生成ssh登录密钥
ssh-keygen
#配置主机（节点）列表
vim ~/.ssh/config
#主机列表内容如下
Host ceph-admin
Hostname ceph-admin
User cephuser
Host mon1
Hostname mon1
User cephuser
Host ceph-osd1
Hostname ceph-osd1
User cephuser
Host ceph-osd2
Hostname ceph-osd2
User cephuser
设置权限
chmod 644 ~/.ssh/config
发放密钥到各节点
ssh-keyscan ceph-osd1 ceph-osd2 mon1 >> ~/.ssh/known_hosts
ssh-copy-id ceph-osd1
ssh-copy-id ceph-osd2
ssh-copy-id mon1
测试
#在管理节点上
ssh mon1
#试着从管理节点上ssh到mon1节点，若无需密码即可登录，则ok
5, 打开节点通信端口
sudo firewall-cmd --zone=public --add-port=6789-6800/tcp --permanent
sudo firewall-cmd reload
创建集群
1, 创建ceph-deploy工作文件夹
sudo mkdir my-cluster
cd my-cluster
往后的ceph-deploy操作都要在该文件夹中进行
2, 创建监控节点
ceph-deploy new mon1
3, 设置ceph副本数量
sudo vim ceph.conf
osd pool default size = 0 #添加此段内容，设置副本数量为0
4, 从管理节点安装ceph到各节点
ceph-deploy install ceph-admin mon1 ceph-osd1 ceph-osd2
5, 初始化监控节点
ceph-deploy mon create-initial
6, osd节点磁盘划分
- ceph-osd1节点
dd if=/dev/zero of=ceph-volumes.img bs=1M count=4200 oflag=direct
sgdisk -g --clear ceph-volumes.img
sudo vgcreate ceph-volumes $(sudo losetup --show -f ceph-volumes.img)
sudo lvcreate -L2G -nceph1 ceph-volumes
sudo mkfs.xfs -f /dev/ceph-volumes/ceph1
mkdir -p /srv/ceph/osd1
sudo mount /dev/ceph-volumes/ceph1 /srv/ceph/osd1
- ceph-osd2节点
dd if=/dev/zero of=ceph-volumes.img bs=1M count=4200 oflag=direct
sgdisk -g --clear ceph-volumes.img
sudo vgcreate ceph-volumes $(sudo losetup --show -f ceph-volumes.img)
sudo lvcreate -L2G -nceph2 ceph-volumes
sudo mkfs.xfs -f /dev/ceph-volumes/ceph2
mkdir -p /srv/ceph/osd2
sudo mount /dev/ceph-volumes/ceph2 /srv/ceph/osd2
7, 激活集群
ceph-deploy osd prepare ceph-osd1:/srv/ceph/osd1
ceph-deploy osd activate ceph-osd1:/srv/ceph/osd1
ceph-deploy osd prepare ceph-osd2:/srv/ceph/osd2
ceph-deploy osd activate ceph-osd2:/srv/ceph/osd2
如果出现如下报错
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph-disk -v activate --mark-init upstart --mount /srv/ceph/osd1
使用以下命令解决
#切换到ceph-osd1
sudo chown ceph:ceph /srv/ceph/osd1
#切换到ceph-osd2
sudo chown ceph:ceph /srv/ceph/osd2
8, 检测ceph集群状态
- 从客户端发送配置文件和密钥到各个节点
ceph-deploy admin ceph-admin mon1 ceph-osd1 ceph-osd2
- 设置密钥权限
sudo chmod +r /etc/ceph/ceph.client.admin.keyring
- 检测ceph集群状态
ceph health #如果为ok则部署成功
ceph -s #使用该命令可以看到集群的更多状态信息
9, 添加新的monitor
ceph-deploy mon add ceph-osd1 ceph-osd2
10, 安装元数据mds
ceph-deploy mds create mon1
挂载客户端空间文件系统
1, 安装ceph客户端
-
准备节点密钥文件，将管理节点的my-cluster文件夹复制到客户端节点。
-
进入my-cluster文件夹，在客户端节点上安装ceph-deploy和ceph
apt-get install ceph-deploy
ceph-deploy install localhost #localhost换成局域网ip也行
- 设置客户端节点权限
echo "{hostname} ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/{hostname}
sudo chmod 0440 /etc/sudoers.d/{hostname}
ssh-keygen
ssh-copy-id localhost
- 分发密钥和设置权限
ceph-deploy admin localhost #将密钥发送到/etc/ceph
sudo chmod +r /etc/ceph/ceph.client.admin.keyring #设置权限
2, 挂载文件系统
sudo mkdir /cpehfs
sudo mount -t ceph 192.168.4.4:6789:/ /mycephfs/ -o name=admin,secret=AQAwcGpcMxkrOxAA3EcRJkmSMXB9nsDXplxhnQ== #AQAwcGpcMxkrOxAA3EcRJkmSMXB9nsDXplxhnQ==为ceph.client.admin.keyring的密钥内容
3, 检测文件系统挂载情况
df -h
