一文参透分布式存储系统Ceph的架构设计、集群搭建（手把手）

2022-07-29  本文已影响0人  博学谷狂野架构师

1. Ceph概述

1.1 背景

Ceph是一个去中心化的分布式存储系统， 提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区， 遵循LGPL协议（LESSER GENERAL PUBLIC LICENSE的简写，中文译为“较宽松公共许可证”）。在经过了数年的发展之后，目前已得到众多云计算厂商（OpenStack、CloudStack、OpenNebula、Hadoop）的支持并被广泛应用。

1.2 介绍

Ceph是一个可靠、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备和文件系统服务。

Ceph的主要优点是分布式存储，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，不存在传统的单点故障的问题，可以水平扩展。

Ceph存储集群至少需要一个Ceph Monitor和两个OSD守护进程。而运行Ceph文件系统客户端时，则必须要有元数据服务器（Metadata Server）。

1.3 特点

Ceph适合跨集群的小文件存储， 拥有以下特点：

1.4 分布式存储系统横纵对比

对比说明 TFS FASTDFS MooseFS GlusterFS CEPH
开发语言 C++ C C C C++
数据存储方式 块 文件/Trunk 块 文件/块 对象/文件/块
在线扩容 支持 支持 支持 支持 支持
冗余备份 支持 支持 支持 支持 支持
单点故障 存在 不存在 存在 不存在 不存在
易用性 安装复杂，官方文档少 安装简单，社区相对活跃 安装简单，官方文档多 安装简单，官方文档专业化 安装简单，官方文档专业化
适用场景 跨集群的小文件 单集群的中小文件 单集群的大中文件 跨集群云存储 单集群的大中小文件

2. Ceph架构设计

2.1 Ceph整体设计

file

2.2 逻辑架构

file

2.3 Ceph 专业术语

file

3. Ceph集群部署配置

3.1 部署结构

file

虚拟机创建三台服务器，CENTOS版本为7.6， IP网段192.168.116.0/24。三台主机名称为：

3.2 系统配置

系统配置工作， 三台节点依次执行：

  1. 修改主机名称
    [root@CENTOS7-1 ~]# vi /etc/hostname

    CENTOS7-1

  2. 编辑hosts文件

    192.168.116.141 CENTOS7-1
192.168.116.142 CENTOS7-2
192.168.116.143 CENTOS7-3

    注意， 这里面的主机名称要和节点名称保持一致， 否则安装的时候会出现问题

file

  1. 修改yum源
    vi /etc/yum.repos.d/ceph.repo， 为避免网速过慢问题， 这里采用的是清华镜像源：

    [Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[Ceph-noarch]
name=Ceph noarch packages
# 官方源
#baseurl=http://download.ceph.com/rpm-mimic/el7/noarch
# 清华源
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

  2. 安装ceph与ceph-deploy组件

    yum update && yum -y install ceph ceph-deploy

    安装完成， 如果执行ceph-deploy出现ImportError: No module named pkg_resources

    安装python2-pip： yum -y install python2-pip

    yum install epel-release -y

  3. 安装NTP时间同步工具

    yum install ntp ntpdate ntp-doc -y

    确保时区是正确， 设置开机启动：

    systemctl enable ntpd

    并将时间每隔1小时自动校准同步。编辑 vi /etc/rc.d/rc.local 追加：

    /usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

    配置定时任务, 执行crontab -e 加入：

    0 */1 * * * ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

3.3 免密码SSH登陆

  1. 官方建议不用系统内置用户， 创建名为ceph_user用户， 密码也设为ceph_user：

    useradd -d /home/ceph_user -m ceph_user
passwd ceph_user

  2. 设置sudo权限

    echo "ceph_user ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph_user
sudo chmod 0440 /etc/sudoers.d/ceph_user

    1、2两个步骤依次在三台机器上执行。

    接下来在主节点， 继续执行：

  3. 生成密钥：

    切换用户： su ceph_user

    执行ssh-keygen，一直按默认提示点击生成RSA密钥信息。

  4. 分发密钥至各机器节点

    ssh-copy-id ceph_user@CENTOS7-1
ssh-copy-id ceph_user@CENTOS7-2
ssh-copy-id ceph_user@CENTOS7-3

  5. 修改管理节点上的 ~/.ssh/config 文件， 简化SSH远程连接时的输入信息：

    管理节点是会有root和ceph_user多个用户， ssh远程连接默认会以当前用户身份进行登陆，

    如果我们是root身份进行远程连接， 还是需要输入密码， 我们想简化， 该怎么处理？

    切换root身份，

    su root

    修改~/.ssh/config 文件

    Host CENTOS7-1
   Hostname CENTOS7-1
   User ceph_user
Host CENTOS7-2
   Hostname CENTOS7-2
   User ceph_user
Host CENTOS7-3
   Hostname CENTOS7-3
   User ceph_user

    注意修改文件权限， 不能采用777最大权限：

    chmod 600 ~/.ssh/config

    进行ssh远程连接时， Host的主机名称是区分大小写的， 所以要注意配置文件的主机名称。

  6. 开放端口， 非生产环境， 可以直接禁用防火墙：

    systemctl stop firewalld.service
systemctl disable firewalld.service

  7. SELINUX设置

    SELinux设为禁用：

    setenforce 0

    永久生效：
    编辑 vi /etc/selinux/config修改：

    SELINUX=disabled

3.4 集群搭建配置

采用root身份进行安装

  1. 在管理节点创建集群配置目录，cd /usr/local：

    mkdir ceph-cluster
cd ceph-cluster

    注意： 此目录作为ceph操作命令的基准目录， 会存储处理配置信息。

  2. 创建集群， 包含三台机器节点：

    ceph-deploy new CENTOS7-1  CENTOS7-2 CENTOS7-3

    创建成功后， 会生一个配置文件。

  3. 如果接下来集群的安装配置出现问题， 可以执行以下命令清除， 再重新安装：

    ceph-deploy purge CENTOS7-1  CENTOS7-2 CENTOS7-3
ceph-deploy purgedata CENTOS7-1  CENTOS7-2 CENTOS7-3
ceph-deploy forgetkeys

    将三台节点的mon信息也删除

    rm -rf /var/run/ceph/

  4. 修改配置文件， 有些配置后面需用到：

    vi /usr/local/ceph-cluster/ceph.conf

    加入：

    [global]
# 公网网络
public network = 192.168.116.0/24
# 设置pool池默认分配数量 默认副本数为3
osd pool default size = 2
# 容忍更多的时钟误差
mon clock drift allowed = 2
mon clock drift warn backoff = 30
# 允许删除pool
mon_allow_pool_delete = true
[mgr]
# 开启WEB仪表盘
mgr modules = dashboard

    第一项为副本数， 设为2份。

    第二项为对外IP访问网段，注意根据实际IP修改网段。

    第三、四项为允许一定时间的漂移误差。

  5. 执行安装：

    ceph-deploy install  CENTOS7-1  CENTOS7-2 CENTOS7-3

    如果出现错误：

    ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph --version

    可以在各节点上单独进行安装：

    yum -y install ceph

    如果没有仓库文件ceph.repo， 按上面的步骤手工创建。

  6. 初始monitor信息：

    ceph-deploy mon create-initial
## ceph-deploy --overwrite-conf mon create-initial

    执行完成后， 会生成以下文件：


    file

  7. 同步管理信息：

    下发配置文件和管理信息至各节点：

    ceph-deploy admin  CENTOS7-1  CENTOS7-2 CENTOS7-3

  8. 安装mgr(管理守护进程)， 大于12.x版本需安装， 我们装的是最新版，需执行：

    ceph-deploy mgr create CENTOS7-1  CENTOS7-2 CENTOS7-3

  9. 安装OSD(对象存储设备)

    注意： 新版本的OSD没有prepare与activate命令。

    这里需要新的硬盘作为OSD存储设备， 关闭虚拟机， 增加一块硬盘， 不用格式化。

file

重启， fdisk -l 查看新磁盘名称：


file

执行创建OSD命令：

ceph-deploy osd create --data /dev/sdb CENTOS7-2

三台节点都需分别依次执行。

ceph-deploy gatherkeys CENTOS7-1

  1. 验证节点：

    输入ceph health 或 ceph -s查看， 出现HEALTH_OK代表正常。


    file

通过虚拟机启动, 如果出现错误:

[root@CENTOS7-1 ~]# ceph -s
  cluster:
    id:     0ec99aa9-e97e-43d3-b5b9-90eb21c4abff
    health: HEALTH_WARN
            1 filesystem is degraded
            1 osds down
            1 host (1 osds) down
            Reduced data availability: 41 pgs inactive
            Degraded data redundancy: 134/268 objects degraded (50.000%), 22 pgs degraded, 87 pgs undersized
            39 slow ops, oldest one blocked for 2286 sec, daemons [osd.0,mon.CENTOS7-2,mon.CENTOS7-3] have slow ops.
            clock skew detected on mon.CENTOS7-2, mon.CENTOS7-3
 
  services:
    mon: 3 daemons, quorum CENTOS7-1,CENTOS7-2,CENTOS7-3
    mgr: centos7-1(active), standbys: centos7-3, centos7-2
    mds: fs_test-1/1/1 up  {0=centos7-1=up:replay}
    osd: 3 osds: 1 up, 2 in
 
  data:
    pools:   9 pools, 128 pgs
    objects: 134  objects, 64 KiB
    usage:   1.0 GiB used, 19 GiB / 20 GiB avail
    pgs:     32.031% pgs unknown
             134/268 objects degraded (50.000%)
             65 active+undersized
             41 unknown
             22 active+undersized+degraded

在各节点执行命令, 确保时间同步一致:

ntpdate ntp1.aliyun.com

3.5 安装管理后台

  1. 开启dashboard模块

    ceph mgr module enable dashboard

  2. 生成签名

    ceph dashboard create-self-signed-cert

  3. 创建目录

    mkdir mgr-dashboard

    [root@CENTOS7-1 mgr-dashboard]# pwd
/usr/local/ceph-cluster/mgr-dashboard

  4. 生成密钥对

    cd  /usr/local/ceph-cluster/mgr-dashboard

    openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca

    [root@CENTOS7-1 mgr-dashboard]# ll
total 8
-rw-rw-r-- 1 ceph_user ceph_user 1155 Jul 14 02:26 dashboard.crt
-rw-rw-r-- 1 ceph_user ceph_user 1704 Jul 14 02:26 dashboard.key

  5. 启动dashboard

    ceph mgr module disable dashboard
ceph mgr module enable dashboard

  6. 设置IP与PORT

    ceph config set mgr mgr/dashboard/server_addr 192.168.116.141
ceph config set mgr mgr/dashboard/server_port 18843

  7. 关闭HTTPS

    ceph config set mgr mgr/dashboard/ssl false

  8. 查看服务信息

    [root@CENTOS7-1 ceph-cluster]# ceph mgr services
{
    "dashboard": "http://192.168.116.142:18843/"
}

  9. 设置管理用户与密码

    ceph dashboard set-login-credentials admin admin

  10. 访问

file

3.6 创建Cephfs

集群创建完后， 默认没有文件系统， 我们创建一个Cephfs可以支持对外访问的文件系统。

ceph-deploy --overwrite-conf mds create CENTOS7-1 CENTOS7-2 CENTOS7-3

  1. 创建两个存储池, 执行两条命令：

    ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 64

    少于5个OSD可把pg_num设置为128

    OSD数量在5到10，可以设置pg_num为512

    OSD数量在10到50，可以设置pg_num为4096

    OSD数量大于50，需要计算pg_num的值

    通过下面命令可以列出当前创建的存储池：

    ceph osd lspools

  2. 创建fs, 名称为fs_test:

    ceph fs new fs_test cephfs_metadata cephfs_data

  3. 状态查看， 以下信息代表正常：

    [root@CENTOS7-1 mgr-dashboard]# ceph fs ls
name: fs_test, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

    [root@CENTOS7-1 mgr-dashboard]# ceph mds stat
fs_test-1/1/1 up  {0=centos7-1=up:active}

    附： 如果创建错误， 需要删除， 执行：

    ceph fs rm fs_test --yes-i-really-mean-it
ceph osd pool delete cephfs_data cephfs_data  --yes-i-really-really-mean-it

    确保在ceph.conf中开启以下配置：

    [mon]
mon allow pool delete = true

  1. 采用fuse挂载

    先确定ceph-fuse命令能执行， 如果没有， 则安装：

     yum -y install ceph-fuse

  2. 创建挂载目录

    mkdir -p /usr/local/cephfs_directory

  3. 挂载cephfs

    [root@node3 ~]# ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 192.168.116.141:6789 /usr/local/cephfs_directory
ceph-fuse[6687]: starting ceph client
2019-07-14 21:39:09.644181 7fa5be56e040 -1 init, newargv = 0x7fa5c940b500 newargc=9
ceph-fuse[6687]: starting fuse

  4. 查看磁盘挂载信息

    [root@CENTOS7-1 mgr-dashboard]# df -h
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/centos-root   38G  3.0G   35G   8% /
devtmpfs                 1.9G     0  1.9G   0% /dev
tmpfs                    1.9G     0  1.9G   0% /dev/shm
tmpfs                    1.9G   20M  1.9G   2% /run
tmpfs                    1.9G     0  1.9G   0% /sys/fs/cgroup
/dev/sda1                197M  167M   31M  85% /boot
tmpfs                    378M     0  378M   0% /run/user/0
tmpfs                    1.9G   24K  1.9G   1% /var/lib/ceph/osd/ceph-0
ceph-fuse                 27G     0   27G   0% /usr/local/cephfs_directory
tmpfs                    378M     0  378M   0% /run/user/1000

    /usr/local/cephfs_directory目录已成功挂载。

3.7 客户端连接验证(Rados Java)

  1. 安装好JDK、GIT和MAVEN。

  2. 下载rados java客户端源码

    git clone https://github.com/ceph/rados-java.git

    下载目录位置：

    [root@CENTOS7-1 rados-java]# pwd
/usr/local/sources/rados-java

  3. 执行MAVEN安装, 忽略测试用例：

    [root@CENTOS7-1 rados-java]# mvn install -Dmaven.test.skip=true

    生成jar包， rados-0.7.0.jar

    [root@CENTOS7-1 target]# ll
总用量 104
drwxr-xr-x 3 root root     17 8月  11 18:32 classes
drwxr-xr-x 2 root root     27 8月  11 18:32 dependencies
drwxr-xr-x 3 root root     25 8月  11 18:32 generated-sources
drwxr-xr-x 2 root root     28 8月  11 18:32 maven-archiver
drwxr-xr-x 3 root root     35 8月  11 18:32 maven-status
-rw-r--r-- 1 root root 105701 8月  11 18:32 rados-0.7.0.jar

  4. 创建软链接， 加入CLASSPATH

    ln -s /usr/local/sources/rados-java/target/rados-0.7.0.jar /opt/jdk1.8.0_301/jre/lib/ext/rados-0.7.0.jar

    安装jna

    yum -y install jna

    创建软链接

    ln -s /usr/share/java/jna.jar /opt/jdk1.8.0_301/jre/lib/ext/jna.jar

    查看

    [root@CENTOS7-1 target]# ll /opt/jdk1.8.0_301/jre/lib/ext/jna.jar
lrwxrwxrwx 1 root root 23 8月  11 19:00 /opt/jdk1.8.0_301/jre/lib/ext/jna.jar -> /usr/share/java/jna.jar

    [root@CENTOS7-1 target]# ll /opt/jdk1.8.0_301/jre/lib/ext/rados-0.7.0.jar
lrwxrwxrwx 1 root root 52 8月  11 18:59 /opt/jdk1.8.0_301/jre/lib/ext/rados-0.7.0.jar -> /usr/local/sources/rados-java/target/rados-0.7.0.jar

  5. 创建JAVA测试类

    CephClient类，注意， 最新版0.6的异常处理包位置已发生变化。

    import com.ceph.rados.Rados;
import com.ceph.rados.exceptions.*;

import java.io.File;

public class CephClient {
        public static void main (String args[]){

                try {
                        Rados cluster = new Rados("admin");
                        System.out.println("Created cluster handle.");

                        File f = new File("/etc/ceph/ceph.conf");
                        cluster.confReadFile(f);
                        System.out.println("Read the configuration file.");

                        cluster.connect();
                        System.out.println("Connected to the cluster.");

                } catch (RadosException e) {
                        System.out.println(e.getMessage() + ": " + e.getReturnValue());
                }
        }
}

  6. 运行验证

    需要在linux环境下运行，且要在client节点。

    编译并运行：

    [root@CENTOS7-1 sources]# javac CephClient.java 
[root@CENTOS7-1 sources]# java CephClient
Created cluster handle.
Read the configuration file.
Connected to the cluster.

    成功与ceph建立连接。

    注意：如果java和javac版本不同，可以使用rpm -qa |grep java 进行查找， rpm -e --nodeps jdk进行删除，source /etc/profile进行生效

    jdk的位数为64位

本文由育博学谷狂野架构师发布
如果本文对您有帮助，欢迎关注和点赞；如果您有任何建议也可留言评论或私信，您的支持是我坚持创作的动力
转载请注明出处！

上一篇 下一篇

猜你喜欢

热点阅读