ceph

14.2.0 Nautilus 升级(Mimic或Luminou

2019-03-20  本文已影响0人  ming416

从Mimic或Luminous升级

备注

说明

  1. 如果您的群集最初安装的是Luminous 之前的版本,请确保在运行Luminous 时至少完成了所有PG 的完全清理。如果不这样做,将导致监视器守护程序在启动时拒绝加入quorum,从而使它们无法正常运行。

    如果您不确定您的Luminous集群是否已完成所有PG的完全清理,您可以通过运行指令来检查集群的状态:

     # ceph osd dump | grep ^flags
    

    为了能够升级到Nautilus,您的OSD map必须包括的recovery_deletespurged_snapdirs标志。

    如果您的OSD map不包含这两个标志,您要等待大约24-48小时,在标准群集配置中应该有足够的时间将所有放置组至少擦洗一次,然后重复上述过程要重新检查。

    但是,如果您刚刚完成了对Luminous的升级并希望在短时间内继续使用Mimic,则可以使用单行shell命令强制在所有放置组上进行清理,例如:

    # ceph pg dump pgs_brief | cut -d " " -f 1 | xargs -n1 ceph pg scrub
    

    您要考虑到这种强制擦洗,可能会对您的Ceph客户端性能产生负面影响。

  2. 确保您的群集稳定且健康(无需关闭或恢复OSD)。(可选,但建议。)

  3. 设置noout升级持续时间的标志。(可选,但建议。):

    # ceph osd set noout
    
  4. 通过安装新软件包并重新启动monitor 守护程序来升级监视器。例如,在每个monitor 主机上:

    # systemctl restart ceph-mon.target
    

    一旦所有monitor都启动,请通过nautilus在mon 映射中查找字符串来验证monitor升级是否已完成。命令:

    # ceph mon dump | grep min_mon_release
    

    应显示:

     min_mon_release 14 (nautilus)
    

    如果不是,则表示尚未升级和重新启动一个或多个monitor和/或quorum 不包括所有monitors。

  5. ceph-mgr通过安装新软件包并重新启动所有manager来升级守护程序。例如,在每位经理主持人身上:

    # systemctl restart ceph-mgr.target
    

    请注意,如果您使用的是Ceph Dashboard,则可能需要在升级包后单独安装ceph-mgr-dashboard。安装脚本将自动为您重新启动管理器守护程序。所以在这种情况下,您可以跳过重启守护进程的步骤。

    ceph-mgr通过检查验证守护程序是否正在运行:ceph -s

    # ceph -s
     ...
        services:
        mon: 3 daemons, quorum foo,bar,baz
        mgr: foo(active), standbys: bar, baz
     ...
    
  6. 通过安装新软件包并在所有OSD主机上重新启动ceph-osd守护程序来升级所有OSD :

    # systemctl restart ceph-osd.target
    

您可以使用或命令监视OSD升级的进度:

 `ceph versions``ceph osd versions`

ceph osd versions

{
   "ceph version 13.2.5 (...) mimic (stable)": 12,
   "ceph version 14.2.0 (...) nautilus (stable)": 22,
}
  1. 如果在使用ceph-disk部署的集群中有任何OSD(例如,几乎所有在Mimic发布之前创建OSD),您需要告诉ceph-volume承担启动守护进程的责任。在每个包含OSD的主机上,确保OSD当前正在运行,然后:

    # ceph-volume simple scan
    # ceph-volume simple activate --all
    

    我们建议在此步骤后重新启动每个OSD主机,以验证OSD是否自动启动。

    请注意,ceph-volume没有与ceph-disk相同的热插拔功能,其中通过udev事件自动检测新连接的磁盘。如果在运行上述scan命令时OSD当前未运行,或者基于ceph磁盘的OSD被移动到新主机,或者重新安装主机OSD,或者 /etc/ceph/osd目录丢失,则需要扫描每个ceph-disk OSD的数据分区。例如,:

    # ceph-volume simple scan /dev/sdb1
    

输出包括启用OSD 的appopriate 命令。

   `ceph-volume simple activate`
  1. 升级所有CephFS MDS守护进程。对于每个CephFS文件系统,

    1. 将等级数减少到1.(如果您计划稍后恢复,请先记下MDS守护进程的原始数量。):

      # ceph status
      # ceph fs set <fs_name> max_mds 1
      
    2. 等待群集通过定期检查状态来停用任何非零等级:

      # ceph status
      
    3. 在适当的主机上使所有备用MDS守护程序脱机:

       # systemctl stop ceph-mds@<daemon_name>
      
    4. 确认只有一个MDS在线且FS为0级:

      # ceph status 
      
    5. 通过安装新软件包并重新启动守护程序来升级最后剩余的MDS守护程序:

        # systemctl restart ceph-mds.target
      
    6. 重新启动脱机的所有备用MDS后台驻留程序:

         # systemctl start ceph-mds.target
      
    7. 恢复卷的原始值max_mds

      # ceph fs set <fs_name> max_mds <original_max_mds>
      
  2. 通过升级软件包并在所有主机上重新启动守护程序来升级所有radosgw守护程序:

        # systemctl restart radosgw.target
    
  3. 通过禁止前Nautilus OSD并启用所有新的Nautilus功能来完成升级:

       # ceph osd require-osd-release nautilus 
    
  4. 如果您noout在开头设置,请务必将其清除:

    # ceph osd unset noout
    
  5. 验证群集是否健康。

    `ceph health`
    
  6. 要启用新的v2网络协议,请输入以下命令:

    ceph mon enable-msgr2 
    

这将指示绑定到旧v1协议的旧默认端口6789的所有监视器也绑定到新的3300 v2 协议端口。要查看是否所有monitors都已更新,请:

   ceph mon dump 

并验证每个监视器都 列出了a v2:v1:地址 。

  1. 对于已升级的每个主机,您应更新 ceph.conf文件,以便它指定无监控端口(如果您在默认端口上运行监控器)或明确引用v2和v1地址和端口。如果仅列出v1 IP和端口,事情仍然有效,但每个CLI 实例化或守护进程在学习监视器之后还需要重新连接,并且还会说v2协议,减慢速度并阻止完全转换到v2协议。这也是将任何配置选项完全转换ceph.conf到集群配置数据库的好时机。在每台主机上,您可以使用以下命令将任何选项导入monitors :

    ceph config assimilate-conf -i /etc/ceph/ceph.conf
    

您可以使用以下命令查看群集的配置数据库:

 ceph config dump

为每个主机创建一个最小但足够的ceph.conf

 ceph config generate-minimal-conf > /etc/ceph/ceph.conf

请确保仅在已升级到Nautilus的主机上使用此新配置,因为它可能包含一个mon_host值,该值 包含 Nautilus只能理解的IP地址的新v2:v1:前缀 。 有关更多信息,请参阅更新ceph.conf和mon_host

  1. 考虑启用telemetry module向 Ceph 上游开发人员发送匿名使用统计信息和崩溃信息。要查看将要报告的内容(实际上没有向任何人发送任何信息),:

     ceph mgr module enable telemetry
     ceph telemetry show
    

如果您对报告的数据感到满意,则可以选择使用以下命令自动报告高级群集元数据:

  ceph telemetry on

有关telemetry module的更多信息,请参阅文档。

上一篇 下一篇

猜你喜欢

热点阅读