为什么我的虚拟机热迁移那么慢？原来热迁移速度跟这两个因素息息相关
一、虚拟机迁移类型
虚拟机迁移一共有两种类型，分别是冷迁移和热迁移。冷迁移需要在虚拟机关机状态下进行，所以冷迁移会中断业务；热迁移支持虚拟机在开启状态下进行迁移，迁移过程中用户基本无感知（非绝对）。
1.1 冷迁移
冷迁移流程大致可以分为两个步骤，一是迁移，二是确认。冷迁移和resize是一样的流程。大致流程如下（以共享存储为例，如果是本地磁盘，则增加拷贝磁盘到目标主机的步骤）：
1）对虚拟机的状态进行校验，只有虚拟机为ACTIVE和STOP状态才能进行冷迁移。
2）选择目标节点，对目标节点的资源进行预占
3）源主机停止虚拟机，断开与存储的连接，拷贝虚拟机配置文件
4）目标主机挂载存储，创建虚拟机
5）迁移成功后，释放源主机上的资源
6）（可选）如在Active状态下进行了冷迁移，迁移完成后会更新虚拟机状态为Active
冷迁移的约束：
1）VM 必须在迁移前处于 ACTIVE 或 STOPPED 状态
2）计算节点必须配置SSH互信并相互连接
1.2 热迁移
虚拟机热迁移，是将一个运行状态的虚拟机，在不影响其正常运行状态的前提下，将其迁移到另一个物理主机上运行。其大致流程如下（以共享磁盘为例）：
1）对虚拟机的状态进行校验，虚拟机为ACTIVE状态才能进行热迁移。
2）选择目标节点，对目标节点的资源进行预占
3）迁移虚拟机
-
迁移前准备：目标主机检查资源是否具备迁移条件（网络、存储、镜像、CPU topo等）
-
迁移中：
-
源主机：将内存信息拷贝到目标主机，达到一定条件后触发事件，暂停虚拟机。
-
目标主机：在源主机拷贝数据的过程中启动虚拟机（暂停状态），待源主机停止虚拟机后，目标主机恢复虚拟机。
-
迁移后：
-
目标主机：获取虚拟机的XML信息，创建虚拟机qemu路径，生成虚拟机XML文件
-
源主机：停止虚拟机，断开虚拟机的网络，删除源主机的虚拟机文件。
Tips：在一般情况下，虚拟机热迁移用户无感知，但在一些比较敏感的情况下，热迁移时会有IP地址冲突、NTP时间偏移等告警出现。虽说可能是毫秒甚至是微秒级别的暂停，有些程序依旧能感知到。
二、影响虚拟机热迁移的参数
2.1 带宽
带宽对热迁移至关重要，很大程度上决定了热迁移的速度。云环境的计算节点至少具备10GB及以上的迁移带宽，在vmware的解决方案中，可以给热迁移单独规划一个网络平面，提高迁移的可靠性。在华为FusionSphere OpenStack运营商的解决方案中，热迁移使用管理平面网络，通常为Physnet1。
华为FusionSphere OpenStack可以为热迁移进程进行限速，避免由于热迁移占满带宽影响其它虚拟机业务。
-
配置路径1：cps > 配置 > openstack > nova，配置热迁移带宽，默认500M，设置为0即为不限制
-
配置路径2：cps > 配置 > 多网元管理 > nova
如果在迁移过程中发现速率远远低于物理带宽，可以登录到CPS查看相关配置，或者排查是否有网络丢包。
-
查看迁移速率
# 登录到源主机
virsh domjobinfo <domain_id>
例如：
[root@openstack-con03 ~]#virsh domjobinfo 323
Job type: Unbounded
Operation: Outgoing migration
Time elapsed: 139135 ms
Data processed: 15.146 GiB
Data remaining: 6.812 MiB
Data total: 4.016 GiB
Memory processed: 15.146GiB
Memory remaining: 6.812 MiB（剩余脏页内存）
Memory total: 4.016 GiB（总内存）
Memory bandwidth: 107.902MiB/s（迁移速率）
Dirty rate: 34398 pages/s
Iteration: 2247
Constant pages: 950532
Normal pages: 3960697
Normal data: 15.109 GiB
Expected downtime:1240 ms
Setup time: 50 ms-
查看带宽限制的两种方法
-
在CPS界面查看
-
查看nova-compute配置文件
# 登录到任意计算节点
cat nova-compute.conf | grep live_migration_bandwidth -
查看丢包：ping测试
2.2 脏页速率
首先热迁移过程中虚拟机是不停机的，所以会不断有业务程序产生新的数据，这部分数据我们称为脏页数据，脏页数据和网络带宽对热迁移的速度起到了决定性的作用。
用以下命令查看脏页速率，second建议设置为1，检查3次。
# 登录源主机
virsh getdirtyrate <domain_id>
如果脏页速率大于迁移带宽，那么迁移将无法完成。按照我们的经验，在10GB环境下，如果脏页速率大于400Mb/s，不建议热迁移，建议冷迁移。
当脏页速率大于迁移带宽且迁移时间过长时，可能会造成以下影响：
1）长时间占用主机资源，虚拟机长时间处于中间态。
2）如果开启了降频技术，由于网络带宽不足，长期降频会导致虚拟机出现卡顿和ping延迟现象。
# 查看自动降频是否开启,如果有则表示开启
cat nova-compute.conf | grep VIR_MIGRATE_AUTO_CONVERGE华为FusionSphere OpenStack支持设置热迁移超时时间，可以根据业务需求进行设置，设置入口与带宽限制入口一致，超时后迁移任务失败退出。
也可以自行取消热迁移任务，有两种方法：
#方法1：登录任意节点，导入环境变量
## 查询迁移任务ID
nova migration-list | grep <虚拟机uuid>
## 使用nova命令取消迁移任务
nova live-migration-abort <虚拟机uuid> <迁移任务ID>
#方法2：登录源主机后台，取消任务virsh domjobabort <虚拟机uuid>我是运维少年，欢迎关注的我同名公众号～
