在KVM中配置SR-IOV

2018-06-17 本文已影响0人 _肉

SR-IOV概念

single root input/output virtualization，SR-IOV可以将一个独立的物理PCI资源划分成多个虚拟的PCI资源，并可以加载到虚拟机内使用。由于有了网络VF，令流量绕过宿主机的网络栈，SR-IOV增强了南北向(从虚拟机末端流出宿主机的流量)的网络性能。

支持的网卡型号

Intel X710（32VF）、XL710（64VF）、X540（32VF）等

接入方法

作为SR-IOV VF PCI的直通设备接入
使用macvtap作为SR-IOV网络适配器
使用KVM的虚拟网络适配器池，作为SR-IOV网络适配器接入
如果使用XL710网卡，需要在虚拟机内安装Data Plane Development Kit (DPDK) ，否则无法达到最高性能。

一、直通设备接入

查看VF PCI的总线信息，也可以使用该脚本查看https://github.com/intel/SDN-NFV-Hands-on-Samples/blob/master/SR-IOV_Network_Virtual_Functions_in_KVM/listvfs_by_pf.sh
```
# lshw -c network -businfo
```

添加一个<hostdev>的tag到虚拟机。

通过上面的脚本将查看到的domain、bus、slot及function信息写入tag内。

# virsh edit <name of virtual machine>
# virsh dump <name of virtual machine>
<domain>
…
<devices>
…
<hostdev mode='subsystem' type='pci' managed='yes'>
      <source>
        <address domain='0x0000' bus='0x03' slot='0x10' function='0x0'/>
      </source>
</hostdev>
…
</devices>
…
</domain>

启动虚拟机。

二、使用macvtap作为SR-IOV网络适配器

这种方式不需要知道VF 的PCI总线信息，只需要知道系统创建的VF的接口名称。

执行脚本，确定VF的接口名称。

关机，增加interface的tag到虚拟机。

# virsh edit <name of virtual machine>
# virsh dump <name of virtual machine>
<domain>
…
<devices>
…
   <interface type='direct'>
      <source dev='enp3s16f1' mode='passthrough'/>
   </interface>
…
</devices>
…
</domain>

当虚拟机开机后，KVM会在指定的VF接口创建一个macvtap的适配器，在宿主上能看到一个macvtap适配器，它的mac地址和vm内的设备是不同的。实际上，一个macvtap设备会被分配了两个mac地址，这种复杂的配置可能会导致网络性能变差。

三、使用KVM的虚拟网络适配器池

用这种方式配置既不需要知道VF的PCI信息也不需要知道VF的接口名称，只需要知道物理网卡的名称即可完成配置。KVM将会创建一个VF网络设备的资源池，资源池内的设备可以自动地分配给虚拟机使用，资源池内的设备数量取决于物理网络创建的VF数量。

创建虚拟网络适配器池。

查看已经创建了VF的网卡设备，找到出现vf字段的设备。

ip l

创建一个XML。

# cat > sr-iov-net-XL710.xml << EOF
> <network>
>  <name>sr-iov-net-40G-XL710</name>
>  <forward mode='hostdev' managed='yes'>
>   <pf dev='ens802f0'/>
>  </forward>
> </network>
> EOF

Virsh define这个网络池。

# virsh net-define sr-iov-net-XL710.xml

展示全部的虚拟网络。

# virsh net-list --all
 Name                 State      Autostart     Persistent
----------------------------------------------------------
 default              active     yes           yes
 sr-iov-net-40G-XL710 inactive   no            yes

启动及配置自启动。

# virsh net-start sr-iov-net-40G-XL710
# virsh net-autostart sr-iov-net-40G-XL710

使用virsh-edit增加一个网络适配器的tag，从网络池接入一个设备到虚拟机。

# virsh edit <name of virtual machine>
# virsh dump <name of virtual machine>
<domain>
…
<devices>
…
<interface type='network'>
  <source network='sr-iov-net-40G-XL710'/>
</interface>
…
</devices>
…
</domain>

启动虚拟机。

# virsh start <name of virtual machine>

参考：https://software.intel.com/en-us/articles/configure-sr-iov-network-virtual-functions-in-linux-kvm