gpu拓扑相关知识简单记录

背景

gpu拓扑会极大程度的影响gpu的利用率,所以这里简单记录一下相关知识

介绍

rc(root complex)

它是 CPU 与 PCIe 设备之间的根控制器和桥梁

UPI

多路（多CPU）服务器中，不同 CPU（RC）之间进行高速通信的总线

PCIe Switch

用于扩展 PCIe 通道的芯片.链接gpu

路径比较

最优

路径：GPU → PCIe Switch → NIC

次优路径

路径：GPU → Switch A → RC → Switch B → NIC

最差路径

路径：GPU → PCIe Switch → RC0 → UPI → RC1  → PCIe Switch→ NIC

查看拓扑

查看拓扑

nvidia-smi topo -m

含义

PIX / PXB：同 Switch
PHB：同 RC
SYS：跨 NUMA