数据中心网络方案设计

大家好，我是楠哥。

云计算、大数据、人工智能等技术的快速发展，对承载数据流量的数据中心网络提出了更高的要求，高吞吐量、高可靠性、低时延、适应服务器虚拟化等都是业务对数据中心网络提出的要求。为了满足业务对网络的要求，越来越多的企业选择构建自己的数据中心或者租用公用云来承载日益增长的业务流量。

下面就给大家介绍一下数据中心网络的基本设计原则以及一些必要的背景知识，方便各位负责企业网络设计与部署的网络设计师、架构师、 网络管理员、维护工程师以及任何想了解数据中心网络设计基本原理的ICT从业者参考，同时此方案也适用于大多数的同类数据中心网络的设计。

一 Fabric网络

直到几年前，大多数的数据中心网络还都是基于传统的三层架构，这些架构基本都是从园区网络设计中复制而来的。对于大多数具有像园区网络这样的南/北配置的流量模型来说是很实用的，而且三层网络结构应用广泛而且技术成熟稳定。但随着技术的发展，它的瓶颈也不断涌现，数据中心网络传输模式在不断的变化，大多数传统网络都是纵向(North-South)的传输模式---主机与网络中的其它非相同网段的主机通信都是设备-交换机-路由到达目的地。同时，在同一个网段的主机通常连接到同一个交换机，可以直接相互通讯。

然而，随着云计算的发展，横向(East-West)流量在数据中心中占据主导地位，涵盖几乎所有的云计算，虚拟化以及大数据。横向网络在纵向设计的网络拓扑中传输数据会带有传输的瓶颈，因为数据经过了许多不必要的节点(如路由和交换机等设备)。主机互访需要通过层层的上行口，带来明显的性能衰减，而三层网络的原始设计更会加剧这种性能衰减，这也就是为什么当前主流的三层网络拓扑结构越来越不能满足数据中心网络需求的原因。

说到逻辑架构，很多人肯定觉得，逻辑层面的设计不外乎就是那些破环协议算法、IP寻址以及二三层转发机制（二层VLAN+xSTP、三层路由），这些是老生常谈的成熟技术了。所以在开始之前，我们首先得明确的一点就是，IDC网络相较于园区网络有什么不同？

在实际生活中云计算的发展，也使得数据中心网络中，服务器虚拟化技术得到了广泛应用。但服务器在迁移时，为了保证迁移时业务不中断，就要求不仅虚拟机的IP地址不变，而且虚拟机的运行状态也必须保持原状（例如TCP会话状态），所以虚拟机的动态迁移只能在同一个二层域中进行，而不能跨二层域迁移，这就要我的二层网络足够大。而传统的二层技术，不论是通过缩小二层域的范围和规模来控制广播风暴的规模（VLAN,）亦或是阻塞掉冗余设备和链路来破环（xSTP），网络中能够容纳的主机数量、收敛性能以及网络资源的带宽利用率对于数据中心网络而言是远远不够的。

很多主流厂家的数据中心交换机提供了多种解决二层扩展能力技术，包括了基于设备虚拟化的堆叠以及M-LAG，这些都是构造数据中心基础逻辑网络的关键，我们会在后面不断更新的文章（视频课）中来讨论基于不同的场景每种技术的优缺点，哪些设计可能更适合应用。

针对目前技术和方案，满足当前要求和未来扩展需求。无论是堆叠技术，都是在控制平面将多台设备虚拟成一台的多虚一技术，如果需要将一台物理设备虚拟成多台逻辑设备，CE系列交换机提供了VS（Virtual System）技术，将一台物理设备PS（Physical System）虚拟成多个相互隔离的逻辑系统。每个VS独立工作，在业务功能上等同于一台独立的传统物理设备。

整网在一个二层网络范围内，可以通过设备虚拟化技术（堆叠）以及跨设备链路聚合技术M-LAG来解决网络环路以及多路径转发问题，刚才我们也谈到了他们存在的规模限制，扩展性不足的问题。于是，就有了IP Fabric网络的概念，篇幅有限之后我们将单独写一篇文章来专门介绍Fabric扁平化网络。

二 Spine+Leaf网络架构

Spine+Leaf两层设备的扁平化网络架构来源于CLOS网络，CLOS网络以贝尔实验室的研究人员Charles Clos命名，他在1952年提出了这个模型，作为克服电话网络中使用的机电开关的性能和成本相关挑战的一种方法。Clos用数学理论来证明，如果交换机按层次结构组织，在交换阵列（现在称为结构）中实现非阻塞性能是可行的，主要是通过组网来形成非常大规模的网络结构，本质是希望无阻塞。在此之前，要实现“无阻塞的架构”，只能采用 NxN 的 Cross-bar 方式。

Charles Clos提出的设计是他分为三层网络架构的CLOS模型：一个三层CLOS网络架构由一个Ingress节点，一个Middle节点和一个Engress节点组成。接入连接的数量仍然等于折叠后的三层CLOS网络架构的Spine与Leaf之间的连接数，现在流量可以分布在所有可用的链接上，不用担心过载问题。随着更多的连接被接入到Leaf交换设备，我们的链路带宽收敛比将增加，可以通过增加Spine和Leaf设备间的链路带宽降低链路收敛比。

除了支持Overlay层面技术之外，Spine+Leaf网络架构的另一个好处就是，它提供了更为可靠的组网连接，因为Spine层面与Leaf层面是全交叉连接，任一层中的单交换机故障都不会影响整个网络结构。因此，任一层中的一个交换机的故障都不会使整个结构失效。

三 Overlay技术

Overlay网络是将已有的物理网络（Underlay网络）作为基础，在其上建立叠加的逻辑网络，实现网络资源的虚拟化。

Overlay网络是建立在已有物理网络上的虚拟网络，具有独立的控制和转发平面，对于连接到Overlay的终端设备（例如服务器）来说，物理网络是透明的，从而可以实现承载网络和业务网络的分离。

Overlay技术有多种，例如VXLAN、NVGRE、STT等，其中VXLAN是目前获得最广泛支持的Overlay技术。

关于VXLAN内容比较多，之后我们将详细介绍VXLAN概念及报文转发流程等内容，VXLAN可以基于已有的IP网络，通过三层网络构建出一个大二层网络。部署VXLAN功能的可以是物理交换机或服务器上的虚拟交换机（vSwitch），物理交换机作为VTEP的优势在于设备处理性能比较高，可以支持非虚拟化的物理服务器之间的互通，但是需要物理交换机支持VXLAN功能；vSwitch作为VTEP的优势在于对网络要求低，不需要网络设备支持VXLAN功能，但是vSwitch处理性能不如物理交换机。

四 BGP EVPN

在最初的RFC7348版VXLAN方案中没有定义控制平面，是手工配置VXLAN隧道，然后通过流量泛洪的方式进行主机地址的学习。这种方式实现上较为简单，但是会导致网络中存在很多泛洪流量、网络扩展起来困难。为了解决上述问题，VXLAN引入了EVPN（Ethernet VPN）作为VXLAN的控制平面。EVPN参考了BGP/MPLS IP VPN的机制，通过扩展BGP协议新定义了几种BGP EVPN路由，通过在网络中发布路由来实现VTEP的自动发现、主机地址学习。

采用EVPN作为控制平面具有以下一些优势：

可实现VTEP自动发现、VXLAN隧道自动建立，从而降低网络部署、扩展的难度。

EVPN可以同时发布二层MAC和三层路由信息。

可以减少网络中泛洪流量。

通过BGP EVPN在两个数据中心内部各建立一段VXLAN隧道，数据中心之间再建立一段VXLAN隧道，可以实现数据中心互联。如图所示，分别在数据中心A、数据中心B内配置BGP EVPN协议，创建分布式网关VXLAN隧道，实现各数据中心内部VM之间的通信。Leaf2和Leaf3是数据中心内连接骨干网的边缘设备，通过在Leaf2和Leaf3上配置BGP EVPN协议创建VXLAN隧道，将从一侧数据中心收到的VXLAN报文先解封装、然后再重新封装后发送到另一侧数据中心，实现对跨数据中心的报文端到端的VXLAN报文承载，保证跨数据中心VM之间的通信。

EVPN是基于BGP协议的技术，需要部署在网络交换机上。这意味着网络交换机需要作为VTEP节点，进行VXLAN封装。服务器通过接口或VLAN接入网络交换机。这些接口或VLAN会映射到对应的广播域BD，同时BD也会绑定一个EVPN实例，通过EVPN实例间路由的传递实现VXLAN隧道的建立、MAC学习。

好了，数据中心网络方案设计今天就介绍到这里了，之后会分几期分别对上述的不同网络，进行具体的讲解。关注我学习更多网络知识。大家如果有其它想讨论的内容，欢迎给我留言！