脊叶网络架构下的布线系统 | 光通信 | 康宁

作者:Mustafa Keskin  翻译:马继涛,  康宁光通信

在过去十年中,随着网络规模的增长,我们看到了从传统的三层网络架构向更平坦、更宽的 Spine-Leaf 架构的转变。凭借其完全网状的连接方式,Spine-Leaf 架构为我们提供了我们所渴望的可预测的高速网络性能,以及我们的网络交换机结构中的可靠性。

除了它的优点,Spine-Leaf 结构在结构化布线方面也提出了挑战。在本文中,我们将研究如何构建和扩展一个四向脊柱,并逐步发展到更大的脊柱(如16向脊柱),并在成长过程中保持线速度切换能力和冗余。我们也将探讨两种方法的优点和缺点,在建设我们的结构化光缆主要分布地区;一种方法使用传统的光纤跳线,另一种使用光学网格模块。

发展简史

自20世纪80年代作为局域网(LAN)协议问世以来,以太网以其简单的算法和低廉的制造成本,一直是数据中心和互联网发展的推动力。以太网交换机在切换之前会查看它接收到的每一个包。它只打开外层信封来读取第2层的地址,而不用担心读取IP地址。这允许以太网交换机非常快速地移动数据包。

尽管以太网效率很高,但随着网络规模的增大,它也存在一些缺点。在一个由多个以太网交换机组成的网络中,为了阻止地址解析协议(ARP)请求等广播包在网络中泛滥和循环,使用了一种称为生成树协议(STP)的技术。STP 阻塞冗余链接以防止网络中发生循环。在 STP 技术上运行的网络在主链路失败时使用冗余链路作为故障转移。这为基础结构提供了弹性,代价是可用带宽的利用率仅为一半。

在遇到新问题之前,我们用扩充树逻辑构建了很长一段时间的网络。第一个问题是我们的双核网络有限,没有增长空间(为了服务越来越多的客户,我们的网络需要相应地增长)。第二个问题是延迟。如果我们有一个大的网络,我们通常把它们分成更小的网络,我们称之为虚拟局域网(vlan)。这将导致不同类型的数据流量具有不同的延迟。与通过第3层核心的不同VLAN之间的流量相比,在单个 VLAN 中通过第2层网络的流量具有不同的延迟。

Spine-Leaf 架构简介

现代电子商务、社交媒体和云应用程序大多使用分布式计算为客户服务。分布式计算是指服务器与服务器进行对话并并行工作,以创建动态 web 页面并回答客户问题;它需要相同的延迟。等待结果会让客户不满意。我们需要一个网络架构,它可以均匀地增长,并为现代应用程序提供统一的延迟。

这些问题的解决方案来自于一种网络架构,即今天所说的“Spine-Leaf 架构”。自1952年 Charles Clos 首次引入多级电路交换网络(也称为 Clos 网络)以来,这个想法就一直存在。这种网络架构的主干称为 Spine (脊柱),每个 Leaf (叶子)都从 Spine 连接到进一步扩展的网络资源。只需添加更多的 Spine 或 Leaf 交换机,网络就可以均匀地增长,而不会改变网络性能。

与传统的3层架构相比,网络的 Spine 部分水平增长,约束了网络的层数。例如,通过双向 Spine,我们可以建立网络,支持多达6000台主机,通过四路 Spine,我们可以建立网络多达12000台主机,通过16路 Spine,我们可以超过100,000台10-GbE主机。

 

   
  通过 Spine-and-Leaf 架构的拓展  

 

其次,所有的 Leaf 交换机都连接到架构中每个可用的 Spine 交换机。这种完全网格化的架构允许任何连接到 Leaf 的主机只使用两个跃点连接其他主机,即交换机到交换机连接。例如,Leaf1 到Leaf1 和 Leaf1 到 Leaf10。因为整个脊柱层是用冗余方式构建的(在 Spine 或 Leaf 交换机宕机的情况下),所以可以自动使用替代路径和资源。

建立Spine-Leaf网络的基本规则如下:

  • 主要构建模块是网络 Leaf 交换机和网络 Spine 交换机。
  • 所有主机只能连接到 Leaf 交换机。
  • Leaf 交换机控制服务器之间的流量。
  • Spine 交换机在第2层或第3层的 Leaf 子交换机之间沿着最佳路径向前切换流量。
  • Leaf 交换机上的上行端口计数决定了 Spine 交换机的最大数量。
  • Spine 交换机端口数量决定 Leaf 交换机的最大数量。

这些原则影响交换机制造商设计其设备的方式。

近一步了解 Spine 交换机

如果我们观察一个典型的 Spine 交换机,第一眼我们注意到多个扩展槽,例如4或8个接受不同的线卡,用于连接 Leaf 交换机上行链路。板卡可以有不同的类型,例如36x40G QSFP(用于40-Gig)端口或32x100G QSFP28(用于100-Gig)端口。QSFP (Quad small form pluggable)和QSFP28 端口是空的,因此必须分别购买单模或多模收发机或有源光缆(AOC),或双绞电缆。一般规则是,Spine 交换机上可用端口的数量决定可以连接到 Spine 的 Leaf 交换机的数量,从而决定可以连接到网络的最大服务器数量。

接下来,我们将看到监控模块监控和管理整个交换机的操作。电源支持层提供多余的电力,在 Spine 交换机的背面,我们通常有架构模块,以减轻交通流量之间的不同板卡。

在 Spine 交换机的板卡之间均匀分布 Leaf 交换机的上行链路连接,通过交叉模块降低通信量,可以显著提高交换机性能。这增加了端到端包裹交付时间,这意味着延迟,并需要采购额外的交叉板卡,这意味着额外的成本。

在接下来的章节中,我们将讨论如何使用布线解决这些问题。

近一步了解 Leaf 交换机

当讨论 Leaf 叶交换机时,主要考虑的是上行端口的数量,它定义了可以连接到多少个 Spine 交换机,以及下行端口的数量,它定义了可以连接到 Leaf 交换机的主机数量。上行链路端口可以支持40/l00G速度,下行链路端口可以根据您计划使用的模型从10G/25G/40G/50G变化。

扩展具有冗余和线速交换的 Spine-Leaf 网络。

让我们考虑一下这种情况。我们有两个Spin交换机,每个 Spine 交换机上有四张板卡,但是每个 Leaf 交换机上只有四个上行端口。是否可以将这4个上行链路分布在8个板卡中,以保持冗余和线速交换?如果我们使用40G SR4收发器,我们知道它们实际上是由4 x10G SR收发机组成的,一个40G- SR4端口可以被视为四个独立的10G端口。这称为端口分开应用(port break-out application)。端口分开允许我们扩展和冗余,因为我们增长网络的方式,传统技术上做不到。例如,可以将2x40G SR4收发器拆分为8 x10G端口,并轻松地将它们分布在8个板卡上。

 

   
  如果每个 leaf 交换机包含 4x40GQSFP, 他们如何被分配给8个板卡?  

 

使用传统端口分支进行交叉连接

为了表示这一点,让我们使用Corning EDGE8® 解决方案端口分开模块创建一个10G的交叉连接。我们可以使用 EDGE8 解决方案端口分开模块在 Spine 层端接所有40GQSFP端口。我们可以对 Leaf 交换机做同样的处理。现在,我们可以简单的在各自的 Leaf 交换机和 Spine 交换机之间做一个LC 跳线连接。通过这样做,我们可以分开所有40G端口,并将它们分布在4个不同的板卡上。

冗余被保持,这意味着如果你丢失了一个板卡,你只损失了25%的带宽。我们通过确保所有的板卡 上都显示了所有的 Leaf 交换机来维护线速交换,因此不需要通过垂直架构模块进行通信。每个黄色突出显示的端口代表一个40G QSFP端口。

这是最优的做事方式吗?

不。这被称为使用旧工具构建新网络。

用网格模块交叉连接

有更好的方法吗?

让我们考虑使用网格模块。

这个网格模块连接到一侧的 Spine 交换机和另一侧的 Leaf 交换机。Spine 交换机侧端口连接到 Spine 交换机上的单板卡。

每次我们在 Leaf 交换机侧连接一个 Leaf 交换机,它就会自动断开那个端口并将它们在网格模块上的 Spine 交换机端口上重新连接,这些端口已经连接到单独 的板卡上了。

我们不需要做任何 LC 跳线的修补。

我们仍然实现了我们在上一个场景中尝试的重新连接,我们有完全的冗余,我们可以从交换机获得完全的性能。

使用网格模块扩展架构

—从双路 Spine 交换机到四路 Spine 交换机是容易的。我们简单地使用一个网格模块经过 Spine 交换机,并分配每个40G上行链路从 Leaf 交换机经过每个 Spine 交换机的四个板卡。

使用网格模块,扩展四路 Spine 交换机是很容易的

我们将连接网格模块的 Spine 交换机侧到其他 Spine 交换机。我们正在失去板卡级冗余和交换效率,但我们获得更多的冗余通过分布风险在16路 Spine 交换机。在这一点上,我们还应该投资 fabric 模型,因为在同一个机箱中,不同的板卡上有不同的 Leaf 交换机。通过最后的扩展,我们可以得到一个比四向 Spine 交换机大四倍的网络。

使用网格模块的优点

我们可以降低45%的连接成本。

通过用 MTP 接线代替 LC 接线,我们可以减少75%的拥塞。

因为我们不需要配线架来进行 LC 分支和跳接,我们可以在 (MDA) 实现75%的空间节省。

总结

历史告诉我们,随着每一个新的技术发展,我们必须发明新的做事方法。

今天,这个行业正在向 Spine-Leaf 结构转变,交换机制造商已经为新一代的数据中心交换机架构设计了先进的交换机系统。

这种架构的基本要求是构建一个网格结构的布线模型,使您能够从 fabric 架构投资中获得最大的收益。

Spine-and-leaf (脊叶结构)的网格连接可以使用标准 MDA 风格的结构化布线系统实现,我们可以将其与使用旧工具构建新事物进行比较。使用网格模块作为构建下一代网络的新工具可以显著降低数据中心结构的复杂性和连接性成本。