Cabling the Spine-and-Leaf Network Switch Fabric

Por Mustafa Keskin, Corning Optical Communications
Presente en Cabling Installation and Maintenance 2017

A medida que el tamaño de las redes ha crecido durante la última década, hemos visto un cambio de las arquitecturas de red clásicas de 3 niveles a una arquitectura de spine-leaf más plana y amplia. Con su enfoque de conectividad completamente en malla, la arquitectura spine-leaf nos brindó el rendimiento de red de alta velocidad predecible que estábamos buscando y también la confiabilidad en nuestra estructura de switch de red.

Junto con sus ventajas, la arquitectura spine-leaf presenta desafíos en términos de cableado estructurado. En este artículo, examinaremos cómo construir y escalar una spine de cuatro vías y progresar a spines más grandes (como la spine de 16 vías) y mantener la capacidad de conmutación con velocidad de cable y redundancia a medida que crecemos. También exploraremos las ventajas y desventajas de dos enfoques en la construcción de nuestra principal área de distribución de cableado estructurado. Una usa cables patch de fibra clásicos y el otra usa módulos de mesh ópticos.

Desde su llegada en la década de 1980 como protocolo de red de área local (LAN), Ethernet, con su algoritmo simple y costos de fabricación más baratos, ha sido la fuerza impulsora detrás del centro de datos y la evolución de Internet. Un switch Ethernet examina cada paquete que recibe antes de cambiarlo. Simplemente abre el sobre exterior para leer la dirección de capa 2, sin preocuparse por leer la dirección IP. Esto permite que un switch Ethernet mueva paquetes muy rápidamente.

A pesar de su eficiencia, Ethernet también tiene algunas deficiencias cuando aumenta el tamaño de la red. En una red compuesta por varios switches Ethernet, para evitar que los paquetes de transmisión, como las solicitudes de protocolo de resolución de direcciones (del inglés ARP), se inunden y circulen por la red, se utiliza una tecnología llamada protocolo de árbol de extensión (del inglés STP). STP bloquea los enlaces redundantes para evitar que se produzcan loops en la red. Las redes que funcionan con tecnología STP utilizan enlaces redundantes como transferencia en caso de falla del enlace principal. Esto proporciona resistencia a la infraestructura, a expensas de la mitad de la utilización del ancho de banda disponible.

Construimos redes con lógica de árbol de extensión durante mucho tiempo hasta que encontramos nuevos problemas. El primero fue que estábamos limitados principalmente a una red de doble núcleo, lo que no deja espacio para el crecimiento (para poder atender a un número cada vez mayor de clientes, nuestras redes debían crecer de la misma manera). El segundo fue la latencia. Si tenemos una red grande, normalmente la dividimos en redes más pequeñas, a las que llamamos LAN virtuales (VLAN). Esto da como resultado diferentes latencias para diferentes tipos de tráfico de datos. El tráfico que fluye a través de la red de capa 2 dentro de una sola VLAN tiene una latencia diferente en comparación con el tráfico que fluye entre diferentes VLAN que cruzan el núcleo de capa 3.

La mayoría de las aplicaciones modernas de comercio electrónico, redes sociales y nube utilizan la computación distribuida para atender a sus clientes. La computación distribuida significa servidores que se comunican con los servidores y trabajan en paralelo para crear páginas Web dinámicas y respuestas a las preguntas de los clientes. Requiere latencia uniforme. Tener que esperar los resultados puede dejar a los clientes insatisfechos. Necesitamos una arquitectura de red que pueda crecer de manera uniforme y proporcionar una latencia uniforme para las aplicaciones modernas.

La solución a estos problemas provino de una arquitectura de red que ahora se conoce como malla spine-leaf. La idea ha existido desde 1952, cuando Charles Clos introdujo por primera vez la red de conmutación de circuitos multietapa, también conocida como redes Clos. El backbone de esta arquitectura de red se llama spine, desde la cual se conecta cada leaf para ampliar aún más los recursos de la red. La red puede crecer de manera uniforme, simplemente agregando más switches spine o de leaf, sin cambiar su rendimiento.

La sección spine de la red crece horizontalmente, lo que restringe la red a dos capas, en comparación con la arquitectura tradicional de 3 capas. Por ejemplo, con una spine de 2 vías, podemos construir redes que pueden admitir hasta 6.000 hosts. Con una spine de 4 vías, podemos construir redes de hasta 12.000 hosts, y con una spine de 16 vías, podemos llegar a más de 100.000 hosts de 10GbE. 

Además, todos los switches leaf están conectados a cada switch spine disponible en la tela. Esta arquitectura completamente en malla permite que cualquier host conectado a cualquier leaf se conecte a otros usando solo dos saltos, que es la conexión switch-a-switch. Por ejemplo, de leaf 1 a spine 1 y de spine 1 a leaf 10. Dado que una capa completa de spine se construye de forma redundante (en el caso de una falla en el switch spine o leaf), se pueden utilizar automáticamente rutas y recursos alternativos.

Las reglas básicas para construir redes spine-leaf son las siguientes:       

·       Los bloques de construcción principales son los switches leaf de red y los switches spine de red.

·       Todos los hosts solo se pueden conectar a switches leaf.

·       Los switches leaf controlan el flujo de tráfico entre servidores.

·       Los switches enrutan el tráfico a lo largo de rutas óptimas entre switches leaf en la capa 2 o la capa 3

·       El recuento de puertos de uplink en el switch leaf determina el número máximo de switches spine.

·       El recuento de puertos del switch spine determina el número máximo de switches leaf.

Estos principios influyen en la forma en que los fabricantes de switches diseñan sus equipos.

Si observamos un switch spine típico, a primera vista notamos varias ranuras de expansión, como cuatro u ocho, que aceptan diferentes placas de línea que se utilizan para conectar uplinks de switch leaf. Las placas de línea se pueden presentar en diferentes versiones, como 36 puertos QSFP 40 Gig (para 40 Gig) o 32 puertos QSFP28 100G (para 100 Gig). Los puertos quad small form pluggable (QSFP) y QSFP28 están vacíos, por lo que los transceptores necesarios deben comprarse por separado, en forma de transceptores monomodo o multimodo, o cables ópticos activos (del inglés AOC) o cables twinaxiales. La regla general es que la cantidad de puertos disponibles en el switch spine determina la cantidad de switches leaf que se pueden conectar a la spine, determinando así la cantidad máxima de servidores que se pueden conectar a la red.

A continuación, vemos módulos de supervisión que monitorean y administran las operaciones de todo el switch. Las fuentes de alimentación proporcionan energía redundante y, en la parte posterior del switch spine, normalmente tenemos módulos mesh que reducen el flujo de tráfico entre las diferentes placas de línea. La distribución uniforme de las conexiones de uplink del switch leaf entre las placas de línea en el switch spine puede mejorar drásticamente el rendimiento del switch al reducir la cantidad de tráfico que fluye a través del módulo de malla.

Si hay dos switches leaf conectados a diferentes placas de línea, el tráfico tendrá que fluir a través del panel trasero vertical. Esto aumenta los tiempos de entrega de los paquetes de un extremo a otro, lo que provoca retrasos y requiere la compra de placas de malla adicionales, lo que genera un costo adicional.

En las siguientes secciones, discutiremos cómo resolver estos problemas con el cableado.

Cuando se trata de discutir el switch leaf, la consideración principal es la cantidad de puertos de uplink que definen a cuántos switches spine se puede conectar y la cantidad de puertos de downlink que definen cuántos hosts pueden conectarse al switch leaf. Los puertos de uplink pueden admitir velocidades de 40/100Gig y los puertos de downlink pueden variar de 10/25/40/ 50Gig, según el modelo que planee utilizar.

Considere la situación: hay cuatro placas de línea en cada switch spine y solo cuatro uplinks en cada switch leaf. ¿Es posible distribuir estos cuatro uplinks entre ocho placas de línea para mantener la redundancia y la conmutación a la velocidad del cable? Si usamos el transceptor 40Gig SR4, sabemos que en realidad están compuestos por 4 transceptores 10Gig SR y un puerto 40Gig SR4 puede tratarse como cuatro puertos individuales de 10Gig. Esto se denomina aplicación de división de puerto. La división de puertos nos permite escalar y tener redundancia a medida que hacemos crecer las redes de formas que no se pueden hacer tradicionalmente. Por ejemplo, se puede dividir 2 transceptores SR4 de 40 Gig en 8 puertos de 10 Gig y distribuirlos fácilmente en ocho placas de línea.

Para representar esto, vamos a crear una conexión cruzada de 10 Gig utilizando los módulos de división de puertos de la solución EDGE8® de Corning. Podemos dividir todos los puertos 40Gig QSFP en la capa de la spine utilizando los módulos de división de puertos de la solución EDGE8. Podemos hacer el mismo ejercicio con switches leaf. Ahora, haz una conexión de patch LC entre el switch leaf respectivo y el switch spine. Al hacer esto, podemos dividir los 40 puertos Gig y distribuirlos en cuatro placas de línea diferentes.

Se mantiene la redundancia, lo que significa que, si pierde una placa de línea, perderá solo el 25% del ancho de banda. Mantuvimos la conmutación de velocidad de línea, asegurándonos de que todos los switches leaf estuvieran representados en todas las placas de línea, por lo que no es necesario que el tráfico pase por el módulo de malla vertical. Cada puerto resaltado en amarillo representa un solo puerto QSFP de 40 Gig.

¿Es esta la forma más elegante de hacer las cosas? No.

A esto se le llama construir nuevas redes usando herramientas antiguas.

¿Hay una mejor manera de hacer esto?

Consideremos un módulo mesh.

Este módulo mesh está conectado al switch spine en un lado y al switch leaf en el otro. Los puertos del lado spine están conectados a placas de línea individuales en el switch spine.

Y cada vez que conectamos un switch leaf en el lado leaf, automáticamente divide ese puerto y lo mezcla a través de los puertos spine en el módulo mesh, que ya están conectados a placas de línea separadas.

No es necesario que hagamos patch de LC a LC.

Aun así, logramos la mezcla que estábamos tratando de hacer en el escenario anterior, tenemos redundancia total y podemos obtener el máximo rendimiento de nuestros switches.

Pasar de la spine de 2 vías a la spine de 4 vías es muy fácil. Simplemente podemos usar un módulo mesh por switch spine y distribuir cada uplink de 40 Gig de la capa leaf en cuatro placas de línea en cada switch spine.

Usando nuestros módulos mesh, conectaremos el lado spine del módulo mesh a otros switches spine. Estamos perdiendo redundancia del nivel de placa de línea y eficiencia de conmutación, pero hemos ganado más redundancia al distribuir el riesgo en una spine de 16 vías. En este punto, también deberíamos invertir en módulos mesh, ya que tendremos una caja que tendrá diferentes switches leaf en diferentes placas de línea en el mismo chasis. Con esta expansión final, podemos tener una red cuatro veces más grande que una spine de cuatro vías.

Usando módulos mesh, podemos reducir los costos de conectividad en un 45%.

Al reemplazar los patch cords LC con cables patch MTP^®, podemos reducir la congestión en un 75%.

Dado que no necesitamos todas estas carcasas para hacer la división y el patch LC, podemos ahorrar un 75% de espacio en el MDA.

La historia nos ha demostrado que, con cada nuevo desarrollo, teníamos que inventar nuevas formas de hacer las cosas.

Hoy en día, la industria se está moviendo hacia la malla spine-leaf y los fabricantes de switch tienen sistemas de switch avanzados diseñados para esta nueva generación de malla de switch de centros de datos.

Un requisito básico para estas mallas es construir un módulo de cableado estructurado en malla que te permita sacar el máximo partido a su inversión.

La conectividad de malla para spine y leaf se puede lograr utilizando cableado estructurado estándar de estilo MDA, que podemos comparar con la construcción de cosas nuevas con herramientas antiguas. El uso de módulos mesh como una nueva herramienta para construir redes de próxima generación puede reducir drásticamente la complejidad y los costos de conectividad para la estructura de su centro de datos.