El artículo analiza los principios básicos de la construcción de redes en centros de datos, proporciona ejemplos de soluciones de hardware de Juniper Networks. No lleva a cabo un análisis técnico profundo, pero probablemente será útil para aquellos que van a organizar su primer centro de datos pequeño, o están buscando soluciones alternativas y nuevas oportunidades en los centros de datos existentes.
El tema de la construcción de redes de comunicación en centros de datos está lejos de ser nuevo hoy. Actualmente, esta área está experimentando un rápido desarrollo, lo que se justifica por las necesidades cada vez mayores de almacenamiento de información, así como por la migración masiva de servicios y tecnologías a las "nubes".
En este sentido, los requisitos para las redes de datos en el centro de datos aumentan cada día. Esto obliga a la humanidad a desarrollar nuevas tecnologías para la gestión de redes, procesamiento de tráfico y operación de equipos. Optimice las soluciones existentes y, por supuesto, reduzca la carga sobre los recursos humanos para eliminar los errores asociados con el factor humano.
Un cambio importante fue la dirección del flujo de tráfico en el centro de datos: si los flujos de tráfico grandes anteriores pasaban de abajo hacia arriba, verticalmente, de los servidores al mundo exterior, ahora la situación es completamente diferente, y ahora los servidores se comunican entre sí, transmitiéndose grandes flujos de información entre sí, lo que cambió las proporciones de los volúmenes. tráfico a favor del intercambio "horizontal".
En 1953, el matemático Charles Klose, resolvió el problema de optimizar las conexiones de red para su uso en redes telegráficas. El método de conexión "cada uno con cada" era redundante y requería grandes recursos para la implementación. La idea de Klose era construir una red de acuerdo con el esquema de tres niveles. Entrada - Intermedia - Salida. En este esquema, el número de conexiones físicas se redujo drásticamente, pero el rendimiento general de la red fue suficiente para la operación.
El mismo principio se tomó como base para construir redes de transmisión de datos en el centro de datos. Con el único cambio, los niveles de "entrada" y "salida" se combinaron en uno, ya que los servidores son tanto una fuente de información como su consumidor. Al final, obtuvimos un esquema de conexión de red según el principio de Spine - Leaf.
Espina dorsal - Diagrama de conexión de red de hojaEl esquema se construye por analogía con las plantas en la naturaleza. Hoja - Hoja. Las hojas están unidas al tronco. Columna vertebral: tronco (o cresta). Como resultado, obtenemos una estructura general.
Hoja. Equipo de nivel de acceso donde se conectan los servidores del centro de datos. Estos son conmutadores Top of Rack con alta densidad de puertos. Como puede ver en la figura, todo el equipo Leaf está conectado en líneas separadas a cada interruptor de columna. Esto le permite lograr un alto nivel de redundancia y tolerancia a fallas.
Columna vertebral Los equipos de nivel de "agregación" suelen ser equipos de producción con una alta densidad de puertos de 25/40/50/100 Gbit / s. Una característica distintiva de este equipo es una amplia gama de funcionalidades compatibles y un mayor rendimiento en comparación con el nivel de Leaf.
Como resultado, obtenemos un esquema en el que el tráfico fluye a través del equipo a nivel de la columna vertebral. Tal distribución de flujos de tráfico puede no parecer óptima si ambos servidores, la fuente y el receptor están conectados al mismo conmutador Leaf. Y esto es correcto, en este caso, el tráfico pasa directamente a través del interruptor de la hoja sin subir a un nivel superior.
QFX es una serie de conmutadores para construir redes de centros de datos.
La abreviatura QFX no tiene ningún significado lógico, por lo que no entraremos en el significado de estas tres letras. Este equipo fue desarrollado y comercializado por Juniper Networks, una empresa líder en el desarrollo y fabricación de equipos de telecomunicaciones.
Hoy en día, cualquier fabricante respetuoso de equipos de telecomunicaciones, ya sea Cisco, Arista, Extreme y algunos otros, se ocupa de los problemas de conmutación y enrutamiento en los centros de datos.
Los fabricantes de software de red, que pueden usarse junto con equipos sin software preinstalado, o directamente en plataformas de servidor, toman una posición interesante. El desarrollo de esta dirección se lleva a cabo en estrecha cooperación con los fabricantes de equipos de telecomunicaciones que crean nuevos productos y tecnologías.
Volver al hardware QFX de Juniper Networks. Toda la serie ha sido diseñada para satisfacer las necesidades de los centros de datos. El software está escrito teniendo en cuenta la funcionalidad necesaria, la arquitectura del equipo tiene en cuenta los requisitos de tolerancia a fallos y redundancia.
La línea de conmutadores para centros de datos está representada por las siguientes series:
- Serie QFX51xx - Equipo a nivel de hoja.
- La serie QFX52xx es un equipo que puede usarse tanto a nivel de hoja como a nivel de columna.
- Serie QFX10k: equipo a nivel de la columna vertebral.
Dependiendo de la serie, el equipo está construido en chips Broadcom o en los propios desarrollos de Juniper. Tanto la una como la otra opción tienen sus pros y sus contras.
Considere el QFX51xx, el QFX5100 anterior, así como la versión actualizada del QFX5110. Ambos conmutadores se basan en Broadcom Trident 2+, pero en versiones diferentes. Como resultado, no obtuvimos el mismo comportamiento del conmutador en funcionamiento y, por supuesto, el soporte diferente para las funciones de software y la capacidad del puerto. Como se señaló anteriormente, este equipo se coloca principalmente como un dispositivo Leaf. Es posible usar la serie 51xx como un dispositivo Spine en pequeños centros de datos.
QFX51xx admite redundancia de fuentes de alimentación de acuerdo con el esquema AC / DC, AC / AC, DC / DC.
El software, el equipo se construye utilizando mecanismos de virtualización. A diferencia de otras series de conmutadores de la compañía, el sistema operativo Junos OS se ejecuta como una máquina virtual bajo el hipervisor KVM que se ejecuta en el dispositivo. Gracias a esto, la solución es compatible con la tecnología de actualización de software: TISSU. Durante el proceso de actualización, se crean máquinas virtuales adicionales del sistema operativo Junos, y el cambio entre ellas ocurre con interrupciones mínimas del servicio.
El QFX5100 está construido sobre una versión anterior del chip Trident 2+ y, en mi humilde opinión, ya es digno de retirarse, dando paso a su hermano mayor QFX5110.
QFX5100 se realiza en varias modificaciones:
- QFX5100-48S: conmutador SFP + de 48 puertos con 6 puertos QSFP +.
- El QFX5100-96S es un conmutador SFP + de 96 puertos con 8 puertos QSFP +.
- QFX5100-24Q - Conmutador QSFP + de 24 puertos.
- QFX5100-48T - Switch 10G BASE-T de 48 puertos 6 puertos QSFP +.
QFX5110 es un modelo más nuevo de la serie 51xx, construido en una versión actualizada del chip Trident 2+. En mi opinión, esta es ahora la mejor solución de Juniper disponible para trabajar como dispositivos Leaf.
QFX5110: un modelo más nuevo de la serie 51xx, basado en una versión actualizada del chip Trident 2+
QFX5110 se fabrica en varias versiones
- QFX5110-48S: conmutador SFP + de 4 puertos de 48 puertos QSFP28.
- El QFX5110-32Q es un conmutador para 32 puertos QSFP + o 20 puertos QSFP28.
En general, se puede observar una alta densidad de puertos de 10 Gb / s para encender dispositivos terminales, y más bien puertos de enlace ascendente "anchos" de 100 Gb / s, lo que permite obtener un nivel de enlace ascendente de nueva suscripción a "1: 1.2" cuando el conmutador modelo 5110 está completamente cargado. Creo que este es un buen indicador.
Una pequeña tabla de comparación:
Considere la serie QFX52xx. El equipo de esta serie está representado por dos modelos QFX5200, así como QFX5210. Toda la serie se basa en el chip Broadcom Tomahawk de primera generación. Esto impone sus limitaciones en la funcionalidad y el rendimiento de la solución. La serie se posiciona como dispositivos Spine de pequeños centros de datos, o como dispositivos Leaf si es necesario conectar equipos terminales de 25 Gb / s. Esto se debe a la alta densidad de puertos QSFP28 y al hecho de que el equipo está construido en un chip comercial de Broadcom, con funcionalidad limitada.
QFX52xx admite redundancia de fuentes de alimentación de acuerdo con el esquema AC / DC, AC / AC, DC / DC.
Todo lo anterior sobre el funcionamiento del software en el equipo QFX51xx también es válido para la serie QFX52xx. El sistema operativo Junos OS funciona igual que una máquina virtual, con la capacidad de alojar TISSU.
El QFX5200 está representado por dos modelos, el QFX5200-32C más antiguo construido en el chip Broadcom Tomahawk y el nuevo QFX5200-48Y construido en el chip Broadcom Tomahawk +:
- QFX5200-32C: conmutador de 32 puertos QSFP28.
- QFX5200-48Y: conmutador SFP28 de 48 puertos y 6 puertos QSFP28.
El QFX5210 está representado por un modelo, que es, de hecho, dos interruptores QFX5200-32C, lo que nos da las mismas limitaciones.
QFX5210-64C: conmutador QSFP28 de 64 puertos.
Al final, obtenemos una alta densidad de puertos de 100 Gb / s por relativamente poco dinero, lo que hace que este equipo sea una buena solución de Spine en centros de datos pequeños y medianos. Además, quiero señalar el momento en que el equipo permite la migración del nivel de la hoja a una velocidad de 25 Gb / s
Pasemos a la serie QFX10k. El equipo de esta serie está construido sobre el propio desarrollo de Juniper, el chip Q5, con una capacidad de 500 Gb / s. Este conjunto de chips tiene la capacidad de conectar memoria externa para almacenar información de enrutamiento RIB / FIB. Esto le permite construir equipos de alto rendimiento e introducir una nueva funcionalidad tal como aparece en el mercado a través de actualizaciones de software. Los conmutadores de la serie QFX10k están diseñados para satisfacer todas las necesidades actuales del mercado, para su uso en grandes centros de datos a nivel de la columna vertebral, así como para construir enlaces entre dos centros de datos separados geográficamente: DCI: interconexión de centros de datos.
Los interruptores QFX10k están disponibles en diseños fijos y modulares.
El QFX10002 es un conmutador de modo fijo 2RU. La serie incluye varios modelos:
- Conmutador QFX10002-36 / 72Q con soporte para 36/72 puertos QSFP + o 12/24 puertos QSFP28.
- Conmutador QFX10002-60C con soporte para 60 puertos QSFP28.
El QFX100xx es un interruptor modular. Estos son chasis grandes con la capacidad de conectar varios tipos de tarjetas de línea, proporcionando soporte para varios tipos de interfaces (SFP, SFP +, SFP28, QSFP +, QSFP28). El equipo permite el uso de redundancia de componentes dentro de un chasis, como módulos de control, tarjetas de línea.
La serie incluye un chasis con la capacidad de incluir tarjetas de 8 o 16 líneas.
Hoy en día, el equipo QFX10k ocupa una posición de liderazgo en el segmento "Dispositivos de columna" para redes de centros de datos. Los interruptores compiten con equipos de otros fabricantes en este segmento.
Todos los equipos admiten mecanismos de configuración remota de NetConf, recopilación de estadísticas y análisis mediante telemetría de Junos.
En general, revisamos la topología física de la construcción de redes, en la versión de mejores prácticas, de los posibles equipos de Juniper. Vale la pena señalar que otros fabricantes de equipos tienen análogos de tales interruptores. Con nuestra revisión, siempre puede elegir lo que más le convenga.
En conclusión, propongo considerar las opciones lógicas para construir redes de comunicación en centros de datos.
Hasta la fecha, puedo distinguir dos opciones para la construcción lógica de la red:
Basado en algoritmos patentados y protocolos de trabajo.
Basado en algoritmos abiertos y protocolos de trabajo.
Todavía estamos considerando el fabricante Juniper Networks.
En el primer caso, hay dos soluciones principales para construir redes en centros de datos:
Tejido de chasis virtual
Centro de datos de Junos Fusion
Tejido de chasis virtual. La solución es un desarrollo de la tecnología de chasis virtual de Juniper. El mismo principio se utiliza para combinar conmutadores en un chasis común utilizando el protocolo interno VCCP. VCCP se basa en el protocolo abierto IS-IS y es una versión revisada del mismo. Como resultado, el mecanismo de operación de la solución está oculto para el usuario final y se deja a los desarrolladores, lo que dificulta la resolución de cualquier problema que surja durante la operación, pero le permite usar el producto terminado.
- Punto único de gestión a través del interruptor principal.
- Soporte para la columna vertebral - Arquitectura de la hoja.
- El número máximo de dispositivos es de 20 piezas (4 espinas y 16 hojas).
- Escalado hasta 1536 puertos de acceso con soporte de 10 Gb / s - FCoE en una fábrica.
- Sistema de gestión espacial Junos.
Centro de datos Junos Fusion. La solución es un nuevo producto de la compañía, diseñado específicamente para su uso en centros de datos. Solo se admiten los conmutadores de la serie QFX-51xx / 10k. La solución se basa en las tecnologías 802.1BR, netconf, json-rpc. Una estructura lógica única con la capacidad de controlar desde una consola. La solución se está desarrollando activamente y se está introduciendo una funcionalidad adicional.
- Basado en IEEE802.1BR.
- Punto único de gestión.
- Soporte para la tecnología de columna vertebral.
- El número máximo de dispositivos es de 65 piezas.
- Escalado hasta 6144 puertos de 10 Gb / s -FCoE en una sola fábrica.
- Posibilidad de usar 1 o 2 dispositivos a nivel de la columna vertebral.
- La capa de columna está representada por los interruptores QFX10k.
- El nivel de la hoja está representado por los interruptores QFX51xx.
- Soporte para conmutación local a nivel de hoja.
- La capacidad de configurar automáticamente vlan en los puertos del nivel Leaf.
- Sistema de gestión espacial Junos.
- Soporte MC-LAG.
En el caso de que la red se base en algoritmos abiertos y protocolos de trabajo, solo hay una solución: IP Fabric. La solución permite el uso de equipos de cualquier fabricante. La estructura IP se ejecuta exclusivamente en OSI Layer 3. No tiene puntos de administración comunes ni una sola consola, pero las posibilidades de escalado, así como la resolución de problemas, son bastante amplias.
Separación de los niveles Underlay y Overlay. Como tecnología Underlay, utilizamos protocolos IGP que conocemos, como OSPF / IS-IS, para pequeños centros de datos. Si el centro de datos tiene muchos racks y se usa una gran cantidad de dispositivos terminales conectados, entonces a todos les encanta iBGP / eBGP. En mi opinión, aquí, al elegir una solución subyacente, es una cuestión de gusto y sentido común.
Como solución de superposición, se elige algo como VXLAN, que es compatible con la mayoría de los fabricantes de soluciones de red, junto con las tecnologías MPLS o, por ejemplo, EVPN. El equipo de Juniper se puede usar para construir soluciones similares junto con otros fabricantes. No hay características especiales aquí, creo, es imposible.
- Amplia variedad de opciones de implementación.
- Soporte para la tecnología de columna vertebral.
- Una selección abierta de tecnologías y protocolos.
- Posibilidad de utilizar soluciones de varios fabricantes.
- Mayor escalabilidad en comparación con otras soluciones.
- Trabaja solo en el tercer nivel del modelo OSI.
En este artículo, ofrecí una descripción general de los principios de la construcción de redes para centros de datos, así como las posibilidades de usar equipos y soluciones de Juniper Networks para su implementación.
Juniper Networks proporcionó amablemente todos los materiales fotográficos en la persona del ingeniero Bugakov Evgeny. Por lo que gracias especiales a él.