El artículo parte de una diferencia de rendimiento: ejecutar el mismo entrenamiento distribuido sobre InfiniBand en lugar de NVLink puede reducir el rendimiento un 43 %. Hasta ahora NVLink solo conectaba GPUs dentro de un nodo, así que los trabajos multinodo dependían de InfiniBand o sus equivalentes en la nube (EFA en AWS, GPUDirect-TCPX en GCP). Los sistemas NVL72 conectan las 72 GPUs de un rack con una única red NVLink, con un ancho de banda un orden de magnitud mayor, pero un trabajo repartido entre racks sigue limitado por InfiniBand.
Explica después qué comunicaciones conviene mantener en NVLink. El tensor parallelism necesita dos all-reduce por capa de transformer en la pasada hacia delante, que no pueden solaparse del todo con el cómputo; Hugging Face midió una caída del 43 % en el throughput de entrenamiento al pasar de NVLink a InfiniBand. El expert parallelism, en modelos MoE, requiere dos operaciones all-to-all por capa; con 64 GPUs en servidores de 8, esa comunicación puede consumir hasta el 60 % del tiempo de entrenamiento, mientras que en NVL72 las 64 GPUs siguen en el mismo dominio NVLink. En inferencia, con DeepSeek-R1, GB200 NVL72 con expert parallelism de 32 vías ofrece hasta 4,4 veces más throughput por GPU que servidores B200 de 8 GPUs, limitados a 8 vías.
Sobre el hardware, cada GPU del rack tiene 18 puertos NVLink de 100 GB/s bidireccionales (1,8 TB/s por GPU), conectados cada uno a uno de los 18 chips NVSwitch. El ancho de banda interno agregado es de 130 TB/s y la red es totalmente non-blocking: cualquier GPU habla con cualquier otra con la misma latencia.
La fiabilidad es el otro eje. Meta midió un tiempo medio entre interrupciones de unos 490 días por nodo de 4 GPUs, y el rack de 18 nodos queda interrumpido cada 27 días aproximadamente; en un clúster de 128 racks, un rack dejaría de servir para trabajos de rack completo cada cinco horas. Reservar dos nodos de repuesto por rack evita que un fallo inutilice el rack entero, a costa de dejar esos nodos ociosos. El texto cita un modelo de NVIDIA sobre cómo el tamaño de la porción afecta a la capacidad utilizable, y anuncia que SkyPilot Platform mantiene los trabajos dentro del rack mediante colocación según la topología, recuperación in situ ante fallos y desfragmentación automática de clústeres compartidos.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.