La guía parte de por qué ahora: en organizaciones centradas en la IA, los equipos de plataforma acaban haciendo de equipos de inferencia. Hay asistentes de código que no pueden enviar el código fuente a terceros, facturas de modelos de frontera que suben cada mes y herramientas de soporte que necesitan datos internos. Los modelos abiertos hacen viable alojarlos uno mismo: Hugging Face tiene más de dos millones y los mejores compiten con los cerrados. Con mucho volumen, según el texto, se pueden recortar costes en torno a un 80 %.
El texto sostiene que el trabajo encaja con los ingenieros de plataforma y lo ilustra con una tabla de equivalencias: planificación de capacidad se convierte en cálculo de memoria de GPU (pesos, KV cache y sobrecarga del runtime), el autoescalado por CPU pasa a hacerse por profundidad de cola y uso de KV cache, y los SLO se miden en tiempo hasta el primer token, tiempo por token de salida y goodput. Recomienda empezar con una API alojada y pasar a self-hosting cuando el gasto en API sea relevante, la latencia o la fiabilidad superen lo que ofrecen los proveedores, o los datos no puedan salir de la red.
En la parte de conceptos básicos, define el motor de inferencia (vLLM, SGLang, Ollama) como algo parecido a un servidor de base de datos con estado y una GPU conectada: carga los pesos en memoria al arrancar y guarda estado por sesión. Distingue cuatro capas: kernels, motor, plano de control y gateway. Los pesos son una huella fija (un modelo de 8B en BF16 ocupa unos 16 GB), mientras que la KV cache crece con la longitud de contexto y las conversaciones simultáneas. Para Llama 3 70B en FP16 calcula unos 320 KB por token, es decir, unos 40 GB para una conversación de 128K tokens.
También advierte de errores de dimensionado: los modelos mixture-of-experts mantienen todos los pesos residentes aunque solo computen los parámetros activos; hay que mirar el tamaño real del checkpoint y no la tabla de tipos de dato (Upbound estimó 315 GB para un modelo que en realidad ocupaba 177,7 GB); y conviene dejar margen para CUDA graphs, activaciones y fragmentación. Cada petición pasa por prefill, limitado por cómputo, y decode, limitado por ancho de banda de memoria, de ahí que el TTFT y los tokens por segundo se midan por separado.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.