Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · docs.modelplane.ai

Una guía abierta de ingeniería de inferencia

Modelplane, proyecto open source del sandbox de la CNCF, publica una guía para ingenieros de plataforma que se inician en la inferencia de modelos. Explica cómo se combinan modelos y GPU, cómo servirlos en producción y qué herramientas usar, y cómo evolucionar hacia un rol de ingeniero de inferencia.

Foto: vía docs.modelplane.ai

Leer el artículo aquíArtículo original (docs.modelplane.ai) 8 comentarios en Hacker News

Escucha la noticia3 min

La guía parte de por qué ahora: en organizaciones centradas en la IA, los equipos de plataforma acaban haciendo de equipos de inferencia. Hay asistentes de código que no pueden enviar el código fuente a terceros, facturas de modelos de frontera que suben cada mes y herramientas de soporte que necesitan datos internos. Los modelos abiertos hacen viable alojarlos uno mismo: Hugging Face tiene más de dos millones y los mejores compiten con los cerrados. Con mucho volumen, según el texto, se pueden recortar costes en torno a un 80 %.

El texto sostiene que el trabajo encaja con los ingenieros de plataforma y lo ilustra con una tabla de equivalencias: planificación de capacidad se convierte en cálculo de memoria de GPU (pesos, KV cache y sobrecarga del runtime), el autoescalado por CPU pasa a hacerse por profundidad de cola y uso de KV cache, y los SLO se miden en tiempo hasta el primer token, tiempo por token de salida y goodput. Recomienda empezar con una API alojada y pasar a self-hosting cuando el gasto en API sea relevante, la latencia o la fiabilidad superen lo que ofrecen los proveedores, o los datos no puedan salir de la red.

En la parte de conceptos básicos, define el motor de inferencia (vLLM, SGLang, Ollama) como algo parecido a un servidor de base de datos con estado y una GPU conectada: carga los pesos en memoria al arrancar y guarda estado por sesión. Distingue cuatro capas: kernels, motor, plano de control y gateway. Los pesos son una huella fija (un modelo de 8B en BF16 ocupa unos 16 GB), mientras que la KV cache crece con la longitud de contexto y las conversaciones simultáneas. Para Llama 3 70B en FP16 calcula unos 320 KB por token, es decir, unos 40 GB para una conversación de 128K tokens.

También advierte de errores de dimensionado: los modelos mixture-of-experts mantienen todos los pesos residentes aunque solo computen los parámetros activos; hay que mirar el tamaño real del checkpoint y no la tabla de tipos de dato (Upbound estimó 315 GB para un modelo que en realidad ocupaba 177,7 GB); y conviene dejar margen para CUDA graphs, activaciones y fragmentación. Cada petición pasa por prefill, limitado por cómputo, y decode, limitado por ancho de banda de memoria, de ahí que el TTFT y los tokens por segundo se midan por separado.

En Hacker News

«An Open Field Guide to Inference Engineering» · puesto 30 · 71 puntos · enviado por d-ramdass

Lo que dicen los comentarios

El hilo tiene un único comentario, del autor del envío, que repite la presentación de la guía y aclara que la escriben los mantenedores de Modelplane, un proyecto open source del sandbox de la CNCF. No hay todavía discusión sobre el contenido.

  • La guía es para ingenieros de plataforma que empiezan con la inferencia: cómo trabajan juntos modelos y GPU, cómo ejecutar inferencia en producción y qué herramientas usar. La han escrito los mantenedores de Modelplane, proyecto open source del sandbox de la CNCF.
    — d-ramdass, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.