Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Show HN

Spinf-serve: servidor de inferencia para puntuación y decisiones en bloque

Spinf-serve es un servidor open source (Apache 2.0) que lee un contenido una sola vez y responde muchas preguntas sobre él en la misma pasada, devolviendo probabilidades en lugar de texto generado. Funciona en una sola GPU NVIDIA de 24 GB y expone una API compatible con OpenAI.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 0 comentarios en Hacker News

Escucha la noticia3 min

El proyecto nace del trabajo interno de sus autores: un índice de mercado diario construido a partir de millones de artículos de noticias, a cada uno de los cuales se le hacían decenas de preguntas concretas y calibradas. Un motor de inferencia pensado para chat vuelve a leer el contenido en cada pregunta y genera token a token, lo que hacía la tarea lenta y cara. Spinf-serve dispone cada pregunta como una rama de una única lectura del contenido y empaqueta muchos contenidos en un mismo forward pass. No es un servidor de chat: no genera nada salvo que se le pida y está pensado para el rendimiento, no para la latencia de una petición suelta.

Cada respuesta es una probabilidad sobre las opciones que da el usuario. La respuesta incluye también la probabilidad de esas mismas opciones con contenido vacío (floor_p), de modo que p - floor_p indica lo que ha aportado el contenido, y un residual con la probabilidad que ha ido a palabras fuera de las opciones. Además admite extracción de texto, números e importes con sus probabilidades, o texto libre generado en un hueco, e imágenes, audio y vídeo en los modelos que los leen. Con los checkpoints fp8, aseguran que las puntuaciones de un contenido son idénticas bit a bit sea cual sea el resto del lote.

En el benchmark publicado, con una RTX 4090 y Gemma 4 12B en fp8, se procesaron 24 artículos de Wikinews de unos 470 tokens con 56 preguntas de dos opciones cada uno (1.344 preguntas). Spinf-serve responde 491 preguntas por segundo y completa el trabajo en 2,7 s; vLLM 0.26 con prefix caching, con 128 peticiones en vuelo, llega a 200 por segundo y tarda 6,7 s. Según los autores, la diferencia crece con el número de preguntas por contenido.

El servidor incorpora «prompt packs», ficheros que reúnen las preguntas, cómo se presenta el contenido al modelo y cómo se convierten las respuestas en puntuaciones y en una decisión; por ejemplo, el pack de moderación tiene 106 preguntas y 22 categorías. Se ofrecen cuatro checkpoints cuantizados: Gemma 4 12B y 31B en fp8, Qwen3.8-27B en int4 y un modelo de decisión de Perplexity en int4. Requiere Linux, una GPU con tensor cores fp8 (Ada, Hopper o Blackwell), CUDA 13 y Python 3.12; las Ampere funcionan con pesos int8. Está en la versión 0.1 y existe también una API alojada, api.spinf.com, con la misma interfaz.

En Hacker News

«Show HN: Spinf-serve – inference server for bulk scoring and decisions» · puesto 20 · 13 puntos · enviado por giarec

Lo que dicen los comentarios

El post acaba de publicarse, tiene 4 puntos y todavía no hay comentarios, así que no hay conversación que resumir.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.