El proyecto nace del trabajo interno de sus autores: un índice de mercado diario construido a partir de millones de artículos de noticias, a cada uno de los cuales se le hacían decenas de preguntas concretas y calibradas. Un motor de inferencia pensado para chat vuelve a leer el contenido en cada pregunta y genera token a token, lo que hacía la tarea lenta y cara. Spinf-serve dispone cada pregunta como una rama de una única lectura del contenido y empaqueta muchos contenidos en un mismo forward pass. No es un servidor de chat: no genera nada salvo que se le pida y está pensado para el rendimiento, no para la latencia de una petición suelta.
Cada respuesta es una probabilidad sobre las opciones que da el usuario. La respuesta incluye también la probabilidad de esas mismas opciones con contenido vacío (floor_p), de modo que p - floor_p indica lo que ha aportado el contenido, y un residual con la probabilidad que ha ido a palabras fuera de las opciones. Además admite extracción de texto, números e importes con sus probabilidades, o texto libre generado en un hueco, e imágenes, audio y vídeo en los modelos que los leen. Con los checkpoints fp8, aseguran que las puntuaciones de un contenido son idénticas bit a bit sea cual sea el resto del lote.
En el benchmark publicado, con una RTX 4090 y Gemma 4 12B en fp8, se procesaron 24 artículos de Wikinews de unos 470 tokens con 56 preguntas de dos opciones cada uno (1.344 preguntas). Spinf-serve responde 491 preguntas por segundo y completa el trabajo en 2,7 s; vLLM 0.26 con prefix caching, con 128 peticiones en vuelo, llega a 200 por segundo y tarda 6,7 s. Según los autores, la diferencia crece con el número de preguntas por contenido.
El servidor incorpora «prompt packs», ficheros que reúnen las preguntas, cómo se presenta el contenido al modelo y cómo se convierten las respuestas en puntuaciones y en una decisión; por ejemplo, el pack de moderación tiene 106 preguntas y 22 categorías. Se ofrecen cuatro checkpoints cuantizados: Gemma 4 12B y 31B en fp8, Qwen3.8-27B en int4 y un modelo de decisión de Perplexity en int4. Requiere Linux, una GPU con tensor cores fp8 (Ada, Hopper o Blackwell), CUDA 13 y Python 3.12; las Ampere funcionan con pesos int8. Está en la versión 0.1 y existe también una API alojada, api.spinf.com, con la misma interfaz.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.