Lunes, 16 de noviembre de 2026
Portada de las 22:25
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Show HN

Show HN: Flide, un motor de inferencia para modelos de decisión tipo Jev hasta 9,5 veces más rápido

Flide es un motor de inferencia de código abierto para modelos de decisión del estilo de Jev. Sus autores aseguran que es hasta 9,5 veces más rápido que vLLM y SGLang y que cada respuesta es idéntica a la que el modelo daría a la pregunta por separado. Se instala con pip.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 23 comentarios en Hacker News

Escucha la noticia3 min

Según el post y el README, los modelos de decisión necesitan su propio motor de inferencia, y Flide se ha construido desde cero para eso. Lo describen como un motor «exacto» y de alto rendimiento. Se basa en lo que llaman exact state forking: cada respuesta es la misma que daría el modelo a esa pregunta sola. Soporta más de 30 modelos locales de este tipo y sirve la API /v1/systemone de Jev.

El uso es sencillo: se instala con uv y pip (flide y torchvision) y se arranca con flide serve --model seguido del modelo, por ejemplo OmniJev/OneJev1.6-0.8B o perplexity-ai/pplx-decider-flash-v1.2. Una petición a /v1/systemone lleva un estado en texto, como un pedido que llega con la pantalla rota, y varias preguntas. Cada pregunta puede ser de tipo choice, con criterios entre los que elegir (reembolsar, reenviar o escalar a una persona), o de tipo noul, con una consulta como «¿requiere respuesta en la hora?». Una pregunta admite hasta 256 opciones y una misma petición puede llevar varias solicitudes.

El tablero de modelos compara la latencia mediana de una sola petición en una H200 con la del motor con el que se publica cada modelo: el más rápido entre vLLM y SGLang para los modelos de chat, y qev para OneJev. Las columnas son DI (Decision Index), MultiRC y QuALITY. Las mejoras van de 1,0× a 28,1×: el mayor valor, 28,1×, es el de Senova en MultiRC, mientras que en QuALITY el máximo es 4,7× (OneJev). KnowLine 35B se ejecuta con --quantize fp8, como se publica su versión.

Entre las opciones figuran --session-cache-gb 40, que guarda los estados de peticiones anteriores para que el siguiente paso de un agente lea solo lo nuevo; --batch-invariant, que da los mismos bits para una petición sea cual sea el lote en que va, a costa de algo de velocidad; --quantize fp8 para Qwen3.5 en GPU Ada, Hopper y Blackwell; y --frontends 2, que separa HTTP, renderizado y tokenización en dos procesos propios para muchos clientes. El proyecto tiene licencia Apache-2.0, incluye un kernel derivado de flash-linear-attention (MIT) y cuenta con un artículo en arXiv, «Flide: Accelerating Decision Inference with Exact State Forking». La versión 0.1.0 salió en PyPI el 24 de octubre y la 0.1.10, la última que recoge el README, añade Ainvest-Decision, Darwin-27B-RSI-Decision y KnowLine-31B-Gen1.5.

En Hacker News

«Show HN: Flide: Make Jev-like decision models up to 9.5x faster» · puesto 29 · 95 puntos · enviado por unikcc

Lo que dicen los comentarios

De momento no hay debate: el único comentario es del propio equipo de Flide, que se presenta, repite que el motor es hasta 9,5 veces más rápido que vLLM y SGLang manteniendo la exactitud, enlaza el código fuente y pide opiniones e ideas.

  • Soy uno del equipo de Flide. Lo hemos construido desde cero para que la inferencia de modelos de decisión tipo Jev sea hasta 9,5 veces más rápida que vLLM y SGLang, sin perder exactitud. Esperamos vuestras opiniones e ideas.
    — unikcc, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.