Lunes, 16 de noviembre de 2026
Portada de las 22:25
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · github.com

Memdoor: un equipo de cinco Qwen3.8-27B supera a Fable 5 en LiveCodeBench Hard

Memdoor reproduce como workflow de ocho ficheros YAML el método GVS5H: cinco modelos pequeños que se coordinan solo mediante ficheros resuelven problemas de programación. Sobre diez problemas empata con el arnés original y supera a Fable 5 en una llamada, aunque la muestra es pequeña.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 203 comentarios en Hacker News

Escucha la noticia3 min

El workflow «team-solve» reúne a un planificador, dos generadores de ideas, un solucionador y un gestor, más un worker de reparación. Cada uno arranca con contexto nuevo y se comunica con los demás solo mediante ficheros en disco. Quien decide si hay éxito es un script que ejecuta los ejemplos, no un modelo. Es el método de GVS5H (Lee, 2026) escrito como ocho ficheros YAML, sin código y sin nombrar ningún modelo.

Se probó con Qwen3.8-27B sobre los diez primeros problemas de la lista LiveCodeBench Hard de los autores, cinco pasadas cada uno, con todos los tests ocultos y su grader corregido. Resultado: media de 9,8 sobre 10 para este workflow, 9,6 para el arnés de los autores reconstruido sobre el mismo modelo y 8,0 para Fable 5 en una sola llamada. Las 50 ejecuciones costaron 35,79 dólares; cada una tardó una mediana de 40 minutos y 0,39 dólares.

El propio README acota el alcance: son diez problemas y cinco pasadas, no los cien de los autores, así que 9,8 y 9,6 son prácticamente lo mismo; se afirma paridad, no mejora. Los concursos son de primavera de 2025 y no se descarta contaminación del entrenamiento. La columna de Fable 5 viene de los ficheros de los autores y no se ejecutó en este arnés. El bucle solo ve los ejemplos públicos y el modelo corrió en OpenRouter. El único problema fallado se debió a que el gestor inventó un contraejemplo erróneo y el equipo reescribió un programa correcto.

Para usarlo hay que instalar memdoor, conectar un proveedor (OpenRouter, Anthropic, OpenAI, Gemini, ChatGPT o uno local como Ollama, llama.cpp, vLLM o LM Studio; Ollama necesita una ventana de 32K) y copiar el workflow. El problema propio se define con un task.md y pares tests/N.in y tests/N.out; la solución es solution.py. Los pasos son plan, dos ideate en paralelo, solve, test, review, repair y verify; el último falla con salida distinta de cero si no pasan los ejemplos.

En Hacker News

«Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard» · puesto 20 · 418 puntos · enviado por guregodevo

Lo que dicen los comentarios

La conversación mezcla entusiasmo por los modelos locales con bastante escepticismo sobre el benchmark. Varios recuerdan que GVS5H ya se discutió hace una semana y que LiveCodeBench Hard está saturado o contaminado. Quien tiene experiencia con enjambres de modelos baratos avisa de que es fácil ajustar un arnés a una evaluación y difícil que generalice. Otros cuentan que usan flujos parecidos con buenos resultados en trabajo real y que la diversidad de modelos ayuda a detectar fallos. También hay discusión sobre si los cuantizados a 2 bits rinden igual y sobre la viabilidad de chips dedicados tipo Cerebras. El autor aclara que probó Cerebras, pero el límite de 32K tokens de salida no cabía con el presupuesto de razonamiento de 128K. Por último, se critica que el texto parezca redactado con Claude.

  • Pasé varias semanas intentando que enjambres de modelos baratos igualaran la capacidad de programación de uno caro. Es sorprendentemente fácil construir un arnés que mejore una sola evaluación y sorprendentemente difícil uno que generalice.
    — jbellis, leer el comentario
  • Parece que es muy fácil ganar puntos en Internet inventando un arnés y mostrando que buenos modelos abiertos igualan a los de frontera en benchmarks saturados, contaminados y de hace años que no reflejan el trabajo agéntico real.
    — vikramkr, leer el comentario
  • Uso un enfoque parecido: planificador, investigador y revisor de solo lectura, e implementador que puede lanzar investigadores y revisores. Los agentes se comunican con ficheros. Obtengo muy buenos resultados y mis compañeros con Claude no notan la diferencia.
    — robertkluin, leer el comentario
  • En realidad probamos Cerebras. Limita la salida a 32K tokens, así que los 128K de razonamiento del presupuesto de los autores no cabían. Pero la velocidad de Cerebras es real.
    — guregodevo, leer el comentario
  • La cuantización de 2 bits de Bonsai es claramente más tonta que Qwen 27B a ocho o incluso cuatro bits. Dudo que se alcance este nivel de calidad ni siquiera con cinco.
    — SwellJoe, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.