Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · arxiv.org

Next-Concept Modeling: generación de texto rápida, paralela y de lo grueso a lo fino

Un artículo de arXiv propone Next-Concept Modeling (NCM), un marco en dos etapas que codifica el texto en una jerarquía de códigos discretos y genera cada nivel en paralelo. Según los autores, iguala o supera a los modelos de lenguaje de difusión más fuertes y es entre 10 y 31 veces más rápido.

Leer el artículo aquíArtículo original (arxiv.org) 39 comentarios en Hacker News

Escucha la noticia2 min

Los modelos de lenguaje de difusión (DLMs) permiten muestreo en paralelo y, por tanto, una generación más rápida que los autorregresivos, una ventaja cada vez más relevante a medida que la inferencia domina la carga de cómputo. Los autores señalan tres problemas: se degradan rápido cuando se reducen los pasos de muestreo, procesan la secuencia completa en cada paso y necesitan muchas pasadas por el conjunto de datos para alcanzar buena calidad.

NCM es un marco en dos etapas, de lo grueso a lo fino. Primero, un VQ-VAE residual multiescala codifica el texto en una jerarquía de códigos discretos. Después, un transformer genera un nivel cada vez y predice en paralelo todos los códigos de ese nivel.

Con el mismo número de parámetros, NCM logra mejor perplejidad generativa que el DLM de referencia más fuerte en LM1B, con una ejecución 21 veces más rápida. En OpenWebText es competitivo con ese DLM y 10 veces más rápido; en XSum iguala su ROUGE-L y es 31 veces más rápido.

En Sudoku, una tarea de razonamiento, NCM supera a los modelos autorregresivos y de difusión usados como referencia en todos los niveles de dificultad, con menos evaluaciones de la función.

En Hacker News

«Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation» · puesto 27 · 171 puntos · enviado por theanonymousone

Lo que dicen los comentarios

La conversación se reparte entre el artículo y asuntos laterales. Lo más sustancial es la cautela: un comentarista nota que el trabajo apenas se compara con la predicción convencional del siguiente token, lo que sugiere que no la supera salvo en tareas muy no lineales como el Sudoku, y otros señalan el coste de reentrenar con un tokenizador y un método de entrenamiento nuevos. Otro usuario critica los vídeos sensacionalistas que presentan NCM como el fin de los LLM y explica que se parece más a una estrategia de evaluación, aplicable a otras arquitecturas, que a algo que sustituya a los LLM. Hay también digresiones sobre GPUs, Apple Silicon y hasta sobre usar «10×» en lugar de «diez veces».

  • Su nuevo objetivo de modelado mejora mucho al de difusión enmascarada, pero apenas se compara con la predicción convencional del siguiente token, lo que sugiere que no la supera salvo en tareas muy no lineales como el sudoku.
    — cubefox, leer el comentario
  • Es bastante innovador, pero un tokenizador y un método de entrenamiento nuevos exigen mucho esfuerzo de reentrenamiento. Que se implante dependerá del rendimiento real que alcance en la frontera.
    — pinyen_cheng, leer el comentario
  • Antes creía que los tokenizadores nuevos para modelos de dominio eran el camino, pero el sobrecoste de entrenar prácticamente desde cero lo hizo mucho más caro que un fine-tuning.
    — alansaber, leer el comentario
  • NCM es básicamente un diffusion transformer jerárquico donde las capas posteriores toman un token grande y generan dos más pequeños. Es más una estrategia de evaluación y se podría aplicar a cualquier arquitectura.
    — imtringued, leer el comentario
  • ¿Quién va a entrenar un buen modelo grande de programación basado en esto? Yo no tengo las GPUs para hacerlo.
    — swiftcoder, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.